JP4165615B2

JP4165615B2 - 画像表示装置、画像表示方法、プログラム、及び記録媒体

Info

Publication number: JP4165615B2
Application number: JP2007304783A
Authority: JP
Inventors: 哲二郎近藤; 義教渡邊
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-11-26
Filing date: 2007-11-26
Publication date: 2008-10-15
Anticipated expiration: 2022-07-31
Also published as: JP2008141749A

Description

本発明は、例えばテレビジョン放映された１つの映像を複数のグループに分類して表示する画像表示装置、画像表示方法、プログラム、及び記録媒体に関し、特に、２以上のカメラを切り替えて撮影された時系列の画像列が合成された映像から画像を分類して表示する画像表示装置、画像表示方法、プログラム、及び記録媒体に関する。

従来、１つの映像から特定の画像のみを分類する技術がある。例えば、特開平７−２８８８４０号公報においては、映像早見又は映像編集等において映像の内容が変化する部分（シーンチェンジ）を検出しシーンの先頭を推定する映像変化点検出方法が開示されている。

この公報に記載の映像変化点検出装置は、処理対象となる映像から時系列のフレーム画像をサンプリングし、各フレーム画像単位で１つ前のフレーム画像との類似度を求め時系列のフレーム画像における類似度の差と類似度の値とを閾値処理することにより、カット（映像変化点）を検出するものである。

この映像変化点検出装置においては、カットの部分では、フレーム画像間の類似度が相対的に小さい値になることからカット部分を検出することができる。

従来技術として、特許文献１〜４が知られている。

特開平０７−２８８８４０号公報特開平０７−１９３７４８号公報特開２０００−０６９４２０号公報特開２０００−２５３３５１号公報

ところで、放送局等で製作されテレビジョン放送されている映像は、通常、複数のカメラで撮影されたものが切り替えられて（合成されて）１つの映像として作成されている。上述の特開平７−２８８８４０号公報に記載の技術においては、カット部分を検出して、シーンの先頭を推定するのみであるが、このような映像を、例えば各カメラで撮影された映像毎に分類することができれば、映像を異なる視点から視聴することができる。

また、例えばトーク番組、又はニュース番組等は人物等の被写体毎に個別にカメラが設置されて撮影されている場合が多く、各カメラ毎に撮影された映像を分類することで、被写体毎の映像に分類することができ、使用者が最も重要であると考えるカメラ映像、即ち被写体の映像を分類して保存することができれば、例えば家庭内で容易に映像の編集等を楽しむことができて便利である。

本発明は、このような従来の実情に鑑みて提案されたものであり、２以上のカメラを切り替えて撮影されてなる映像を複数のグループに分類して表示することができる画像表示装置、画像表示方法、プログラム、及び記録媒体を提供することを目的とする。

上述した目的を達成するために、本発明に係る画像表示装置は、複数のカメラで撮像された画像を一の画像に編集した画像を受信して表示する画像表示装置において、各グループ毎に分類された分類画像を記憶する記憶手段と、上記記憶手段に記憶された各グループ内の１以上の分類画像と上記受信画像との類似度を算出し、該受信画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出手段と、複数の表示手段と、上記類似度算出手段により同一のグループに分類された画像が、上記複数の表示手段のうちの同一の表示手段で表示されるように制御する表示制御手段とを有し、上記表示制御手段は、上記複数の表示手段の数が上記グループの数より少ない場合、複数のグループの画像が上記複数の表示手段のうちの同一の表示手段で表示されるように、又は上記複数の表示手段の数より多いグループに分類された画像が表示されないように制御することを特徴とする。

本発明においては、受信画像と類似画像との類似度に基づき、受信画像を複数のグループに分類することができ、これにより、例えば複数台のカメラを使用して撮影された場合のカメラの切替前後、又は焦点距離が異なる映像が編集されている場合の焦点距離の違い等における画像間の類似度が小さくなることを利用して、１つの映像から異なるカメラで撮影された映像等を１つのグループとして、複数のグループに分類して表示することができる。

また、上記類似度算出手段は、上記類似度が所定の閾値より小さい場合、新規グループを作成し、上記受信画像を該新規グループに分類することができる。

更に、上記類似度算出手段は、上記分類画像と上記受信画像との対応する画素の差分値を算出し、該差分値が第１の閾値以下である画素の割合が第２の閾値以上である場合、上記受信画像を上記分類画像と同一グループに分類することができる。

更にまた、上記類似度算出手段は、画像間の輝度値及び／又はＲＧＢの値に基づき上記類似度を算出することができる。

また、上記類似度算出手段は、受信画像と分類画像との間の動き補償をする動き補償処理手段を有し、動き補償処理された受信画像と分類画像との間の類似度を算出してもよい。これにより、被写体が動いたり、カメラを多少動かしたりした場合の動きに追従することができる。

更に、上記映像は２以上のカメラを切り替えて撮影されたものであって、上記グループは、同一のカメラ位置で撮影されたことを示すもの及び／又は同一の被写体を含むものであることを示すものとすることができる。

本発明に係る画像表示方法は、複数のカメラで撮像された画像を一の画像に編集した画像を受信して表示する画像表示方法において、各グループ毎に分類された分類画像を記憶手段に記憶する記憶工程と、上記記憶手段に記憶された各グループ内の１以上の分類画像と上記受信画像との類似度を算出し、該受信画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程と、上記類似度算出工程により同一のグループに分類された画像が、複数の表示手段のうちの同一の表示手段で表示されるように制御する表示制御工程とを有し、上記表示制御工程では、上記複数の表示手段の数が上記グループの数より少ない場合、複数のグループの画像が上記複数の表示手段のうちの同一の表示手段で表示されるように、又は上記複数の表示手段の数より多いグループに分類された画像が表示されないように制御することを特徴とする。

本発明に係るプログラム及びこれを記録した記録媒体は、複数のカメラで撮像された画像を一の画像に編集した画像を受信して複数の表示手段に表示する動作をコンピュータに実行させるためのプログラム及びこれが記録された記録媒体であって、各グループ毎に分類された分類画像を記憶手段に記憶する記憶工程と、上記記憶手段に記憶された各グループ内の１以上の分類画像と上記受信画像との類似度を算出し、該受信画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程と、上記類似度算出工程により同一のグループに分類された画像が、複数の表示手段のうちの同一の表示手段で表示されるように制御する表示制御工程とを有し、上記表示制御工程では、上記複数の表示手段の数が上記グループの数より少ない場合、複数のグループの画像が上記複数の表示手段のうちの同一の表示手段で表示されるように、又は上記複数の表示手段の数より多いグループに分類された画像が表示されないように制御することを特徴とする。

本発明によれば、受信画像を複数のグループに分類することができ、これにより、カメラが切り替わればその時点での画像の類似度が小さくなることを利用して、例えば１つの映像を異なるカメラで撮影された映像毎に異なるグループとして分類し表示することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、テレビジョン放送された映像をその類似度を基に、同一カメラで撮影されたもの毎に分類する画像分類装置に適用したものである。また、その分類結果を使用して複数台のテレビ受像機に分類画像の表示を行う分類装置に適用したものである。

通常、放送局で製作された映像は、複数のカメラを切り替えて撮影されたものである。図１は、スタジオで撮影された映像がテレビ放映されるまでの流れを示す模式図である。図１に示すように、例えばトーク番組等を撮影しているスタジオ１において、例えば司会者２，３及びゲスト４を撮影する３台のカメラ５〜７が配置されている。この場合、例えばカメラ５，７は、司会者２，３が画面の中心に撮影できるように配置され、カメラ６はゲスト４が画面の中心に撮影できるように配置されている。これらのカメラ５〜７により撮影された各映像５ａ〜７ａは、編集部８にて編集され、１つの映像となって送信部９からテレビジョン放送される。

このように、テレビジョン放送された映像は、複数の視点の画像が合成されて時分割で送信されてくるものである。このようなテレビジョン放送を一般家庭のテレビ受像機等により受信する。本発明の画像分類装置１１は、受信者１０側において、テレビジョン放送された映像を同じカメラで撮影された画像毎に分類することができるものである。

以下、本発明の第１の実施の形態に係る画像分類装置について具体的に説明する。図２は、本実施の形態の画像分類装置を模式的に示すブロック図である。図２に示すように、画像分類装置１１は、映像が供給される画像取得部１２と、過去の入力画像がその類似度に基づいていくつかのグループに分類され、その分類結果が記憶されている分類結果保持部１３と、分類結果保持部１３に記憶されている分類画像と新規入力画像との差分値を計算する差分計算部１４と、この差分値が所定の閾値より小さい場合、新規入力画像を当該分類画像と同一のグループとして出力する画像出力部１５と、これらを制御する制御部１６とから構成されている。

画像取得部１２は、テレビジョン放送された時系列のフレーム画像からなる映像等が供給され、フレーム単位の画像を差分計算部１４に送る。

分類結果保持部１３は、図３に示すように、過去に分類されたグループ毎の画像２１ａ〜２１ｃが記録された画像データベース２１を有する。

差分計算部１４は、図３に示す画像データベース２１の各グループ２１ａ〜２１ｃの画像と新規入力画像２０との類似度に基づき新規入力画像２０を各グループ２１ａ〜２１ｃの画像のいずれかに分類することができる。具体的には、新規入力画像２０とグループ２１ａ〜２１ｃの画像との差分値が所定の閾値以下の画素数をカウントし、最もカウント値が大きいグループの画像を検索する。ここで、カウント値が所定の閾値に達するものがなく、新規入力画像２０が各グループ２１ａ〜２１ｃのいずれにも分類されないと判定された場合は、例えば最も類似度が高いものと同一グループとするか、新しいグループを作成するか、又はそのデータは破棄する等の方法がある。

更に、新規入力画像と画像データベース２１の各グループ２１ａ〜２１ｃの画像との比較を行う場合には、画像データベース２１の各グループ２１ａ〜２１ｃに登録されたものの中で最も新しい画像と比較するか、各グループ２１ａ〜２１ｃに登録された先頭（最も古いデータ）と比較するか、各グループ２１ａ〜２１ｃに登録されている全ての画像と比較し、例えば最も差分値が小さかった結果、又は平均をとった結果等を使用することができる。

新規入力画像２０と、画像データベース２１の各画像との間の類似度判定には様々な方法が考えられるが、本実施の形態においては、対応する画素間の差分値が所定の閾値（第１の閾値）以下である画素数をカウントし、この画素数が所定の閾値（第２の閾値）以上である場合に、類似していると判定するものとする。ここで、類似していると判定された場合は、類似していると判定されたグループの画像データベース２１に登録（記録）される。

次に、本実施の形態の動作について説明する。図４は、同一カメラで取得された画像毎に新規入力画像を分類する方法を示すフローチャートである。先ず、図４に示すように、画像取得部１２により画像（新規入力画像）を取得し（ステップＳ１）、差分計算部１４に送る。差分計算部１４は、分類結果保持部１３の画像データベースのうち、１つのグループに属する最新の画像（分類画像）を読み出す（ステップＳ２）。なお、上述したように、ここで読み出す画像は、例えば各グループ毎に最初に登録された画像であっても、各グループに属するグループ内全ての画像を順次読み出してもよい。

次に、読み出した分類結果画像と新規入力画像との差分演算を行い（ステップＳ３）、差分値が第１の閾値以下になる画素数をカウントして保存する（ステップＳ４）。この第１の閾値としては、例えばＲＧＢ空間における距離が５以下である等を使用することができる。そして、全てのグループ毎に差分演算を行ったか否かを確認し（ステップＳ５）、ステップＳ４においてカウントしたカウント値が最大のものを検索する（ステップＳ７）。更に、検索したカウント値が最大のもののカウント値が第２の閾値以上であるか否かを判定し（ステップＳ８）、閾値以上であれば、既存のグループに分類する。この第２の閾値としては、例えば全画面のうち例えば３０％の画素にあたる画素数等とすることができ、この場合は、第１の閾値以下である画素数が全体の３０％以上カウントされた場合を変化していないものと見なすことができる。一方、カウント値が第２の閾値未満であれば、この新規入力画像はいずれのグループにも属さないとし、この新規入力画像は新しいグループに属するものとする（新規グループを生成する）（ステップＳ９）。最後に、分類結果保持部１３に、グループ毎に画像を保存する（ステップＳ１０）。

次に、上述のステップステップＳ４乃至ステップＳ７について更に詳細に説明する。図５は、差分計算部１４における差分値計算方法を示すフローチャートである。あるシーンが過去に受信した画像と近いか否かを評価する場合、輝度情報を使用して下記式（１）で示す式か、又は色情報を使用して下記式（２）で示す式により差分を計算することができる。

ここで、Ｄは差分値、Ｙは輝度値、ｘは水平方向の位置、ｙは垂直方向の位置、ＲＧＢは各色の強度に対応する値とする。

そして、上記式（１）又は（２）を使用して差分値の評価を行う。先ず、図５に示すように、最初、差分の評価値＝０とする（ステップＳ１１）。そして、上記式（１）又は式（２）により算出された差分値Ｄ≦第１の閾値であるか否かを判定し（ステップＳ１２）、差分値Ｄ≦第１の閾値であるとき、その画素は変化していないとして、評価値のカウントを１つインクリメントする（ステップＳ１３）。そして、１フレームの画像について全ての画素について差分値を比較したか否かを確認し（ステップＳ１４）、全ての画素の評価値を算出したらこの評価値を出力する（ステップＳ１５）。そして、評価値のカウント値≧第２の閾値であるとき、同じシーン（グループ）の候補とする。この処理を、既存のシーン（グループ）全てと比較した後、候補となった画像で、更に評価値の比較を行い、最も評価大きくなったものと同じカメラの画像とすることができる。この計算は、全ての画素について行ってもよいが、一部の画素、例えば１０画素毎に所定の位置の１画素を取り出して行ってもよい。

また、上述のステップステップＳ４乃至ステップＳ７においては、差分値が所定以下の画素が所定数以上ある場合に同一グループに属するものとしたが、画素差分値を積分し、この積分値が所定値以下である場合に同一グループに属するものと判断してもよい。

即ち、前述のアルゴリズムにおいては、差分を計算してから、変化が少ない画素を特定し、変化が少ない画素数が所定の閾値以上の場合に、同一カメラで取得された画像として同一のグループに属すると判定していたが、単純に画素の差分を画面全体で足したものを、例えば下記式（３）により計算し、その結果が所定の閾値以下のとき同一のカメラで取得された画像としてもよい。

更に、被写体が動いたり、カメラを多少動かしたりすることにより、撮影対象が動く場合がある。このような場合、被写体の動きに追従するために動き補償処理を追加してもよい。図６は、動き補償処理を説明する模式図であり、図７は、動き補償の方法を示すフローチャートである。

図６（ａ）に示す記憶している分類画像と、図６（ｂ）に示す新規入力画像との間で動きベクトルを計算して、動いた分を戻す（移動する）、即ち新規入力画像に動き補償を施した図６（ｃ）に示す結果画像を得ることにより、差分値が正しくカウントされるようになる。

即ち、図７に示すように、保存画像と新規入力画像との間で動きベクトルを求め（ステップＳ２１）、動きベクトル分だけ画像を移動して、評価値を計算し（ステップＳ２２）、その評価値を出力する（ステップＳ２３）。

なお、この動き補償処理は、分類する映像の種類等、必要に応じて設ければよく、また、図４のステップＳ７において、例えば画素数のカウント値が所定の閾値未満であった場合、即ち、差分値が大きい場合にのみ、その分類画像と新規入力画像との間で動きベクトルを検出するようにしてもよい。

次に、本発明の第２の実施の形態について説明する。本実施の形態は、画像分類装置によって分類された複数の分類結果を表示するためのものである。以下、３通りの分類結果の表示方法について説明する。第１の方法は、１つの分類装置に複数台の例えばテレビ受像機等の表示装置を接続して、各表示装置に分類された画像（映像）を表示する例である。図８は、画像分類装置による分類結果を表示する第１の分類画像処理装置を模式的に示すブロック図である。以下、図８乃至図１８において、同一の構成には同一の符号を付してその詳細な説明は省略する。

図８に示すように、第１の分類画像処理装置３０ａは、入力画像を所定のグループ毎に分類する画像分類装置１１１と、この画像分類装置１１１により分類された分類画像を各グループ毎に記憶する分類結果保持部３１と、分類結果保持部３１に記憶された各グループ毎の分類画像を振り分ける画像分離部３２と、画像分離部３２から所定のグループの分類画像が供給されて表示装置に出力する３つの出力インターフェース３３ａ〜３３ｃから構成されている。

図９は、第２の実施の形態に係る画像分類装置１１１を示すブロック図である。図９に示すように、本実施の形態の画像分類装置１１１は、時系列のフレーム画像からなる映像が入力される画像分類部１１５、類似度判定部１１４、及び登録画像保持部１１３と、これらを制御する制御部１１６とから構成されている。

図２に示す分類結果保持部１３は、差分計算部１４において差分値が計算されて、所定のグループ又は新規グループに分類される分類画像を全てを保持するものであったが、図９に示す本第２の実施の形態の画像分類装置１１１は、入力画像との差分値をとって所定のグループに分類するために、各グループ毎に代表となる分類画像（以下、登録画像という。）、例えば各グループ内で最初に分類された画像等を登録画像として保持する登録画像保持部１１３を有する。各グループに分類された全ての分類画像は、画像分類部１１５から所定のグループを識別する識別情報と共に出力され分類結果保持部３１に記憶されるものとする。

制御部１１６は、複数の既存のグループを順次選択する制御信号１１６ａを登録画像保持部１１３、類似度判定部１１４、画像分類部１１５に供給する。登録画像保持部１１３は、制御信号１１６ａにより選択されたグループの登録画像を類似度判定部１１４に供給する。

類似度判定部１１４は、選択されたグループの登録画像と入力画像との類似度が所定の閾値以上であるか否かを判定する。ここで、所定の閾値以上である場合、制御信号１１４ａを画像分離部１１５に入力する。画像分類部１１５は、この制御信号１１４ａにより、入力画像が制御信号１１６ａが選択したグループであることを示す識別情報を該入力画像に付して分類結果保持部３１に出力する。

一方、類似度判定部１１４において、入力画像と制御信号１１６ａにより選択されたグループの登録画像との類似度が所定の類似度未満である場合、制御部１１６は、次のグループを選択する制御信号１１６ａを各処理部に送信する。そして、全てのグループの登録画像と入力画像との類似度判定が終了し、いずれのグループの登録画像とも類似していないと判定された場合は、類似度判定部１１４から制御信号１１４ａが登録画像保持部１１３に入力される。これにより、登録画像保持部１１３は、その入力画像を新規グループの登録画像として保持する。画像分類部１１５は、入力画像が新規グループの場合、新規グループを識別する識別情報を生成してこれと共に入力画像を分類保持部３１に送る。

分類結果保持部３１は、画像分類装置１１１により分類された画像を、所定のグループを識別する識別情報から所定のグループ毎に保持する。このように、本実施の形態においては、分類結果保持部３１が画像分類装置１１１とは別に設けられるものとしたが、上述の第１の実施の形態に示すように、画像分類装置１１に分類結果保持部を設けてもよい。

画像分離部３２は、分類画像を各グループ毎に異なる出力インターフェース３３ａ〜３３ｃを介して各表示装置に出力する。即ち、各表示装置に所定のグループの画像列を供給する。本実施の形態においては、３つの表示装置に接続された場合であって、画像分類装置により分類された所定のグループの画像列が表示装置に供給されるものとする。ここで、３以上のグループに分類される場合は、そのうち選択された所定のグループの画像列を表示装置に供給するものとする。これにより、図１０に示すように、１つのアンテナ４０により受信された１つテレビジョン放送が画像分類処理装置３０ａに供給され、その映像が各グループ毎に分類され、各表示装置４１乃至４３に供給されて表示される。

図１１は、第１の分類画像処理装置の分類画像の表示方法を示すフローチャートである。図１１に示すように、先ず、各表示装置等により分類結果保持部３１の画像データベースに対して、所定のグループの画像のリクエスト（要求）をするか、画像分離部３２が所定の表示装置を選択する（ステップＳ３１）。画像分類部３２はグループ毎の画像を各表示装置に出力し（ステップＳ３２）、終了判定して（ステップＳ３３）、再びステップＳ３１に戻り処理を繰り返す。

次に、第２の分類結果の表示方法について説明する。第２の方法は、１つの表示装置に対して複数の分類画像を同時に表示するために、１つの表示画面の領域を区切って表示する場合である。図１２は、画像分類装置による分類結果を表示する第２の分類画像処理装置を模式的に示すブロック図である。図１２に示すように、第２の分類画像処理装置３０ｂは、図９に示す画像分類装置１１１及び画像分離部３２の後段に、画像合成部３４及び出力部３５が設けられているものであり、この出力部３５から複数のグループ毎の画像が合成され１つの表示装置にデータが供給される。

画像分離部３２からの各分類画像を１つの出力に統合する方法としては、画像の上に縮小した別の画像を重ねるピクチャインピクチャ（picture in picture）、又は画像を例えば４分割して各分割領域に１／４に縮小した画像を表示する等の方法がある。これらの方法により、画像合成部３４は複数のグループに分類されている各グループの分類画像を同時に表示画面に表示できるように１つの画像に合成する。これにより、図１３に示すように、アンテナ４０により受信されたテレビジョン放送が分類画像処理装置３０ｂに供給され、分類され統合された画像が合成され表示装置４１に表示される。図１３には、表示装置４１に３つのグループの分類画像４４ａ〜４４ｃが、ピクチャインピクチャにより、分類画像４４ａに分類画像４４ｂ，４４ｃが重ねられて表示される例を示している。

図１４は、第２の分類画像処理装置の分類画像の表示方法を示すフローチャートである。図１４に示すように、表示装置の所定の表示領域に所定のグループの画像を表示するよう使用者等により分類結果保持部３１の画像データベースに対して、所定のグループの画像のリクエスト（要求）をする（ステップＳ４１）。画像分類部３２には要求があった画像が供給され、画像合成部３４がこれらの画像が所定の領域に表示されるように合成し（ステップＳ４２）、出力部３５を介して合成画像が表示装置に出力される（ステップＳ４３）。その後、終了判定して（ステップＳ４４）、ステップＳ４１に戻り処理を繰り返す。

次に、第３の分類結果の表示方法について説明する。第３の方法は、図８に示す画像分離部を設けず、各表示装置毎に分類画像装置を設けて表示する分散型の場合である。図１５は、分類装置の分類結果を表示する第３の分類画像処理装置を模式的に示すブロック図である。

図１５に示すように、第３の分類画像処理装置３０ｃにおいては、図２に示す上述の画像分類装置１１１ａ〜１１１ｃにより分類され分類結果保持部３１ａ〜３１ｃに記録された所定グループの分類画像が、所定の出力インターフェース３６ａ〜３６ｃに送られる。ここで、これら画像分離装置１１１ａ〜１１１ｃ、分類結果保持部３１ａ〜３１ｃ、及び出力インターフェース３６ａ〜３６ｃから分散型処理装置５０ａ〜５０ｃが構成され、各分散型処理装置は、図１６に示す表示手段４１〜４３に個別に設けられている。この場合も、図８乃至図１１に示したように、３つの表示装置に分類画像を表示させるものであるが、例えば分散型処理装置５０ａ〜５０ｃにおいて、相互に通信する等して出力するグループを決定する等により、出力インターフェースを介して各表示装置４１〜４３において所定のグループの分類画像を表示させることができる。

図１７は、第３の分類画像処理装置の分類画像の表示方法を示すフローチャートである。図１７に示すように、分類結果保持部３１の画像データベースに対して、画像を供給するようリクエスト（要求）されると（ステップＳ５１）、各分類結果保持部は、画像をその表示装置に出力し（ステップＳ５２）、終了判定して（ステップＳ５３）、再びステップＳ５１に戻り処理を繰り返す。

なお、テレビジョン放送等は映像信号と共に音響信号も受信されるが、音響信号は、映像をグループ毎に分類した際に、例えば同じタイミングで各画像と共に表示装置に出力することができる。

また、画像分類装置において、入力画像を所定のグループ毎に分類する際、画像データは使用せず、又は使用して類似度を求めると共に、音響信号により映像を分類するものとしてもよい。例えば、入力画像を所定のグループに分類する類似度算出手段として、複数の発話者の音声が登録された音声データベースを設け、上記映像に対応する音響信号を上記音声データベースに登録された各発話者と比較する等して、同一の発話者が発話しているか否かを特定する話者認識によって、同一の発話者が発話している期間に対応する映像を同一のグループに分類するようにしてもよい。

上述の第１及び第３の分類画像処理装置において、各表示装置に対してどのグループに分類された画像を出力するか、即ち、どのカメラからの画像を出力するかは、予め設定する他、最初、又は新しいカメラからの入力が合った場合、即ち、新規入力画像が新しいグループに分類される毎に、使用者に対してどのテレビに表示するかの指示を要求してもよい。また、上述したように、各分散型処理装置間の通信によって決定してもよい。更に、後述する音声信号により決定する等することもできる。また、第２の分類画像処理装置において、表示領域の分割方法等についても同様に、使用者により分割方法等を設定できるようにしてもよい。

次に、各グループに分類された画像をどのテレビに表示するかを音声信号に基づいて決定する方法について説明する。このように、音声に基づいて表示装置を決定するのは、例えば、新規のグループが生成された場合（新規のシーンが送られてきた場合）に行われるものとする。図１８は、３つのグループ（シーン）に分類される分類画像の分類方法を説明する説明図である。図１８（ｂ）は、図１８（ａ）に示す各シーン６０ａ，６０ｂ，６０ｃにおける左右の音の大きさレベルを示す。例えば図１８（ｃ）に示すように、視聴環境６１において３つの表示装置が配置されている場合、図１８（ｂ）に示すように、左右の音量のうち、左の音量が大きいグループは、視聴環境６１において左側に配置される左テレビ６１ａに表示し、左右の音量レベルがほぼ同一のグループは、中央に配置される中央テレビ６１ｂに表示し、右の音量が大きいグループは、右側に配置される右テレビ６１ｃに表示することができる。

このような音声信号に基づいて表示装置を決定する方法としては、単に入力画像の音声信号のみから決定する第１の方法と、過去の分類済みのグループ化されたものと比較して決定する第２の方法とがある。

図１９は、画像表示装置の第１の決定方法を示すフローチャートである。図１９に示すように、新規のグループに分類された画像がステレオ放送か否かが判定され（ステップＳ６１）、ステレオ放送であれば左右の音量レベル差が計測される（ステップＳ６２）。そして、左の音量が大きいか否かが判定され（ステップＳ６３）、左の音量が大きい場合は左側の表示装置に表示する。また、ステップＳ６３で、左の方が音量が大きくないと判断された場合、右の音量が大きいか否かが判定され（ステップＳ６４）、右の音量が大きければ右側の表示装置に表示される（ステップＳ６６）。またステップＳ６４において、右側も大きくないと判断された場合は中央に表示する（ステップＳ６７）。なお、ステップＳ６１でステレオ放送でないと判定された場合は、このような処理を行うことができないため、例えば手動で表示装置を決定することができる。なお、図１９では、３つの表示装置に表示する画像を決定する方法を説明したが、表示装置が３つ以上ある場合も、同様に、音量レベルに基づいていずれかの表示装置を選択するように設定しておけばよい。また、表示装置が上述のように３つであって、分類されているグループが４以上ある場合は、新規入力画像は、最初に分類された３つのグループのいずれかに分類するか、新たなグループの画像は表示せずに例えば記憶手段を設けて記憶しておくか、若しくは破棄するか、又は、上述のように、１つの表示領域を分割して複数グループの画像を１つの表示装置に表示すること等できる。

また、上述の音量レベルを単に比較する方法とは異なり、過去のシーン（グループ）との比較を行うこともできる。図２０は、画像表示装置の第２の決定方法を示すフローチャートである。図２０に示すように、先ず、ステレオ放送か否かを判定し（ステップＳ７１）、左右の音量レベル差を計測し（ステップＳ７２）、現在表示している分類画像のグループの音量差をメモリから読み出し（ステップＳ７３）、現在表示しているシーン毎にソートし（ステップＳ７４）、左の方の音量が大きいシーンを左に表示し（ステップＳ７５）、右の方の音量が大きいシーンを右に表示し、現シーンのレベル差を保持する（ステップＳ７６）。そして、ステップＳ７１に戻り処理を繰り返す。

本実施の形態においては、分類結果をそのままデータベースに保存することができるため、擬似的に人物や、被写体毎に整理された画像のデータベースが構築可能となり、更に、複数台の画像表示装置にリアルタイムで表示を行うことができる。これにより、被写体毎に表示位置を変えることで楽しい視聴環境を構築することができる。

通常、固定された複数台のカメラで撮影された映像が編集されて放送された場合のテレビジョン映像を各カメラで撮影された映像毎に分類することにより、１つの映像からグループ毎に分類した画像を複数台の表示装置又は１台の表示装置に設けられた複数の表示領域に同時に表示することができる。この結果をデータベースに保存すれば、擬似的に人物又は物等の被写体毎に画像を整理し、データベースを構築することが可能である。更に、複数台の画像表示装置にリアルタイムで表示を行うことができるため、被写体毎に表示装置（表示位置）を替えて楽しい視聴環境を構築することができる。また、例えば使用者の要求度が低いカメラ位置の画像を縮小表示する等、使用者自身の要望を反映した映像の編集が可能となる。

以上詳細に説明したように本発明に係る実施の形態に用いられる画像分類装置は、時系列の画像列からなる映像を所定のグループに分類する画像分類装置であって、各グループ毎に分類された分類画像を記憶する記憶手段と、上記記憶手段に記憶された各グループ内の１以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出手段とを有するので、入力画像と分類画像との差分値に基づき、入力画像を複数のグループに分類することができ、これにより、カメラが切り替わればその時点での画像の類似度が小さくなることを利用して、例えば１つの映像を異なるカメラで撮影された映像毎に異なるグループとして分類することができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

スタジオで撮影された映像がテレビ放映されるまでの流れを示す模式図である。本発明の第１の実施の形態に係る画像分類装置を模式的に示すブロック図である。本発明の第１の実施の形態に係る画像分類装置の画像データベースを示す模式図である。本発明の第１の実施の形態に係る画像分類装置における新規入力画像を分類する方法を示すフローチャートである。本発明の第１の実施の形態に係る画像分類装置の差分計算部１４における差分値計算方法を示すフローチャートである。本発明の第１の実施の形態に係る画像分類装置の動き補償の原理を説明する模式図である。本発明の第１の実施の形態に係る画像分類装置の動き補償の方法を示すフローチャートである。本発明の第２の実施の形態における第１の分類画像処理装置を模式的に示すブロック図である。本発明の第２の実施の形態に係る画像分類装置を示すブロック図である。本発明の第２の実施の形態における第１の表示方法であって、１つの分類装置を複数台のテレビ受像機に接続して各表示装置に分類された画像を表示する例を示す模式図である。第１の分類結果の表示方法を示すフローチャートである。本発明の第２実施の形態における第２の分類画像処理装置を模式的に示すブロック図である。本発明の第２の実施の形態における第２の表示方法であって、１つの表示装置に複数の分類画像を同時に表示するために、表示画面の領域を区切って表示する例を示す模式図である。第２の分類結果の表示方法を示すフローチャートである。本発明の第２実施の形態における第３の分類画像処理装置を模式的に示すブロック図である。本発明の第２実施の形態における第２の表示方法であって、各表示装置毎に分類画像装置を設けて表示する例を示す模式図である。第３の分類結果の表示方法を示すフローチャートである。３つのグループに分類される分類画像の分類方法を説明する説明図である。音声に基づき、分類画像を表示するための表示装置を決定する第１の方法を示すフローチャートである。音声に基づき、分類画像を表示するための表示装置を決定する第２の方法を示すフローチャートである。

符号の説明

２，３司会者、４ゲスト、５，６，７カメラ、５ａ，６ａ，７ａ映像、８編集部、９送信部、１０受信者、１１、１１１、１１１ａ，１１１ｂ，１１１ｃ画像分類装置、１２画像取得部、１３、３１、３１ａ，３１ｂ，３１ｃ分類結果保持部、１４差分計算部、１５画像出力部、１６制御部、２１ａ，２１ｂ，２１ｃ画像、２１画像データベース、２０新規入力画像、３０ａ，３０ｂ，３０ｃ分類画像処理装置、３２画像分離部、３３ａ，３３ｂ，３６ａ，３６ｂ出力インターフェース、３４画像合成部、３５出力部、４０アンテナ、４１，４２，４３表示装置、５０ａ，５０ｂ，５０ｃ分散型処理装置

Claims

複数のカメラで撮像された画像を一の画像に編集した画像を受信して表示する画像表示装置において、
各グループ毎に分類された分類画像を記憶する記憶手段と、
上記記憶手段に記憶された各グループ内の１以上の分類画像と上記受信画像との類似度を算出し、該受信画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出手段と、
複数の表示手段と、
上記類似度算出手段により同一のグループに分類された画像が、上記複数の表示手段のうちの同一の表示手段で表示されるように制御する表示制御手段とを有し、
上記表示制御手段は、上記複数の表示手段の数が上記グループの数より少ない場合、複数のグループの画像が上記複数の表示手段のうちの同一の表示手段で表示されるように、又は上記複数の表示手段の数より多いグループに分類された画像が表示されないように制御する
ことを特徴とする画像表示装置。
上記類似度算出手段は、上記類似度が所定の閾値より小さい場合、新規グループを作成し、上記受信画像を該新規グループに分類する
ことを特徴とする請求項１記載の画像表示装置。
上記類似度算出手段は、上記分類画像と上記受信画像との対応する画素の差分値を算出し、該差分値が第１の閾値以下である画素の割合が第２の閾値以上である場合、上記受信画像を上記分類画像と同一グループに分類する
ことを特徴とする請求項１記載の画像表示装置。
上記類似度算出手段は、上記受信画像と上記分類画像との間の動き補償をする動き補償処理手段を有し、動き補償処理された上記受信画像と上記分類画像との間の類似度を算出する
ことを特徴とする請求項１記載の画像表示装置。
上記グループは、同一のカメラ位置で撮影されたことを示すもの及び／又は同一の被写体を含むものであることを示すものである
ことを特徴とする請求項１記載の画像表示装置。
複数のカメラで撮像された画像を一の画像に編集した画像を受信して表示する画像表示方法において、
各グループ毎に分類された分類画像を記憶手段に記憶する記憶工程と、
上記記憶手段に記憶された各グループ内の１以上の分類画像と上記受信画像との類似度を算出し、該受信画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程と、
上記類似度算出工程により同一のグループに分類された画像が、複数の表示手段のうちの同一の表示手段で表示されるように制御する表示制御工程とを有し、
上記表示制御工程では、上記複数の表示手段の数が上記グループの数より少ない場合、複数のグループの画像が上記複数の表示手段のうちの同一の表示手段で表示されるように、又は上記複数の表示手段の数より多いグループに分類された画像が表示されないように制御する
ことを特徴とする画像表示方法。
複数のカメラで撮像された画像を一の画像に編集した画像を受信して複数の表示手段に表示する動作をコンピュータに実行させるためのプログラムであって、
各グループ毎に分類された分類画像を記憶手段に記憶する記憶工程と、
上記記憶手段に記憶された各グループ内の１以上の分類画像と上記受信画像との類似度を算出し、該受信画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程と、
上記類似度算出工程により同一のグループに分類された画像が、複数の表示手段のうちの同一の表示手段で表示されるように制御する表示制御工程とを有し、
上記表示制御工程では、上記複数の表示手段の数が上記グループの数より少ない場合、複数のグループの画像が上記複数の表示手段のうちの同一の表示手段で表示されるように、又は上記複数の表示手段の数より多いグループに分類された画像が表示されないように制御する
ことを特徴とするプログラム。
複数のカメラで撮像された画像を一の画像に編集した画像を受信して複数の表示手段に表示する動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
各グループ毎に分類された分類画像を記憶手段に記憶する記憶工程と、
上記記憶手段に記憶された各グループ内の１以上の分類画像と上記受信画像との類似度を算出し、該受信画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程と、
上記類似度算出工程により同一のグループに分類された画像が、複数の表示手段のうちの同一の表示手段で表示されるように制御する表示制御工程とを有し、
上記表示制御工程では、上記複数の表示手段の数が上記グループの数より少ない場合、複数のグループの画像が上記複数の表示手段のうちの同一の表示手段で表示されるように、又は上記複数の表示手段の数より多いグループに分類された画像が表示されないように制御する
ことを特徴とするプログラムが記録された記録媒体。