JP4626668B2 - 画像処理装置、表示制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、一画面に複数の画像を表示する場合に適用して好適な画像処理装置、表示制御方法、プログラム及び記録媒体に関する。

従来、一画面に複数の画像を合成し、表示する場合がある。一般に複数の画像を同時に表示する場合、例えば、縮小した複数の画像を並べたり、主画像の一部にアングルが異なる副画像をはめ込んだりするピクチャ・イン・ピクチャ（ＰｉｎＰ：Picture in Picture）方式が用いられていた。

従来、複数の画像から合成画像を生成する場合、共通部分を算出し、特徴点抽出等を行い、共通部分を揃えて合成することが一般的である。例えば、特許文献１には、複数の画像の特徴を算出し、各画像の特徴を比較して、２以上の画像を重ね合わせた合成画像を生成する技術について記載されている。

例えば、特許文献２には、複数の画像を同時に理解するために、複数の画像を時空間的に統合して、画像をエンハンスする技術について記載されている。

例えば、特許文献３には、複数のカメラが撮影した複数の画像を、一画面に配置して表示する技術について記載されている。
特開２００５-１８２０９８号公報 特開平１０-１６４４３５号公報 特開２０００-２６１７９４号公報

ところで、特許文献１に記載された技術では、アングルの違いなどによって、画像を完全に一致させることは難しい。そのため、合成した画像で複数の画像を同時に理解することが困難になる。

また、特許文献２に記載された技術では、複数台のカメラで撮られた画像を、同時に視聴することは考慮されていない。

また、特許文献３に記載された技術では、ほぼ同じ方向から共通部分を撮ることが必要である。このため、画サイズが小さくなったり、重畳する画像で元の画像が隠れてしまったりしてしまう。

本発明はこのような状況に鑑みて成されたものであり、複数の画像を、一画面で同時に表示する場合に、それぞれの画像を理解しやすく表示することを目的とする。

本発明は、同一の被写体が含まれる第１の画像と第２の画像に含まれる所定の色座標系における色域を、第１の画像と第２の画像のそれぞれの特徴を表す特徴量として検出し、第１の画像と第２の画像に共通する頻度の高い色域を求め、第１の画像及び第２の画像を構成する画素毎に検出した色域の度数を各画像の色域毎に累積した値が所定の閾値より大きい色域を、第１の画像及び第２の画像における特徴部分として抽出する。所定の閾値より大きい、第２の画像の、第１の画像の特徴部分と第２の画像の特徴部分において共通する色域に該当する領域を除去し、除去された領域が透明化された第２の画像を第１の画像に重ね合わせる。

このようにしたことで、一画面に表示される複数の画像が合成された合成画像であっても、それぞれの画像の差を明確に示すことができる。

本発明によれば、同一の被写体が含まれる第１の画像に第２の画像を重畳した合成画像を画像表示装置に供給し、ユーザに提示することができる。このため、ユーザは、１画面に提示される合成画像を視認するだけで、第１及び第２の画像に含まれる対象物の関係を容易に理解しやすくなるという効果がある。

以下、本発明の第１の実施の形態例について、図１〜図１５を参照して説明する。本実施の形態例では、アングル（撮影地点）やズーム（撮影倍率）が異なる複数のカメラから得られた画像を、本発明に係る画像処理装置によって一画面に表示できる画像処理システム１に適用した例について説明する。

図１は、本実施の形態に係る画像処理システム１の配置例を示す。
画像処理システム１は、第１の情景を撮像し、第１の画像を生成する第１のカメラ３と、第１の情景より狭い範囲の第２の情景を撮像し、第２の画像を生成する第２のカメラ４と、第１のカメラ３から入力された第１の画像と第２のカメラ４から入力された第２の画像に基づいて、画像を合成する処理を施す画像処理装置１０と、画像処理装置１０で合成された画像を表示する画像表示装置６と、を備える。

第１の情景と第２の情景は、同一の被写体である。ただし、本実施の形態例において、第１のカメラ３は、パンして撮像し第１の画像を生成する。一方、第２のカメラ４は、ズームして撮像し第２の画像を生成する。このため、第１の情景は、第２の情景に比べて、広い範囲の被写体となる。

画像処理装置１０は、第１のカメラ３と第２のカメラ４から入力される複数の画像のうち、一つの画像を主画像とし、主画像より画サイズが小さい他の画像を副画像として、主画像と副画像を重畳した合成画像を生成する。
第１のカメラ３と第２のカメラ４は、互いに、アングルやズームが異なる。画像表示装置６は、例えば、液晶ディスプレイ装置、有機ＥＬ（Electro-Luminescence）ディスプレイ装置、プロジェクタ装置等である。

図２は、画像処理装置１０の内部構成例を示す。
画像処理装置１０は、第１のカメラ３と第２のカメラ４並びにチューナから入力される画像を保存する保存部１１と、保存部１１から読出した複数の画像信号に所定の処理を施す画像重畳部１２と、ユーザによる操作の操作情報等が入力される外部信号入力部１３と、を備える。

保存部１１は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）等の大容量の記録メディアである。保存部１１に保存される画像は、例えば、ＭＰＥＧ−２（Moving Picture Expert Group-2）形式で圧縮されたディジタルデータであり、動画像、静止画像が含まれる。

画像重畳部１２は、複数の画像に含まれる被写体の特徴量を検出する特徴量検出部２１を備える。特徴量検出部２１は、同一の被写体が含まれる複数の画像に含まれる特徴量を求める。特徴量検出部２１が求める特徴量には、第１の画像と第２の画像に含まれる色域の度数と、第１の画像と第２の画像に含まれる被写体の動き量（動きベクトルのスカラー量）がある。

また、画像重畳部１２は、所定の閾値より大きい特徴量で示される領域を第２の画像から除去する除去領域検出部２２と、主画像に、除去された領域が透明化された第２の画像を第１の画像に重ね合わせる画像合成部２３と、を備える。画像重畳部１２で処理された合成画像は、画像表示装置６によって表示される。この画像重畳部１２は、例えば、中央処理装置（ＣＰＵ：Central Processing Unit）等が適用できる。

画像処理装置１０は、例えば、色空間としてＹＵＶ表色系を採用する。ＹＵＶ表色系で用いられるＹＵＶ座標系では、輝度信号（Ｙ）と、輝度信号と青色信号の差信号（Ｕ）、輝度信号と赤色信号の差信号（Ｖ）で定められる色空間領域によって色が表現される。そして、この色空間領域の中でそれぞれの画像に使われている色の分布を色域という。画像処理装置１０に入力された画像を構成する画素は、必ずＹＵＶ表色系によって表現される。本実施の形態では、画素ごとに定まるＵＶ座標の位置を、「色域」ともいう。

特徴量検出部２１は、第１の画像と第２の画像に含まれる色域を特徴量として検出する。そして、第１の画像と第２の画像に共通し、頻度の高い色域を求める。このとき、主画像と副画像が決定される。色域は、画像を構成する画素毎に検出される。色域は３次元の度数分布図で表すことができる。画像の中で同じ色が多く含まれる場合、その色に対応する色域の度数が累積される。この累積された度数が所定の閾値より大きい場合に、最も出現頻度が高い色域として、その色域が含まれる画像の一部（以下、最頻部分ともいう。）を、その画像の特徴部分として抽出する。

また、特徴量検出部２１は、入力された複数の画像のうち、ユーザが見たい被写体がどの画像に含まれるか等について判定する。
ここで、例えば、３台のカメラ（第１〜第３のカメラ）を用いて被写体を撮影する場合について検討する。このとき、第１のカメラと第２のカメラは、全体を撮影したパン画像とそのパン画像に含まれる被写体のズーム画像を撮影する。一方、第１のカメラと第３のカメラについても、全体を撮影したパン画像とそのパン画像に含まれる被写体のズーム画像を撮影する。この場合、特徴量検出部２１は、例えば、第２のカメラと第３のカメラで撮影された画像に重なる部分（被写体）がないことを検出する。また、それぞれのカメラ位置をカメラ間の関係性として決定し、この関係性を特徴量として検出できる。

特徴量検出部２１は、第１の画像と第２の画像の特徴量から共通の色域を特定する。特徴量検出部２１が求める色域は、各画像に含まれるＹＵＶ座標系で決定される色域の累積度数で表せる。この累積度数が所定の閾値を超える場合には、その色域を画像の中で最も頻度が高く含まれる色域として検出する。

また、特徴量検出部２１は、第１の画像と第２の画像に含まれる被写体の動き量を特徴量として検出し、第１の画像と第２の画像に共通し、頻度の高い動き量を求める。

特徴量検出部２１が第１の画像と第２の画像の色域を特徴量として検出した場合、除去領域検出部２２は、第１の画像と第２の画像に共通する色域に該当する領域を除去する。このとき、主画像と副画像の特徴部分において共通する色域に該当する領域を、指定された画像から除去する。このため、例えば、主画像と副画像の両方に、グラウンドの画像が含まれる場合、このグラウンドの色域が最も画面に多く現れる色域（以下、最頻色域ともいう。）として検出され、最頻色域が含まれるグラウンドの画像が最頻部分として除去される。
一方、特徴量検出部２１が被写体の動き量を特徴量として検出した場合、除去領域検出部２２は、動き量を持つ被写体オブジェクトの背景の領域を第２の画像から除去する。

画像合成部２３は、除去領域検出部２２で共通の色域に該当する領域が除去された副画像を主画像に重ねて合成する。ユーザの操作は、図示しないリモートコントロール装置、ボタン、タッチパネル等の操作部（不図示）を用いて行われる。操作部は、外部信号入力部１３に接続される。そして、外部信号入力部１３を介して入力された外部インタフェースからの操作信号によって、特徴量検出部２１によって求められる色域と、所定の閾値と、除去領域検出部２２によって除去される領域が決定される。同様に、画像合成部２３によって合成される主画像に対する副画像の位置は、操作部からの入力に基づいて決定される。この結果、表示される合成画像は、視聴者にとって違和感が生じない。

図３は、本例の画像処理装置１０によって行われる、主画像に副画像を重ねて合成画像を生成する画像重畳処理の例を示すフローチャートである。
初めに、特徴量検出部２１は、画像重畳処理を行うかどうかを選択する。そして、特徴量検出部２１は、各画像の色域のうち最頻部分の抽出を行うか否かを判断する（ステップＳ１）。ここでの判断は、ユーザが行うボタン操作等によって予め選択される。

この選択処理は、外部信号入力部１３からコマンドが発行されることを契機として行われる。特徴量検出部２１は、受信したコマンドに基づいて、被写体（以下、「オブジェクト」とも言う。）を選択しやすいように画像に含まれる被写体の特徴量を検出する。その後、特徴量検出部２１は、検出した特徴量のデータを引き渡す。そして、ユーザによって、画像重畳処理を行うことが選択されている場合、ステップＳ２以降の処理が行われる。

また、特徴量検出部２１は、最頻部分の抽出を行わない場合、画像重畳処理を終了する。最頻部分の抽出を行わない場合とは、例えば、単にピクチャ・イン・ピクチャの状態、又は複数の画像を並列表示させた状態で複数の画像を表示させることをいう。

一方、特徴量検出部２１は、最頻部分の抽出を行う場合、保存部１１に保存されている画像を読み出す（ステップＳ２）。そして、外部信号入力部１３から供給されるユーザからの選択情報に基づいて、読み込んだ画像の中から主画像となる画像を決定する。（ステップＳ３）。

ユーザが選択する主画像は、第１のカメラ３が撮像した画像、または第２のカメラ４が撮像した画像のいずれでもよい。また、ステップＳ３における主画像の選択において、予め、第１のカメラ３が撮像した画像を主画像とするよう決めてもよい。また、主画像の一部に複数の副画像をサムネイル表示しておき、提示したい副画像をサムネイル画像から選択してもよい。

次に、除去領域検出部２２は、副画像から取り除く除去領域を検出する（ステップＳ４）。除去領域は、複数の画像間での最頻色域等により決定される。そして、除去領域検出部２２は、副画像から検出された除去領域を除去する（ステップＳ５）。

ところで、本実施の形態例では、最頻色域を検出し、重畳する画像に共通する色域を主画像から除去するためのパラメータとして決定した上で、この色域を画像から削除する処理について言及している。しかし、設定可能なパラメータは他にもある。例えば、最も動きベクトルのスカラー量が大きいオブジェクトが含まれる領域を「最頻動き量領域」としたり、逆に、動きベクトルのスカラー量が少ない部分を除去領域として決定したりすることもできる。ただし、これらの動きベクトルで決定されるパラメータは、色域をパラメータとして使う場合に組み合わせて用いてもよいし、色域をパラメータとして使わない場合に用いてもよい。また、除去領域を検出するための処理は、フレーム間におけるオブジェクトの動きの頻度をとって行うこともできる。動きの頻度を表す指標としては、被写体の大きさ・方向・微分値が考えられる。

次に、画像合成部２３は、主画像と副画像の間で、同一のオブジェクトを特定するか否かを判断する（ステップＳ６）。ここで、オブジェクトとは、画像内の人物やボール等であり、ユーザが特に注目したい対象物をいう。そして、主画像と副画像で共通するオブジェクトを同一オブジェクトという。同一オブジェクトが特定されると、各画像を重畳するための主画像と副画像のオブジェクトの座標が明確となる。

ステップＳ６の処理において、画像合成部２３は、同一オブジェクトを合わせて、主画像に副画像を重畳するか否かを選択する。画像合成部２３は、同一オブジェクトを特定しない場合、主画像の画面の四隅のうち、いずれかの隅に副画像を重畳するだけで、画像重畳処理を終了する。

一方、画像合成部２３は、同一オブジェクトを合わせて、主画像に副画像を重畳する場合、外部信号入力部１３から供給されるユーザの選択情報に基づいて、注目オブジェクトを特定する（ステップＳ７）。

注目オブジェクトとは、画像内の人物、ボール、背番号等を示すパラメータの一種である。ユーザが、特に、そのオブジェクトの動きと、その周囲の状況を詳細に知りたい場合に、注目オブジェクトを特定することによって、副画像に表示させることができる。

次に、画像合成部２３は、オブジェクトを追従するための画像特徴量を抽出する（ステップＳ８）。画像合成部２３は、特徴量として指定されたオブジェクトの重畳位置を指定するトラッキングを行い、動きベクトルなどを求める。このトラッキングとしては、ユーザが操作するリモートコントロール装置（不図示）による指定や、画像処理装置１０による自動追尾がある。リモートコントロール装置からの操作信号は、外部信号入力部１３を介して、画像合成部２３に供給される。

ステップＳ８で抽出される画像特徴量は、特徴量検出部２１で決定された注目オブジェクトに対してフレーム毎に検出される。例えば、複数の画像を重畳する場合に、同一オブジェクトをボールとすると、特徴量検出部２１は、そのボールの動きを検出する処理を行う。ボールの動きを検出する処理としては、それぞれの画像で検出される動きベクトルを求める処理（オプティカルフローを求める処理とも言う。）等がある。

そして、画像合成部２３は、複数の画像から求められた特徴量に基づいて、同一オブジェクトを検出し、主画像と副画像を重畳して合成画像を生成する画像処理を行う（ステップＳ９）。画像合成部２３によって合成される主画像に対する副画像の位置は、主画像に含まれる被写体の動きに基づいて決定されるようにしてもよい。最後に、画像合成部２３は、画像表示装置６に合成画像を出力する（ステップＳ１０）。

ステップＳ７における注目オブジェクトの指定は、画像合成部２３が自動的に行うよう設定してもよい。例えば、操作部として、ユーザの入力にお任せボタンや学習お任せボタンのようなものを用意してもよい。

お任せボタンとは、ユーザからの操作入力を無効とし、画像処理装置１０が注目オブジェクトを自動的に決定するように指示するためのボタンである。このボタンは図示しない操作部に設置される。お任せボタンが押されると、ステップＳ７における処理では、ユーザによって注目オブジェクトが指定されても、その注目オブジェクトが選択されない。そして、ステップＳ８で求められる特徴量を用いて重畳される同一オブジェクトを決定できる。このとき、最も大きな動きベクトルを持つ物体（領域）が注目オブジェクトとして決定される。

学習お任せボタンとは、これまでの注目オブジェクトの決定結果を用いて、画像処理装置１０が注目オブジェクトを自動的に決定するように指示するためのボタンである。これまでの注目オブジェクトは、ユーザの操作ログから判定する。例えば、これまでユーザは、画面下方に位置するオブジェクトの小さな動きに注目していたのであれば、その操作ログから自動的にそのオブジェクトを注目オブジェクトとして決定できる。また、例えば、野球中継でバッテリー間の画像が出ている時に、ユーザがバッターに注目して画像を重畳していた場合、操作ログから自動的に求められる特徴量（例えば、野球におけるバッターの動きベクトル）により、注目オブジェクト（例えば、バッター）を決定する。

図４は、色域検出と画像合成処理の例を示すフローチャートである。ここでは、画像重畳処理（図３）におけるステップＳ４，Ｓ５の処理を詳細に説明する。
初めに、特徴量検出部２１は、画像重畳処理（図３）におけるステップＳ３で決定された主画像となる画像を読み込む（ステップＳ１１）。そして、読み込んだ複数の画像の画素毎に色域を検出する（ステップＳ１２）。

特徴量検出部２１は、読み込んだ複数の画像のそれぞれに対して除去する最頻色域を検出する（ステップＳ１３）。そして、第２の画像において除去する最頻色域が含まれる領域を決定する（ステップＳ１４）。なお、ステップＳ１２〜Ｓ１４までの処理が、画像重畳処理（図３）におけるステップＳ４の処理に該当する。

画像合成部２３は、第１の画像と第２の画像を合成する（ステップＳ１５）。そして、画像合成部２３は、画像表示装置６に重畳した合成画像を出力する（ステップＳ１６）。このとき、画像表示装置６に重畳した合成画像を出力するか否かを判断する（ステップＳ１７）。このとき、ユーザ操作もしくは、操作ログなどを用いて、除去する色域の領域を変化させたり、例外処理をしたりする等の変更を行う。なお、ステップＳ１５〜Ｓ１７までの処理が、画像重畳処理（図３）におけるステップＳ５の処理に該当する。

上記例外処理とは、最頻色域として決定されてない領域であっても副画像からその領域を除去する処理である。この領域は、副画像から除去されていればユーザが見やすくなる領域とする。例えば、野球ゲームが表示されている画像において、マウンドに該当する色域が最頻色域から外れている場合がある。しかし、ユーザはマウンドが表示される領域を重要視しないことが多い。この場合、ユーザは操作部（例えば、ポインティングデバイス）でマウンドを指示すると、画像合成部２３は、指示された箇所の周囲で同じ色域が含まれる領域の色域を除去できる。逆に、ある色域だけに注目し、合成画像に残しておきたい場合がある。このとき、その色域が最頻色域内に入ったとしても、除去したくない部分に含まれる色域を除去せず重畳できる。他には、最頻色域が含まれていても、ある特定の領域や、特定の動きをしている部分を残すようにしてもよい。

出力された画像が所望の画像でなければ、最頻度数を変更し、色域を再決定する（ステップＳ１８）。そして、ステップＳ１２に処理を戻す。所望の画像であれば、画像表示装置６に画像を出力して、画像合成処理を終了する。

図５〜図１５は、重畳される画像とそれらの色域の例を示す。
図５は、第１のカメラ３が撮像した第１の画像３１の例である。
図６は、第２のカメラ４が撮像した第２の画像３２の例である。
画像処理装置１に入力される画像は、同一情景を撮影した画像である。本例では、第１の画像３１は被写体３５（ラグビー競技におけるラック状態）のパン画像である。第２の画像３２は第１の画像に含まれる被写体３５のズーム画像である。保存部１１から入力されるアングルが異なる複数の画像には、例えば、原画像と原画像の一部をズームした画像、又は、アングルが異なる複数の加工画像がある。ただし、これらの画像には同一の被写体が含まれる。

画像重畳処理が行われると判定されると、画像の読み込みを行い、ユーザは複数の画像から主画像となる画像を選択する。ここでは、第１の画像３１が主画像として選択されたものとする。

図７は、第１の画像３１の色域分布の例である。
図８は、第２の画像３２の色域分布の例である。
以下の説明において、色域分布の図は、ＹＵＶ座標系におけるｕ，ｖと、各色域の度数を示す。撮像したカメラの画素数が異なる場合、色域分布図における度数の範囲は異なる。このため、共通部分の色域を求める際には、正規化を行い、度数を合わせる必要がある。正規化とは、２つの画像の度数の最大値を合わせる処理である。

図７と図８には、それぞれ最頻色域を決定するための閾値３７，３７′を示している。この閾値３７，３７′を超える色域が画像毎に多く含まれる色であるといえる。特徴量検出部２１は、まず、各入力画像に対して全画面の色域の分布をとる。そして、各色域の分布を正規化し、複数の入力画像信号から色域が共通する領域を検出する。このとき、第１のカメラ３と第２のカメラ４のパラメータを補正し、頻出色域をどちらかに合わせる。色域の変換テーブルを用いてもよい。そして、重畳する画像の内、除去する色域を決定する。ただし、検出した色域が含まれる領域と除去する領域は、必ずしも１対１に対応しない。

図９は、閾値を超える第１の画像３１の色域の例である。
図１０は、閾値を超える第２の画像３２の色域の例である。
図９と図１０は、図７と図８に示された色域分布から所定の閾値を超える色域を示している。閾値は、ユーザが任意に変更できる。所定の閾値を超える色域が、各画像において最も頻繁に表示される色であると言える。そして、第１の画像３１と第２の画像３２に共通する色域は、以下のように求められる。

図１１は、閾値を超える第１の画像３１と第２の画像３２の共通部分の色域の例である。
図１２は、第１の画像３１と第２の画像３２の共通部分の色域を２次元表示した例である。
第１の画像３１と第２の画像３２で、最も多くの色が見られるのは、グラウンドの色（例えば、茶色）である。このため、図７と図８で示した色域分布から、所定の閾値を超える色域分布を抽出し、共通する色域を求める。求められた色域は、共通部分として、図８から該当する箇所の色が除かれる。

図１３は、第１の画像３１に画像処理が施された第１の画像３１′の例を示す。
図１３に示す画像は、二つの画像（第１の画像３１と第２の画像３２）から冗長と判定される最頻の共通部分を抽出したものである。この共通部分の抽出は、複数の画像から背景を抽出する方法として用いることができる。

主画像（第２の画像３２）が決定されると、副画像（第１の画像３１）と共通し冗長な共通部分として抽出される最頻色域が求められる。第１の画像３１で最も高い色域は、画面のほぼ半分を占めるグラウンドの色である。同様に、第２の画像３２で最も高い色域は、画面のほぼ半分を占めるグラウンドの色である。このため、第１の画像３１から最頻色域が除かれると第１の画像３１′が生成される。図１３に示す画像では、第２の画像３２で最も高い色域は、画面のほぼ半分を占めるグラウンドの色である。また、第１の画像３１においても、最も高い色域は、画面のほぼ半分を占めるグラウンドの色である。このため、第２の画像３２から第１の画像３１と共通するグラウンドの色を除いて、加工された第２の画像３２′を生成する。

また、シーンによっては、色域の最頻部分を判定するために、それぞれのカメラの動きをキャンセルする。このとき、動きベクトルの最頻値を複数の画像の共通部分として用いる。この処理は、例えば、カメラをパン・チルト又はズーム方向に移動して撮影する場合に行われる。つまり、オブジェクトの動きベクトルを特徴量として検出する場合、カメラがパン・チルトやズームをすると、それらの動きが画像の動きベクトルに現れてしまう。例えば、左から右方向にパンする時は、被写体が逆（右から左方向）に流れてしまう。また、ズーム時には、画像の中心に位置するオブジェクト以外は、画面の外に流れてしまう。

マッチングの精度を向上させるためには、カメラの動きにより生じる動きベクトルの影響を取り除く必要がある。例えば、第１のカメラがパンして撮像した画像であれば、カメラをパンすることによって生じる動きベクトル（この動きベクトルは、パン方向とは逆方向である。）を除去する。この処理により、第１のカメラと異なる撮影（動き）をしている第２のカメラで撮影される被写体の動きベクトルを、第１のカメラで撮影した被写体の動きベクトルとマッチングすることが容易となる。この処理を、「カメラの動きをキャンセルする。」とも称する。なお、画像に含まれる色の判断をするときには、カメラの動きをキャンセルする処理は不要である。一方、最頻の動きベクトルを検出してオブジェクトを特定する場合には、カメラの動きをキャンセルする処理が必要である。

特徴量検出部２１によって行われるこの処理は、基本的に同一オブジェクトを決定する場合に動きベクトルを用いてマッチングする処理として、図３におけるステップＳ８で行われる。なお、最頻の色域ではなく、最頻の動きベクトルを有する同一オブジェクトを決定するためのパラメータとして使う場合、図３におけるステップＳ４でもこの処理が行われる。このとき、動きベクトルの最頻値は、被写体を特定し、除去領域を特定するための判定に用いる。この場合であっても、最頻の動きベクトルを複数の画像の共通部分とする。

図１４は、第１の画像３１を主画像とし、画像処理された第２の画像３２′を副画像として得られる合成画像３３の例を示す。ところで、図１４における第２の画像３２′の境界に枠線を表示しているが、この枠線は説明のため便宜的に設けたものであり実際の画面中になくてもよい。もちろん主画像に副画像が重畳されていることを容易に理解できるように枠線を表示してもよい。

複数の画像間に共通する部分（例えば、グラウンド）を抽出した後、これらの画像を合成する。そして、同一画面に重畳して出力をする際の画像重畳座標を決定して、ユーザが同一オブジェクトを指定する。画像重畳座標とは、合成画像における同一オブジェクトの座標である。画像の座標とは、一般にそのオブジェクトの中心（重心）の座標をいう。又は、オブジェクトの任意の特徴点を位置合わせ座標としてもよい。主画像と副画像に含まれる同一オブジェクトの座標を検出することで、画像重畳座標に対する差を求めることができる。この差をなくすように、主画像と副画像のオブジェクトを移動して合成すると、画像重畳座標で常に同一オブジェクト（例えば、ボール）が表示された状態で合成画像が提示されることになる。

画像重畳座標を求めるためには、まず画像間で同一のオブジェクトをマッチングする。同一オブジェクトのマッチングとは、複数の画像に共通して含まれるオブジェクトの特徴量（例えば、色、形状）から同一オブジェクトを検出する処理である。他には、動きベクトルをマッチングすることによって、同一オブジェクトを決定することもできる。各画像に共通して含まれる同一オブジェクトが検出されると、同一オブジェクトが提示画面の同じ座標に提示されるように処理できる。

このとき、例えば、画像処理装置１０は、画像表示装置６にオブジェクトを特定する際の選択メニューを表示する。このメニューは、ユーザ操作と、自動操作を選択するメニューである。ユーザ操作メニューが選択されると、ユーザは、主画像から拡大表示したい目標点（注目オブジェクト）を指定する。自動操作メニューが選択された場合、画像処理装置１０は、自動検出によって動き量の大きい物体を注目オブジェクトとする。
注目オブジェクトを特定した後、主画像に副画像を重畳する。あるフレームで主画像、副画像で注目オブジェクトが特定された後は、それぞれのオブジェクトの動きを追尾する。

図１５は、第２の画像３２を主画像として、画像処理された第１の情景３１′を副画像として得られる合成画像３４の例を示す。ところで、図１５における第１の画像３１′の境界に枠線を表示しているが、この枠線は説明のため便宜的に設けたものであり実際の画面中になくてもよい。もちろん主画像に副画像が重畳されていることを容易に理解できるように枠線を表示してもよい。

ここでは、画像処理された第１の画像３１′を第２の画像３２に重ねる。第１の画像３１′に施される画像処理は、上述した図１３で説明した処理と同様である。ただし、副画像となる第１の画像３１′はズーム率を変えて重畳される。このように画像合成の倍率、形状は、ユーザの操作によって変えられる。例えば、動画像である場合、個々の人物の動きが明確になる。このため、ユーザは、違和感なく重畳された画像を見ることができる。また、共通部分（本例では、グラウンドの色域）を除去した上で、複数の画像を重畳できる。これにより、ユーザが画像を観賞する際に視点移動が少なくなる。

同一オブジェクトを求めて、第１の画像３１に被写体の背景を除去した上で第２の画像３２を重ね合わせる場合、動き量と色域をそれぞれ第１及び第２の特徴量として求め、各特徴量を組み合わせるとよい。特徴量検出部２１が第１の画像と第２の画像に含まれる被写体の動き量を第１の特徴量として検出できる。この第１の特徴量は、第１の画像と第２の画像に共通し、頻度の高い動き量である。さらに、特徴量検出部２１は、第１の画像と第２の画像に含まれる色域を第２の特徴量として検出できる。この第２の特徴量は、第１の画像と第２の画像に共通し、頻度の高い色域である。そして、特徴量検出部２１は、第１の画像及び第２の画像を構成する画素毎に検出した所定の色座標系における色域の度数を各画像の色域毎に累積した値が所定の閾値より大きい色域を抽出する。この色域は、第１の画像３１と第２の画像３２における特徴部分として抽出される領域である。そして、除去領域検出部２２は、第２の画像３２の、第１の画像３１の特徴部分と第２の画像３２の特徴部分において共通する色域に該当する領域を除去する。

例えば、第１及び第２の画像に含まれる被写体のうち、グラウンドの色が最も画面の広範囲を占める場合がある。このとき、グラウンド部分については動きがないため、動きベクトルも生じない。この場合、動きベクトルのスカラー量がゼロである領域（例えば、グラウンド部分）が、特徴量検出部２１が特徴量として認識する動きベクトルの最頻値と言える。この動きベクトルの最頻値の領域について、副画像の色域を除去した上で主画像に重ね合わせることができる。さらに、動きベクトルの最頻値を第１の特徴量として認識し、色域を第２の特徴量として認識することによって、除去領域を検出する精度を高めることができる。

以上説明した第１の実施の形態に係る画像処理装置１０では、複数のカメラで撮像された画像から、主画像と副画像を選択して自由に画像を重畳できる。このとき、重畳画像の選択、ズーム率や選択画像の切出し等を操作することが可能である。このため、視聴者は、画面の一部（見たい部分）を集中して見ながら、同時に画面全体を見ることができる。

また、複数の画像を提示する場合に、従来のように画面を区切って並べて提示してしまうと、元の画サイズより小さいサイズでしか見ることができない。しかし、本実施の形態例のように画像を重畳することで、画サイズを小さくしなくてよい。このため、複数の画像があっても、主画像の迫力などを損なわずに提示できるという効果がある。

また、複数の画像間で冗長な共通部分を排除して重畳することで、複数の画像を重畳しても、各画像の内容を直感的に理解できる。また、重要部分は重畳した画像の最上面に配置するため、重畳される側の画像も大きく隠されることなく視聴できるという効果がある。

また、主画像のうちユーザが指定する部分（あるいは、画像処理装置が指定する部分）のみに副画像が重畳される。このため、二つの画像を並べて見る場合に比べて、異なるアングルから撮像された画像を比較することが容易となる。また、時間をずらして複数の画像を重畳すると、時間による変化を明瞭に理解できるという効果がある。

次に、本発明の第２の実施の形態に係る画像処理装置４０について、図１６と図１７を参照して説明する。
画像処理装置４０は、第１のカメラ３から入力された１つの画像の一部を切出してズームし、ズーム画像と原画像により合成画像を生成するものである。ただし、図１６において、既に第１の実施の形態で説明した図２に対応する部分には同一符号を付し、詳細な説明を省略する。

画像処理装置４０は、保存部１１と、画像重畳部４１と、外部信号入力部１３と、を備える。画像重畳部４１は、保存部１１から読出した画像データの一部を副画像として切り出す副画像切出し部４２と、特徴量検出部２１と、除去領域検出部２２と、画像合成部２３とを備える。外部信号入力部１３から入力されるユーザの操作情報は、副画像切出し部４２、除去領域検出部２２及び画像合成部２３に供給される。

保存部１１から読出す画像データが１画像のみである場合、まず、ユーザが注目部分を選択する。この注目部分とは画像の一部をズームして得られる画像である。副画像切出し部４２は、第１のカメラ３が撮像した主画像から切出した部分画像を拡大し、第２の画像として特徴量検出部２１に供給する。

特徴量検出部２１は、選択された注目部分と原画像との間で、最頻色域を求める。除去領域検出部２２は、最頻色域が共通する各画像の共通部分を除去する。そして、画像合成部２３は、主画像とズームされた部分画像を合成する。同一画像から合成画像を作成する場合であって、注目オブジェクトが特に指定されないときには、ユーザによって選択された座標を反映して重畳位置を決定する。

図１７は、画像処理装置４０で行われる画像処理の例である。
図１７（ａ）は、原画像の例である。
原画像５１には、複数の人物が含まれる。このうち、ユーザが選択した人物が映る範囲を注目画像５２とする。
図１７（ｂ）は、注目画像５２を加工したズーム画像５３の例である。
注目画像５３には、拡大された人物が含まれる。
図１７（ｃ）は、原画像５１にズーム画像５３を重ねて合成した合成画像５４の例である。
原画像５１に、ズーム画像５３を重畳することで、合成画像５４が作成される。このため、ユーザは、注目画像５２の周りを見ながら、注目画像５２だけをズームして一画面で見ることができる。

以上説明した第２の実施の形態によれば、１つの画像の一部分をズームした上で、原画像に重畳して表示できる。このため、ユーザは、時間の経過によって異なる複数の画像を重ねて表示することを選択できる。このため、複数の時間で起きる現象を同一画面で観測できる。また、主画像と副画像の再生速度を変えて重畳できる。同一オブジェクトを重ねて提示することもできるので、二つの画像を見るのに視線の移動が少なく、重要部分を同時に理解できるようになる。

ズーム画像と全体画像を重畳することで、ズームした詳細を見ながらも全体の情報も同時に理解しやすくなる。また、単一の画像であっても、原画像に対して、原画像の一部を加工した副画像を重畳することで、自分の見たい箇所をより詳しく見ることができる。大画面に提示した場合など、複数の注目画像を切出して原画像に重ねることが可能となり、画像の視認性が向上する。

なお、実施形態の例としては、上述した形態に限られない。例えば、撮影された時間が異なる画像であっても、重ねて表示することで異なった日の動作の違いを観察することもできる。また、異なる場所で撮像された画像についても一画面で同時に視聴できる。例えば、視聴者が特に見たい画像の上に、別の競技場で行われている試合の重要な部分だけ重ねることによって、二つの試合を同時に観賞できる。他の適応例としては、監視用モニタへの重畳表示がある。広域で撮像されたパン画像に、侵入者等が撮像されたズーム画像を重ねて表示することで、セキュリティへの応用なども考えられる。

また、除去領域検出部２２は、第１の画像を構成する画素毎に検出した所定の色座標系における色域の度数を色域毎に累積した値が所定の閾値より大きい色域を、第２の画像から除去する共通の色域とするようにしてもよい。このため、第１の画像に含まれる色域を活用した状態で、自然に第２の画像を合成することができる。

また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。

また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施の形態例の機能が実現される場合も含まれる。

また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本発明は上述した実施の形態例に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。

本発明の第１の実施の形態例における画像処理装置の配置例を示す説明図である。 本発明の第１の実施の形態例における画像処理装置の内部構成例を示すブロック図である。 本発明の第１の実施の形態例における画像重畳処理の例を示すフローチャートである。 本発明の第１の実施の形態例における画像の色域検出処理と画像合成処理の例を示すフローチャートである。 本発明の第１の実施の形態例における第１の画像の例を示す説明図である。 本発明の第１の実施の形態例における第２の画像の例を示す説明図である。を合成した例を示す説明図である。 本発明の第１の実施の形態例における第１の画像の色域分布の例を示す説明図である。 本発明の第１の実施の形態例における第２の画像の色域分布の例を示す説明図である。 本発明の第１の実施の形態例における閾値を超える第１の画像の色域の例を示す説明図である。 本発明の第１の実施の形態例における閾値を超える第２の画像の色域の例を示す説明図である。 本発明の第１の実施の形態例における第１及び第２の画像の色域分布のうち、閾値を超える共通部分の色域を３次元表示した例を示す説明図である。 本発明の第１の実施の形態例における第１及び第２の画像の色域分布のうち、閾値を超える共通部分の色域を２次元表示した例を示す説明図である。 本発明の第１の実施の形態例における第２の画像から所定の色域（グラウンドの色）を除いた例を示す説明図である。 本発明の第１の実施の形態例における第１の画像を主画像として第２の画像を合成した例を示す説明図である。 本発明の第１の実施の形態例における第２の画像を主画像として第１の画像を合成した例を示す説明図である。 本発明の第２の実施の形態例における画像処理装置の内部構成例を示すブロック図である。 本発明の第２の実施の形態例における重畳画像の表示例を示す説明図である。

符号の説明

１…画像処理システム、３…第１のカメラ、４…第２のカメラ、６…画像表示装置、１０…画像処理装置、１１…保存部、１２…画像重畳部、１３…外部信号入力部、２１…特徴量検出部、２２…除去領域検出部、２３…画像合成部

Claims (11)

1. 同一の被写体が含まれる第１の画像と第２の画像に含まれる所定の色座標系における色域を、前記第１の画像と前記第２の画像のそれぞれの特徴を表す特徴量として検出し、前記第１の画像と前記第２の画像に共通する頻度の高い色域を求め、前記第１の画像及び前記第２の画像を構成する画素毎に検出した色域の度数を各画像の色域毎に累積した値が前記所定の閾値より大きい色域を、前記第１の画像及び前記第２の画像における特徴部分として抽出する特徴量検出部と、
   前記特徴量検出部で検出された特徴量が所定の閾値より大きい、前記第２の画像の、前記第１の画像の特徴部分と前記第２の画像の特徴部分において共通する色域に該当する領域を除去する除去領域検出部と、
   前記除去領域検出部で前記除去された領域が透明化された前記第２の画像を前記第１の画像に重ね合わせる画像合成部と、を備える
   画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１の画像から切出した部分画像を拡大し、前記第２の画像として前記特徴量検出部に供給する画像切出し部、を備える
   画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記第１の画像は前記被写体のパン画像であり、前記第２の画像は前記第１の画像に含まれる前記被写体のズーム画像である
   画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記除去領域検出部は、前記第１の画像を構成する画素毎に検出した前記所定の色座標系における色域の度数を色域毎に累積した値が所定の閾値より大きい色域を、前記第２の画像から除去する前記共通の色域とする
   画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記特徴量検出部によって求められる前記色域と、前記所定の閾値と、前記除去領域検出部によって除去される領域は、操作部からの入力に基づいて決定される
   画像処理装置。
6. 請求項１〜５のいずれか１項に記載の画像処理装置において、
   前記画像合成部によって合成される前記第１の画像に対する前記第２の画像の位置は、前記操作部からの入力に基づいて決定される
   画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記特徴量検出部は、前記第１の画像と前記第２の画像に含まれる前記被写体の動き量を第２の特徴量として検出し、前記第１の画像と前記第２の画像に共通する頻度の高い動き量を求め、
   前記除去領域検出部は、前記特徴量検出部で検出された前記動き量を持つ被写体オブジェクトの背景の領域を前記第２の画像から除去する
   画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記画像合成部によって合成される前記第１の画像に対する前記第２の画像の位置は、前記第１の画像に含まれる前記被写体の動きに基づいて決定される
   画像処理装置。
9. 同一の被写体が含まれる第１の画像と第２の画像に含まれる所定の色座標系における色域を、前記第１の画像と前記第２の画像のそれぞれの特徴を表す特徴量として検出し、前記第１の画像と前記第２の画像に共通する頻度の高い色域を求め、前記第１の画像及び前記第２の画像を構成する画素毎に検出した色域の度数を各画像の色域毎に累積した値が前記所定の閾値より大きい色域を、前記第１の画像及び前記第２の画像における特徴部分として抽出するステップと、
   所定の閾値より大きい、前記第１の画像の特徴部分と前記第２の画像の特徴部分において共通する色域に該当する領域を前記第２の画像から除去するステップと、
   前記除去された領域が透明化された前記第２の画像を前記第１の画像に重ね合わせるステップと、を含む
   表示制御方法。
10. 同一の被写体が含まれる第１の画像と第２の画像に含まれる所定の色座標系における色域を、前記第１の画像と前記第２の画像のそれぞれの特徴を表す特徴量として検出し、前記第１の画像と前記第２の画像に共通する頻度の高い色域を求め、前記第１の画像及び前記第２の画像を構成する画素毎に検出した色域の度数を各画像の色域毎に累積した値が前記所定の閾値より大きい色域を、前記第１の画像及び前記第２の画像における特徴部分として抽出するステップと、
    所定の閾値より大きい、前記第１の画像の特徴部分と前記第２の画像の特徴部分において共通する色域に該当する領域を前記第２の画像から除去するステップと、
    前記除去された領域が透明化された前記第２の画像を前記第１の画像に重ね合わせるステップと、を含む処理を
    コンピュータに実行させるためのプログラム。
11. 請求項１０に記載のプログラムを格納した
    記録媒体。