JP4596929B2 - 背景画像生成装置及び背景画像生成プログラム - Google Patents

Description

本発明は、背景画像生成装置及び背景画像生成プログラムに関するものであり、より詳細には、カメラ等で撮影した入力画像から背景部分を抽出し背景画像を生成する背景画像生成装置及び背景画像生成プログラムに関する。

スポーツ中継放送において選手の動きを視聴者に分かりやすく表現することは、かなり重要なことであり、そのために多くの技術が研究されている。例えば、スローモーション再生により選手の動きを遅くして動きが見えやすいようにしたり、マルチモーション再生により所定の動作を行う選手の画像を抽出するとともに、抽出した選手の画像のうち、複数の静止画像を逐次重ねて背景画像に表示したりする手法は、実際のスポーツ中継放送にも利用されている。

このときに問題となるのが所定の動作を行う選手の画像と背景画像を識別する方法である。画面表示用の画像データは、色情報及び輝度情報の集合であり、そのデータ内の情報が選手の画像データに関する情報なのか背景の画像データに関する情報なのかが区別されていない。そのため、背景画像を抽出するのは困難であった。

これに対して、動画像から背景画像を抽出する方法が研究され、提案されている（例えば、特許文献１など）。特許文献１の方法では、動画像の動きベクトルを算出し、算出した動きベクトルから予測画像を生成し、予測画像と実画像の差分から背景領域を決定している。

しかしながら、このような方法では、部分的な背景領域を決定することはできるものの、背景画像を全体として生成することはできないという問題点があった。
特開２００３−３２６８８号公報

このように、従来技術による背景画像の生成方法は、部分的な背景領域を決定することはできるものの、背景画像を全体として生成することはできないという問題点があった。

本発明は、このような問題点を解決するためになされたものであり、別途背景画像を用意することなく自動的に背景画像を生成することが可能な背景画像生成装置を提供することを目的とする。

本発明における背景画像生成装置は、被写体画像及び背景画像を含み、複数のフレームよりなる入力画像データから背景部分を抽出し１フレーム分の背景画像データを生成する背景画像生成装置であって、前記入力画像データを入力する画像入力部と、前記画像入力部により入力された入力画像データを構成する各フレームにおいて１フレーム中の所定画像領域を示すブロック毎に分割する画像分割部と、前記画像分割部により分割されたブロック毎に輝度値を計算する輝度計算部と、前記輝度計算部により計算された輝度値の変化量が少ない隣接フレーム列を抽出し、抽出した隣接フレーム列の中から当該ブロックの背景画像データを決定する背景画像抽出部と、前記背景画像抽出部によりブロック毎に決定された背景画像データを合成し、１フレーム分の全領域に亘る背景画像データを生成する背景画像合成部を備えた背景画像生成装置である。このような構成により、別途背景画像を用意することなく自動的に背景画像を生成することが可能となる。

前記背景画像抽出部は、前記輝度計算部により計算された輝度値の隣接フレーム間差分量を計算する差分計算部と、前記差分計算部により計算された隣接フレーム間差分量に基づき、前記隣接フレームの中から当該ブロックの背景画像データを決定する背景画像決定部を備えることを特徴としてもよい。

前記輝度計算部は、前記画像データの備える色情報に基づいて周波数成分を計算することにより輝度値を決定することを特徴としてもよい。

前記背景画像決定部は、前記差分計算部により計算された各フレームの輝度値の隣接フレーム間差分量のうち最も小さい値をとる隣接フレームの中から当該ブロックの背景画像データを決定することを特徴としてもよい。

本発明における背景画像生成プログラムは、被写体画像及び背景画像を含み、複数のフレームよりなる入力画像データから背景部分を抽出し１フレーム分の背景画像データを生成する背景画像生成プログラムであって、前記入力画像データを入力するステップと、前記画像データを入力するステップにより入力された入力画像データを構成する各フレームにおいて１フレーム中の所定画像領域を示すブロック毎に分割するステップと、前記ブロック毎に分割するステップにより分割されたブロック毎に輝度値を計算するステップと、前記輝度値を計算するステップにより計算された輝度値の変化量が少ない隣接フレーム列を抽出し、抽出した隣接フレーム列の中から当該ブロックの背景画像データを決定するステップと、前記背景画像データを決定するステップにより決定された背景画像データを合成し、１フレーム分の全領域に亘る背景画像データを生成するステップをコンピュータに行わせる背景画像生成プログラムである。こうすることにより、別途背景画像を用意することなく自動的に背景画像を生成することが可能となる。

前記背景画像データを決定するステップは、前記輝度値を計算するステップにより計算された輝度値の隣接フレーム間差分量を計算するステップと、前記隣接フレーム間差分量を計算するステップにより計算された隣接フレーム間差分量に基づき、前記隣接フレームの中から当該ブロックの背景画像データを決定するステップを備えることを特徴としてもよい。

前記輝度値を計算するステップは、前記画像データの備える色情報に基づいて周波数成分を計算することにより輝度値を決定することを特徴としてもよい。

前記ブロック背景画像データを決定するステップは、前記差分量を計算するステップにより計算された各画像データの輝度値の差分量のうち最も小さい値をとる画像データの中から当該ブロックの背景画像データを決定することを特徴としてもよい。

本発明によれば、別途背景画像を用意することなく自動的に背景画像を生成することが可能な背景画像生成装置を提供することが可能となる。

発明の実施の形態１．
図１は、本発明の実施の形態１における背景画像生成装置のハードウェア構成を示すブロック図である。背景画像生成装置１００は、ＣＰＵ（Central Processing Unit）１０１とＲＡＭ（Random Access Memory）１０４とを有している。ＣＰＵ１０１とＲＡＭ１０４とは、バス１３０を介して補助記憶装置としてのＨＤＤ（Hard Disk Drive）１１３に接続される。ＨＤＤ１１３、ＣＤドライブ１２６等の記憶媒体駆動装置は、ＩＤＥコントローラ１２５などの各種コントローラを介してバス１３０に接続される。

ＣＰＵ１０１は、背景画像生成装置１００における各種制御を実行する中央演算処理装置であり、各種制御はＲＡＭ１０４に読み込まれたプログラムを実行することにより行われる。ＲＡＭ１０４は、プログラムやプログラム実行に必要なデータを格納する記憶手段である。

キーボードマウスコントローラ１０５は、ユーザーによるキーボード１０６やマウス１０７の入力を検出し、検出結果をＣＰＵ１０１に出力する。キーボード１０６は複数のボタンを有し、ボタンの押下によりユーザーが入力を行うための入力手段である。キーボード１０６は、主に単語や文章などの文字列の入力に利用される。マウス１０７は、ユーザーの操作により画面上の位置を指定し、ボタンの押下により指定した位置に基づいた入力を行うための入力手段である。マウス１０７は主にＧＵＩ（Graphical User Interface）などの画面上に表示された情報を選択し決定するためのポインティングデバイスとして利用される。

ビデオコントローラ１０８は、接続された表示装置に視覚情報を表示するための制御を行う。ＶＲＡＭ１０９は、表示する視覚情報に必要なデータを記憶するための記憶手段である。ＶＲＡＭ１０９は、ＲＡＭ１０４によりその機能を実現してもよいし、専用のＲＡＭであってもよい。

ＲＯＭ１１４は、背景画像生成装置１００における各種制御を実行するためのプログラムを格納するための記憶手段である。ＲＯＭ１１４は、読み出し専用のメモリであり書き換えが不可能であるため、背景画像生成装置１００の電源投入直後などの重要なハードウェア制御のプログラムの格納等に主に利用される。

シリアルポート１１５、パラレルポート１１６は、プリンタやスキャナ、デジタルカメラ等の周辺機器を接続し、接続した周辺機器とのデータの入出力を行うためのポートである。シリアルポート１１５、パラレルポート１１６の代わりにＵＳＢ（Universal Serial Bus）等に周辺機器を接続するようにしてもよい。

通信アダプタ１１８は、インターネットなどのネットワークと接続し、接続したネットワークとデータの送受信を行うためのアダプタである。ネットワークとの接続はケーブルによる有線接続であってもよいし、無線による接続であってもよい。

ＩＤＥコントローラ１２５は、ＨＤＤ１１３やＣＤドライブ１２６とのデータの入出力を制御するコントローラである。ＨＤＤ１１３は、オペレーティングシステムと共同してＣＰＵ１０１等に命令を与え、本実施形態を実施するためのプログラムやプログラム実行時に必要なデータを記憶することができる。ＣＤドライブ１２６は、ＣＤ−ＲＯＭに記憶されたプログラムやプログラム実行時に必要なデータの読み込みを行う。これらのプログラムは圧縮し、又、複数に分割して記憶することができる。

図１に示すハードウェア構成は一般的なコンピュータ・システムと同等である。つまり、背景画像生成装置１００は、一般的なコンピュータ・システムが利用可能である。上記構成は必要に応じて省略することができる。

図２は、本発明における背景画像生成装置１００の機能構成を示すブロック図である。背景画像生成装置１００は、データ記憶部１、画像入力部２、画像分割部３、輝度計算部４、差分計算部５、画像合成部６を備える。

データ記憶部１は、画像入力部２より入力した画像データや、画像分割部３、輝度計算部４、差分計算部５、画像合成部６がそれぞれ生成する各種データを格納するための記憶手段であり、ＲＡＭ１０４やＨＤＤ１１３により実現される。

画像入力部２は、画像データの入力を行う。ここで入力する入力画像データは、シリアルポート１１５やパラレルポート１１６にカメラ等の撮影装置を接続して入力するようにしてもよいし、すでに撮影済みのaviファイルなどの動画データをＨＤＤ１１３やＣＤドライブ１２６から読み込み入力するようにしてもよい。画像入力部２は、入力した入力画像データをデータ記憶部１に格納する。

画像分割部３は、画像入力部２により入力された入力画像データを構成する各画像データについてブロック単位に分割する。いくつのブロックに分割するかは特に限定されないが、本実施例では４×４の１６ブロックに分割を行う。

輝度計算部４は、画像分割部３により分割された各ブロックデータについて、輝度値の計算を行う。輝度値の計算方法としては、各ブロックの色情報データに２次元離散コサイン変換をかけ、係数を取得することにより周波数データを求め、求めた周波数データの特定の部位を輝度値とする方法が考えられる。

差分計算部５は、輝度計算部４により計算された輝度値の差分計算を行う。ここでの計算は、単純に輝度値の減算を行うだけでよい。ここで求められた差分値は、画像の変化量情報として利用される。

画像合成部６は、差分計算部５により計算された差分値から最も変化量の少ないブロック画像データを決定し、ブロック毎に決定された、変化量の少ないブロック画像データを合成して最終的な背景画像データの生成を行う。

画像入力部２、画像分割部３、輝度計算部４、差分計算部５、画像合成部６の各種制御は、ＨＤＤ１１３やＣＤドライブ１２６に格納されたプログラムをＲＡＭ１０４に読み込みＣＰＵ１０１が実行することにより行われる。

続いて、背景画像生成の処理の流れについて説明する。図３は、本発明の実施の形態１における背景画像生成装置１００の処理の流れを示すフローチャートである。

まず、画像入力部２が画像データを入力し、データ記憶部１に格納する（Ｓ１）。図４は入力画像データの例である。この例では２ａ〜２ｃの３フレームで入力画像データが構成されているが、実際はもっと多くの画像により入力画像データが構成されている場合が多い。その後、画像分割部３が入力した入力画像データを構成する各フレームについて、ブロック分割を行う（Ｓ２）。図５はブロック分割を行った入力画像のイメージ図である。背景画像は、画像分割部３により分割されたそれぞれのブロック毎に決定され、最終的に合成されて背景画像となる。ブロック毎の背景画像の決定は、先頭のブロックから順次行われる（Ｓ３）。このとき、分割するブロックのうち、どのブロックを先頭にしてどの順番で背景画像を決定してもよい。

その後、ブロック毎に背景画像の決定を行う。ブロック毎の背景画像の決定は、各フレームの当該ブロックの輝度値の差分値に基づいて決定する。まず、輝度計算部４は、当該ブロックの各フレームの画像データを時間軸に沿って並べ、先頭から隣り合う２フレームを抽出する（Ｓ４）。ここでの「隣り合う」とは、位置が並んでいることではなく、時間軸に対して並べられた各画像データの同一ブロック間で隣り合っていることを意味する。このとき、数フレーム毎に間隔を空けて抽出することにより、計算量を減らすようにしてもよい。２フレームを抽出すると、輝度計算部４は、入力した各ブロック画像データについての周波数データを計算し取得する（Ｓ５）。周波数データは、例えば、各ブロックの色情報データに２次元離散コサイン変換をかけることにより取得する。ここで得られた周波数データが輝度データとなる。図６は、輝度データに変換を行ったときの流れを示す図である。

輝度計算部４が輝度データを取得すると、輝度計算部４は、取得した輝度データを差分計算部５に対して出力する。差分計算部５は、輝度計算部４から入力した周波数データの特定の部位について隣り合う２フレームを比較し、差分値を計算する（Ｓ６）。先頭の２フレームのブロック画像データについての差分値の計算が終わると２フレーム目と３フレーム目の間で差分値を計算する。この作業を全ての隣り合う画像データ間で行う。図７は、計算した差分値を示す図である。図に示す３ａと３ｂの差分値が４ａ、３ｂと３ｃの差分値が４ｂである。

差分計算部５が全ての隣り合う画像データ間の周波数データの差を求めると（Ｓ７）、差分計算部５は、求めた差分値データを画像合成部６に対して出力する。画像合成部６は、差分計算部５から入力した差分値データを入力すると、入力した差分値データを利用して入力画像データの中から背景画像となる画像データを決定する（Ｓ８）。

背景画像となる画像データは、例えば、次のようにして決定する。図８は背景画像となる画像データの決定方法を示す図である。この図の例では入力画像データは１０フレームで構成されている。図８に示すＦ１〜Ｆ９はそれぞれの隣接フレーム間の差分値である。例えば、Ｆ１は１フレームと２フレームの当該ブロックの輝度値の差分値、Ｆ２は２フレームと３フレームの当該ブロックの輝度値の差分値である。まず、隣り合う４つの画像データの同じブロックについて、周波数データの差を合計する。この合計値がそれぞれＳ１〜Ｓ６である。つまりＳ１＝Ｆ１＋Ｆ２＋Ｆ３、Ｓ２＝Ｆ２＋Ｆ３＋Ｆ４である。この４つの画像データの同じブロックの周波数の差の合計計算を全ての隣り合う４つの隣接フレーム列について行う。そして、周波数データの差の合計値が最も小さい隣接フレーム列を安定隣接フレーム列とみなし、その安定隣接フレーム列の中から１つ、例えば２番目のフレームを選択し、当該ブロックの背景画像データとする。

当該ブロックの背景画像データが決定すると、次のブロックで同じ作業を行う（Ｓ１０）。この作業を全部のブロックについて行う。

全てのブロックについての背景画像データが決定すると（Ｓ９）、画像合成部６は、決定された各ブロックの背景画像データを合成する（Ｓ１１）。画像合成部６が合成を行った結果生成された背景画像データが最終的な背景画像データとなる。図９は、最終的な背景画像データである。５ａが各ブロックの背景画像データ合成時であり、５ｂが最終的な背景画像データである。画像合成部６は、生成した最終的な背景画像データをデータ記憶部１に格納する。

このようにすることにより、背景画像を用意することなく自動的に生成することが可能となる。

その他の発明の実施の形態．
上述の例では、一般的なコンピュータ・システムを用いて画像合成装置を実現していたが、これを、専用のコンピュータを用いて行うようにしてもよい。また、複数のコンピュータを用いてこれを行うようにしてもよい。

本発明における画像合成装置のハードウェア構成を示すブロック図である。 本発明における画像合成装置の機能構成を示すブロック図である。 本発明における画像合成装置の処理の流れを示すフローチャートである。 本発明における入力画像データの例を示す図である。 本発明における画像データのブロック分割の例を示す図である。 本発明における輝度値計算の例を示す図である。 本発明における差分値計算の例を示す図である。 本発明における背景画像となる画像データの決定方法を示す図である。 本発明における最終画像データの例を示す図である。

符号の説明

１ データ記憶部
２ 画像入力部
３ 画像分割部
４ 輝度計算部
５ 差分計算部
６ 画像合成部
１００ 背景画像生成装置
１０１ ＣＰＵ
１０４ ＲＡＭ
１０５ キーボードマウスコントローラ
１０６ キーボード
１０７ マウス
１０８ ビデオコントローラ
１０９ ＶＲＡＭ
１１３ ＨＤＤ
１１４ ＲＯＭ
１１５ シリアルポート
１１６ パラレルポート
１１８ 通信アダプタ
１２５ ＩＤＥコントローラ
１２６ ＣＤドライブ
１３０ バス

Claims (8)

1. 被写体画像及び背景画像を含み、複数のフレームよりなる入力画像データから背景部分を抽出し１フレーム分の背景画像データを生成する背景画像生成装置であって、
   前記入力画像データを入力する画像入力部と、
   前記画像入力部により入力された入力画像データを構成する各フレームにおいて１フレーム中の所定画像領域を示すブロック毎に分割する画像分割部と、
   前記画像分割部により分割されたブロック毎に輝度値を計算する輝度計算部と、
   前記輝度計算部により計算された輝度値の変化量が少ない隣接フレーム列を抽出し、抽出した隣接フレーム列の中から当該ブロックの背景画像データを決定する背景画像抽出部と、
   前記背景画像抽出部によりブロック毎に決定された背景画像データを合成し、１フレーム分の全領域に亘る背景画像データを生成する背景画像合成部を備えた背景画像生成装置。
2. 前記背景画像抽出部は、
   前記輝度計算部により計算された輝度値の隣接フレーム間差分量を計算する差分計算部と、
   前記差分計算部により計算された隣接フレーム間差分量に基づき、前記隣接フレームの中から当該ブロックの背景画像データを決定する背景画像決定部を備えることを特徴とする請求項１記載の背景画像生成装置。
3. 前記輝度計算部は、前記画像データの備える色情報に基づいて周波数成分を計算することにより輝度値を決定することを特徴とする請求項１または２記載の背景画像生成装置。
4. 前記背景画像決定部は、前記差分計算部により計算された各フレームの輝度値の隣接フレーム間差分量のうち最も小さい値をとる隣接フレーム列の中から当該ブロックの背景画像データを決定することを特徴とする請求項２または３記載の背景画像生成装置。
5. 被写体画像及び背景画像を含み、複数のフレームよりなる入力画像データから背景部分を抽出し１フレーム分の背景画像データを生成する背景画像生成プログラムであって、
   前記入力画像データを入力するステップと、
   前記画像データを入力するステップにより入力された入力画像データを構成する各フレームにおいて１フレーム中の所定画像領域を示すブロック毎に分割するステップと、
   前記ブロック毎に分割するステップにより分割されたブロック毎に輝度値を計算するステップと、
   前記輝度値を計算するステップにより計算された輝度値の変化量が少ない隣接フレーム列を抽出し、抽出した隣接フレーム列の中から当該ブロックの背景画像データを決定するステップと、
   前記背景画像データを決定するステップにより決定された背景画像データを合成し、１フレーム分の全領域に亘る背景画像データを生成するステップをコンピュータに行わせる背景画像生成プログラム。
6. 前記背景画像データを決定するステップは、
   前記輝度値を計算するステップにより計算された輝度値の隣接フレーム間差分量を計算するステップと、
   前記隣接フレーム間差分量を計算するステップにより計算された隣接フレーム間差分量に基づき、前記隣接フレームの中から当該ブロックの背景画像データを決定するステップを備えることを特徴とする請求項５記載の背景画像生成プログラム。
7. 前記輝度値を計算するステップは、前記画像データの備える色情報に基づいて周波数成分を計算することにより輝度値を決定することを特徴とする請求項５または６記載の背景画像生成プログラム。
8. 前記ブロック背景画像データを決定するステップは、前記差分量を計算するステップにより計算された各画像データの輝度値の差分量のうち最も小さい値をとる画像データの中から当該ブロックのブロック背景画像データを決定することを特徴とする請求項６または７記載の背景画像生成プログラム。

Images