JP4864038B2 - 表示面に表示する画像を変換する方法及び装置 - Google Patents

Description

本発明は、包括的には画像処理に関し、特に、入力画像を出力画像として、入力画像とは異なる解像度及び／又はアスペクト比を有する表示面に描画することに関する。

表示装置、例えばテレビ、プロジェクタ、並びにデスクトップコンピュータ及びラップトップコンピュータの表示面は、物理的に大きく、高解像度になってきているが、画像が表示される方法はほとんど変わっていない。一般に、小型の表示面用に作成された画像を単に拡大して大型の表示面全体を埋める。大型の表示面が提供する利点を最大限に活かす工夫はほとんどなされていない。また、表示面のアスペクト比はしばしば、入力画像のアスペクト比と異なり得る。よって、アスペクト比の差を調整する何らかの手段を提供しなければならない。

例えば、１９２０×１０８０画素の画像を表示することができる高精細テレビ（ＨＤＴＶ）は、６４０×４８０画素の解像度の標準精細テレビ信号を取得し、ビデオのこの低解像度画像を単にスケーリングして高解像度の表示面全体を埋め、おそらくは両側をクロッピングする。

低解像度画像の表示の他の例には、画像の元の低解像度及び／又はアスペクト比を保存しながら画像を高解像度ディスプレイに描画することがある。このような例では、画像は表示面の一部のみを占めるため、視聴体験を損なう。このような表示方法の典型例は、画像の全ての辺に黒枠を描画する。これはウインドウボックスと呼ばれる。

別の例は、インターネットにより検索されたビデオを、そのビデオの元のフォーマットで描画することである。この例では、ビデオは、高解像度のビデオディスプレイの比較的小さな部分を占める。

別の例に、入力画像のアスペクト比を保存する、例えば、４×３のＳＤ表示面用の出力画像においてＨＤ信号を保存するレターボックスがある。表示面のアスペクト比が異なるため、結果として得られるビデオは、出力画像の上下にマスクで隠れた領域又はマットを含むことになる。

別の例は、ワイド画面ディスプレイにおいて生じ、黒枠、マット又はマスキングが画像の左右の辺に配されるピラーボックス効果を用いる。

したがって、通常、変換はウインドウボックス、ピラーボックス、又はレターボックスを用い、マットは黒又は未使用である。

表示面の一部のみに画像を描画することは、視聴疲れにつながり、体験の現実感及び深みを低下させ、高解像度表示面の目的及び費用を損ない得る。

視聴体験を高める一方法は、ビデオの内容に依存する「ライトスピーカー」を用いて室内の周囲光を提供する（Guttaにより出願され、２００７年４月２６日付で公開された米国特許出願第２００７００９１１１１号「Ambient Light Derived by Subsampling Video Content and Mapped Through Unrendered Color Space」を参照）。この方法は、付加的な視聴装置外部の機器を必要とし、或る種のディスプレイ及び視聴条件には適さない場合がある。

ビデオは、帯域幅要件及びメモリ要件を減らすためにしばしば符号化及び圧縮されるビデオフレームシーケンス又は画像シーケンスから成る。各フレームは、前又は次のフレームとは独立して表示される。異なる解像度又はアスペクト比を有する表示面に画像を描画して視聴体験を高め、付加的な特殊装置を何ら必要としない新たな方法を得ることが望ましい。

本発明の実施の形態は、表示面に表示する画像を変換する方法及び装置を提供する。結果として得られる出力画像は入力画像から得られる。入力画像はスケーリングされて、内容が入力画像の内容に直接的に対応し、表示時の解像度が表示面の解像度よりも低い前景画像が生成される。また、入力画像は、内容が入力画像に間接的に依存し、解像度が前景画像の解像度よりも高い背景画像に変換される。次に、前景画像が背景画像と結合されて、前景画像の画素が背景画像の対応画素を置き換える出力画像が形成される。本発明のいくつかの実施の形態において、背景画像を変換する方法は様々である。
本発明に係る表示面に表示する画像を変換する方法は、複数のフレームで形成されたビデオの少なくとも一部をメモリに記憶するステップであって、ビデオのフレームは入力画像である、ステップと、前景画像を生成するために、入力画像をスケーリングするステップであって、前景画像の内容は、入力画像の内容に直接的に対応し、表示時の前景画像の解像度は、表示面の解像度よりも低い、ステップと、入力画像を背景画像に変形するステップであって、背景画像の内容は、入力画像に間接的に依存し、背景画像の解像度は、前景画像の解像度よりも高く、入力画像をダウンサンプリングすることにより、５×５画素未満の解像度を有するダウンサンプリング済画像を生成すること、及びダウンサンプリング済画像をアップサンプリングすることにより、背景画像を生成することを備えたステップと、出力画像を形成するために、前景画像を背景画像と結合するステップであって、前景画像の画素は、背景画像の対応画素を置き換える、ステップと、メモリ内に記憶された複数のフレームにおいて複数の出力画像を生成する全てのフレームに対して、スケーリングするステップ、変形するステップ、および結合するステップを繰り返すステップであって、全ての出力画像が時間的に対応する入力画像から作成され、複数の出力画像は出力ビデオを形成し、スケーリングするステップ、変形するステップ、および結合するステップはプロセッサにより実行される、ステップとを含むものである。
また、本発明に係る表示面に表示する画像を変換する装置は、入力画像をスケーリングすることにより、前景画像を生成する手段であって、前景画像の内容は、入力画像の内容に直接的に対応し、表示時の前景画像の解像度は、表示面の解像度よりも低い、手段と、入力画像を背景画像に変形する手段であって、入力画像をダウンサンプリングすることにより、５×５画素未満の解像度を有するダウンサンプリング済画像を生成すること、及びダウンサンプリング済画像をアップサンプリングすることにより、背景画像を生成することを含み、背景画像の内容は、入力画像に間接的に依存し、背景画像の解像度は、前景画像の解像度よりも高い、手段と、前景画像を背景画像と結合することにより、出力画像を形成する手段であって、前景画像の画素は、背景画像の対応画素を置き換える、手段とを備えるものである。

本発明の一実施の形態において、背景画像は、入力画像のズームにより変換される。

本発明の別の実施の形態において、入力画像はダウンサンプリングされて、ダウンサンプリング済画像が作成される。このダウンサンプリング済画像は次にアップサンプリングされて、背景画像が作成される。

本発明の別の実施の形態において、アップサンプリング済画像は暗化されて、背景画像が作成される。

例えばビデオのように画像を逐次処理する場合、本方法は前景画像と背景画像とを１つずつ結合する。これにより、背景画像に短期的なフレーム毎の「ちらつき」が出る可能性がある。これは視聴者の妨げとなり得る。したがって、現背景画像が一組（１つ又は複数）の以前の背景画像とブレンドされる。このブレンドは、現画像の色と１つ又は複数の以前の背景画像の色との間の差の関数とすることができる。この時間的ブレンドは、背景画像の見た目を経時的に「平滑化する」効果がある。以前の背景画像の数は平滑化の「範囲」を制御する。

図１は、本発明の一実施の形態による画像表示方法１００を示す。この方法１００は、当該技術分野において知られているようなテレビ、プロジェクタ、再生装置又はクライアントコンピュータ等の表示装置のプロセッサ又はマイクロプロセッサにおいて動作することができる。このような装置は通常、バスにより接続される１つ又は複数の処理装置及び／又はマイクロコントローラ、メモリ、並びに入出力インタフェースを備える。メモリは、後述するような時間的なブレンド又は「平滑化」のための揮発性メモリ、例えば、ＲＡＭ１８０を含み得る。プロセッサは、永久メモリ１７０、例えば、ビデオテープ及びＤＶＤ等のリムーバブル記憶媒体、並びにセットトップボックス、ネットワークインタフェース等の通信インタフェースにもアクセスすることができる。

入力画像Ｉ_ｉ１０１をスケーリングして（１１０）、前景画像Ｆ１１１を生成する。入力画像は、通信チャネルを介して受信するか、又はコンピュータ読み取り可能な記憶媒体から読み出すことができる。スケーリングは、入力画像の解像度を増やすか又は減らして前景画像を作成することができる。

入力画像１０１の解像度はＭ×Ｎ画素である。前景画像１１１の解像度はｐ×ｑ画素である。スケーリングは、前景画像の内容が入力画像の内容に直接的に対応し、表示時の前景画像の解像度は表示面Ｄ１５０の解像度よりも低いようにする。画像のスケーリングはしばしば画像のリターゲティングと呼ばれる（例えば、Avidanにより２００７年４月１１日付で出願された米国特許出願第１１／６８２，５２１号「Method for Retargeting Images」（参照により本明細書中に援用される）を参照）。

入力画像１０１を背景画像Ｂ１２１にも変換する（１２０）。この変換は、背景画像の内容が入力画像の内容に間接的に依存するようにする。表示面１５０Ｄに表示した時の背景画像の解像度は、前景画像Ｆよりも高い。背景画像Ｂの解像度はｒ×ｓ画素であり、表示面Ｄの解像度はｘ×ｙ画素である。

前景画像Ｆ１１１を背景画像Ｂ１２１と結合して（１３０）、目に見える有用な結果である出力画像Ｉ_ｏ１３１を形成する。出力画像１３１の解像度はｕ×ｖである。出力画像１３１において、結合は、前景画像の画素が背景画像の対応画素を置き換えるようにする。次に、出力画像を表示面Ｄ１５０に表示して（１４０）ユーザが視聴することができる。

次に、様々な画像の解像度と表示面との関係を次のように定義する。

代替的に、出力画像を永久メモリ１７０、例えばビデオテープ又はＤＶＤに記憶して（１６０）、後に再生（１９０）及び表示（１４０）することができる。

スケーリングは、入力画像１０１のアスペクト比及び／又は解像度が前景画像１１１のアスペクト比及び／又は解像度と異なるようにすることができる。スケーリングは１：１であってもよい。例えば、入力画像の解像度が５００×５００であり、表示面の解像度が１０００×１００である場合、１：１のスケーリングにより、表示時の前景画像を表示面の解像度よりも確実に低くすることができる。当然ながら、前景画像と表示面との間のサイズ制約を保つ限り、スケーリングは拡大又は縮小とすることができる。

本明細書中において、前景画像の内容が入力画像の内容と直接的に対応すると言う場合、表示時の前景画像の全体的な見た目が、倍率を除けば、入力画像の見た目とほぼ同じであることを意味する。

いくつかの変換方法を以下に記載する。本明細書中において、背景画像の内容が入力画像の内容に間接的に依存すると言う場合、表示時の背景画像の見た目が、入力画像の見た目と異なり得ることを意味する。変換は、スケーリング及びアスペクト比の変更を含み得ることに留意すべきである。本発明では、背景画像と前景画像との間の解像度制約が保たれることだけを要求する。

結合は、前景画像の画素が背景画像の対応画素を置き換えるか、又はそれらに重なるようにする。表示画面に対する背景画像及び前景画像の実際の配置は重要でない。

入力画像、前景画像、背景画像及び入力画像は、他の画像よりも高い又は低い、異なる解像度を有することができ、様々な画像間のアスペクト比も異なり得ることに留意すべきである。

上記の方法は、好ましい一実施の形態において、画像シーケンス、例えばビデオ、又は放送番組又はケーブル放送番組に対して動作することにも留意すべきである。

定義及び用語
本明細書中では、以下の定義が用いられる。

平均画素値（強度）は、対応領域、例えば、ビデオ画像の全体又は一部の画素値の平均の特性化、例えば、数値平均を含む。このような特性化の一例は、画像中の画素の赤、緑、及び青の値を表すＲ、Ｇ、Ｂの整数値である。

ダウンサンプリングは、画素を除去することによって所望の解像度に合う画像を作成する。ダウンサンプリング中に、除去された画素の値を残りの画素の値と結合することができる。単純なダウンサンプリングの例は、ダウンサンプリング比又は解像度により決まる間隔で行及び列を単に削除することである。このような方法により、除去する必要がある行数、及びそれらの行間に必要な間隔が計算される。別のダウンサンプリング方法は、ダウンサンプリングされた解像度に基づいて画像を画素領域に分割し、各領域内の全ての画素値の平均に基づいてダウンサンプリング済画像の値を求めることである。より高度なローパスフィルタリング技法及びサブサンプリング技法も用いられ得る。

補間は、値集合間の線形補間技法、双線形補間技法又は他の補間技法を含む。補間は、画素をダウンサンプリング済画像に足すことによって所望の解像度に合う画像を作成する方法を含み得る。

画像は、デジタル画像、すなわち、画素集合としての２次元画像の表現を含む。各（Ｒ、Ｇ、Ｂ）カラーチャネル毎に１画素を設けることができる。

画像のスケーリングは通常、画像の解像度及び／又はアスペクト比を変えるプロセスを示す。スケーリングは１：１のスケーリングとしてもよい。すなわち、解像度は変わらない。

解像度とは、画像の各行の画素数、及び画像の行数を言い、通常、Ｉ（ｘ×ｙ）として表される。

表示面は、様々な形態で取得、記憶、又は伝送される文字を含む画像の視覚提示に適した任意の装置である。このような装置の例は、アナログ電子ディスプレイ、デジタル電子ディスプレイ、プロジェクタディスプレイ、固体ディスプレイ等である。

ビデオは画像シーケンスを示す。

背景画像の作成
図２は、本発明の実施の形態による、背景画像Ｂを作成する方法２００を示す。Ｍ×Ｎの入力画像Ｉ_ｉ１０１を、ｍ×ｎのダウンサンプリング済画像２２０にダウンサンプリングし（２１０）、Ｍ×Ｎ＞ｍ×ｎとなるようにする。本発明の実施の形態では、入力画像を５×５未満、例えば、３×１、３×２、２×２、又は１×１画素の画像２２０にダウンサンプリングする。次に、このダウンサンプリング済画像２２０を、背景画像Ｂ（ｒ×ｓ）１２１の所望の解像度に合わせてアップサンプリングする（２３０）。

ダウンサンプリング及びアップサンプリングの総合的な効果として、背景画像は入力画像の支配色の「混合」となる。通常、シーンの背景の色は、背景画像Ｂの色に大きく貢献する。

例えば、入力画像が草で覆われた運動場のものである場合、背景画像は大部分が緑となる。入力画像が屋内の競技コートのものである場合、背景画像は、バスケットボールのコートであれば大部分が茶色となり、スケートリンクであれば大部分が白となる。劇的な映画の場合、同様の効果が実現される。例えば、火を使ったアクションシーンでは、背景は大部分が赤っぽくなり、熱帯の海のシーンでは水色の背景となる。

色を用いてシーンの「ムード」を設定することができることはよく知られている。これは「カラームード」撮影として知られている（Eastman Kodak Company編「Color As Seen and Photographed」(E-74), Kodak Publication, Rochester, Second Edition, 1972を参照）。

本発明の視覚効果は、背景画像が表示画面において、経時的に発展する入力画像の支配色に実質的に合う印象的な周囲照明を提供するという点で、この体験を高める。したがって、本発明は表示画面において、従来技術のように補助的な照明装置を使用することなく、入力画像により設定された通りの「ムード」を際立たせる。

図３は本発明の方法２００を画像の形態で示す。

背景画像内の前景画像の配置は任意とすることができ、画像の基礎となる内容に部分的に依存することに留意すべきである。

暗化背景画像の作成
図４は、本発明の実施の形態による、暗化背景画像を作成する方法４００を示す。暗い又は彩度を落とした背景画像は、前景画像と視覚的に競合することなく、所望の効果を与える。

入力画像１０１を上述のようにダウンサンプリングする（２１０）。ダウンサンプリング済画像２２０をアップサンプリングして（２３０）、アップサンプリング済画像４４０とする。最後に、このアップサンプリング済画像４４０を暗化して（４５０）、背景画像１２１を形成する。一実施の形態では、背景画像を暗化して、前景画像の輝度の例えば７５％となるようにする。

図５は本発明の方法４００を画像で示す。

ズームされた背景画像の作成
図６は、本発明の実施の形態による、ズームされた背景画像を作成する方法６００を示す。入力画像１０１を所望の背景画像１２１の解像度に合わせてズームする（６１０）。

図７は本発明の方法６００を画像として示す。

ブレンドされた背景画像の作成
例えばビデオのように画像を逐次処理する場合、前景画像と背景画像とを１つずつ結合する本発明の方法では、背景画像に短期的なフレーム毎の「ちらつき」が出る可能性がある。これは視聴者の妨げとなり得る。

したがって、本発明の一実施の形態は、現背景画像を１つ又は複数の以前の背景画像と時間的にブレンドする。ブレンドは、現画像の色とメモリ１８０に記憶されている一組（１つ又は複数）の以前の背景画像の色との間の差の関数とすることができる。この時間的ブレンドは、背景画像の見た目を経時的に「平滑化する」効果がある。以前の背景画像の数は平滑化の「範囲」を制御する。

時間的ブレンドは次のように行われる。入力画像を上述のように処理して、現背景画像を作成する。次に、現画像を揮発性メモリ１８０から検索される一組の以前の背景画像とブレンドする（１８５）。この一組は１つ又は複数の背景画像を含み得る。上記したように、通常、シーンの背景は支配色を与えるものと仮定する。

ブレンドは、現画像と以前の記憶画像との色の差の関数とすることができる。一般に、以前の画像に与えられる重み、すなわちブレンド係数は、差に反比例する。また、差の変化率を考慮することができる。画素値の高次導関数も用いることができる。差は閾値処理することができる。したがって、本発明では、シーン内で、背景色は経時的にゆっくりと発展し、シーンの前景の色の変化のみに影響されるものと仮定した。したがって、背景画像の色は同様の見た目で同様に発展する。

しかし、シーン又は「ショット」の変化中、背景の色は通常、劇的に変化する。ブレンド係数は差に反比例するため、差が大きければブレンドが行われない場合がある。全てのフレームにおいていくらかの最小限のブレンドが生じるという条件を課すために、差を所定の最大値、例えば可能な最大差の８０％に閾値処理することができる。閾値処理を行わない場合、ブレンドは無効になる。したがって、シーンが例えば落ち着いた屋内の色からどぎつい屋外の色へ変化する時、この変化が背景画像の支配色に反映され、シーンの変化が表示画面における同程度の「ムード」の変化を生じる。

画像シーケンス
本発明は、単一画像に対して動作することができるが、実施の形態は通常、入力画像シーケンス、例えばビデオ、又は放送番組若しくはケーブル放送番組に対して動作する。すなわち、入力画像はビデオのフレーム（画像）である。このような場合、本発明の実施の形態による方法の結果は、全ての出力画像が時間的に対応する入力画像から作成される出力画像シーケンスとなる。図８は、画像データの構造及び組織的関係を示す。全ての入力画像ｋ８１０に関して、対応する前景画像８２０、対応する背景画像８３０、及び対応する出力画像８４０がある。

出力画像シーケンスは、入力画像の処理時に表示面にリアルタイムで表示することができる。代替的に、画像シーケンスは、後に再生するために、永久メモリ１７０、例えばビデオテープ及びＤＶＤ等のリムーバブル記憶媒体に記憶すると共に、セットトップボックス、ネットワークインタフェース等の通信インタフェースに提供することができる。

本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形及び変更を全て網羅することである。

本発明の実施の形態による、画像を表示する方法及びシステムのブロック図である。 本発明の実施の形態による、背景画像を形成する方法のブロック図である。 本発明の実施の形態による、背景画像を形成する方法の視覚的な例である。 本発明の実施の形態による、暗化背景画像を形成する方法のブロック図である。 本発明の実施の形態による、暗化背景画像を形成する方法の視覚的な例である。 本発明の実施の形態による、ズームされた背景画像を形成する方法のブロック図である。 本発明の実施の形態による、ズームされた背景画像を形成する方法の視覚的な例である。 対応画像のデータシーケンス間の組織的関係のブロック図である。

Claims (12)

1. 表示面に表示する画像を変換する方法であって、
   複数のフレームで形成されたビデオの少なくとも一部をメモリに記憶するステップであって、前記ビデオのフレームは入力画像である、ステップと、
   前景画像を生成するために、前記入力画像をスケーリングするステップであって、前記前景画像の内容は、前記入力画像の内容に直接的に対応し、表示時の前記前景画像の解像度は、表示面の解像度よりも低い、ステップと、
   前記入力画像を背景画像に変形するステップであって、前記背景画像の内容は、前記入力画像に間接的に依存し、前記背景画像の解像度は、前記前景画像の前記解像度よりも高く、
   前記入力画像をダウンサンプリングすることにより、５×５画素未満の解像度を有するダウンサンプリング済画像を生成すること、及び
   前記ダウンサンプリング済画像をアップサンプリングすることにより、前記背景画像を生成すること
   を備えたステップと、
   出力画像を形成するために、前記前景画像を前記背景画像と結合するステップであって、前記前景画像の画素は、前記背景画像の対応画素を置き換える、ステップと、
   前記メモリ内に記憶された複数のフレームにおいて複数の出力画像を生成する全てのフレームに対して、前記スケーリングするステップ、前記変形するステップ、および前記結合するステップを繰り返すステップであって、全ての出力画像が時間的に対応する入力画像から作成され、前記複数の出力画像は出力ビデオを形成し、前記スケーリングするステップ、前記変形するステップ、および前記結合するステップはプロセッサにより実行される、ステップと
   を含む、方法。
2. 前記出力画像を前記表示面に表示することをさらに含む、請求項１に記載の方法。
3. 前記出力画像を永久メモリに記憶することをさらに含む、請求項１に記載の方法。
4. 前記スケーリングするステップは、画像のリターゲティングを含む、請求項１に記載の方法。
5. 前記前景画像の前記解像度は、前記入力画像の解像度と同じである、請求項１に記載の方法。
6. 前記前景画像の前記解像度は、前記入力画像の解像度と異なる、請求項１に記載の方法。
7. 前記変形するステップは、
   前記アップサンプリング済画像を暗化すること
   をさらに含む、請求項１に記載の方法。
8. 前記変形するステップは、
   前記ダウンサンプリング済画像を暗化すること
   をさらに含む、請求項１に記載の方法。
9. 表示面に表示する画像を変換する装置であって、
   入力画像をスケーリングすることにより、前景画像を生成する手段であって、前記前景画像の内容は、前記入力画像の内容に直接的に対応し、表示時の前記前景画像の解像度は、表示面の解像度よりも低い、手段と、
   前記入力画像を背景画像に変形する手段であって、前記入力画像をダウンサンプリングすることにより、５×５画素未満の解像度を有するダウンサンプリング済画像を生成すること、及び前記ダウンサンプリング済画像をアップサンプリングすることにより、前記背景画像を生成することを含み、前記背景画像の内容は、前記入力画像に間接的に依存し、前記背景画像の解像度は、前記前景画像の前記解像度よりも高い、手段と、
   前記前景画像を前記背景画像と結合することにより、出力画像を形成する手段であって、前記前景画像の画素は、前記背景画像の対応画素を置き換える、手段と
   を備える、装置。
10. 前記変形する手段は、前記入力画像をダウンサンプリングしてダウンサンプリング済画像を生成すると共に、前記ダウンサンプリング済画像をアップサンプリングして前記背景画像に対応するアップサンプリング済画像を生成する、請求項９に記載の装置。
11. 前記変形する手段は、前記アップサンプリング済画像を暗化する、請求項１０に記載の装置。
12. 前記変形する手段は、前記入力画像にズームして前記背景画像を得る、請求項９に記載の装置。

Images