JP4309171B2

JP4309171B2 - 画像処理方法および画像処理装置

Info

Publication number: JP4309171B2
Application number: JP2003124677A
Authority: JP
Inventors: マウリツィオ・ピル
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2002-04-30
Filing date: 2003-04-30
Publication date: 2009-08-05
Anticipated expiration: 2023-04-30
Also published as: GB2388265B; US20040027367A1; US7231100B2; GB2388265A; EP1361748A2; GB0209953D0; JP2004007630A; EP1361748A3

Description

【０００１】
【発明の属する技術分野】
本発明は、ズームされた画像のシーケンスを処理するのに適した方法および装置における改良並びにそれらに関連する改良に関する。
【０００２】
【従来の技術】
ユーザがあるシーケンスの画像を取り込み、注目する詳細部分を連続的にズームインまたはズームアウトすることができるようにするズーム機能を有するカメラが現在多数入手可能である。ズームは、光学ズーム、デジタルズームまたは光学およびデジタルズームの両方を含むズームであり得る。ビデオカメラおよびカムコーダ（アナログおよびデジタル）、監視カメラ、ならびに静止画像のシーケンスおよび／またはビデオシーケンスを取り込むようにされているデジタルおよびアナログ「スチル」カメラを含む様々なカメラは、このようなズーム機能を有する。
【０００３】
ズーム機能によって、カメラは、ロングショットからクローズアップショット（またはその逆）に変更することができる。従来、光学ズーム（また、機械的ズームとも呼ばれる）のみが可能であった。光学ズームは、通常、焦点距離が、固定された焦平面を維持しながら連続して変化するズームレンズを用いて、被写体の倍率を変更している。
【０００４】
さらに近年では、電子処理を用いることによって、写真の所定領域を拡大（または縮小）するのに役立つ電子ズームが開発されている。この処理は、写真を取り込んでいる間に行われるか、またはその後、カメラもしくは取り込み画像後処理ソフトウェアを用いることによって行われ得る。多くの場合、電子ズーム（また、デジタルズームとも呼ばれる）はまた、例えば、隣接する画素を補間することによって拡大画像の画質を改善させるための処理技法を組み込んでいる。
【０００５】
撮影中にズーム機能を有することは有用であり得るが、ビデオシーケンスにおいてズーム操作を行うことは、通常、悪いやり方であると見なされている。実質的にすべてのプロまたはセミプロのプロダクション（例えば、結婚式のビデオ）は、最終的な映像において著しいズーム操作を含まない。観察者の中には、シーケンス内に速いズーム操作を行うことは、望ましくないと思うものもいる。しかし、アマチュアユーザは、大抵の場合、ズーム機能を乱用する傾向があるため、観察者によって知覚されるように、得られる映像の品質は必然的に悪化する。
【０００６】
広いビューに続いてより詳細なビュー（またはその逆）を示すことが必要である場合、ズームシーケンスを行うよりも、広いビューから詳細なビューに直接変更することが最良のやり方であると見なされている。
【０００７】
プロのプロダクションは、上記の効果を成し遂げるために、２台またはそれ以上のカメラを用いる傾向があり、ビューは、広い視野角を有するカメラからクローズアップカメラ（またはその逆）に突然切り換えられる。これには、明らかに、このような２台のカメラの存在および同時の使用が必要である。
【０００８】
一台のカメラのみが用いられている場合、広角ビューと詳細のビューとの間の変更を成し遂げるために、カメラは、１つのビューから他のビューにズームされなければならない。この結果、得られる画像シーケンスを編集して、１つのビューから他のビューへの突然の変更を成し遂げるためには、ズームシーケンスを切り取ることとなり、介在するフレーム（およびすべての関連の音声トラック）を失う必要がある。
【０００９】
図１は、このような編集プロセスを例示している。チャート１０は、カメラのズームのレベルを時間の関数として例示し、フレームシーケンス２０は、対応するフレーム（Ａ、Ｂ、Ｃ）のシーケンスを例示している。
【００１０】
図からわかるように、まず、カメラは、ズームインされておらず、広角ビューのフレームＡを生成する一定の低い倍率レベルで維持されている。次に、カメラは、フレームＢを生成するように連続的にズームインされ、詳細の適切なレベルに到達し、その後、ズームは、詳細の一定の倍率レベルでフレームＣを提供するよう一定に保持される。
【００１１】
得られる編集された映像および音声トラック３０は、広角ビューされたフレームＡから拡大ビューされたフレームＣに直接カットされ、ズーム操作を省略している。このように、言うまでもなく、ズーム操作を有するフレームＢは、関連する音声トラックと共に失われる。このような情報を失うことは望ましくない。
【００１２】
特許文献１「Video Camera with Improved Zoom Capability」は、電子（すなわち、デジタル）ズームと光学ズームとの組み合わせを用いるズームカメラを提供し、倍率の迅速な変化を成し遂げ、ズームシーケンスが存在する期間を最小限に抑えることによって、上記の問題を解決しようと試みている。ズームシーケンスの持続時間を最小限に抑えても、ズームシーケンスは依然として存在する。
【００１３】
【特許文献１】
欧州特許出願公開第０８５３８５５号明細書
【００１４】
【発明が解決しようとする課題】
本発明の目的は、ズームされた画像のシーケンスを処理するのに適した改良された方法および改良された装置を提供することである。
【００１５】
【課題を解決するための手段】
第１の態様では、本発明は、第１の倍率における第１の画像と、第２の倍率における後画像と、上記第１の倍率と上記第２の倍率との間の倍率における少なくとも１つの中間画像とを含むズームされた画像のシーケンスを処理する方法であって、電子ズーム（デジタルズーム）を上記中間画像のそれぞれに与え、少なくとも上記中間画像のそれぞれの領域を上記第１および第２の倍率のうちの高い方の倍率レベルと同じになるように拡大する方法を提供する。
【００１６】
好ましくは、上記方法は、上記第１の画像、上記電子的にズームされた画像および上記後画像を含む出力画像シーケンスを生成することをさらに含む。
【００１７】
好ましくは、上記方法は、上記第１の画像、上記中間画像および上記後画像に現れる画像シーケンスの被写体を決定することをさらに含み、上記電子的にズームされた画像は、上記被写体の少なくとも一部を含むようにされている。
【００１８】
好ましくは、上記方法は、上記ズームされた中間画像の少なくとも１つと、最終画像および上記第１の画像の少なくとも１つとの間にソフトカット画像間の遷移を与えることをさらに含む。
【００１９】
他の態様では、本発明は、上記の方法を実施するようにされているコンピュータプログラムを提供する。
【００２０】
好ましくは、プログラムは、画像シーケンスの被写体が上記第１の画像、上記中間画像および上記後画像内に現れるかどうかを自動的に判定するようにされている。
【００２１】
他の態様では、本発明は、プログラムを含む機械読出し可能媒体を提供する。
【００２２】
他の態様では、本発明は、第１の倍率における第１の画像と、第２の倍率における後画像と、上記第１の倍率と上記第２の倍率との間の倍率における少なくとも１つの中間画像とを含むズームされた画像のシーケンスを処理するようになされている装置を提供する。この装置は、上記中間画像のそれぞれに電子ズームを与え、上記第１の倍率と上記第２の倍率のうちの高い方の倍率と同じ倍率のレベルになるように少なくとも上記中間画像のそれぞれの領域を拡大する。
【００２３】
他の態様では、本発明は、上記のような装置を含むカメラを提供する。
【００２４】
好ましくは、上記カメラは、上記装置が自動的に動作するかどうかをユーザが選択するようにされているユーザインターフェースをさらに有する。
【００２５】
他の態様では、本発明は、予め取り込まれた画像を編集するようにされている編集デバイスを提供する。このデバイスは、請求項に記載されている装置を有する。
【００２６】
本発明をよりよく理解し、本発明の実施形態がどのようにして実施され得るのかを示すために、例として、以下、添付の図面を参照する。
【００２７】
【発明の実施の形態】
図２において、チャート１２０は、カメラが、第１の比較的低い倍率レベルから第２のより高い倍率レベルに連続的にズームインするときのズームレベルの変化を例示している。シーケンス１００は、低いレベル（例えば、倍率なし）の倍率１１０における画像から高いレベルの倍率１１８における画像への対応する画像を時間の関数として例示している。画像１１２、１１４、１１６は中間ズームである。
【００２８】
図からわかるように、画像シーケンスの被写体は、カメラがこの被写体に連続的にズームインする簡単な振子である。
【００２９】
画像シーケンス２００は、本発明の実施形態に従って処理された対応する画像（１１０、２１２、２１４、２１６、１１８）のシーケンスを例示している。チャート２２０は、この画像シーケンス２００に対する、実効的なズームを時間の関数として例示している。このシーケンス２００内の画像の各々は同じサイズである。すなわち、これらの画像は、同じ面積および同じアスペクト比を有する。
【００３０】
図からわかるように、第１の画像１１０および最終画像１１８が変更されることはない。しかし、電子ズームの程度が、元の中間画像（１１２、１１４、１１６）の部分において変更され、最終画像１１８と同じ実効倍率を有する新しい処理中間画像（２１２、２１４、２１６）となる。電子ズームされた元の画像の部分は、被写体を含んでおり、画像１１２および１１４において点線で例示されている。
【００３１】
この結果、処理された画像を含むビデオシーケンスは、画像１１０の低レベル倍率から画像２１２、２１４、２１６および１１８の高レベル倍率にカットされる。すなわち、画像の倍率は突然変化する。
【００３２】
このような技法によって、シーケンスまたはすべての関連する音声信号に損失を生じることなく、第１のレベルの倍率から第２のレベルの倍率へのビデオシーケンスにおけるカットが可能になる。得られる画像シーケンスは、音声信号（例えば、解説または背景ノイズおよび被写体のアクション）を失うことなく、厄介なズームシーケンスが除去され、その代わりにカットが用いられるため、実質的に改善される。
【００３３】
図３は、図２に例示される画像のシーケンスを編集するために実行することができるステップを例示するフローチャートを示している。
【００３４】
まず、ズーム操作が行われたかどうかを判定するために、画像のシーケンスが解析される（５１０）。ズーム操作がなかった場合、このタイプの処理は実行されない（５１２）。
【００３５】
画像のシーケンスがズーム操作を含むと想定すると、画像シーケンスの被写体が識別される（図２に示される例では、被写体は振子であった）。通常、ズーム操作の被写体は、画像内の物体のうち最も高い倍率レベルを有するものを見ることによって決定され得る。次に、被写体のモーションは、ズームシーケンスフレームＺ₁〜Ｚ_N（Ｎは、整数である）のそれぞれにわたって追跡される（５１４）。
【００３６】
次に、ズームシーケンスの被写体が、ズームシーケンスの各フレーム内に含まれることを確実にするためのチェック（５１６）が行われる。最も単純な場合、これは、ズームシーケンス（Ｚ_N）内の最終フレームが、各中間フレーム（すなわち、Ｚ_i、ここで、ｉ＝１．．．Ｎ）に含まれることをチェックすることによって実施され得る。
【００３７】
本実施形態では、被写体が、各フレーム内に含まれない場合、所望の編集手法を適用することはできないと想定される（５１８）。
【００３８】
しかし、被写体が実際に各フレーム内にある場合には、変換Ｔ_iが、各フレームに常に被写体を保持しながら、ズームフレームＺ₁〜Ｚ_N-1のそれぞれの部分の倍率をフレームＺ_Nと同じ倍率レベル（およびサイズ）に変更するために必要な各フレームＺ_iに対して求められる（ステップ５２０）。この結果、中間フレーム（Ｚ₁〜Ｚ_N-1）のそれぞれは、変換Ｔ_iを施された対応するフレームに置き換えられる。
【００３９】
これにより、フレームの新しいシーケンスとなり（５２４）、これらのフレームは、被写体のモーションと関連の音声とを各フレーム内に保持しながら、ズームシーケンスを用いることなく、第１の倍率レベルから第２の倍率レベルまで実効的にカットされる。
【００４０】
言うまでもなく、上記の実施形態は、例示のみを目的として提供され、様々な代替が本発明の範囲内に入るように当業者によって考えられる。
【００４１】
例えば、好ましい実施形態では、被写体が各フレーム内にあることがチェックされ（ステップ５１６）、そうでない場合には、手法は停止される（ステップ５１８）が、言うまでもなく、被写体が各フレーム内にない場合でも、手法は依然として進むものとすることができる。あまり望ましくないが、これは、依然として、ズームシーケンスを画像シーケンスから除去する効果を有する。このような改変されたシーケンスでは、被写体は、ショットから連続的にパンインおよびパンアウトする効果を有し得る。あるいは、中間フレームは、被写体が常にショット内にあるフレームに基づいて被写体を含むように、コンピュータで生成され得る。
【００４２】
本発明は、例えば、画像がカメラによって取り込まれた後に画像のシーケンスを編集するようにされているコンピュータのような、取り込み後編集スイート（post capture editing suite）内で実施され得る。同様に、本発明は、カメラ内でも実施され得る。本発明の方法は、自動的、またはユーザの命令によって行われ得る。例えば、カメラは、ユーザによって特に命令されない限り、ズーム機能を自動的に除去するようになされていることができる。
【００４３】
ズームシーケンスの除去は、完全に自動的に、またはユーザの何らかの介入によって（例えば、ズームシーケンスもしくはズームシーケンスの被写体をユーザが識別することによって）行われ得る。
【００４４】
上記の実施形態では、本発明が適用された、後に得られる画像間の遷移の例として、ハードカット（すなわち、第１の倍率における画像から第２の最終的な倍率における画像への瞬時の直接的な遷移）について例示している。当業者には言うまでもなく、ズームシーケンスは、任意の画像間遷移と交換可能である。例えば、本発明の実施形態を用いることによって生成される画像間の変化が短期間の画像間遷移であるソフトカットを用いてもよい。使用できるこのような他のソフトカット画像間遷移の例としては、フェーディング（１つの画像が、他の画像に連続的にフェードする）、ランダムディゾルブ、一致ディゾルブ、ブラインド、ワイピングおよびカーテンが挙げられる。
【００４５】
ズームシーケンス全体または所定の割合のものだけが除去され得る。例えば、初期の入力シーケンスには、自動車が遠方から近づいてくるときに自動車のビューに連続的にズームインし、ズームを自動車の運転手の顔まで続行することが含まれ得る。ユーザは、自動車がフレーム全体を満たすまで、連続的にズームインし、次いで、本発明を用いて、運転手の顔に直接カットするように選択し得る。
【００４６】
言うまでもなく、本発明は、第１の倍率から第２の倍率に遷移し、多数の中間画像を含む画像シーケンスに適用され得るが、すべての中間画像が電子的にズームされ得るわけではない。例えば、１つの中間画像のみ、または中間画像の総数の一部の集合のみが電子ズームに適用されてもよい。これは、ソフトカット画像間遷移が適用されている画像シーケンスに特に関連している。言うまでもなく、中間画像の恐らく１つの画像のみが、電子的にズームされて、ソフトカット遷移に用いられ得る。
【００４７】
本発明を、ズームインシーケンス（すなわち、最終フレームは、第１のフレームよりも倍率が高い）に関して記載したが、言うまでもなく、本発明は、ズームアウトシーケンスにも同様に適用できる。
【００４８】
図４は、ズームアウト画像シーケンス３００に適用される本発明の他の実施形態を例示する。
【００４９】
チャート３２０は、ズームレベル（すなわち、倍率）が、画像フレーム３１０に対応する比較的高い値からまず開始し、次に、時間の関数として効果的に減少し、被写体（フレーム３１２、３１４、３１６）からズームアウトされ、低レベルのズームおよび対応するより低い倍率／より広い視野の画像フレーム３１８となる様子を例示している。
【００５０】
画像シーケンス４００は、本発明の実施形態を適用することによって、入力シーケンス３００から得ることが可能な出力フレーム化シーケンス４００を例示している。
【００５１】
図からわかるように、第１のフレーム３１０および最終フレーム３１８は、入力シーケンスのままである。しかし、（ズーム操作中のフレームに対応する）中間フレーム３１２、３１４、３１６は、それぞれ変換されたフレーム４１２、４１４および４１６で置換されている。変換されたフレームのそれぞれは、入力フレーム３１０と同じ倍率（すなわち、ズーム）レベルに電子的に拡大されたそれぞれの入力フレームの一部に対応する。このように、チャート４２０によって例示されているように、処理された画像シーケンスにおけるズームレベルは、より低い倍率レベルに下がる最終フレームまで、一定のままである。従って、すべての音声および映像操作を保持しながら、クローズアップビューから広角ビューまでのカットが成し遂げられる。
【００５２】
読者の注意は、本願と関連して本明細書と同時にまたは本明細書の前に提出され、本明細書と共に公開されたすべての文書および文献に向けられ、これらの文書および文献の内容はすべて、引用することにより本明細書の一部をなすものとする。
【００５３】
（添付の特許請求の範囲、要約書および図面を含む）本明細書に開示されているすべての特徴、および／またはすべての方法もしくはプロセスのステップのすべては、任意に組み合わせられ得る。但し、このような特徴および／またはステップの少なくともいくつかが互いに排他的である組み合わせを除く。
【００５４】
（すべての添付の特許請求の範囲、要約書および図面を含む）本明細書に開示されている各特徴は、特に記載のない限り、同じ、同等または同様の目的を果たす他の特徴と置き換えられ得る。従って、特に記載のない限り、開示されている各特徴は、同等または同様の特徴の包括的なシリーズのほんの一例に過ぎない。
【００５５】
本発明は、上記の実施形態の詳細には限定されない。本発明は、（すべての添付の特許請求の範囲、要約書および図面を含む）本明細書において開示される任意の新規なものもしくは任意の新規な組み合わせ、または開示されている任意の方法またはプロセスのステップの任意の新規なものもしくは任意の新規な組み合わせを含む。
【図面の簡単な説明】
【図１】従来の編集シーケンスを例示する図である。
【図２】本発明の第１の実施形態によるビデオ編集シーケンスを例示する図である。
【図３】図２に示されるビデオシーケンスの編集に伴われるステップを例示するフローチャートである。
【図４】本発明の他の実施形態によるビデオ編集シーケンスを例示する図である。

Claims

第１の倍率にある第１の画像と、第２の倍率にあるその後の画像と、前記第１の倍率と前記第２の倍率との間の倍率にある少なくとも１つの中間画像とを含む、ズームされた画像シーケンスを処理する方法であって、
前記第１の画像と、前記中間画像と、前記後の画像とに現れる、前記画像シーケンスの被写体を決定するステップと、
前記中間画像のそれぞれに、前記画像シーケンスの所望の被写体が含まれるか判定するステップと、
前記画像シーケンスの所望の被写体を含まない前記中間画像を除去するステップと、
前記中間画像のそれぞれの前記所望の被写体を、前記第１および第２の倍率のうちの高い方の倍率と同じ倍率のレベルまで拡大するように、前記中間画像のそれぞれに電子ズームを適用するステップと、
前記第１の画像と、前記電子的にズームされた画像と、前記後の画像とを含む出力画像シーケンスを生成するステップと
を含む方法。
前記ズームされた中間画像の少なくともいずれかと、最終画像および前記第１の画像の少なくともいずれかとの間にソフトカット画像間遷移を適用するステップをさらに含む請求項１に記載の方法。
前記請求項１及び２に記載の方法を実行するコンピュータプログラム。
請求項３に記載のコンピュータプログラムを含むコンピュータ読み取り可能記録媒体。
第１の倍率にある第１の画像と、第２の倍率にあるその後の画像と、前記第１の倍率と前記第２の倍率との間の倍率にある少なくとも１つの中間画像とを含む、ズームされた画像シーケンスを処理するようになされている装置であって、
前記第１の画像と、前記中間画像と、前記後の画像とに現れる、前記画像シーケンスの被写体を決定する手段と、
前記中間画像のそれぞれに、前記画像シーケンスの所望の被写体が含まれるか判定する手段と、
前記画像シーケンスの所望の被写体を含まない前記中間画像を除去する手段と、
前記中間画像のそれぞれに電子ズームを適用して、前記中間画像のそれぞれの前記所望の被写体を、前記第１および第２の倍率のうちの高い方の倍率と同じ倍率のレベルまで拡大する処理手段と、
前記第１の画像と、前記電子的にズームされた画像と、前記後の画像とを含む出力画像シーケンスを生成する手段と
を有する装置。
請求項５に記載の装置を有するカメラ。
前記装置が自動的に動作するかどうかをユーザが選択するようにされているユーザインターフェースをさらに有する請求項６に記載のカメラ。