JP4857297B2

JP4857297B2 - 映像処理装置

Info

Publication number: JP4857297B2
Application number: JP2008060407A
Authority: JP
Inventors: 久紘林; 浩千葉
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-03-11
Filing date: 2008-03-11
Publication date: 2012-01-18
Anticipated expiration: 2028-03-11
Also published as: JP2009218851A

Description

本発明は撮像する機能を有するビデオカメラや、デジタルカメラや、監視カメラや、定点カメラなどの映像処理装置に関する。

撮像した映像の一部を切り出す機能を有する映像処理装置に関する発明が検討されている。例えば、特許文献１には、「一台のカメラ装置で、方位及びズームを瞬時に切り替えた映像を得られるようにする」ことを目的とし、解決手段として、「映像処理装置であって、入力映像を実時間で記憶するメモリ手段と、当該メモリ手段に蓄積される画像の少なくとも１以上の切り出し範囲を指定する切り出し範囲指定手段と、当該１以上の切り出し範囲の画像を読み出し、所定表示サイズに変換する変換手段と、当該変換手段の出力する出力手段を備え、入力映像の一部を切り出して出力する」という技術が開示されている。

特開平8-237590号公報

ＭＰＥＧ等に代表される圧縮符号化技術においては、一つのフレームを符号化する際に、他のフレームを参照する方法が採用されてきていた。また、符号化の対象となるフレームと、参照フレームとが類似している程、符号化するフレームの圧縮率は高くなる。

また、例えば、Ｈ．２６４等の圧縮符号化技術においては、一つのフレームを符号化する際に、複数の参照フレームを用意する。しかし、参照フレームの候補の数は、例えば５枚である等、有限のものに限られている場合が多かった。

ここで、広角映像の切り抜きについて検討する。広角映像の一部を切り抜き、その切り抜いた範囲を符号化していると、過去に同じ範囲、あるいは近い範囲を符号化していたという状況が発生する。この過去に符号化しているフレームを参照フレームとすると、符号化するに際し、圧縮率を高めることが考えられる。しかしながら、同じ範囲、あるいは近い範囲を符号化していたとしても、その範囲の符号化映像が参照フレームとされない場合が多かった。

特許文献１に開示されている映像処理装置では、映像から映像を切り出すことは可能であるが、切り出した画像を圧縮する際に、その圧縮率を高めるという課題について検討されていない。

また、特許文献１においては、広角映像に、例えば、プライバシーマスク等のはめこみ画像を合成した上に、圧縮処理の効率を向上させることについては検討されていない。

また、特許文献１においては、切り出す位置に対して音源の重みを変える点については検討されていない。

本願発明は、例えば、切り出した画像の圧縮率を高くすることを目的とする。

上記目的は、例えば特許請求の範囲に記載の発明により達成される。その代表的な例について説明する。本願発明の映像処理装置は、広角映像の切り抜いた範囲を示す位置情報を取得しておき、その位置情報を用いて参照フレームを選択する。

本願発明によると、例えば、切り出した画像の圧縮率を高くすることが可能となる。

以下、本発明の一実施の形態について図面を参照しながら説明する。

図1は、本実施形態による映像処理装置の構成の一例を示す。

本実施例の映像処理装置は、例えば、ビデオカメラや、デジタルカメラや、監視カメラや、定点カメラなど、広く映像を処理する装置に適用可能である。また、本実施例の映像処理装置においては、監視カメラ等のシステムにおいて、外部の機器において撮像された映像を入力し、処理する装置であってもよいものとする。

図１において、０(ａ)は映像処理装置である。１はＣＣＤ等の受光素子を備え広角映像を取得する映像入力部である。２は映像入力部１により入力された広角映像を記録する映像記録部であり、例えば、メモリ等の記録装置で構成する。３は映像記録部２に記録した広角映像から映像を切り出す、映像切り出し部である。８は映像切り出し部３により切り出した映像を符号化するための最適な参照フレームを選択する参照フレーム選択部である。９は参照フレーム選択部８により選択した参照フレームを用いて切り出した映像を符号化する符号化部である。４(ａ)は符号化部９により符号化した映像を記録する切り出し映像記録部である。映像切り出し部３、参照フレーム選択部８、符号化部９は、例えばＡＳＩＣやＦＰＧＡ等の信号処理回路、あるいは、ＣＰＵやメモリ等の情報処理装置で構成してもよい。なお、別々に図示してあるが、これらの任意の組み合わせを、単一の装置で構成してもよいことはいうまでもない。また、映像記録部４（a）は、HDDや光ディスク、ホログラフィックメモリ等の記録装置で構成する。

５は切り出し映像記録部４に記録している映像を出力する映像出力部である。映像出力部５は、例えば映像処理を行う処理回路や、映像の出力に用いるインターフェース等で構成する。１３はユーザが映像処理装置０（ａ）に指示を出すための操作部である。操作部１３は、例えばボタンや、ソフトキー、もしくは操作情報を入力するインターフェースで構成する。６は全体を制御するＣＰＵである。７はＣＰＵ６のメモリである。そして、映像出力部５、操作部１３、ＣＰＵ６、メモリ７は、バス１０に接続している。

この映像処理装置０(a)の動作について、図１、図２を用いて説明する。なお、図２の１１は映像処理装置０(a)の映像入力部１で取得した広角映像、１２(a)〜１２(g)は広角映像から映像を切り出す範囲を示している。図２は人がトラックを一周する状況を広角に撮影し、人が中心になるように映像を切り出す場合を想定している。

まず、映像処理装置０(a)を固定して撮影を行う。そして、映像入力部１で広角映像１１を取得し、映像記録部２で記録する。次に、映像切り出し部３で広角映像１１から映像を切り出す。切り出す範囲の指定の仕方は、切り出す範囲及び拡大率をユーザが操作部１３より入力してもよいし、記録映像をディスプレイに出力し、ディスプレイにタッチスクリーンを用いて、タッチした部分を切り出すなどしてもよい。また、切り出す範囲はフレーム単位で可変である。そして、この切り出す範囲を示す位置情報を、例えば各フレーム毎に、映像切り出し部３あるいは、メモリ７に蓄積する。

参照フレーム選択部８では、映像切り出し部３によって切り出した映像に対して、符号化する際に最適となる参照フレームを選択する。この具体的方法について、以下説明する。

次に、符号化部９は、選択されたフレームを参照フレームとして符号化を行う。

そして、映像処理装置０は、切り出された映像について、切り出し映像記録部４(a)で切り出した映像の記録を行う。次に、映像出力部５は、記録された映像に、復号等の処理を行った上で外部出力をする。

これにより、本実施例では映像から映像を切り出して符号化する際に、切り出した位置情報を用いて参照フレームを選択することで、映像の圧縮率を上げることができる。

次に、映像切り出し部３で映像が切りされる場合に、保存される情報の形式の例について、図１２を例に説明する。１２００は、位置情報テーブルであり、各撮像フレームを識別するＩＤ１２０１と、各撮像の切り出し範囲を示す位置情報１２０２を有する。また、各フレームを撮像した時刻や時間等を示す時間情報１２０３を記憶してもよい。

ＩＤ１２０１には、例えばＭＰＥＧ２における、各フレームのＴＲ(Temporal Reference)の情報を用いてもよい。また、位置情報１２０２は、例えば広角映像中における切り出し範囲の座標により構成する。これにより、被写体が動けば、被写体の動きに合わせて切り出す範囲を変更し、特定の被写体を中心とした映像を切り出す事が可能である。また、座標は、例えば広角映像の中の画素単位で表現してもよい。つまり、例えば、図２の広角映像が、４０００×２０００画素を持つ映像であれば、X座標を１から４０００、Y座標を１から２０００として、位置情報を表現してもよい。また、時間情報１２０３は、例えば、各フレームが撮像されたＧＭＴ時間等を利用してもよい。また、符号化方式がＭＰＥＧであるならば、ＴＣ（Time Code）としてもよい。また、時間情報１２０３としては、時間そのものを示す情報でなくとも、フレームやピクチャのストリーム中における相対的な位置を示す情報を利用してもよい。また、位置情報テーブル１２００に記録する情報量の上限を定めておいて、古い情報から削除される構成としてもよい。この上限は、例えば、１０００フレーム分でも、２０００フレーム分の情報量でもよいが、その他の量でもよい。

次に、参照フレーム選択部８、符号化部９の動作について、詳細に説明する。

まず、参照フレーム選択部８に、映像切り出し部３で切り出された映像信号が、位置情報とともに入力される。次に、参照フレーム選択部８は、それ以前に符号化が行われたフレーム、つまり参照フレームの候補となる参照候補フレームの位置情報を、例えばメモリ７等から取得する。そして、複数の切り出し画像の中から、符号化の対象となるフレームと最も位置情報の差が小さい切り出し画像を選択する。

この動作を、図２、図１２の例でにおいて、切り出し画像（ｇ）を符号化する場合について説明する。まず、参照フレーム選択部８は、切り出し画像（ｇ）の位置情報（１８００、１８００）を取得する。また、参照フレーム選択部８は、位置情報テーブル１２００を参照して、過去に符号化した画像、つまり、切り出し画像（a）ないし（ｆ）の位置情報１２０２を取得する。そして、位置情報テーブル１２０２に記憶されている位置情報の中から、切り出し画像（ｇ）と位置情報の差が小さい切り出し画像のＩＤを選択する。そして、位置情報（１９００、１７００）を持つ切り出し画像(a)を参照フレームの候補として選択する。例えば切り出し画像１２(a)と切り出し画像１２(g)は時間的には離れているが、切り出し場所が近いため相関性が高い可能性があるだろうと予測ができる。よって切り出し画像１２(a)は切り出し画像１２(g)の参照フレームの候補となる。そして、参照フレーム選択部は、切り出し画像(a)に対応する参照フレームのID（１）を符号化部に出力する。

符号化部９は、入力した映像信号と、参照フレームのID（１）に基づいて映像の符号化を行う。具体的には、符号化部９は、取得したＩＤ(１)に対応する切り出し画像を取得し、取得した切り出し画像を参照フレームとして、映像信号の符号化を行う。

また、位置情報を記録する例として、位置情報テーブル１２を用いて記憶したが、決してテーブル形式の情報に限定されるものではない。個々のフレームやピクチャを特定可能な情報と、個々のフレームやピクチャを対応づける形式の情報であればよい。

また、上述の例では、参照フレーム選択部８は、位置情報テーブル１２００の中で、符号化される切り出し画像（ｇ）との位置情報の差がもっとも小さい画像を選択する例について説明した。しかし、参照フレーム選択部８による選択の方法は、このの例に限定されるものではない。例えば、参照フレーム選択部８は、過去に符号化した切り出し画像の位置情報１２０２を、新しいものから順に参照していき、今から符号化を行う切り出し画像との位置情報１２０２との差が所定量以下であると判定した場合に、その位置情報１２０２に対応する切り出し画像を参照フレームとして選択する構成としてもよい。例えば、参照フレーム選択部８は、切り出し画像（ｇ）を符号化する際に、切り出し画像（ｆ）、切り出し画像（ｅ）、切り出し画像（ｄ）の順に位置情報１２０２を取得する。そして、取得した位置情報１２０２と、切り出し画像（ｇ）の位置情報（１９００、１７００）との差が、Ｘ座標で５０以下、Ｙ座標で５０以下の場合に、対応する切り出し画像を参照フレームとして選択する構成としてもよい。つまり、位置情報１２０２として、（１８５０〜１９５０、１６５０〜１７５０）を有する切り出し画像があれば、この切り出し画像を参照フレームとして選択してもよい。この構成とすることにより、位置情報テーブル１２００に含められる全ての位置情報１２０２を、今から符号化する切り出し画像との位置情報１２０２との差を比較しない場合でも、参照フレームを選択できる場合がある。

また、参照フレーム選択部８は、個々のフレームの映像が撮像された時刻の差を、参照フレームを選択する際に利用する構成としてもよい。例えば、撮像フレーム１２（ｇ）と、フレーム１２（ａ）との距離が近い場合であっても、時間の差が所定量以上ある場合は、フレーム（ａ）は参照フレームとしないことが可能である。時間の差は、任意に設定することが可能であり、例えば１０分、１時間、その他の量でもよい。また、この時間の差は、例えば、撮像を行うフレームレートと、フレーム数の差から算出できるが、それ以外の方法によって算出してもよい。このように、時間情報の差を用いることによって、主に時間の変動に起因する、参照フレームと符号化フレームとの相関の低下を抑制することが可能となる。例えば、グラウンドを撮影している場合において、夜に切り出し画像１２（ｇ）を撮像し、切り出し画像１２（ａ）を朝に撮像した場合には、フレーム全体の明暗が異なるため、切り出し画像１２（ａ）を参照フレームとしても圧縮効率が高くならない。これに対して、切り出し画像１２(a)と切り出し画像１２（ｇ）とが、ともに明るい時間帯に撮像された場合には、フレーム１２(a)を参照フレームとすると、フレーム全体の明暗も共通し、圧縮率を向上して符号化を行うことが可能となる。

また、仮に、位置情報を用いずに、切りだし画像１２（ｇ）から参照フレームを決定しようとすると、例えば、切り出し画像１２（ｂ）ないし切り出し画像１２（ｇ）のうち、候補となるフレームとの相関を1枚ずつ演算し、相関が高いフレームがどれかを決定する必要がある。従って、切り出し画像１２（ｇ）と、切り出し画像１２（a）は、時間的に、あるいは撮像場所が離れていればいるほど、符号化する際には、相関を演算するためにＣＰＵ６等にかかる負荷が大きくなる。これに対して、本映像処理装置０は、切り出した位置の位置情報を一時的に保持しておくことにより、その負荷を軽減することが可能になる。また、位置情報テーブル１２００は、複数フレームの切り出し画像の情報よりも、情報量が少なくなる場合が多い、従って、参照フレームを選択する際に、参照フレーム選択部８が備えるバッファ、あるいはメモリ７等に、位置情報テーブルを記憶させておくことにより、参照フレームの候補を、本実施例の方式を用いない場合と比べて多く確保することが可能となる。

また、特に切り出す領域の変更が頻繁に起こる場合など、連続するフレーム間の相関性が低くなるので、本手法は有効となる。この、切り出す領域の変更が頻繁に変更する場合としては、例えば野球中継などがある。野球中継では、投球シーン、守備シーン、走塁シーン、応援シーンなど状況に応じた様々な切り出しが考えられる。

また、本映像処理装置０を動き検出を行う監視カメラに適用した場合、撮像対象となる空間の複数の地点で動きを検出した場合にも、シーン切換を頻繁に行う必要があるので、有効性が高くなる。

なお、本実施例における符号化処理は、位置情報テーブル１２００を用いない符号化の方法と同時に利用し得ることはいうまでもない。例えば、参照フレーム選択部８において、参照フレームの候補を選択できなかった場合には、直前のＩフレームを参照フレームとして選択する構成としてもよい。

次に、実施例１のように符号化するシステムであって、映像入力部１から取得した映像に対して領域を指定して任意の画像をはめ込み、そのはめ込んだ映像に対して映像の切り出しを行う場合について図３、図４を用いて説明をする。

図３において０(ｂ)は映像処理装置である。また、４(ｂ)は切り出した映像を記録する切り出し映像記録部である。また、１４は画像はめ込み部である。その他のユニットは実施例１と同様である。

図４において、１１(ａ)〜１１(ｅ)は映像入力部１で取得した広角映像を表し１１(ａ)から１１(e)へ時系列に沿ったフレームとなっている。１５(ａ)〜１５(ｅ)は各広角映像１１(ａ)〜１１(ｅ)から切り出す範囲を示し、切り出した絵を１６(ａ)〜１６(ｅ)に示す。17は映像入力部1で取得した映像に画像のはめ込みをした領域を示す。図４は、車が木の横を通り過ぎる状況を固定の広角カメラで撮像した場合を表し、車の少し上の灰色の領域が画像のはめ込みを行った領域を示す。そしてユーザが車を中心とした映像を切り出した場合を想定している。

まず、映像処理装置０(b)を固定して撮影を行う。そして、映像入力部1で広角映像を取得し、映像記録部２で記録する。そして、取得した広角映像に対して、はめ込み部14で画像をはめ込む。はめ込む画像の選択及びはめ込む範囲の指定は操作部１３により行う。はめ込む画像と範囲についてはフレーム単位で変えてもよい。

次に、映像切り出し部３で画像をはめ込んだ映像に対して、映像の切り出しをする。映像には既にはめ込み画像を適用している。このため映像の切り出し範囲を変える度に画像をはめ込む領域を算出することなく、画像をはめ込んだ映像を切り出すことが可能である。そして実施例１同様に参照フレームを選択し、映像を符号化する。

最後に、切り出し映像記録部４(ｂ)で切り出した映像の記録を行い、映像出力部５で映像の出力をする。映像に画像をはめ込む状況としては、プライバシーマスクなどセキュリティ上の用途や、スポーツ中継で特定の領域に広告などを表示するケースなどが考えられる。

一台のカメラでパン・チルトによって撮像範囲を変えながら特定の領域に画像をはめ込む場合と比較すると、この場合は撮像範囲を変える度に、画像をはめ込む領域を計算する必要が生じるが、本実施例では、映像の切り出し範囲を変える度に画像をはめ込む領域を算出することなく、特定領域に画像をはめ込んだ映像を得る事ができる。

なお、本実施例において、実施例１の符号化方式を適用することも可能である。この場合、映像切り出し部３および切り出し映像記憶部４（ｂ）の間に参照フレーム選択部８を入れることとなる。

次に、映像を切り出す際に、切り出す位置とカメラの位置関係から、切り出す映像に補正をかける場合について図５、図６、図７を用いて説明する。図５において０(c)は映像処理装置である。１８は画像変換部である。４(ｃ)は画像変換部１８によって変換した映像を記録する切り出し映像記録部である。その他のユニットは実施例１と同様である。

まず、映像処理装置０(ｃ)を固定して撮影を行う。そして、映像入力部１で広角映像を取得し、映像記録部２で記録する。そして、取得した広角画像に対して、映像切り出し部３で映像の切り出しを行う。次に、画像変換部１８でカメラの位置と切り出す位置の関係から、カメラが切り出す領域の方向を向いて撮像したような絵になるように幾何学的な変換を行う。

例えば、図６のように切り出したい領域とカメラの位置関係から透視変換のような画像変換を行ってもよい。ここで、図６の１９はカメラ、１１はカメラ１９により取得した広角画像、２０は切り出して変換する範囲、２１は切り出す範囲２０の画像を幾何学的変換した画像、２２は変換した領域２１を出力先のサイズに適した大きさに、アフィン変換などを施した画像となる。

この場合、最終的に切り出した画像２２は切り出した範囲２０よりも小さくなる場合が考えられるので、実際に変換を行う場合は、その点も考慮して切り出す範囲２０を決める必要がある。そして、実施例１と同様に、切り出し映像記録部4(c)で記録を行い、映像出力部5で映像を出力する。画像に変換を行った画像の例を図７に載せる。図７の２３は広角画像からそのまま切り出した画像、２４は切り出した画像２３に幾何学的変換を施した画像、２５は幾何学的変換を施した画像２４を出力先のサイズにリサイズあるいは切り出しを行った画像となっている。

こうすることで、映像から映像を切り出した際に、カメラが切り出す領域の方向を向いて撮像したような絵を取得できる。また、より立体感のある絵を提供する事が出来る。

次に、映像を切り出す際に、切り出す位置によって好適な音を提供する場合について図８、図９を用いて説明する。図８において、０(ｄ)は映像処理装置であり、２６はマイク音源調整部、４(ｄ)は映像切り出し部３とマイク音源調整部２６からの出力データを記録する切り出し映像記録部である。図９の１１は映像入力部1で取得した広角画像で、図９の２７(a)〜２７(c)は切り出す範囲、２８(a)〜２８(i)はマイクを示す。その他のユニットは実施例１と同様である。

まず、映像処理装置０(ｄ)を固定して撮影を行う。そして、映像入力部１で広角映像１１を取得し、映像記録部２で記録する。そして、取得した広角映像１１に対して映像切り出し部３で映像の切り出しを行う。次にマイク音源調整部で、切り出し範囲に応じたマイク音源の調整を行う。調整の方法には、例えば、図９の２７(ａ)を切り出す場合は、マイク音源として２８(ａ)、２８(ｂ)、２８(ｄ)、２８(ｅ)に重みをつけ、２７(ｂ)を切り出す場合は、マイク音源として２８(ｅ)、２８(ｆ)に重みをつけ、２７(ｃ)を切り出す場合は、マイク音源として28(e)に重みをつけるなどがある。そして、切り出した映像と調整した音を切り出し範囲記録部4で記録し、映像出力部5で出力する。

このように、映像処理装置０（ｄ）が重み付けを行うことにより、切り出し位置にあった音を映像に付加することができる。

また、上述の重み付けとは、例えば切出す範囲２７（ａ）〜（ｃ）との位置が近いマイク音源を１個以上選択することを示す。その他、重み付けとは、切出す範囲２７（ａ）〜（ｃ）に近いマイク音源を選択した上で、位置が近い音源ほど記録媒体に記録するボリュームを大きくする構成としてもよい。ここで、位置情報は実施例１における位置情報を用いる。

広角映像のどの部分を切り出したのかをディスプレイなどの表示部に出力する手段について、図１０、図１１を用いて説明する。図１０の２９は切り出し位置画像生成部、３０は画像重畳部を示し、その他のユニットは実施例２と同様である。しかし、説明を簡単にするため、本実施例では、画像をはめ込む手段については省略している。

まず、映像入力部１から取得した広角映像に対して、映像切り出し部３で映像を切り出す。そして、切り出し位置画像生成部２９では、切り出す範囲から、広角映像のどの部分を切り出したのかを枠で示した画像を出力する。そして、画像重畳部３０で切り出した映像に、切り出し位置画像生成部２９で作成した画像を重畳する。そして、それを映像出力部５で出力する。このようにして作成した映像の例を図１１に示す。図１１の３１は切り出した映像、３２は元の広角映像をリサイズした映像、３３はどの部分を切り出したのかを示すために、リサイズした映像３２に切り出した範囲を示す枠を表している。

こうすることで、広角映像のうちどの範囲の映像を切り出したのかを、ユーザに提供する事が出来る。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例では、映像入力部１からの広角映像を映像記録部2に、切り出した映像を切り出し映像記録部４(a)乃至４(ｄ)で記録を行っている。しかし、映像記録部2あるいは切り出し映像記録部４(a)乃至４(ｄ)は必ずしも必要ではなく、映像入力部1からの映像を実時間で処理し、外部出力をしても良い。これらユニットは、本実施例を分かりやすく説明するために詳細に説明したものであり、説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

以上説明した、各実施例の映像処理装置によれば、切り出した映像を符号化する際に、従来の手法よりも圧縮率を上げることが可能である。

また、撮像映像に画像をはめ込む場合については、一般的なビデオカメラを操作する場合は、カメラの動作に合わせてはめ込む位置を検出する必要があるが、本実施例の映像処理装置の場合、切り出す範囲を変えても、はめ込み画像の位置を改めて検出することなく処理を行う事が可能である。

また、画像を切り出す際に、切り出す位置とカメラの位置を考慮して画像に補正をかけることで、単に切り出す場合と比べて立体的な映像を作成することが可能である。最後に、複数のマイクを接続し、切り出し位置に応じてマイク音源の重みを変えることで、映像に適した音を提供する事が可能である。

また、本発明の構成は、上記実施例に限定されるものではなく、発明の範囲で自由に変更することも可能である。また、各実施例の内容を組み合わせることも可能である。

第１実施例としての映像処理装置の構成図である。第１実施例として、具体例を説明するための図である。第２実施例としての映像処理装置の構成図である。第２実施例として、具体例を説明するための図である。第３実施例としての映像処理装置の構成図である。第３実施例として、画像の幾何学的変換を説明するための図である。第３実施例として、画像の変換例を示す図である。第４実施例としての映像処理装置の構成図である。第４実施例として、マイク音源を選択する優先順位を説明するための図である。第５実施例としての映像処理装置の構成図である。第５実施例を具体的に説明するための図である。位置情報テーブルの例を示す図である。

符号の説明

０（ａ）〜０（ｅ）・・・映像処理装置
１・・・映像入力部
２・・・映像記録部
３・・・映像切り出し部
４（ａ）〜４（ｄ）・・・切り出し映像記録部
５・・・映像出力部
６・・・ＣＰＵ
７・・・メモリ
８・・・参照フレーム選択部
９・・・符号化部
１０・・・バス
１１，１１（ａ）〜１１（ｅ）・・・広角映像
１２（ａ）〜１２（ｇ）・・・切り出し範囲
１３・・・操作部
１４・・・画像はめ込み部
１５（ａ）〜１５（ｅ）・・・切り出し範囲
１６（ａ）〜１６（ｅ）・・・切り出した画像
１７・・・画像はめ込み範囲
１８・・・画像変換部
１９・・・カメラ
２０・・・切り出して変換する範囲
２１・・・画像変換した画像
２２・・・画像変換した画像から切り出した画像
２３・・・切り出した画像
２４・・・幾何学的変換を施した画像
２５・・・リサイズした画像
２６・・・マイク音源調整部
２７（ａ）〜２７（ｃ）・・・切り出し範囲
２８（ａ）〜２８（ｉ）・・・マイク音源
２９・・・切り出し位置画像生成部
３０・・・画像重畳部
３１・・・切り出した映像
３２・・・広角映像をリサイズした映像
３３・・・切り出し位置を示す枠

Claims

被写体を撮像した映像を処理する映像処理装置であって、
広角映像を撮像する撮像手段と、
前記広角映像から一部の領域の映像を切り出す切出し手段と、
前記切出し手段により切り出された映像と、前記切り出された映像の前記広角映像における位置を示す位置情報とを対応づける位置情報取得手段と、
前記切出し手段により切り出した映像を符号化する符号化手段と、を備え、
前記符号化手段は、前記位置情報に基づいて参照フレームを選択して符号化を行う手段を有することを特徴とする映像処理装置。
請求項１に記載の映像処理装置は、
過去に符号化した複数の映像の切り出し位置を示す位置情報を記憶する記憶手段を備え、
前記符号化手段は、前記記憶手段に記憶されている位置情報のうち、符号化する映像に対応する位置情報との差が最も小さい位置情報を有する切り出し画像を、前記符号化される映像の参照フレームに選択して符号化を行うことを特徴とする映像処理装置。
請求項１に記載の映像処理装置において、
前記符号化手段は、過去に符号化した映像に対応する位置情報と、符号化する映像に対応する位置情報との差が所定量以下である場合に、前記過去に符号化した映像を参照フレームに選択して符号化を行うことを特徴とする映像処理装置。
請求項１に記載の映像処理装置において、
前記符号化手段は、過去に符号化した映像に対応する位置情報と、符号化する映像に対応する位置情報との差が所定量以下であり、かつ該過去に符号化した映像と該符号化する映像との撮像された時間の差が所定量以下である場合に、該過去に符号化した映像を参照フレームに選択して符号化を行うことを特徴とする映像処理装置。
請求項１ないし４のいずれかに記載の映像処理装置であって、
前記広角映像の一部の領域に、他の映像のはめ込み合成を行う合成手段と、を備え、
前記切出し手段は、前記合成手段により他の映像を合成された広角映像の一部の領域を切り出すことを特徴とする映像処理装置。
請求項１ないし５のいずれかに記載の映像処理装置は、
複数の集音装置から音声を入力する音声入力手段と、
前記位置情報に応じて前記複数の集音装置から入力した音声の個々の音量を変更して出力する音声出力手段を備えることを特徴とする映像処理装置。
請求項１ないし５のいずれかに記載の映像処理装置は、
複数の集音装置から音声を入力する音声入力手段と、
前記切り出す手段により切り出した映像を出力する出力手段と、を備え、
前記出力手段は、前記位置情報に応じて前記複数の集音装置から入力した音声の個々の重みづけを変更して出力することを特徴とする映像処理装置。
請求項１ないし７のいずれかに記載の映像処理装置であって、
前記切り出す手段により切り出した位置情報を用いて、前記切り出した映像を外部の表示機器に出力する際に、前記広角映像のどの範囲を切り出したかを示す表示を出力する切り出し表示出力手段を有することを特徴とする映像処理装置。
請求項１ないし８のいずれかに記載の映像処理装置であって、
前記切り出した映像を所定の表示サイズに変換する変換手段を備えることを特徴とする映像処理装置。