JP5318863B2 - 撮像装置、撮像方法及び集積回路 - Google Patents

Description

本発明は動画の撮像装置、撮像方法及び集積回路に関し、より特定的には、撮像した動画内の特定の領域を記録する撮像装置、撮像方法及び集積回路に関する。

動画の撮影に関連する静止画の撮影においては、ユーザがシャッタボタンを１回押し下げる動作（以下、シャッタ押下動作という）を行うだけで、構図が互いに異なる複数の静止画像を得ることができる撮像装置がある。そして、この様に、ユーザの１回のシャッタ押下動作によって、構図が互いに異なる複数の静止画像を得る撮影を、構図ブラケット撮影という。

構図ブラケット撮影を行う従来の撮像装置として、例えば、特許文献１に記載された従来の撮像装置がある。図１３は、特許文献１に記載された従来の撮像装置が行う構図ブラケット撮影を示す図である。特許文献１の撮像装置は、ユーザによってズーム連写撮影モードが選択されると、被写体のスルー画像と共に、複数のズーム連写枠をプレビュー表示する。そして、特許文献１の撮像装置は、ユーザの十字キーの操作に従ってズーム連写枠のトリミング位置の記憶を更新し、当該更新後に記憶したトリミング位置にズーム連写枠（２０ａ、２０ｂ）を表示する。そして、特許文献１の撮像装置は、ユーザによってシャッタ押下動作がなされると、静止画撮影処理を開始し、当該静止画撮影処理によって得られた静止画像をバッファメモリに記憶する。そして、特許文献１の撮像装置は、当該得られた静止画像からトリミング処理によって、ズーム連写枠２０ａ内の静止画像とズーム連写枠２０ｂ内の静止画像とを生成し、それぞれバッファメモリに記憶する。その後、特許文献１の撮像装置は、撮影処理によって得られた静止画像及び生成された静止画像を、フラッシュメモリにそれぞれ記録する。なお、特許文献１の撮像装置は、以上の処理によって得られた複数の静止画像を、１つの組画像として保存する。この様にして、特許文献１の撮像装置は、ユーザの１回のシャッタ押下動作によって、構図が互いに異なる複数の静止画像を取得する。

また、元の画像から部分画像を切り出して符号化する動画の撮像装置として、例えば、特許文献２に記載された従来の動画の撮像装置がある。図１４は、特許文献２に記載された従来の撮像装置の処理回路構成を示すブロック図である。特許文献２の撮像装置は、ベース画像符号化前処理部２２で、ベース画像をブロック分割し、各ブロックに対して、参照ブロック記述テーブルに記述されたルールに従って、最適の動きベクトルと直交変換係数を含む前処理データを求め、蓄積する。部分画像位置入力部２３は、ベース画像から切り出す部分画像の初期位置とその動き速度を入力する。部分原画像生成部２４は、部分画像のサイズとその位置を決定する。また、この位置は、ベース画像の基準位置に対し、ブロック又はマクロブロック単位で離間するように決定する。部分画像符号化部２５は、部分画像に係る前処理データをベース画像符号化前処理部２２から取得し、これを量子化、可変長符号化をして配信することで、符号化処理の負荷を軽減する。

特開２００６−２１１４８９号公報 特開２００５−１０１７２０号公報

以上に説明した様に、特許文献１の技術は、ユーザが１回シャッタ押下動作を行うと複数の静止画像を取得する。ここで、特許文献１の技術を、動画の撮像に適用した場合を考える。この場合、動画を構成する複数の静止画像の互いの関係は考慮されず、単純に複数の動画像が取得されることとなる。このことによって、動画のデータ量は非常に多くなる。この結果として、特許文献１の技術を動画に適用した場合には、多大な記録容量を必要とし、また、取得した動画をネットワーク等を介してリアルタイムで送信する場合には高い伝送レートを必要とする。

特許文献２の技術は、元の動画の部分画像を切り出す際に、符号化の処理負荷を軽減するものであって、切り出した部分画像のデータ量を低減するものではない。このことから、特許文献２の技術によって複数の領域を切り出す場合には、多大な記録容量を必要とし、また、取得した動画をネットワーク等を介してリアルタイムで送信する場合には高い伝送レートを必要とする。

それ故に、本発明の目的は、上記した課題を解決するものであり、動画内の複数の領域を切り出して成る記録動画を記録部に記録する際に必要となる記録容量を削減でき、また、記録動画の伝送に要する伝送レートを低減できる、動画の撮像装置、撮像方法及び集積回路を提供することである。

本発明は、動画撮像装置に向けられている。そして、上記目的を達成させるために、本発明の動画撮像装置は、被写体を撮像して、複数のフレームから成る撮像動画を得る撮像部と、撮像動画をフレーム毎に加工して記録動画を作成する画像処理部とを備え、画像処理部は、撮像動画内の複数の被写体像をユーザの指示に従って指定する被写体指定手段と、撮像動画から被写体指定手段で指定された複数の被写体像のそれぞれを切り出す複数の被写体トリミング画像を設定する被写体トリミング画像設定手段と、被写体指定手段で指定された複数の被写体像を追跡し、当該複数の被写体像に追随して複数の被写体トリミング画像をフレーム毎に移動させる被写体追跡手段と、フレーム毎に、複数の被写体トリミング画像を第１のトリミング画像として設定する第１のトリミング画像設定手段と、フレーム毎に、複数の被写体トリミング画像を囲む１つの画像を第２のトリミング画像として設定する第２のトリミング画像設定手段と、フレーム毎に、第１のトリミング画像のデータサイズを算出する第１のデータサイズ算出手段と、フレーム毎に、第２のトリミング画像のデータサイズを算出する第２のデータサイズ算出手段と、フレーム毎に、第１のトリミング画像のデータサイズと第２のトリミング画像のデータサイズとを比較する比較手段と、フレーム毎に、第１のトリミング画像と第２のトリミング画像とのうち、比較手段でデータサイズが小さいと判断された画像を記録動画として選択する選択手段とを含む。

これにより、本発明の動画撮像装置は、記録動画のデータ量を効果的に削減できる。

また、本発明の動画撮像装置は、記録動画を記録する記録部を更に備えてもよい。

この場合、本発明の動画撮像装置は、記録部の記録容量を削減できる。

また、画像処理部は、記録動画の作成と並行して、当該記録動画の作成完了部分を他の機器に送信してもよい。

この場合、本発明の動画撮像装置は、ネットワーク等を介して記録動画を配信等する際に、データの伝送レートを低減できる。

また、被写体トリミング画像設定手段が設定する複数の被写体トリミング画像は、いずれも四角形状であり、第２のトリミング画像設定手段が設定する第２のトリミング画像は、四角形状であってもよい。

また、第２のトリミング画像設定手段が設定する第２のトリミング画像は、複数の被写体トリミング画像のいずれにも属さない領域を含まないことが好ましい。

これにより、本発明の動画撮像装置は、更に記録動画のデータ量を効果的に削減できる。

また、被写体トリミング画像設定手段が設定する複数の被写体トリミング画像は、いずれも四角形状であり、選択手段は、第１のトリミング画像を選択した場合は、更に、複数の被写体トリミング画像の少なくとも１つを拡大又は縮小し、複数の被写体トリミング画像を並べて１つの四角形状の第１のトリミング画像に加工してもよい。

これにより、ユーザが第１のトリミング画像を観賞する際の見栄えがよくなる。

なお、以上に説明した画像処理部が含む各手段は、図２、図８及び図１１のフローチャート（後に詳しく説明する）を構成する以下のステップの処理を実現する。被写体指定手段は、ステップＳ１０２の処理を実現する。被写体トリミング画像設定手段は、ステップＳ１０３の処理を実現する。被写体追跡手段は、ステップＳ１０４の処理を実現する。第１のトリミング画像設定手段は、ステップＳ１０６の処理を実現する。第２のトリミング画像設定手段は、ステップＳ１０８及びＳ２０８の処理を実現する。第１のデータサイズ算出手段は、ステップＳ１０７の処理を実現する。第２のデータサイズ算出手段は、ステップＳ１０９の処理を実現する。比較手段は、ステップＳ１１０及びＳ２１０の処理を実現する。選択手段は、ステップＳ１１１、Ｓ１１２及びＳ３１２の処理を実現する。

また、本発明は、動画撮像方法にも向けられている。そして、上記目的を達成させるために、本発明の動画撮像方法は、被写体を撮像して、複数のフレームから成る撮像動画を得る撮像ステップと、撮像動画をフレーム毎に加工して記録動画を作成する画像処理ステップとを備え、画像処理ステップは、撮像動画内の複数の被写体像をユーザの指示に従って指定する被写体指定ステップと、撮像動画から被写体指定ステップで指定した複数の被写体像のそれぞれを切り出す複数の被写体トリミング画像を設定する被写体トリミング画像設定ステップと、被写体指定ステップで指定した複数の被写体像を追跡し、当該複数の被写体像に追随して複数の被写体トリミング画像をフレーム毎に移動させる被写体追跡ステップと、フレーム毎に、複数の被写体トリミング画像を第１のトリミング画像として設定する第１のトリミング画像設定ステップと、フレーム毎に、複数の被写体トリミング画像を囲む１つの画像を第２のトリミング画像として設定する第２のトリミング画像設定ステップと、フレーム毎に、第１のトリミング画像のデータサイズを算出する第１のデータサイズ算出ステップと、フレーム毎に、第２のトリミング画像のデータサイズを算出する第２のデータサイズ算出ステップと、フレーム毎に、第１のトリミング画像のデータサイズと第２のトリミング画像のデータサイズとを比較する比較ステップと、フレーム毎に、第１のトリミング画像と第２のトリミング画像とのうち、比較ステップでデータサイズが小さいと判断した画像を記録動画として選択する選択ステップとを含む。

また、本発明は、被写体を撮像し、取得した撮像動画を加工して記録動画を作成する動画撮像装置に組み込まれる集積回路にも向けられている。そして、上記目的を達成させるために、本発明の集積回路は、被写体を撮像するＣＣＤの出力信号に対してノイズ低減処理及びゲインコントロールを行い、アナログ信号からデジタル信号に変換する信号処理／ＡＤ変換回路、信号処理／ＡＤ変換回路の出力信号に対して、画像補正処理を行って撮像動画を得る補正回路、補正回路で得た撮像動画内の複数の被写体像をユーザの指示に従って指定し、当該撮像動画から当該複数の被写体像のそれぞれを切り出す複数の被写体トリミング画像を設定し、当該複数の被写体像を追跡し当該複数の被写体像に追随して当該複数の被写体トリミング画像をフレーム毎に移動させ、フレーム毎に、当該複数の被写体トリミング画像を第１のトリミング画像として設定し、当該複数の被写体トリミング画像を囲む１つの画像を第２のトリミング画像として設定し、当該第１のトリミング画像のデータサイズ及び当該第２のトリミング画像のデータサイズを算出して比較し、データサイズが小さい方の画像を記録動画として選択する画像処理部、及び、少なくとも、信号処理／ＡＤ変換回路、補正回路及び画像処理部を制御する制御部としての機能を実行する。

上記した通り、本発明の撮像装置、撮像方法及び集積回路によれば、動画内の複数の領域を切り出して成る記録動画を記録部に記録する際に必要となる記録容量を削減でき、また、記録動画の伝送に要する伝送レートを低減できる。

本発明の第１の実施形態に係る撮像装置１００の構成例を示すブロック図 被写体を撮像して動画を記録部に記録するまでに本発明の撮像装置１００が行う特徴的な処理を説明するためのフローチャート 図２のステップ１０１で撮像されたリアルタイム動画４０の一例を示す図 図３に示す対象フレーム４０において、画像重畳部分４６が無い場合について説明するための図 図３に示す対象フレーム４０において、画像重畳部分４６が有る場合について説明するための図 図３に示す対象フレーム４０において、画像重畳部分４６が有る場合について説明するための図 二人の人物の被写体像４４及び４５が擦れ違う場合において、第１及び第２のトリミング画像の何れが記録動画として記録されるのかを説明するための図 被写体を撮像して動画を記録部に記録するまでに本発明の撮像装置２００が行う特徴的な処理を説明するためのフローチャート 図８のステップＳ２０８において、ＤＳＰ１４−２が設定する第２のトリミング画像を説明するための図 図８のステップＳ２０８において、ＤＳＰ１４−２が設定する第２のトリミング画像を説明するための図 被写体を撮像して動画を記録部に記録するまでに本発明の撮像装置３００が行う特徴的な処理を説明するためのフローチャート 図１１のステップＳ３１０において、ＤＳＰ１４−３が行う加工について説明するための図 従来の撮像装置が行う構図ブラケット撮影を示す図 従来の撮像装置の処理回路構成を示すブロック図

以下、本発明の各実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態に係る撮像装置１００の構成例を示すブロック図である。図１に示す通り、撮像装置１００は、レンズ１と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２と、信号処理／ＡＤ変換回路３と、補正回路４と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５と、不揮発性メモリ６と、メモリカードインタフェース７と、メモリカード８と、操作部９と、表示部１０と、タイミングジェネレータ１１と、レンズ駆動部１２と、ＣＰＵ１３と、ＤＳＰ１４と、ネットワークインタフェース１６とを備える。ここで、バス１５は、上記構成要素のうち互いに接続が必要となる構成要素を、接続する。なお、メモリカード８は、撮像装置１００から取り外し可能であるので、撮像装置１００に含まれないものと考えてもよい。また、不揮発性メモリ６、メモリカードインタフェース７及びメモリカード８を総称して、記録部と呼んでもよい。また、レンズ１、ＣＣＤ２、信号処理／ＡＤ変換回路３、補正回路４、タイミングジェネレータ１１及びレンズ駆動部１２をまとめて、撮像部と呼んでもよい。また、ＣＰＵ１３を制御部と呼んでもよい。またＤＳＰ１４を画像処理部と呼んでもよい。また、ＳＤＲＡＭ５を一時格納部と呼んでもよい。

まず、図１を参照して、撮像装置１００の動作について、簡単に説明する。レンズ１は、被写体（図示せず）の像（以下、被写体像という）をＣＣＤ２に結像させる。ＣＣＤ２は、光信号として結像された被写体像を電気信号に変換することによって、被写体を撮像する。信号処理／ＡＤ変換回路３は、ＣＣＤ２から出力された電気信号に対して、ノイズ低減処理及びゲインコントロールを行い、アナログ信号からデジタル信号に変換する。補正回路４は、信号処理／ＡＤ変換回路３から出力されたデジタル信号に対して、ホワイトバランス（白色補正）、ガンマ補正、色補正等の画像補正処理を行う。以上の処理によって、被写体のリアルタイムの動画（以下、リアルタイム動画という）の信号が取得される。ＳＤＲＡＭ５は、リアルタイム動画の信号を、順次、１フレーム単位で一時的に格納する。ここで、フレームは、動画を構成する静止画である。このことから、リアルタイム動画は複数のフレームから成るので、ＳＤＲＡＭ５は、リアルタイム動画を一時的に格納するとも言える。ＤＳＰ１４は、ＳＤＲＡＭ５に格納されたリアルタイム動画に後に詳しく説明する特徴的処理を施し、不揮発性メモリ６に記録、又はメモリカードインタフェース７を介してメモリカード８に記録、又はネットワークインタフェース１６を介してネットワーク（図示せず）等を経由して他の機器（図示せず）に送信する。タイミングジェネレータ１１は、ＣＣＤ２が信号処理／ＡＤ変換回路３に電気信号を出力するタイミングを制御する。レンズ駆動部１２は、レンズ１の位置を制御することによって、撮像装置１００のフォーカス動作及びズーム動作を可能とする。表示部１０は、ＳＤＲＡＭ５に一時的に格納されたリアルタイム動画を表示する。また、表示部１０は、メモリカード８、不揮発性メモリ６、又は他の機器に記録された動画を表示する。操作部９は、撮像開始ボタン、録画ボタン及びカーソルボタン等であり、ユーザからの指示が入力される。また、ＣＰＵ１３は、以上に説明した、撮像装置１００が行う一連の動作を制御する。

図２は、被写体を撮像して動画を記録部に記録するまでに撮像装置１００が行う特徴的な処理を説明するためのフローチャートである。以下に、図２を参照して撮像装置１００の動作を説明する。

ユーザが操作部９を操作することによって撮像動作が開始されると、まず、ステップＳ１００において、ＳＤＲＡＭ５は、撮像されたリアルタイム動画を１フレーム単位で順次一時的に記憶し、表示部１０は、ＳＤＲＡＭ５が記憶したリアルタイム動画を表示する。

次に、ステップＳ１０１において、ユーザは、表示部１０に表示されたリアルタイム動画を視ながら撮像装置１００の撮像方向を調節することによって、撮像装置１００に、動画として記録したい複数の被写体の像をリアルタイム動画として撮像させる。なお、被写体は、例えば、人物、動物、自動車、植物、建物等である。

図３は、図２のステップ１０１で撮像されたリアルタイム動画４０の一例を示す図である。以下では、図３を用いて説明する。

次に、ステップＳ１０２において、ＤＳＰ１４は、ユーザの指示があるまで待機し、ユーザの指示に従って、ステップＳ１０１で撮像されたリアルタイム動画４０内の複数の被写体像４４及び４５を指定する。この際、ユーザは、表示部１０に表示されたリアルタイム動画４０を視ながら、操作部９を用いて複数の被写体像４４及び４５を指定する指示を行う。図３では、一例として、人物の像である被写体像４４と人物の像である被写体像４５とが指定されている。

次に、ステップＳ１０３において、ＤＳＰ１４は、指定された被写体像４４を含む被写体トリミング画像４１と指定された被写体像４５を含む被写体トリミング画像４２とを、リアルタイム動画４０内に設定する。ここで、ＤＳＰ１４は、リアルタイム動画４０に位置情報を付加することによって、被写体トリミング画像４１及び４２を設定する。

なお、被写体トリミング画像４１及び４２は、それぞれ、被写体像４４及び４５の全てを含むものでもよいし、一部（顔等）を含むものでもよい。また、被写体トリミング画像４１及び４２は、リアルタイム動画４０内のユーザが指定する点を中心とする四角形状によって設定されてもよいし、他の公知の方法で設定されてもよい。また、被写体トリミング画像４１及び４２は、多角形、楕円形、丸形、更には任意形状等、他の形状であってもよい。また、複数の被写体トリミング画像４１及び４２は、互いに異なる大きさ、形状であってもよい。また、被写体像が３つ以上指定されて、３つ以上の被写体トリミング画像が、それぞれ設定されてもよい。

次に、ステップＳ１０４において、ＤＳＰ１４は、ステップＳ１０２で指定した複数の被写体像４４及び４５を認識し、当該複数の被写体像４４及び４５を追跡する。そして、ＤＳＰ１４は、被写体トリミング画像４１が常に被写体像４４を含み被写体トリミング画像４２が常に被写体像４５を含むように、被写体トリミング画像４１及び４２の位置を、複数の被写体像４４及び４５の動きに追随してリアルタイム動画４０内で移動させる。なお、被写体像４４及び４５を認識して追跡するには、例えば、パターンマッチング等の公知技術を用いればよい。

以上に説明した、ステップＳ１００〜Ｓ１０４は、録画準備動作である。以下では、録画動作であるステップＳ１０５〜Ｓ１１５について説明する。

ステップＳ１０５において、ＤＳＰ１４は、ユーザによって録画ボタンが押下されたことを検出するまで待機し、録画ボタンが押下されたことを検出すると、処理はステップＳ１０６に移る。

ここで、以下に説明するステップＳ１０６〜Ｓ１１５の動作は、リアルタイム動画４０を構成するフレーム毎に実施される。具体的には、リアルタイム動画４０を構成する複数のフレーム（静止画）の一枚一枚に対して、ステップＳ１０６〜Ｓ１１５の処理が実施される。そこで、以下のステップＳ１０６〜Ｓ１１５の説明では、図３に示すリアルタイム動画４０を処理対象のフレーム４０（以下、対象フレーム４０という）と考えて、図３を用いて説明を行う。

ステップＳ１０６において、ＤＳＰ１４は、ステップＳ１００でＳＤＲＡＭ５に一時的に格納された対象フレーム４０から、被写体トリミング画像４１及び４２をそれぞれ抽出し、第１のトリミング画像として設定する。この際、ＤＳＰ１４は、対象フレーム４０に付加された被写体トリミング画像４１及び４２の位置情報を用いる。

次に、ステップＳ１０７において、ＤＳＰ１４は、ステップＳ１０６で設定した第１のトリミング画像のデータサイズを算出する。例えば、ＤＳＰ１４は、被写体トリミング画像４１の面積及び被写体トリミング画像４２の面積を算出して合計することによって、第１のトリミング画像のデータサイズを算出する。なお、被写体トリミング画像４１の面積は、例えば、被写体トリミング画像４１を構成する画素数を用いて算出できる。被写体トリミング画像４２の面積も、同様にして算出できる。

次に、ステップＳ１０８において、ＤＳＰ１４は、被写体トリミング画像４１及び４２を囲む１つの画像である四角形の被写体トリミング画像４３を抽出し、第２のトリミング画像として設定する。

次に、ステップＳ１０９において、ＤＳＰ１４は、ステップＳ１０８で設定した第２のトリミング画像のデータサイズを算出する。例えば、ＤＳＰ１４は、第２のトリミング画像の面積を算出することによって、第２のトリミング画像のデータサイズを算出する。なお、第２のトリミング画像の面積は、例えば、第２のトリミング画像を構成する画素数を用いて算出できる。なお、第２のトリミング画像は、多角形、楕円形、丸形、更に任意形状等、他の形状であってもよい。ここで、第２のトリミング画像（被写体トリミング画像４３）は、被写体トリミング画像４１及び４２のどちらにも属さない領域である拡張領域４７及び４８を含む。また、被写体トリミング画像４１と被写体トリミング画像４２とが重なった部分を、画像重畳部分４６という。

図４は、図３に示す対象フレーム４０において、画像重畳部分４６が無い場合について説明するための図である。なお、図４の対象フレーム４０は、拡張領域４９を含む。図５及び図６は、図３に示す対象フレーム４０において、画像重畳部分４６が有る場合について説明するための図である。以下に、図３〜図６を用いて、ステップＳ１１０について説明する。

ステップＳ１１０において、ＤＳＰ１４は、ステップＳ１０７で算出した第１のトリミング画像のデータサイズが、ステップＳ１０９で算出した第２のトリミング画像のデータサイズよりも大きいか否かを判断する。ステップＳ１１０における判断は、例えば、第１のトリミング画像の面積と第２のトリミング画像の面積とを比較することによってできる。具体的には、図６に示す様に、第１のトリミング画像の面積（被写体トリミング画像４１の面積と被写体トリミング画像４２の面積との合計）が第２のトリミング画像の面積（被写体トリミング画像４３の面積）よりも大きい場合は、第１のトリミング画像のデータサイズが第２のトリミング画像のデータサイズよりも大きいと判断され、処理はステップＳ１１１に移る。一方、図４及び図５に示す様に、第１のトリミング画像の面積が、第２のトリミング画像の面積よりも小さい場合は、第１のトリミング画像のデータサイズが第２のトリミング画像のデータサイズよりも小さいと判断され、処理はステップＳ１１２に移る。なお、ステップＳ１１０において、第１のトリミング画像の面積と、第２のトリミング画像の面積とが等しいと判断された場合には、例えば、予め設定された方のステップに処理が移ることとしてもよい。

ステップＳ１１１において、ＤＳＰ１４は、ステップＳ１０８で設定した第２のトリミング画像を選択する。言い換えると、ステップＳ１１１において、ＤＳＰ１４は、被写体トリミング画像４３を選択する。その後、処理はステップＳ１１３に移る。

ステップＳ１１２において、ＤＳＰ１４は、ステップＳ１０６で設定した第１のトリミング画像を選択する。言い換えると、ステップＳ１１２において、ＤＳＰ１４は、被写体トリミング画像４１と被写体トリミング画像４２とを選択する。その後、処理はステップＳ１１３に移る。

ステップＳ１１３において、ＤＳＰ１４は、ステップＳ１１１又はステップＳ１１２で選択したトリミング画像を、記録すべき動画（以下、記録動画という）を構成するフレームとして、不揮発性メモリ６又はメモリカード８に記録する。より具体的には、処理がステップＳ１１１からステップＳ１１３に移った場合、ＤＳＰ１４は、選択した第２のトリミング画像（被写体トリミング画像４３）を、記録動画を構成する１つのフレームとして、不揮発性メモリ６又はメモリカード８に記録する。また、処理がステップＳ１１２からステップＳ１１３に移った場合、ＤＳＰ１４は、選択した第１のトリミング画像（被写体トリミング画像４１及び４２）を、記録動画を構成する１つのフレームとして、不揮発性メモリ６又はメモリカード８に記録する。ここで、ＤＳＰ１４は、被写体トリミング画像４１及び４２をそれぞれスライスとして扱い、１つのファイルとして記録してもよいし、別ファイルとしてそれぞれ記録してもよい。被写体トリミング画像４１及び４２が別ファイルとして記録される場合には、各ファイルは関連付けられるのが好ましい。このことによって、後に記録動画を再生する際に、被写体像４４及び４５の動きを容易に同期させることができる。なお、第１及び第２のトリミング画像を、不揮発性メモリ６又はメモリカード８のいずれに記録するかは、ユーザによって予め決定されていてもよいし、初期設定として予め決定されていてもよい。

次に、ステップＳ１１４において、ＤＳＰ１４は、ＳＤＲＡＭ５に格納される次の対象フレーム４０内で、ステップＳ１０２で指定した複数の被写体像４４及び４５を認識し、当該複数の被写体像４４及び４５を追跡する。そして、ＤＳＰ１４は、この次の対象フレーム４０内で、被写体トリミング画像４１が常に被写体像４４を含み被写体トリミング画像４２が常に被写体像４５を含むように、複数の被写体像４４及び４５の動きに追随して被写体トリミング画像４１及び４２の位置を移動させる。

次に、ステップＳ１１５において、ＤＳＰ１４は、ユーザによって録画ボタンが解除されたか否かを検出する。録画ボタンの解除が検出されない場合は、録画動作は続行されて、処理はステップＳ１０６に戻る。録画ボタンの解除が検出された場合は、録画動作は終了し、撮像終了する。

図７は、二人の人物の被写体像４４及び４５が擦れ違う場合において、第１及び第２のトリミング画像の何れが記録動画として記録されるのかを説明するための図である。図７において、（ａ）〜（ｅ）は、それぞれ、対象フレーム４０であり、また、各対象フレーム４０は、時間の流れに沿って、（ａ），（ｂ），（ｃ），（ｄ），（ｅ）の順に処理される。まず、（ａ）及び（ｂ）の対象フレーム４０では、第１のトリミング画像のデータサイズは、第２のトリミング画像のデータサイズよりも大きくはないと判断され（ステップＳ１１０）、第１のトリミング画像が選択されて（ステップＳ１１２）、当該第１のトリミング画像が記録動画として記録される（ステップＳ１１３）。次に、（ｃ）の対象フレーム４０では、第１のトリミング画像のデータサイズは、第２のトリミング画像のデータサイズよりも大きいと判断され（ステップＳ１１０）、第２のトリミング画像が選択されて（ステップＳ１１１）、当該第２のトリミング画像が記録動画として記録される（ステップＳ１１３）。次に、（ｄ）及び（ｅ）の対象フレーム４０では、第１のトリミング画像のデータサイズは、第２のトリミング画像のデータサイズよりも大きくはないと判断され（ステップＳ１１０）、第１のトリミング画像が選択されて（ステップＳ１１２）、当該第１のトリミング画像が記録動画として記録される（ステップＳ１１３）。このように、図７の例においては、（ａ），（ｂ），（ｄ），（ｅ）の対象フレーム４０では第１のトリミング画像が選択されて記録され、（ｃ）の対象フレーム４０では第２のトリミング画像が選択されて記録される。この結果として、記録部には、常に小さいデータサイズで記録が行われる。

以上に説明したように、第１の実施形態に係る撮像装置１００は、リアルタイム動画を構成するフレーム４０内で複数の被写体像４４及び４５を指定し、それぞれの被写体像４４及び４５を含む被写体トリミング画像４１及び４２を設定し、複数の被写体像４４及び４５を追跡して被写体トリミング画像４１及び４２を移動させる。そして、録画動作において、対象フレーム４０毎に、複数の被写体トリミング画像４１及び４２の合計データサイズ（第１のトリミング画像のデータサイズ）と、複数の被写体トリミング画像４１及び４２を囲む１つの被写体トリミング画像４３のデータサイズ（第２のトリミング画像のデータサイズ）とを比較する。そして、第１のトリミング画像のデータサイズが第２のトリミング画像のデータサイズよりも大きい場合には、第２のトリミング画像を記録部であるメモリカード８等に記録する。第１のトリミング画像のデータサイズが第２のトリミング画像のデータサイズよりも小さい場合には、第１のトリミング画像を記録部であるメモリカード８等に記録する。この様に、第１の実施形態に係る撮像装置１００は、常に小さいデータサイズで記録部に記録を行う。

このことによって、第１の実施形態に係る撮像装置１００は、リアルタイム動画を加工して記録動画として記録部に記録する際に必要となる記録容量を削減することができる。この結果として、第１の実施形態に係る撮像装置１００は、従来の撮像装置と比べて、記録部の容量を削減できる。また、第１の実施形態に係る撮像装置１００は、記録部に記録された記録動画をネットワークインタフェース１６を介して他の機器に送信する場合、記録動画のデータサイズを削減できるので、データの伝送レートを低減できる。

更に、第１の実施形態に係る撮像装置１００は、記録動画をネットワーク等を介してリアルタイムで他の機器に送信する場合（記録動画の作成と並行して記録動画の作成完了部分を他の機器に送信する場合）、記録動画のデータサイズを削減できるので、データの伝送レートを低減できる。この場合、図２のステップＳ１１３において、ＤＳＰ１４は、ファイル化した画像を、ネットワークインタフェース１６を用いてネットワーク等を介して他の機器に送信する。

なお、図２のステップＳ１１３において、画像のデータは、圧縮されて記録されてもよいし、圧縮されずに記録されてもよい。圧縮アルゴリズムとしては、スライスを単位とした圧縮方式（Ｈ．２６４／ＡＶＣ規格）が望ましい。

また、図２において、ステップＳ１０６及びＳ１０７の処理の前に、ステップＳ１０８及びＳ１０９の処理を行ってもよい。

また、以上では、図２のステップＳ１１０において、ＤＳＰ１４は、第１のトリミング画像のデータサイズと第２のトリミング画像のデータサイズとを直接比較していた。しかし、図２のステップＳ１１０において、ＤＳＰ１４は、例えば、第１のトリミング画像のデータサイズ又は第２のトリミング画像のデータサイズの一方に所定値を加えた後に、データサイズを比較してもよい。つまり、ＤＳＰ１４は、データサイズの比較の際に、重み付けを行ってもよい。このことによって、図２のステップＳ１１０において、第１のトリミング画像が記録部に記録され易く設定したり、又は、第２のトリミング画像が記録部に記録され易く設定することができる。

また、ＤＳＰ１４は、図２のステップＳ１１０において、図３に示した画像重畳部分４６の面積と拡張領域４７及び４８の合計面積とを比較することによって、第１のトリミング画像のデータサイズと第２のトリミング画像のデータサイズとを比較してもよい。具体的には、画像重畳部分４６の面積が拡張領域４７及び４８の合計面積よりも大きい場合は第２のトリミング画像を記録部に記録し、画像重畳部分４６の面積が拡張領域４７及び４８の合計面積よりも小さい場合は第１のトリミング画像を記録部に記録してもよい。この場合、ＤＳＰ１４は、図２のステップＳ１０７の処理を行わず、また、ステップＳ１０９の処理の代わりに、画像重畳部分４６の面積と、拡張領域４７及び４８の合計面積とを算出する処理を行う。

また、以上では、リアルタイム動画を画像処理する場合について説明した。しかし、撮像装置１００は、予め記録部又は他の機器に記録された動画を、上述した方法を用いて画像処理してもよい。このことによって、撮像装置１００は、予め記録された動画を、より少ない記憶容量で再記録でき、また、ネットワーク等を介してより少ない伝送レートで伝送できる。

（第２の実施形態）
第２の実施形態に係る撮像装置２００は、第１の実施形態に係る撮像装置１００（図１を参照）と比べて、ＤＳＰ１４の動作のみが異なる。従って、第２の実施形態の説明は、図１を流用して行う。なお、説明の便宜のために、第２の実施形態では、図１のＤＳＰ１４をＤＳＰ１４−２として説明を行う。また、第１の実施形態で既に説明した構成要素については、原則として説明を省略する。

図８は、被写体を撮像して動画を記録部に記録するまでに撮像装置２００が行う特徴的な処理を説明するためのフローチャートである。図８のフローチャートは、第１の実施形態の撮像装置１００の処理を説明する図２のフローチャートに対して、ステップＳ１０８をステップＳ２０８に置き換え、ステップＳ１１０をステップＳ２１０に置き換えたものである。なお、図８において、図２と同様のステップについては、同様の参照符号を付して、その説明は省略する。図９及び図１０は、図８のステップＳ２０８において、ＤＳＰ１４−２が設定する第２のトリミング画像を説明するための図である。図９は、画像重畳部分４６が有る場合を示している。図１０は、画像重畳部分４６が無い場合を示している。

以下では、図８〜図１０を参照して、撮像装置２００の動作について説明する。ステップＳ２０８において、ＤＳＰ１４−２は、被写体トリミング画像４１及び４２を含む１つの画像である被写体トリミング画像４３を抽出し、第２のトリミング画像として設定する。図１０において、被写体トリミング画像４１と被写体トリミング画像４２とは離れているので、第２のトリミング画像は、被写体トリミング画像４１と被写体トリミング画像４２とを面積の無い線で繋いだ１つの画像として設定される。図９及び図１０に示す通り、ステップＳ２０８で設定される第２のトリミング画像は、第１の実施形態で説明した拡張領域４７〜４９（図３〜図７を参照）を含まない。

ステップＳ２１０において、ＤＳＰ１４−２は、第１のトリミング画像のデータサイズが、第２のトリミング画像のデータサイズよりも大きいか否かを判断する。以下、ステップＳ２１０の処理について、例を挙げて説明する。

例えば、ステップＳ２１０における判断は、第１のトリミング画像の面積と第２のトリミング画像の面積とを比較することによってできる。具体的には、図９に示す様に、第１のトリミング画像の面積（被写体トリミング画像４１の面積と被写体トリミング画像４２の面積との合計）が第２のトリミング画像の面積（被写体トリミング画像４３の面積）よりも大きい場合、ＤＳＰ１４−２は、第１のトリミング画像のデータサイズが第２のトリミング画像のデータサイズよりも大きいと判断し、処理はステップＳ１１１に移る。一方、図１０に示す様に、第１のトリミング画像の面積と第２のトリミング画像の面積とが等しい場合、ＤＳＰ１４−２は、第１のトリミング画像のデータサイズが第２のトリミング画像のデータサイズよりも小さいとみなし、処理はステップＳ１１２に移る。

また、例えば、ステップＳ２１０における判断は、図９に示す画像重畳部分４６が有るか否かによってできる。具体的には、図９に示すように画像重畳部分４６が有る場合、ＤＳＰ１４−２は、第１のトリミング画像のデータサイズが、第２のトリミング画像のデータサイズよりも大きいと判断し、処理はステップＳ１１１に移る。一方、図１０のように画像重畳部分４６が無い場合（第１のトリミング画像のデータサイズと第２のトリミング画像のデータサイズとが等しい場合）、ＤＳＰ１４−２は、第１のトリミング画像のデータサイズが第２のトリミング画像のデータサイズよりも小さいとみなし、処理はステップＳ１１２に移る。なお、この場合は、ステップＳ１０７及びＳ１０９の処理は不要となる。

以上に説明した通り、第２の実施形態に係る撮像装置２００の処理では、第２のトリミング画像が拡張領域（図３〜図７を参照）を含まない。このことによって、第２の実施形態の撮像装置２００は、図８のステップＳ１１３の処理において、拡張領域を記録部に記録しない。この結果として、第２の実施形態の撮像装置２００は、第１の実施形態の撮像装置１００よりも更に記録部の容量を削減できる。また、第２の実施形態に係る撮像装置２００は、記録部に記録された記録動画をネットワークインタフェース１６を介して他の機器に送信する場合、第１の実施形態に係る撮像装置１００よりも、記録動画のデータサイズを更に削減できるので、更に、データの伝送レートを低減できる。

また、第２の実施形態に係る撮像装置２００は、記録動画をネットワーク等を介してリアルタイムで他の機器に送信する場合（記録動画の作成と並行して記録動画の作成完了部分を他の機器に送信する場合）、第１の実施形態に係る撮像装置１００よりも、記録動画のデータサイズを更に削減できるので、更に、データの伝送レートを低減できる。この場合、図８のステップＳ１１３において、ＤＳＰ１４−２は、ファイル化した画像を、ネットワークインタフェース１６を用いてネットワーク等を介して他の機器に送信する。

なお、第２の実施形態において、撮像装置２００は、図８のステップ２１０の処理を行うことによって、第１又は第２のトリミング画像を記録した。しかし、第２のトリミング画像のデータサイズは、常に、第１のトリミング画像のデータサイズ以下となるので（図９及び図１０を参照）、撮像装置２００は、図８のステップＳ１１３において、常に、第２のトリミング画像を記録してもよい。この場合、図８のステップＳ１０６、Ｓ１０７、Ｓ１０９〜Ｓ１１２は不要となり、簡潔な処理となる。

また、図８のステップＳ１１３において、画像のデータは、圧縮されて記録されてもよいし、圧縮されずに記録されてもよい。圧縮アルゴリズムとしては、スライスを単位とした圧縮方式（Ｈ．２６４／ＡＶＣ規格）が望ましい。

また、図８において、ステップＳ１０６及びＳ１０７の処理の前に、ステップＳ２０８及びＳ１０９処理のを行ってもよい。

また、図８のステップＳ２１０において、ＤＳＰ１４−２は、第１の実施形態の図２のステップＳ１１０と同様に、データサイズの比較の際に重み付けを行ってもよい。

また、以上では、リアルタイム動画を画像処理する場合について説明した。しかし、第２の実施形態に係る撮像装置２００は、予め記録部又は他の機器に記録された動画を、上述した方法を用いて画像処理してもよい。このことによって、第２の実施形態に係る撮像装置２００は、予め記録された動画を、第１の実施形態に係る撮像装置１００よりも、更に少ない記憶容量で再記録でき、また、更にネットワーク等を介してより少ない伝送レートで伝送できる。

（第３の実施形態）
第３の実施形態に係る撮像装置３００は、第１の実施形態に係る撮像装置１００（図１を参照）と比べて、ＤＳＰ１４の動作のみが異なる。従って、第３の実施形態の説明は、図１を流用して行う。なお、説明の便宜のために、第３の実施形態では、図１のＤＳＰ１４をＤＳＰ１４−３として説明を行う。また、第１の実施形態で既に説明した構成要素については、原則として説明を省略する。

図１１は、被写体を撮像して動画を記録部に記録するまでに撮像装置３００が行う特徴的な処理を説明するためのフローチャートである。図１１のフローチャートは、第１の実施形態の撮像装置１００が行う処理を説明する図２のフローチャートに対して、ステップＳ１１２の次に、ステップＳ３１０を追加したものである。なお、図１１において、図２と同様のステップについては、同様の参照符号を付して、その説明は省略する。

ステップＳ３１０において、ＤＳＰ１４−３は、ステップＳ１１２で選択された第１のトリミング画像を加工する。図１２は、ステップＳ３１０において、ＤＳＰ１４−３が行う加工について説明するための図である。図１２（ａ）はステップＳ１１２で選択された第１のトリミング画像を示し、図１２（ｂ）〜（ｃ）は、それぞれ、ステップＳ３１０で加工された後の第１のトリミング画像を示す。以下では、図１１及び図１２を参照して、撮像装置３００の動作について説明する。

図１２（ａ）に示す通り、ステップＳ１１２で選択される第１のトリミング画像は、被写体トリミング画像４１と被写体トリミング画像４２とが離れている状態の第１のトリミング画像である。ステップＳ３１０において、ＤＳＰ１４−３は、被写体トリミング画像４１と被写体トリミング画像４２とを、１つの四角形の画像となるように加工する。具体的には、例えば、図１２（ｂ）に示す通りに、ＤＳＰ１４−３は、被写体トリミング画像４１を拡大して、被写体トリミング画像４２と並べて１つの四角形の画像にする。また、例えば、図１２（ｃ）に示す通りに、ＤＳＰ１４−３は、被写体トリミング画像４２を縮小して、被写体トリミング画像４１と並べて１つの四角形の画像にする。また、例えば、図１２（ｄ）に示す通りに、ＤＳＰ１４−３は、被写体トリミング画像４１の切り出し範囲を広げて、被写体トリミング画像４２と並べて１つの四角形の画像にする。この様に、ステップＳ３１０において、ＤＳＰ１４−３は、ステップＳ１１２で選択された第１のトリミング画像を加工して、１つの四角形状の第１のトリミング画像にする。そして、ステップＳ１１３おいて、ＤＳＰ１４−３は、１つの四角形状の第１のトリミング画像をファイル化して記録部（図１を参照）に記録する。

以上に説明した処理を行うことによって、ユーザが記録部に記録された第１のトリミング画像をディスプレイに写し観賞する際に、第１のトリミング画像の見栄えを良くすることができる。

ここで、ステップＳ３１０において、ＤＳＰ１４−３は、加工後の第１のトリミング画像を、ユーザが用いる観賞方法に適した形状に更に加工してもよい。具体的には、ＤＳＰ１４−３は、ステップＳ３１０において、加工後の第１のトリミング画像を、例えば、ワイド画面テレビのディスプレイの縦横寸法比となるようにトリミングしてもよいし、また、例えば、印刷用紙の規格サイズ（Ａ４サイズ等）の縦横寸法比となるようにトリミングしてもよい。このことによって、ユーザが記録部に記録された第１のトリミング画像を観賞する際に、第１のトリミング画像の見栄えを、更に良くすることができる。

以上に説明した通り、第３の実施形態に係る撮像装置３００は、第２のトリミング画像を記録部に記録する場合には、第１の実施形態に係る撮像装置１００と同様に、記録容量を削減できる。また、第３の実施形態の撮像装置３００は、第１のトリミング画像のデータサイズを縮小して記録部に記録する場合（図１２（ｃ）を参照）には、第１の実施形態の撮像装置１００よりも、記録容量を削減できる。また、第３の実施形態に係る撮像装置３００は、記録部に記録された記録動画をネットワークインタフェース１６を介して他の機器に送信する場合、記録動画のデータサイズを削減できるので、データ伝送に必要な帯域を削減、又はデータ伝送時間を低減できる。更に、第３の実施形態の撮像装置３００は、ユーザが第１のトリミング画像を観賞する際に、第１のトリミング画像の見栄えを良くすることができる。

更に、第３の実施形態に係る撮像装置３００は、記録動画をネットワーク等を介してリアルタイムで他の機器に送信する場合（記録動画の作成と並行して記録動画の作成完了部分を他の機器に送信する場合）、記録動画のデータサイズを削減できるので、データの伝送レートを低減できる。この場合、図１１のステップＳ１１３において、ＤＳＰ１４−３は、ファイル化した画像を、ネットワークインタフェース１６を用いてネットワーク等を介して他の機器に送信する。

なお、以上では、第１の実施形態について説明する図２のフローチャートに、ステップＳ３１０を追加する場合を例に挙げて説明した。しかし、第２の実施形態について説明する図８のフローチャートのステップＳ１１２の次に、ステップＳ３１０を追加してもよい。この場合には、第２の実施形態で説明したように拡張領域を記録部に記録しないので、更に記録部の容量を削減することができる。

なお、図１１のステップＳ１１３において、画像のデータは、圧縮されて記録されてもよいし、圧縮されずに記録されてもよい。圧縮アルゴリズムとしては、スライスを単位とした圧縮方式（Ｈ．２６４／ＡＶＣ規格）が望ましい。

また、図１１において、ステップＳ１０６及びＳ１０７の前に、ステップＳ１０８及びＳ１０９を行ってもよい。

また、図１１のステップＳ１１０において、ＤＳＰ１４−３は、第１の実施形態の図２のステップＳ１１０と同様に、データサイズの比較の際に重み付けを行ってもよい。

また、以上では、リアルタイム動画を画像処理する場合について説明した。しかし、撮像装置３００は、予め記録部又は他の機器に記録された動画を、上述した方法を用いて画像処理してもよい。このことによって、撮像装置３００は、予め記録された動画を、より少ない記憶容量で再記録でき、また、データの伝送レートをより低減できる。

また、各実施形態で説明した撮像装置（図１を参照）が備える信号処理／ＡＤ変換回路３と、補正回路４と、ＣＰＵ１３と、ＤＳＰ１４（１４−２、１４−３）と、タイミングジェネレータ１１とは、典型的には、集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積技術の進歩に伴って、他の構成要素も集積回路化され得る。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。

本発明は、撮像装置等に利用可能であり、特に、動画の撮像装置等において、撮像画像から切り出した複数の被写体像の記録容量を削減し、また、当該複数の被写体像をネットワークを介してデータ伝送する際の伝送レートを低減する場合等に有用である。

１ レンズ
２ ＣＣＤ
３ 信号処理／ＡＤ変換回路
４ 補正回路
５ ＳＤＲＡＭ
６ 不揮発性メモリ
７ メモリカードインタフェース
８ メモリカード
９ 操作部
１０ 表示部
１１ タイミングジェネレータ
１２ レンズ駆動部
１３ ＣＰＵ
１４、１４−２、１４−３ ＤＳＰ
１５ バス
１６ ネットワークインタフェース
２０ａ、２０ｂ ズーム連写枠
２１ ベース画像入力部
２２ ベース画像符号化前処理部
２３ 部分画像位置入力部
２４ 部分原画像生成部
２５ 部分画像符号化部
４０ リアルタイム動画（又は対象フレーム）
４１、４２、４３ 被写体トリミング画像
４４、４５ 被写体像
４６ 画像重畳部分
４７〜４９ 拡張領域
１００、２００、３００ 撮像装置

Claims (9)

1. 動画撮像装置であって、
   被写体を撮像して、複数のフレームから成る撮像動画を得る撮像部と、
   前記撮像動画をフレーム毎に加工して記録動画を作成する画像処理部とを備え、
   前記画像処理部は、
   前記撮像動画内の複数の被写体像をユーザの指示に従って指定する被写体指定手段と、
   前記撮像動画から前記被写体指定手段で指定された複数の被写体像のそれぞれを切り出す複数の被写体トリミング画像を設定する被写体トリミング画像設定手段と、
   前記被写体指定手段で指定された複数の被写体像を追跡し、当該複数の被写体像に追随して前記複数の被写体トリミング画像をフレーム毎に移動させる被写体追跡手段と、
   フレーム毎に、前記複数の被写体トリミング画像を第１のトリミング画像として設定する第１のトリミング画像設定手段と、
   フレーム毎に、前記複数の被写体トリミング画像を囲む１つの画像を第２のトリミング画像として設定する第２のトリミング画像設定手段と、
   フレーム毎に、前記第１のトリミング画像のデータサイズを算出する第１のデータサイズ算出手段と、
   フレーム毎に、前記第２のトリミング画像のデータサイズを算出する第２のデータサイズ算出手段と、
   フレーム毎に、前記第１のトリミング画像のデータサイズと前記第２のトリミング画像のデータサイズとを比較する比較手段と、
   フレーム毎に、前記第１のトリミング画像と前記第２のトリミング画像とのうち、前記比較手段でデータサイズが小さいと判断された画像を前記記録動画として選択する選択手段とを含むことを特徴とする、動画撮像装置。
2. 前記記録動画を記録する記録部を更に備えることを特徴とする、請求項１に記載の動画撮像装置。
3. 前記画像処理部は、前記記録動画の作成と並行して、当該記録動画の作成完了部分を他の機器に送信することを特徴とする、請求項１又は２に記載の動画撮像装置。
4. 前記被写体トリミング画像設定手段が設定する前記複数の被写体トリミング画像は、いずれも四角形状であり、
   前記第２のトリミング画像設定手段が設定する前記第２のトリミング画像は、四角形状であることを特徴とする、請求項１〜３のいずれか１項に記載の動画撮像装置。
5. 前記第２のトリミング画像設定手段が設定する前記第２のトリミング画像は、前記複数の被写体トリミング画像のいずれにも属さない領域を含まないことを特徴とする、請求項１〜３のいずれか１項に記載の動画撮像装置。
6. 前記被写体トリミング画像設定手段が設定する前記複数の被写体トリミング画像は、いずれも四角形状であることを特徴とする、請求項５に記載の動画撮像装置。
7. 前記被写体トリミング画像設定手段が設定する前記複数の被写体トリミング画像は、いずれも四角形状であり、
   前記選択手段は、前記第１のトリミング画像を選択した場合は、更に、前記複数の被写体トリミング画像の少なくとも１つを拡大又は縮小し、前記複数の被写体トリミング画像を並べて１つの四角形状の第１のトリミング画像に加工することを特徴とする、請求項１〜５のいずれか１項に記載の動画撮像装置。
8. 動画撮像方法であって、
   被写体を撮像して、複数のフレームから成る撮像動画を得る撮像ステップと、
   前記撮像動画をフレーム毎に加工して記録動画を作成する画像処理ステップとを備え、
   前記画像処理ステップは、
   前記撮像動画内の複数の被写体像をユーザの指示に従って指定する被写体指定ステップと、
   前記撮像動画から前記被写体指定ステップで指定した複数の被写体像のそれぞれを切り出す複数の被写体トリミング画像を設定する被写体トリミング画像設定ステップと、
   前記被写体指定ステップで指定した複数の被写体像を追跡し、当該複数の被写体像に追随して前記複数の被写体トリミング画像をフレーム毎に移動させる被写体追跡ステップと、
   フレーム毎に、前記複数の被写体トリミング画像を第１のトリミング画像として設定する第１のトリミング画像設定ステップと、
   フレーム毎に、前記複数の被写体トリミング画像を囲む１つの画像を第２のトリミング画像として設定する第２のトリミング画像設定ステップと、
   フレーム毎に、前記第１のトリミング画像のデータサイズを算出する第１のデータサイズ算出ステップと、
   フレーム毎に、前記第２のトリミング画像のデータサイズを算出する第２のデータサイズ算出ステップと、
   フレーム毎に、前記第１のトリミング画像のデータサイズと前記第２のトリミング画像のデータサイズとを比較する比較ステップと、
   フレーム毎に、前記第１のトリミング画像と前記第２のトリミング画像とのうち、前記比較ステップでデータサイズが小さいと判断した画像を前記記録動画として選択する選択ステップとを含むことを特徴とする、動画撮像方法。
9. 被写体を撮像し、取得した撮像動画を加工して記録動画を作成する動画撮像装置に組み込まれる集積回路であって、
   被写体を撮像するＣＣＤの出力信号に対してノイズ低減処理及びゲインコントロールを行い、アナログ信号からデジタル信号に変換する信号処理／ＡＤ変換回路、
   前記信号処理／ＡＤ変換回路の出力信号に対して、画像補正処理を行って前記撮像動画を得る補正回路、
   前記補正回路で得た撮像動画内の複数の被写体像をユーザの指示に従って指定し、当該撮像動画から当該複数の被写体像のそれぞれを切り出す複数の被写体トリミング画像を設定し、当該複数の被写体像を追跡し当該複数の被写体像に追随して当該複数の被写体トリミング画像をフレーム毎に移動させ、フレーム毎に、当該複数の被写体トリミング画像を第１のトリミング画像として設定し、当該複数の被写体トリミング画像を囲む１つの画像を第２のトリミング画像として設定し、当該第１のトリミング画像のデータサイズ及び当該第２のトリミング画像のデータサイズを算出して比較し、データサイズが小さい方の画像を前記記録動画として選択する画像処理部、及び、
   少なくとも、前記信号処理／ＡＤ変換回路、前記補正回路及び前記画像処理部を制御する制御部としての機能を実行する、集積回路。

Images