JPWO2014155961A1 - 画像生成装置、撮影装置、画像生成方法及びプログラム - Google Patents

Abstract

撮影された画像の撮影情報を抽出するカメラワーク情報抽出部（３１５）と、撮影情報と撮影された画像から、制約条件に基づいて、新たな画像を切り出すための切り出し枠を決定する構図情報計算部（３１６）と、撮影された画像から切り出し枠を用いて新たな画像を切り出し、所定サイズに変換する構図情報整形部（３１７）を備える。この構成により、画像撮影時に熟練した撮影技術等がなくても、撮影した画像から新たに生成される画像は、視聴者が見やすく好ましい画像となる。

Description

本開示は、ビデオカメラ等で撮影された画像から画像の一部を切り出して新たな画像を生成する画像生成装置及びそれを備えた撮影装置、さらには、撮影された画像から画像の一部を切り出して新たな画像を生成する方法及びプログラムに関する。

特許文献１には、動画撮影時に撮影操作に集中しなくても、注目被写体の動画を取得可能な撮像装置について記載されている。さらに特許文献１には、撮影された画像から特定被写体を検出し、特定被写体を含む一部の領域を切り出し画像として抽出し、切り出し画像の解像度を向上させる構成が開示されている。

特開２００９−１４７７２７号公報

本開示の画像生成装置および本開示の撮影装置は、撮影された画像の撮影情報を抽出するカメラワーク情報抽出部と、撮影情報と撮影された画像から、制約条件に基づいて、新たな画像を切り出すための切り出し枠を決定する構図情報計算部と、撮影された画像から切り出し枠を用いて新たな画像を切り出し、所定サイズに変換する構図情報整形部とを備える。

本開示の画像生成装置および本開示の撮影装置は、画像撮影時に熟練した撮影技術等がなくても、撮影した画像から新たに生成される画像は、視聴者が見やすく好ましい画像となる。

図１は、実施の形態１に係るビデオカメラの斜視図である。 図２は、実施の形態１に係るビデオカメラの概略構成を示すブロック図である。 図３は、図２の構図情報計算部の詳細を示すブロック図である。 図４は、実施の形態１に係る撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。 図５は、ビデオカメラ１００で撮影された画像の一例を示す図である。 図６は、図５の撮影された画像の一例において、人物の検出とフレーム間の動きを検出した結果を説明する図である。 図７は、図５の撮影された画像の一例において、図６の人物検出とフレーム間の動きを検出した結果から切り出し枠の決定を説明する図である。 図８は、実施の形態１に係る制約条件の一例を示す図である。 図９は、図７で決定した切り出し枠を説明する図である。 図１０は、図９の各フレームの切り出し枠を元の撮影した画像のサイズに引き伸ばした図である。 図１１は、実施の形態２に係るビデオカメラの概略構成を示すブロック図である。 図１２は、図１１の構図情報計算部の詳細を示すブロック図である。 図１３は、実施の形態２に係る撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。 図１４は、実施の形態１に係るビデオカメラ１００で撮影された画像の切り出しを説明する図である。 図１５は、実施の形態２に係るビデオカメラ１１００で撮影された画像の切り出しを説明する図である。 図１６は、実施の形態３に係るビデオカメラの概略構成を示すブロック図である。 図１７は、実施の形態３に係る撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。 図１８は、実施の形態３に係る撮影された画像と新たに生成する画像の属性情報の記録を説明する図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
特許文献１のように、撮影された画像から特定の被写体を含む領域を抽出し、抽出した画像に基づいて画像を生成し、それらをつなぎ合わせて動画を生成すると、視聴者に見やすい画像が生成できない場合がある。

例えば、動画の撮影時に構図等を考慮して撮影された動画から特定の被写体を含む領域だけを抽出すると、構図が崩れ、視聴者が見にくい画像となることがある。さらに、生成された動画が、動きの激しい動画や激しい明滅を含むような動画が生成されることがある。

本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、撮影された画像の一部を切り出して新たな画像を生成する場合に、その生成される画像が視聴者に見やすい画像となる画像生成装置及びそれを備えた撮影装置、さらには、撮影された画像から画像の一部を切り出して新たな画像を生成する方法及びプログラムを提供することにある。

＜１．ビデオカメラの構成＞
図１は、撮影装置の一例としてのビデオカメラ１００の斜視図である。ビデオカメラ１００は画像を撮影し、それを記録し、再生するものである。また、ビデオカメラ１００は撮影した画像から新たな画像を生成する。

図２は、ビデオカメラ１００の概略構成を示すブロック図である。

ビデオカメラ１００は、レンズ群２００、撮像素子２０１、画像ＡＤ変換部（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０２と画像信号処理部２０３、画像信号圧縮部２０４、レンズ制御モジュール２０５、姿勢検出部２０６、外部入力部２０７、マイクロフォン２０８、音声ＡＤ変換部（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０９、音声信号圧縮部２１０、画像信号伸張部２１１、映像表示部２１２、音声信号伸張部２１３、音声出力部２１４、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１５、制御部３００、クロック３０１と記憶部３０２を備えている。このビデオカメラ１００が画像生成装置及び撮影装置を構成する。

レンズ群２００は、複数のレンズで構成されており、被写体からの入射光を撮像素子２０１上に結像させる。また、レンズ群２００は、複数のレンズ間の距離を調整可能に構成されており、レンズ間の距離を変えることによって焦点距離やズーム倍率を変化させる。焦点距離やズーム倍率の調整は、ユーザが手動で行ってもよいし、制御部３００が行ってもよい。

撮像素子２０１は、入射する光を電気信号に変換する。撮像素子２０１は、ＣＣＤ又はＣＭＯＳで構成されている。撮像素子２０１は、撮像面上の任意の範囲の電気信号を出力する。また、撮像素子２０１は、画像に関する情報以外にも、３原色点の色度空間情報、白色の座標、及び３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、及び３原色または輝度信号のガンマ情報等の情報も出力することが可能である。そのため、撮像素子２０１からの出力は、画像ＡＤ変換部２０２だけでなく制御部３００の後述するカメラワーク情報抽出部３１５にも入力される。

画像ＡＤ変換部２０２は、撮像素子２０１が出力するアナログの電気信号をデジタル信号に変換する。

画像信号処理部２０３は、画像ＡＤ変換部２０２が出力したデジタル信号を増幅させ、ホワイトバランス調整、色味補正等の所定の処理を行う。画像信号処理部２０３は、例えば、画像信号変換用のＩＣで構成されている。画像信号処理部２０３からの出力は、画像信号圧縮部２０４だけでなく制御部３００の後述する画像解析部３１３にも入力される。

画像信号圧縮部２０４は、画像信号処理部２０３から出力されるデジタル映像信号に所定の符号化変換を行い、データ量を圧縮する。符号化変換の具体例としては、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ２６４／ＭＰＥＧ４ ＡＶＣ等の符号化方式がある。画像信号圧縮部２０４からの出力は、制御部３００へ入力される。画像信号圧縮部２０４は、例えば、画像信号圧縮伸張用のＩＣで構成されている。画像信号圧縮部２０４は、画像信号処理部２０３から出力されるデジタル映像信号だけでなく、制御部３００の後述する構図情報整形部３１７から出力される信号も入力され、この入力された信号に所定の符号化変換を行い、データ量を圧縮する。

レンズ制御モジュール２０５は、レンズ群２００の状態を検出したり、レンズ群２００を動作させたりするものである。レンズ制御モジュール２０５は、レンズ制御用モータと、レンズ位置センサを有している。レンズ位置センサは、レンズ群２００を構成する複数のレンズ間の距離又は位置関係等を検出する。レンズ位置センサは、その検出信号を制御部３００に出力する。レンズ制御モジュール２０５は、２種類のレンズ制御モータを有している。１つのレンズ制御モータは、制御部３００から制御信号に基づいて、レンズ群２００を光軸方向に移動させる。これにより、レンズ群２００の複数のレンズ間の距離が変更され、レンズ群２００の焦点距離及びズーム倍率が調整される。もう１つのレンズ制御モータは、制御部３００から制御信号に基づいて、レンズ群２００のうちの少なくとも１つのレンズ、例えば、像ぶれ補正用のレンズを光軸に直交する面内で移動させる。これにより、像ぶれを補正する。

姿勢検出部２０６は、ビデオカメラ１００本体の姿勢状態を検出する。姿勢検出部２０６は、加速度センサ、角速度センサ、仰角・俯角センサを有する。これらのセンサにより、撮影時にビデオカメラ１００がどのような姿勢になっているかを認識できる。加速度センサ及び角速度センサは、ビデオカメラ１００の姿勢を詳細に検出するために、直交３軸方向、すなわち、ビデオカメラ１００の上下方向、前後方向、左右方向の姿勢をそれぞれ検出できることが好ましい。

なお、姿勢検出部２０６は、上記の構成に限らず、上記センサの何れかだけで構成されていてもよいし、上記センサ以外のセンサを有していてもよい。

外部入力部２０７は、ビデオカメラ１００に外部からの情報を入力する。外部入力部２０７からの信号は、制御部３００へ入力される。また、図２において外部入力部２０７からの信号は、制御部３００のカメラワーク情報抽出部３１５だけに入力されているが、レンズ制御部３１１等の入力操作に対応する部分にも入力される。撮影時には、この外部入力部２０７を介してビデオカメラ１００に外部からの各種情報が入力される。例えば、外部入力部２０７は、ユーザからの情報の入力を受け付ける入力インタフェースの１つである入力ボタンや、ビデオカメラ１００が三脚に設置されているか否かを検出する三脚センサを含む。ユーザが入力ボタンを操作することによって、撮影の開始、終了、撮影された画像の再生、撮影された画像の記憶部３０２への記録及び後述する撮影された画像の一部を切り出して新たな画像を生成する等、ユーザからの各種要求をビデオカメラ１００に伝えることが可能である。三脚センサは、ビデオカメラ１００の三脚が固定される部分に設けられたスイッチで構成されている。三脚センサにより、三脚を使用した撮影か否かを判定できる。

なお、入力ボタンや三脚センサに限らず、タッチパネル、ジョイスティック、等、ユーザからの指示内容を受け付けることができるデバイスであれば何でもよい。

マイクロフォン２０８は、ビデオカメラ１００が画像を撮影している時に、ビデオカメラ１００の周囲の音を収音し、電気信号に変換して、アナログ音声信号として出力する。

音声ＡＤ変換部２０９は、マイクロフォン２０８が出力するアナログ音声信号データをデジタル音声信号である音声データに変換する。

音声信号圧縮部２１０は、音声ＡＤ変換部２０９が出力したデジタル音声信号を予め決められた符号化方式で符号化する。符号化にはＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）等の方式がある。音声信号圧縮部２１０は、例えば、音声信号圧縮用のＩＣで構成されている。

画像信号伸張部２１１は、制御部３００から出力される映像信号を復号する。画像信号伸張部２１１からの出力は、映像表示部２１２に入力される。

映像表示部２１２は、ビデオカメラ１００に記録した画像や、ビデオカメラ１００でリアルタイムに撮影している画像、過去に撮影した画像や、後述する撮影した画像から一部の画像を切り出して新たに生成した画像を表示する。それ以外にも、映像表示部２１２は、撮影に関する情報や機器情報等の各種情報を表示する。映像表示部２１２は、例えば、タッチパネル式の液晶ディスプレイで構成されている。タッチパネル式の映像表示部２１２は、外部入力部２０７としても機能する。画像信号伸張部２１１は、例えば、画像信号伸張用のＩＣで構成されている。

音声信号伸張部２１３は、制御部３００から出力される音声信号を復号する。音声信号伸張部２１３は、例えば、音声信号伸張用のＩＣで構成されている。

音声信号伸張部２１３からの出力は、音声出力部２１４に入力される。音声出力部２１４は、画像に付随する音声を出力する。それ以外にも、音声出力部２１４は、ビデオカメラ１００からユーザへ報知する警告音を出力する。音声出力部２１４は、例えば、スピーカーで構成されている。

出力Ｉ／Ｆ２１５は、映像信号をビデオカメラ１００から外部へ出力するためのインタフェースである。具体的は出力Ｉ／Ｆ２１５は、ビデオカメラ１００と外部機器とをケーブルで接続する場合のケーブルインタフェースや、映像信号をメモリカードに記録する場合のメモリカードインタフェース等である。

制御部３００は、ビデオカメラ１００の全体を制御する。制御部３００は、撮像素子２０１、画像信号処理部２０３、画像信号圧縮部２０４、レンズ制御モジュール２０５、姿勢検出部２０６、外部入力部２０７、音声ＡＤ変換部２０９、音声信号圧縮部２１０、画像信号伸張部２１１、音声信号伸張部２１３、出力Ｉ／Ｆ２１５及び記憶部３０２等との間で信号の授受が可能に構成されている。本実施の形態では、制御部３００は、ＣＰＵで構成されている。制御部３００は、記憶部３０２に格納されたプログラムを読み込んで実行することによってビデオカメラ１００の各種制御を実行する。制御部３００が実行する制御の例としては、例えば、レンズ群２００の焦点距離やズームの制御や、姿勢検出部２０６や外部入力部２０７からの入力信号の処理や、画像信号処理部２０３、画像信号圧縮部２０４、音声信号圧縮部２１０、画像信号伸張部２１１及び音声信号伸張部２１３等のＩＣの動作制御等である。また、図示は省略するが、制御部３００とレンズ制御モジュール２０５等との間では、適宜、信号がＡＤ変換又はＤＡ変換される。なお、制御部３００は、ＩＣ等の集積回路で構成することもできる。

クロック３０１は、ビデオカメラ１００内で動作する制御部３００等に処理動作の基準となるクロック信号を供給する。なお、クロック３０１は、利用する集積回路や扱うデータによって、単一または複数のクロックを用いることも可能である。また、ひとつの発振子のクロック信号を任意の倍数に乗じて使用してもよい。

記憶部３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を含んでいる。ＲＯＭは、制御部３００が処理するプログラムやプログラムを動作させるための各種データを記憶しておく。ＲＡＭは、制御部３００が処理するプログラム実行時に使用するメモリ領域等として使用される。また、ＲＡＭは、ＩＣのメモリ領域としても使用され得る。ＨＤＤは、画像信号圧縮部２０４により符号化変換された映像データや音声信号圧縮部２１０により符号化変換された音声データや、後述する撮影された画像から画像の一部を切り出して生成した画像等の各種データを保存する。また、ＨＤＤは、制御部３００で実行するプログラムを記憶している。なお、記憶部３０２は、ＨＤＤに限られず、半導体メモリに記憶されていてもよいし、ＳＤメモリカード、ＣＤ−ＲＯＭやＤＶＤ等の可搬型記録媒体を含んでいてもよい。

次に、制御部３００について詳細に説明する。ここでは、制御部３００のうち、撮影された画像から画像の一部を切り出して新たな画像を生成するために必要な構成について説明する。制御部３００は、一般的なビデオカメラと同様の機能を発揮させるための構成、例えば、撮影した画像を記録したり、再生したりする構成も有する。

制御部３００は、レンズ制御モジュール２０５を制御するレンズ制御部３１１と、撮像素子２０１を制御する撮像制御部３１２と、画像信号処理部２０３からの出力を解析する画像解析部３１３と、音声ＡＤ変換部２０９からの出力を解析する音声解析部３１４と、ビデオカメラ１００の撮影状態を生成するカメラワーク情報抽出部３１５と、ビデオカメラ１００が撮影した画像を解析・分析し、新たに生成する画像の切り出し枠を決定する構図情報計算部３１６と、決定した切り出し枠を用いて新たに画像を生成する構図情報整形部３１７と、映像信号と音声信号とを多重化する多重化部３１８と、再生を行う再生部３１９を有している。制御部３００は、記憶部３０２に記憶されたプログラムを読み込んで実行することによって、後述する各種の処理を実現する。

レンズ制御部３１１は、レンズ制御モジュール２０５のレンズ位置センサの検出信号及び姿勢検出部２０６の各種センサの検出信号が入力されている。レンズ制御部３１１は、これらの検出信号及び撮像素子２０１等の他の構成要素からの情報に基づいて、レンズ群２００を適正に配置させるための制御信号をレンズ制御モータに出力する。こうして、レンズ制御部３１１は、ズーム制御、フォーカス制御、像ぶれ補正制御等を行う。また、レンズ制御部３１１は、レンズ群２００の制御信号をカメラワーク情報抽出部３１５へ出力する。また、姿勢検出部２０６の各種センサの検出信号は、カメラワーク情報抽出部３１５へも出力されている。

撮像制御部３１２は、撮像素子２０１の動作を制御する。撮像素子２０１に対して、撮影時の露出量、撮影速度、及び感度等を制御する。撮像制御部３１２から出力される制御信号は、撮像素子２０１だけでなく、カメラワーク情報抽出部３１５へも出力される。

画像解析部３１３は、画像信号処理部２０３からの映像データに基づいて画像の特徴を抽出する。画像解析部３１３は、画像の色情報、例えば、画像に含まれる色の分布の情報や、ホワイトバランス情報を検出する。色の分布の検出は、デジタル映像信号を形成するデータに含まれる色情報を確認することで実現可能である。また、画像解析部３１３は、画像に人物の顔が含まれている場合には、画像の中から顔検出を行う。顔検出については、パターンマッチング等を用いることにより実現可能である。

音声解析部３１４は、音声ＡＤ変換部２０９からの音声データを解析して、特徴のある音を抽出するものである。ここで特徴のある音とは、例えば、撮影者の声、特定の単語の発音、歓声、及び銃声等がある。これらの音は、これらの音が持つ特有の周波数を予め登録しておき、それとの比較により判別するなどの方法等によって抽出可能である。また、これ以外にも、例えば、音の入力レベルが所定レベル以上のときに特徴のある音であると判定するようにしてもよい。

カメラワーク情報抽出部３１５は、撮影している画像に関する撮影情報を抽出する。カメラワーク情報抽出部３１５には、撮像素子２０１、姿勢検出部２０６、外部入力部２０７、レンズ制御部３１１、撮像制御部３１２、画像解析部３１３及び音声解析部３１４からの出力信号が入力されている。カメラワーク情報抽出部３１５は、これらの出力信号に基づいて撮影情報を抽出する。

この画像に関する撮影情報には、画像の撮影時の撮影装置の状態やカメラワークなどの撮影に関する情報、画像そのものが含む被写体や背景に関する情報、画像に付帯する音声に関する情報が含まれる。例えば、撮影時の撮影装置に関する情報の例としては、焦点距離、ズーム倍率、露出、撮影速度、感度、３原色点の色空間情報、ホワイトバランス、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報、色分布、顔認識情報、カメラ姿勢、例えば、加速度、角速度、仰角・俯角等であり、撮影時刻、例えば、撮影開始時刻、終了時刻であり、撮影インデックス情報、ユーザ入力内容、フレームレート、サンプリング周波数等が挙げられる。例えば、カメラワーク情報抽出部３１５は、レンズ制御部３１１の制御信号に基づいて、焦点距離やズーム倍率を撮影情報として抽出する。また、カメラワーク情報抽出部３１５は、姿勢検出部２０６の検出信号に基づいて、加速度、角速度、仰角・俯角等のカメラ姿勢を検出し、検出したカメラ姿勢からカメラの向きを左右に振る動作であるパン、カメラの向きを上下に振るティルト等の撮影時のビデオカメラ１００のカメラの動作を撮影情報として抽出する。さらには、ビデオカメラ１００を動作させた後にビデオカメラ１００を静止させて撮影した部分を撮影情報として抽出することができる。このように、カメラワーク情報抽出部３１５は、入力された信号そのものから撮影情報を抽出する場合もあれば、入力された信号と組み合わせたり、分析したりすることによって撮影情報を抽出する場合もある。

構図情報計算部３１６は、カメラワーク情報抽出部３１５で抽出された撮影情報に基づいて、新たに生成する画像の切り出し枠を決定する。この切り出し枠の決定の詳細については後述する。

構図情報整形部３１７は、構図情報計算部３１６で決定した切り出し枠に基づいて、画像信号処理部２０３から出力された撮影した画像から新たに画像を生成する。生成した画像は画像信号圧縮部２０４へ出力する。画像の生成の詳細については後述する。

多重化部３１８は、画像信号圧縮部２０４からの符号化映像データと音声信号圧縮部２１０からの符号化音声データを多重化して出力する。多重化部３１８により多重化されたデータは、記憶部３０２に格納される。多重化の方式としては、例えば、ＭＰＥＧのＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）方式等である。ただし、これに限定されるものではない。

なお、本実施の形態では、多重化する場合を例として示しているが、必ずしも多重化しなくてもよい。

これらカメラワーク情報抽出部３１５、構図情報計算部３１６、構図情報整形部３１７及び多重化部３１８の処理は、撮影時、詳しくは、撮影中又は撮影直後に逐次、実行される。

再生部３１９は、撮影の終了後に、ユーザの入力に基づいて切り出した画像の再生を実行する。詳しくは、再生部３１９は、記憶部３０２に記憶された多重化されたデータを読み出し、再生させるべき部分の符号化映像データ及び符号化音声データをそれぞれ画像信号伸張部２１１及び音声信号伸張部２１３に出力する。出力された符号化映像データ及び符号化音声データはそれぞれ、画像信号伸張部２１１及び音声信号伸張部２１３で復号され、映像表示部２１２及び音声出力部２１４から出力される。こうして、画像の中から撮影した画像から切り出した画像の再生が実行される。

＜２．新たな画像の生成＞
次に、撮影された画像から画像の一部を切り出して新たな画像を生成する手順を、撮影された画像の一例を用いて説明する。撮影された画像から画像の一部を切り出して、新たな画像を生成する処理は、カメラワーク情報抽出部３１５と構図情報計算部３１６と構図情報整形部３１７で行う。

図３は構図情報計算部３１６の詳細な構成を示す図である。カメラワーク情報抽出部３１５から出力された撮影情報を入力信号とする。入力された撮影情報から撮影した画像に人物が含まれているか、人物が含まれている場合、顔がどちらを向いているか、人物が誰なのか等を検出する人検出部４０１と、入力された撮影情報から画像の１コマの単位であるフレームのフレーム間において人物や物体が動いているかどうかを検出する動き検出部４０２と、前後のフレームにおいて特徴的な図形が動いているかどうか、すなわちビデオカメラ１００を固定して撮影しているかどうかを検出するエッジ検出部４０３と、撮影情報と人検出部４０１の検出結果と動き検出部４０２の検出結果とエッジ検出部４０３の検出結果とから切り出し枠を決定する切り出し枠決定部４０４とで構成される。

図４は、撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。

図５は、ビデオカメラ１００で撮影された画像の一例を示す図である。図５において、撮影した画像を画像の１コマの単位であるフレームで示している。画像は、フレームＦ１、フレームＦ２、フレームＦ３、フレームＦ４、フレームＦ５、フレームＦ６、フレームＦ７、フレームＦ８、フレームＦ９の順で撮影された一例である。この画像は、ビデオカメラ１００を三脚で固定して撮影されたものである。フレームＦ１では、人物Ａが撮影された画面のやや左側に正面を向いて立っており、全身が撮影されている。フレームＦ２はフレームＦ１に対して、人物ＡがフレームＦ１で立っていた位置で、撮影しているビデオカメラ１００から見て、右を向いている。フレームＦ３はフレームＦ２に対して、撮影された画面の右端に人物Ｂが見えている。フレームＦ４はフレームＦ３に対して、人物Ｂが、撮影している画面の右端から左側に向かって歩いている。フレームＦ５はフレームＦ４に対して、人物Ｂが、人物Ａの右隣りまで歩いてきた。フレームＦ６はフレームＦ５に対して、人物Ｂは、人物Ａの右隣りで立ち止まっている。また、人物Ａは顔を左に向けた。フレームＦ７はフレームＦ６に対して、人物Ａは左側に向きを変えて左端に向かって歩き始めた。フレームＦ８はフレームＦ７に対して、人物Ｂが正面を向いた。フレームＦ９はフレームＦ８に対して、人物Ａが撮影された画面の左端に消えようとしている。図５の撮影された画像の一例を用いて、新たな画像を生成する手順を説明する。

（ステップＳ４０１）カメラワーク情報抽出部３１５は、撮影している画像に関する撮影情報を抽出する。カメラワーク情報抽出部３１５には、撮像素子２０１、姿勢検出部２０６、外部入力部２０７、レンズ制御部３１１、撮像制御部３１２、画像解析部３１３及び音声解析部３１４からの出力信号が入力されている。カメラワーク情報抽出部３１５は、これらの出力信号に基づいて撮影情報を抽出する。

この画像に関する撮影情報には、画像の撮影時の撮影装置の状態やカメラワークなどの撮影に関する情報、画像そのものが含む被写体や背景に関する情報、画像に付帯する音声に関する情報が含まれる。例えば、撮影時の撮影装置に関する情報の例としては、焦点距離、ズーム倍率、露出、撮影速度、感度、３原色点の色空間情報、ホワイトバランス、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報、色分布、顔認識情報、カメラ姿勢、例えば、加速度、角速度、仰角・俯角等であり、撮影時刻、例えば、撮影開始時刻、終了時刻であり、撮影インデックス情報、ユーザ入力、フレームレート、サンプリング周波数等が挙げられる。例えば、カメラワーク情報抽出部３１５は、レンズ制御部３１１の制御信号に基づいて、焦点距離やズーム倍率を撮影情報として抽出する。また、カメラワーク情報抽出部３１５は、姿勢検出部２０６の検出信号に基づいて、加速度、角速度、仰角・俯角等のカメラ姿勢を検出し、検出したカメラ姿勢からカメラの向きを左右に振る動作であるパン、カメラの向きを上下に振るティルト等の撮影時のビデオカメラ１００のカメラの動作を撮影情報として抽出する。さらには、ビデオカメラ１００を動作させた後にビデオカメラ１００を静止させて撮影した部分を撮影情報として抽出することができる。このように、カメラワーク情報抽出部３１５は、入力された信号そのものから撮影情報を抽出する場合もあれば、入力された信号と組み合わせたり、分析したりすることによって撮影情報を抽出する場合もある。

（ステップＳ４０２）次にカメラワーク情報抽出部３１５で抽出した撮影情報を用いて人検出、動き検出、エッジ検出を行う。

人検出部４０１は、撮影情報から人物を検出する。人物の検出は単に人であるかを検出してもいいし、記憶部３０２にあらかじめ認識させたい人物の情報を登録しておき、登録しておいた情報と比較することで検出した人物が誰かを検出してもよい。また、検出した人物が正面を向いているか後ろを向いているかの向きも検出する。さらに人検出部４０１は、撮影された画像の遠近法の観点から画像に映し出される人物を検出してもよい。例えば、画像に映し出されている人物Ａと人物Ｂがあった場合に、人物Ａが人物Ｂよりも大きく写っている場合には、人物Ａが前方に配置され、人物Ｂが後方に配置されていると検出してもよい。

動き検出部４０２は、フレーム間で動きのある部分を特定し、その部分について、前のフレームから後のフレームに対してどのような方向に、どれくらいの速さで動いているかを特定する。「動き」を検出する技術は、フレーム間の動きベクトル等の技術を用いて実現することが可能である。

エッジ検出部４０３は、撮影された画像において、背景となる部分を特定する分析を行う。具体的には「動き」を特定する処理において、「動き」の大きさが小さい部分を背景として認識する。これにより背景部分を識別できる。

エッジ検出部４０３は、撮影された画像の被写体の輪郭の強さやテクスチャに基づいて背景部分を特定してもよい。さらに、撮影された画像の色についての情報、例えばＲ、Ｇ、Ｂのそれぞれについて色の分布情報をヒストグラムにした情報を解析して背景部分を特定してもよい。さらに、エッジ検出部４０３は、特定した背景部分において、建物の窓枠や道路標識など特徴的な図形が動いているかどうか、すなわちビデオカメラ１００を固定して撮影しているかどうかも検出する。

図６は、図５の撮影された画像の一例において、人物の検出とフレーム間の動きを検出した結果を説明する図である。

フレームＦ１において、人物Ａは人検出されて人物であると検出され、検出した結果が人検出枠ｗ１１で囲まれて表示されている。

フレームＦ２において、人物Ａは人検出で継続して人物であると検出され、検出した結果が人検出枠ｗ２１で囲まれて表示されている。

フレームＦ３において、人物Ａは人検出で継続して人物であると検出され、検出した結果が人検出枠ｗ３１で囲まれて表示されている。

フレームＦ４において、人検出で人物Ａに加えて人物Ｂを人物であると検出され、検出した結果が人物Ａに対しては人検出枠ｗ４１で、人物Ｂに対して人検出枠ｗ４２で表示されている。さらにフレームＦ４ではフレームＦ３に対して人物Ｂが左側に歩いたことを動き検出で検出され、検出された「動き」が動きベクトルＶ４で表示されている。

フレームＦ５において、人物Ａ、人物Ｂはそれぞれ人検出で継続して人物であると検出され、検出した結果がそれぞれ人検出枠ｗ５１、人検出枠ｗ５２で囲まれて表示されている。さらにフレームＦ５ではフレームＦ４に対して人物Ｂは引き続き左側に移動しているので、動き検出で検出され、検出された「動き」が動きベクトルＶ５で表示されている。

フレームＦ６において、人物Ａ、人物Ｂはそれぞれ人検出で継続して人物であると検出され、検出した結果がそれぞれ人検出枠ｗ６１、人検出枠ｗ６２で囲まれて表示されている。

フレームＦ７において、人物Ａ、人物Ｂはそれぞれ人検出で継続して人物であると検出され、検出した結果がそれぞれ人検出枠ｗ７１、人検出枠ｗ７２で囲まれて表示されている。さらにフレームＦ７ではフレームＦ６に対して人物Ａは左側に移動しているので、動き検出で検出され、検出された「動き」が動きベクトルＶ７で表示されている。

フレームＦ８において、人物Ａ、人物Ｂはそれぞれ人検出で継続して人物であると検出され、検出した結果がそれぞれ人検出枠ｗ８１、人検出枠ｗ８２で囲まれて表示されている。

フレームＦ９において、人物Ａは撮影された画面の左端に消えようとしているため人検出されず、人物Ｂは人検出で継続して人物であると検出され、検出した結果が人検出枠ｗ９２で囲まれて表示されている。さらにフレームＦ９ではフレームＦ８に対して人物Ａは左側に移動しているので、動き検出で検出され、検出された「動き」が動きベクトルＶ９で表示されている。

ここで、図６において、人検出枠の検出は、人検出部４０１で行い、動きベクトルの検出は動き検出部４０２で行った。図６において、撮影情報にビデオカメラ１００が固定された状態で撮影されていたため、エッジ検出部４０３における検出は実施しなかった。

（ステップＳ４０３）切り出し枠決定部４０４は、撮影情報と人検出部４０１の検出結果と動き検出部４０２の検出結果とエッジ検出部４０３の検出結果とから切り出し枠を決定する。

図７は、図５の撮影された画像の一例において、図６の人検出結果とフレーム間の動きを検出した結果から切り出し枠を決定する方法を説明する図である。

撮影された画像から一部の画像を切り出す場合に、守るべき制約条件がある。図８は制約条件の一例を示す図である。制約条件の種類としては、枠そのものの制約、フレーム毎の制約、フレーム間にまたがる制約等がある。

枠そのものの制約として、切り出す画像の枠の大きさ（サイズ）の制約がある。例えば、切り出す枠は撮影された画面の１／４以上であるという制約である。さらにフレーム間の切り出す画像の枠の大きさ（サイズ）の変化量の制約、例えば、大きさの変化量はＷ％以内（Ｗは小数）等、の制約がある。

フレーム毎の制約は、フレームの構図に関する制約である。フレームの構図に関する制約として、三分割構図、三角構図、対角線構図、日の丸構図、シンメトリー構図がある。三分割構図は、切り出す画面の縦横を等間隔に引いた水平線と垂直線それぞれ２本ずつで画面を上下・左右方向にそれぞれ３等分して９等分すると仮定し、それらの線上や線同士の交点上に構図上の重要な要素を配置する制約である。三角構図は、画面の中央部に高い木やビルなどを配置し、三角形に配置する制約である。対角線構図は、並木や道路・木の枝など、直線的に伸びる被写体を対角線上に配置する制約である。日の丸構図は、被写体を日の丸のように真ん中に配置する制約である。シンメトリー構図は、被写体を左右対称や上下対称に配置する制約である。フレームの構図に関する制約のうち、どれか１つにあてはまるように構図を決定する。

フレーム間の制約は、フレーム間のカメラワークに関する制約である。フレーム間のカメラワークに関する制約は、撮影しているビデオカメラの左右の移動時間、例えば、Ｓ１秒以上Ｓ２秒以下、上下の移動時間、例えばＳ３秒以上Ｓ４秒以下、ズームの縮小時間、例えば、Ｓ５秒以上Ｓ６秒以下、ズームの拡大時間、例えばＳ７秒以上Ｓ８秒以下等の制約である（Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８は小数）。制約条件は記憶部３０２に記憶されている。フレーム間のカメラワークに関する制約は、全てにおいて制約を満たすように構図を決定する。

これらの制約条件を満たすように切り出し枠を決定する。制約条件である、枠そのものの制約、フレーム毎の制約、フレーム間の制約を全て満たすように構図を決定できない場合は、それぞれの制約に優先順位を付与し、できる限りの制約条件を満たすように構図を決定する。例えば優先順位として、優先度の高い順として枠そのものの制約、フレーム間の制約、フレーム毎の制約とする。

まず、撮影された画像は、撮影条件として三脚で固定されて撮影されている。従って、画像を切り出す時に画像は固定されていることを前提として決定する。

フレームＦ１において、人検出されているのは人物Ａのみの人検出枠ｗ１１であり、動きベクトルは検出されていないため、人検出枠ｗ１１から切り出し枠を決定する。切り出し枠は撮影された画面の１／４以上であることが望ましく、人検出枠ｗ１１は人物Ａが正面を向いて立っている。制約条件である枠そのものの制約と、フレームの構図に関する制約から、人物Ａを全身から胸より上の部分のみかつ人物Ａが中心に配置される構図、例えば、シンメトリー構図に従う構図になるように切り出し枠ｎ１を決定する。

フレームＦ２において、人検出枠ｗ２１の人物Ａは右を向いたので、制約条件である切り出す画像の枠の大きさの制約、フレームＦ１で切り出した切り出し枠ｎ１との間の切り出す画像の枠の大きさの変化量の制約、フレームの構図に関する制約、フレーム間のカメラワークに関する制約から、人物Ａを全身から胸より上の部分のみで、人物Ａを切り出し枠の左側に配置される構図、例えば、三分割構図になるように切り出し枠ｎ２を決定する。

フレームＦ３において、人物Ａは人検出で継続して人物であると検出され、検出した結果を人検出枠ｗ３１で囲まれて表示されているので、切り出し枠ｎ２と同じ切り出し枠を切り出し枠ｎ３として決定する。

フレームＦ４において人検出枠ｗ４１、人検出枠ｗ４２、動きベクトルＶ４とから切り出し枠を決定する。人物Ａと人物Ｂの両方を胸から上の部分で切り出すために、切り出す画像の枠の大きさの制約、フレームＦ２で切り出した切り出し枠ｎ２との間の切り出す画像の枠の大きさの変化量の制約とフレーム間のカメラワークに関する制約で左右の移動時間から切り出し枠ｎ４を決定する。この場合、切り出し枠ｎ２の中に人物Ｂの顔が全て入るように切り出されていないが、フレームの構図に関する制約よりも、フレーム間カメラワークに関する制約を優先させて決定したためである。

フレームＦ５において、人検出枠ｗ５１、人検出枠ｗ５２、動きベクトルＶ５で表示されている。制約条件である切り出す画像の枠の大きさの制約、フレームＦ４で切り出した切り出し枠ｎ４との間の切り出す画像の枠の大きさの変化量の制約、フレームの構図に関する制約、フレーム間のカメラワークに関する制約から、切り出し枠ｎ５を決定する。

フレームＦ６において、フレームＦ５に対して大きな変化がないため、切り出し枠ｎ５と同じ位置の切り出し枠を切り出し枠ｎ６として決定する。

フレームＦ７において、人検出枠ｗ７１、人検出枠ｗ７２、動きベクトルＶ７とから切り出し枠を決定する。人物Ａと人物Ｂの両方を胸から上の部分で切り出し、かつ人物Ａは動いているので、フレームＦ６で切り出した切り出し枠ｎ６との間の切り出す画像の枠の大きさの変化量の制約を優先して、切り出し枠ｎ７を決定する。

フレームＦ８において、フレームＦ７に対して大きな変化がないため、切り出し枠ｎ７と同じ位置の切り出し枠を切り出し枠ｎ８として決定する。

フレームＦ９において、人物Ａは撮影された画面の左端に消えようとしているため人検出されず、動きベクトルＶ９は検出されているので、人物Ｂを中心として制約条件を満たすように切り出し枠ｎ９を決定する。

図９は、図７で決定した切り出し枠を説明する図である。切り出し枠決定部４０４は、上述したように各フレームについて切り出し枠を決定した。

（ステップＳ４０４）構図情報整形部３１７は、画像信号処理部２０３の出力信号を構図情報計算部３１６で切り出した切り出し枠で切り取り、切り取った画像を撮影した画像と同じ大きさに引き伸ばし、新たな画像を生成する。新たに生成した画像は、画像信号圧縮部２０４に出力する。

図１０は、図９の各フレームの切り出し枠を元の撮影した画像のサイズに引き伸ばした図である。新たな画像として、フレームＮＦ１、フレームＮＦ２、フレームＮＦ３、フレームＮＦ４、フレームＮＦ５、フレームＮＦ６、フレームＮＦ７、フレームＮＦ８、フレームＮＦ９が生成される。

＜３．まとめ＞
以上により、本実施の形態で説明するビデオカメラ１００は、撮影した画像の一部を切り出して新たな画像を生成する。その生成される新たな画像は、記憶部３０２に記録された制約条件に基づいて、撮影された画像から切り出される。そのため、ビデオカメラ１００での画像撮影時に熟練した撮影技術等がなくても、撮影した画像から新たに生成される画像は、より好ましい画像となる。

なお、本実施の形態で説明した制約条件は、一例であり、これに限らず、上述した制約条件のうちの少なくとも１つを制約条件としてもよいし、他の制約条件を用いてもよい。他の制約条件として、例えば、道路や川など曲線でできているものの曲線を取り入れてＳ字状に配置するＳ字型構図や、道路や川などのカーブを取り入れてＣ字状に配置するＣ字型構図がある。

また、図５の撮影された画像は、人物のみであったが、人物と自動車等の物体が複数動いている画像から切り出す場合は、切り出し枠の決定を、検出した人物や物体全ての重心から切り出し枠を決定するとしてもよいし、切り出す中心となる人物や物体を予め優先度をつけて付与しておき、優先度に基づいて切り出し枠を決定してもよい。さらに優先度は、外部入力部２０７から指定してもよい。

なお、本実施の形態において、新たに生成した画像は、多重化部３１８で撮影した画像と一緒に多重化され、記憶部３０２に記憶された後に再生部３１９で再生するものとしていたが、記憶部３０２で記憶させる前に再生部３１９から再生させてもよい。

なお、本実施の形態において、新たに生成する画像のサイズは撮影した画像のサイズに引き伸ばしたが、撮影した画像のサイズである必要はなく、サイズは外部入力部２０７から指定してもよいし、あらかじめ決めておいてもよい。

（実施の形態２）
実施の形態１において、撮影した画像から新たな画像を生成する際に、制約条件を満たしたとしても、生成された新たな画像のフレーム間で画像が滑らかにならない場合がある。例えば、撮影しているビデオカメラ１００のズーム速度が所定速度よりも速い場合や、人物や物体の動きが所定速度よりも早い場合等である。本実施の形態では、生成する新たな画像のフレーム間で滑らかにするための補間処理について説明する。

図１１は、実施の形態２に係るビデオカメラ１１００の概略構成を示すブロック図である。ビデオカメラ１１００は、新たな画像を生成する時の切り出し枠を決定する点で実施の形態１のビデオカメラ１００と異なる。具体的には、ビデオカメラ１１００の基本的な構成は、ビデオカメラ１００と略同様である。そこで、実施の形態１と同様の構成については、同様の符号を付して説明を省略し、異なる部分を中心に説明する。

実施の形態１に対して異なる構成として、ビデオカメラ１１００は、実施の形態１のビデオカメラ１００に対して、制御部１３００の構成が異なる。制御部１３００は、実施の形態１の制御部３００に対して、構図情報計算部１３１６の構成が異なる。

図１２は、構図情報計算部１３１６の構成の詳細を示すブロック図である。

構図情報計算部１３１６は、切り出し枠決定部４０４で切り出し枠を仮決定した後に、フレーム間の切り出し枠の連続性から切り出した画像が滑らかに再生できるように切り出し枠を補間処理する。切り出し枠の補間処理は、スプライン補間処理やラグランジュ補間処理を用いる。

図１３は、撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。図４の実施の形態１のフローチャートと異なる点は、ステップＳ４０３とステップＳ４０４の間にステップＳ１３０１が追加されている点である。

ステップＳ１３０１において、切り出し枠決定部４０４で切り出し枠を仮決定した後に、フレーム間の切り出し枠の連続性から切り出した画像が滑らかに再生できるように切り出し枠を補間する。切り出し枠の補間は、スプライン補間やラグランジュ補間を用いる。

次に、切り出し枠を補間処理していない場合と切り出し枠を補間処理した場合でどのように切り出した画像が変化するかを説明する。図１４は、ビデオカメラ１００で撮影された画像の切り出しを説明する図である。すなわち、切り出し枠を補間処理していない場合の一例である。図１５は、ビデオカメラ１１００で撮影された画像の切り出しを説明する図である。すなわち、切り出し枠を補間処理した場合の一例である。図１４の上段は、ビデオカメラ１００で撮影した画像であり、画像は、フレームＦ２１、フレームＦ２２、フレームＦ２３の順で撮影された一例である。図１５の上段はビデオカメラ１１００で撮影した画像であり、ビデオカメラ１００と同じように撮影した画像なため、同じフレーム番号とし、フレームＦ２１、フレームＦ２２、フレームＦ２３の順で撮影されたものとする。図１４の上段において、実施の形態１で説明したように切り出し枠を決定する。フレームＦ２１に対して切り出し枠ｗ２１、フレームＦ２２に対して切り出し枠ｗ２２、フレームＦ２３に対して切り出し枠ｗ２３を決定する。図１４の中段は各フレームについて、切り出し枠を取り出したものである。図１４の下段は各フレームの切り出し枠を撮影時の大きさに引き伸ばし、新たな画像であるフレームＮＦ２１、フレームＮＦ２２、フレームＮＦ２３が生成されたものである。

図１４の新たに生成された画像は、フレーム間で人物のサイズが急激に変化している。本実施の形態では、フレーム間の人物のサイズを緩やかに変化させる。図１５の上段において、実施の形態１で説明したように切り出し枠を決定する。この時点では決定した切り出し枠は確定したものではなく、仮決定である。フレームＦ２１に対して切り出し枠ｗ２１、フレームＦ２２に対して切り出し枠ｗ２２、フレームＦ２３に対して切り出し枠ｗ２３を決定する。フレームＦ２２の切り出し枠ｗ２２を基準としてフレームＦ２１の切り出し枠ｗ２１とフレームＦ２３の切り出し枠ｗ２３を補間処理する。図１５の上段において、フレームＦ２１の切り出し枠ｗ２１を補間方向ｉ１に補間処理し、切り出し枠ｗ３１とする。図１５の上段において、フレームＦ２３の切り出し枠ｗ２３を補間方向ｉ３に補間処理し、切り出し枠ｗ３３とする。図１５の中段は各フレームについて、切り出し枠を取り出したものである。図１５の下段は各フレームの切り出し枠を撮影時の大きさに引き伸ばし、新たな画像であるフレームＮＦ３１、フレームＮＦ２２、フレームＮＦ３３が生成されたものである。図１４の下段の新たな画像と比較して、フレーム間で人物のサイズが緩やかに変化している、すなわち画像が滑らかになっている。

以上により、本実施の形態で説明するビデオカメラ１１００は、撮影した画像の一部を切り出して新たな画像を生成する。その生成される新たな画像は、記憶部３０２に記録された制約条件に基づいて、撮影された画像から切り出され、さらにフレーム間で補間処理される。そのため、ビデオカメラ１１００での画像撮影時に熟練した撮影技術等がなくても、撮影した画像から新たに生成される画像は、滑らかでより自然な画像となる。

（実施の形態３）
本実施の形態では、ビデオカメラによって撮影した画像から新たに生成された画像の記録について説明する。

実施の形態１では、ビデオカメラ１００によって撮影された画像から新たに画像を生成し、記録する構成について説明した。本実施の形態では、新たに画像を生成せず、新たな画像に対する属性情報を生成する構成について説明する。

図１６は、実施の形態３に係るビデオカメラ２１００の概略構成を示すブロック図である。ビデオカメラ２１００は、新たな画像を生成せずに新たな画像を生成するための属性情報を記録する点で実施の形態１のビデオカメラ１００と異なる。具体的には、基本的にはビデオカメラ２１００の基本的な構成は、ビデオカメラ１００と略同様である。そこで、実施の形態１と同様の構成については、同様の符号を付して説明を省略し、異なる部分を中心に説明する。

実施の形態１に対して異なる構成として、ビデオカメラ２１００は、実施の形態１のビデオカメラ１００に対して、画像信号処理部２２０３、画像信号圧縮部２２０４、制御部２３００、記憶部２３０２の構成が異なる。画像信号処理部２２０３は、出力されるデジタル映像信号が制御部２３００の構図情報整形部２３１７に入力されていない点で異なる。これは制御部２３００において新たな画像を生成しないためである。画像信号圧縮部２２０４は、制御部２３００から出力されるデジタル映像信号を入力していない点で異なる。制御部２３００において新たな画像を生成しないためである。

制御部２３００は、実施の形態１の制御部３００に対して、カメラワーク情報抽出部２３１５、構図情報整形部２３１７、多重化部２３１８、再生部２３１９の構成が異なる。カメラワーク情報抽出部２３１５は、抽出した撮影情報を構図情報整形部２３１７に入力する点で異なる。構図情報整形部２３１７は、カメラワーク情報抽出部２３１５で抽出した撮影情報と、構図情報計算部３１６で決定した切り出し枠を属性情報として多重化部２３１８へ出力する。多重化部２３１８では、属性情報を、撮影した画像とともに記憶部２３０２に記録する。再生部２３１９は、記憶部２３０２に記録された撮影した画像と付属情報に基づいて、新たな画像の再生を実行する。

図１７は、実施の形態３に係る撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。実施の形態１の図４のフローチャートと異なる点は、ステップＳ４０３で切り出し枠を決定した後、ステップＳ４０４をステップＳ１７０１に変更している点である。ステップＳ１７０１において、構図情報整形部２３１７において、カメラワーク情報抽出部２３１５で抽出した撮影情報と、構図情報計算部３１６で決定した切り出し枠を属性情報として多重化部２３１８へ出力する。多重化部２３１８は、撮影された画像、画像に付随する音声、属性情報を一つのデータに多重化する。多重化されたデータは記憶部２３０２に記録される。

図１８は、撮影された画像と新たに生成する画像の属性情報の記録を説明する図である。撮影された画像データと共に、属性情報を撮影された画像データの付属する情報として記録する。属性情報には、撮影情報と決定した切り出し枠を記録する。

決定した切り出し枠は、元の撮影された画像の左上を基準として、そこから矩形の切り出し枠の左上が、横方向及び縦方向へのオフセット量の情報、及び切り出し枠の横方向と縦方向の大きさの情報、で示すことができる。

なお、属性情報と撮影された画像、画像に付随する音声とは必ずしも多重化する必要はない。属性情報と、撮影された画像、画像に付随する音声を記憶部２３０２において関連付けて記憶することができれば、それぞれに個別のデータとして保持するものであってもよい。属性情報と撮影された画像、画像に付随する音声との関連付けは、例えば新たに両者の関連を示す別のデータを生成するものであってもよいし、属性情報と撮影された画像、画像に付随する音声を、記憶部２３０２に記録する際のファイルシステム管理における一つのグループとして、例えばファイルシステム内における同一ディレクトリ下に、格納するなどで対応するものであってもよい。

また、図１８の一例では、属性情報は、撮影された画像の特定のフレームのみに設ける場合を例示したが本実施の形態はこれに限定されない。例えば、すべてのフレームに属性情報を設けるものであってもよい。また、撮影された画像中において、符号化時に基準となるフレーム、を選択してそのフレームのみに属性情報を設けるものであってもよい。

さらに、撮影された画像、画像に付随する音声と属性情報とは多重化されたのちに、符号化するものであってもよい。反対に、撮影された画像、画像に付随する音声を符号化した後に、符号化された撮影画像、画像に付随する音声と属性情報を多重化するものであってもよい。また、属性情報は符号化の対象としてもよいし、しなくてもよい。

以上により、本実施の形態で説明するビデオカメラ２１００は、撮影した画像の撮影情報と、撮影した画像の一部を切り出すための切り出し枠を撮影した画像の付属情報として記録する。記録された撮影した画像と付属情報に基づいて、新たな画像を再生する。これにより撮影された画像と新しく生成された画像を効率的に記録、管理することができる。

本開示は、画像を撮影して記録するビデオカメラ等に適用可能である。

１００，１１００，２１００ ビデオカメラ
２００ レンズ群
２０１ 撮像素子
２０２ 画像ＡＤ変換部
２０３，２２０３ 画像信号処理部
２０４，２２０４ 画像信号圧縮部
２０５ レンズ制御モジュール
２０６ 姿勢検出部
２０７ 外部入力部
２０８ マイクロフォン
２０９ 音声ＡＤ変換部
２１０ 音声信号圧縮部
２１１ 画像信号伸張部
２１２ 映像表示部
２１３ 音声信号伸張部
２１４ 音声出力部
２１５ 出力Ｉ／Ｆ
３００，１３００，２３００ 制御部
３０１ クロック
３０２，２３０２ 記憶部
３１１ レンズ制御部
３１２ 撮像制御部
３１３ 画像解析部
３１４ 音声解析部
３１５，２３１５ カメラワーク情報抽出部
３１６，１３１６ 構図情報計算部
３１７，２３１７ 構図情報整形部
３１８，２３１８ 多重化部
３１９，２３１９ 再生部

本開示は、ビデオカメラ等で撮影された画像から画像の一部を切り出して新たな画像を生成する画像生成装置及びそれを備えた撮影装置、さらには、撮影された画像から画像の一部を切り出して新たな画像を生成する方法及びプログラムに関する。

特許文献１には、動画撮影時に撮影操作に集中しなくても、注目被写体の動画を取得可能な撮像装置について記載されている。さらに特許文献１には、撮影された画像から特定被写体を検出し、特定被写体を含む一部の領域を切り出し画像として抽出し、切り出し画像の解像度を向上させる構成が開示されている。

特開２００９−１４７７２７号公報

本開示の画像生成装置および本開示の撮影装置は、撮影された画像の撮影情報を抽出するカメラワーク情報抽出部と、撮影情報と撮影された画像から、制約条件に基づいて、新たな画像を切り出すための切り出し枠を決定する構図情報計算部と、撮影された画像から切り出し枠を用いて新たな画像を切り出し、所定サイズに変換する構図情報整形部とを備える。

本開示の画像生成装置および本開示の撮影装置は、画像撮影時に熟練した撮影技術等がなくても、撮影した画像から新たに生成される画像は、視聴者が見やすく好ましい画像となる。

図１は、実施の形態１に係るビデオカメラの斜視図である。 図２は、実施の形態１に係るビデオカメラの概略構成を示すブロック図である。 図３は、図２の構図情報計算部の詳細を示すブロック図である。 図４は、実施の形態１に係る撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。 図５は、ビデオカメラ１００で撮影された画像の一例を示す図である。 図６は、図５の撮影された画像の一例において、人物の検出とフレーム間の動きを検出した結果を説明する図である。 図７は、図５の撮影された画像の一例において、図６の人物検出とフレーム間の動きを検出した結果から切り出し枠の決定を説明する図である。 図８は、実施の形態１に係る制約条件の一例を示す図である。 図９は、図７で決定した切り出し枠を説明する図である。 図１０は、図９の各フレームの切り出し枠を元の撮影した画像のサイズに引き伸ばした図である。 図１１は、実施の形態２に係るビデオカメラの概略構成を示すブロック図である。 図１２は、図１１の構図情報計算部の詳細を示すブロック図である。 図１３は、実施の形態２に係る撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。 図１４は、実施の形態１に係るビデオカメラ１００で撮影された画像の切り出しを説明する図である。 図１５は、実施の形態２に係るビデオカメラ１１００で撮影された画像の切り出しを説明する図である。 図１６は、実施の形態３に係るビデオカメラの概略構成を示すブロック図である。 図１７は、実施の形態３に係る撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。 図１８は、実施の形態３に係る撮影された画像と新たに生成する画像の属性情報の記録を説明する図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
特許文献１のように、撮影された画像から特定の被写体を含む領域を抽出し、抽出した画像に基づいて画像を生成し、それらをつなぎ合わせて動画を生成すると、視聴者に見やすい画像が生成できない場合がある。

例えば、動画の撮影時に構図等を考慮して撮影された動画から特定の被写体を含む領域だけを抽出すると、構図が崩れ、視聴者が見にくい画像となることがある。さらに、生成された動画が、動きの激しい動画や激しい明滅を含むような動画が生成されることがある。

本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、撮影された画像の一部を切り出して新たな画像を生成する場合に、その生成される画像が視聴者に見やすい画像となる画像生成装置及びそれを備えた撮影装置、さらには、撮影された画像から画像の一部を切り出して新たな画像を生成する方法及びプログラムを提供することにある。

＜１．ビデオカメラの構成＞
図１は、撮影装置の一例としてのビデオカメラ１００の斜視図である。ビデオカメラ１００は画像を撮影し、それを記録し、再生するものである。また、ビデオカメラ１００は撮影した画像から新たな画像を生成する。

図２は、ビデオカメラ１００の概略構成を示すブロック図である。

ビデオカメラ１００は、レンズ群２００、撮像素子２０１、画像ＡＤ変換部（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０２と画像信号処理部２０３、画像信号圧縮部２０４、レンズ制御モジュール２０５、姿勢検出部２０６、外部入力部２０７、マイクロフォン２０８、音声ＡＤ変換部（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０９、音声信号圧縮部２１０、画像信号伸張部２１１、映像表示部２１２、音声信号伸張部２１３、音声出力部２１４、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１５、制御部３００、クロック３０１と記憶部３０２を備えている。このビデオカメラ１００が画像生成装置及び撮影装置を構成する。

レンズ群２００は、複数のレンズで構成されており、被写体からの入射光を撮像素子２０１上に結像させる。また、レンズ群２００は、複数のレンズ間の距離を調整可能に構成されており、レンズ間の距離を変えることによって焦点距離やズーム倍率を変化させる。焦点距離やズーム倍率の調整は、ユーザが手動で行ってもよいし、制御部３００が行ってもよい。

撮像素子２０１は、入射する光を電気信号に変換する。撮像素子２０１は、ＣＣＤ又はＣＭＯＳで構成されている。撮像素子２０１は、撮像面上の任意の範囲の電気信号を出力する。また、撮像素子２０１は、画像に関する情報以外にも、３原色点の色度空間情報、白色の座標、及び３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、及び３原色または輝度信号のガンマ情報等の情報も出力することが可能である。そのため、撮像素子２０１からの出力は、画像ＡＤ変換部２０２だけでなく制御部３００の後述するカメラワーク情報抽出部３１５にも入力される。

画像ＡＤ変換部２０２は、撮像素子２０１が出力するアナログの電気信号をデジタル信号に変換する。

画像信号処理部２０３は、画像ＡＤ変換部２０２が出力したデジタル信号を増幅させ、ホワイトバランス調整、色味補正等の所定の処理を行う。画像信号処理部２０３は、例えば、画像信号変換用のＩＣで構成されている。画像信号処理部２０３からの出力は、画像信号圧縮部２０４だけでなく制御部３００の後述する画像解析部３１３にも入力される。

画像信号圧縮部２０４は、画像信号処理部２０３から出力されるデジタル映像信号に所定の符号化変換を行い、データ量を圧縮する。符号化変換の具体例としては、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ２６４／ＭＰＥＧ４ ＡＶＣ等の符号化方式がある。画像信号圧縮部２０４からの出力は、制御部３００へ入力される。画像信号圧縮部２０４は、例えば、画像信号圧縮伸張用のＩＣで構成されている。画像信号圧縮部２０４は、画像信号処理部２０３から出力されるデジタル映像信号だけでなく、制御部３００の後述する構図情報整形部３１７から出力される信号も入力され、この入力された信号に所定の符号化変換を行い、データ量を圧縮する。

レンズ制御モジュール２０５は、レンズ群２００の状態を検出したり、レンズ群２００を動作させたりするものである。レンズ制御モジュール２０５は、レンズ制御用モータと、レンズ位置センサを有している。レンズ位置センサは、レンズ群２００を構成する複数のレンズ間の距離又は位置関係等を検出する。レンズ位置センサは、その検出信号を制御部３００に出力する。レンズ制御モジュール２０５は、２種類のレンズ制御モータを有している。１つのレンズ制御モータは、制御部３００から制御信号に基づいて、レンズ群２００を光軸方向に移動させる。これにより、レンズ群２００の複数のレンズ間の距離が変更され、レンズ群２００の焦点距離及びズーム倍率が調整される。もう１つのレンズ制御モータは、制御部３００から制御信号に基づいて、レンズ群２００のうちの少なくとも１つのレンズ、例えば、像ぶれ補正用のレンズを光軸に直交する面内で移動させる。これにより、像ぶれを補正する。

姿勢検出部２０６は、ビデオカメラ１００本体の姿勢状態を検出する。姿勢検出部２０６は、加速度センサ、角速度センサ、仰角・俯角センサを有する。これらのセンサにより、撮影時にビデオカメラ１００がどのような姿勢になっているかを認識できる。加速度センサ及び角速度センサは、ビデオカメラ１００の姿勢を詳細に検出するために、直交３軸方向、すなわち、ビデオカメラ１００の上下方向、前後方向、左右方向の姿勢をそれぞれ検出できることが好ましい。

なお、姿勢検出部２０６は、上記の構成に限らず、上記センサの何れかだけで構成されていてもよいし、上記センサ以外のセンサを有していてもよい。

外部入力部２０７は、ビデオカメラ１００に外部からの情報を入力する。外部入力部２０７からの信号は、制御部３００へ入力される。また、図２において外部入力部２０７からの信号は、制御部３００のカメラワーク情報抽出部３１５だけに入力されているが、レンズ制御部３１１等の入力操作に対応する部分にも入力される。撮影時には、この外部入力部２０７を介してビデオカメラ１００に外部からの各種情報が入力される。例えば、外部入力部２０７は、ユーザからの情報の入力を受け付ける入力インタフェースの１つである入力ボタンや、ビデオカメラ１００が三脚に設置されているか否かを検出する三脚センサを含む。ユーザが入力ボタンを操作することによって、撮影の開始、終了、撮影された画像の再生、撮影された画像の記憶部３０２への記録及び後述する撮影された画像の一部を切り出して新たな画像を生成する等、ユーザからの各種要求をビデオカメラ１００に伝えることが可能である。三脚センサは、ビデオカメラ１００の三脚が固定される部分に設けられたスイッチで構成されている。三脚センサにより、三脚を使用した撮影か否かを判定できる。

なお、入力ボタンや三脚センサに限らず、タッチパネル、ジョイスティック、等、ユーザからの指示内容を受け付けることができるデバイスであれば何でもよい。

マイクロフォン２０８は、ビデオカメラ１００が画像を撮影している時に、ビデオカメラ１００の周囲の音を収音し、電気信号に変換して、アナログ音声信号として出力する。

音声ＡＤ変換部２０９は、マイクロフォン２０８が出力するアナログ音声信号データをデジタル音声信号である音声データに変換する。

音声信号圧縮部２１０は、音声ＡＤ変換部２０９が出力したデジタル音声信号を予め決められた符号化方式で符号化する。符号化にはＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）等の方式がある。音声信号圧縮部２１０は、例えば、音声信号圧縮用のＩＣで構成されている。

画像信号伸張部２１１は、制御部３００から出力される映像信号を復号する。画像信号伸張部２１１からの出力は、映像表示部２１２に入力される。

映像表示部２１２は、ビデオカメラ１００に記録した画像や、ビデオカメラ１００でリアルタイムに撮影している画像、過去に撮影した画像や、後述する撮影した画像から一部の画像を切り出して新たに生成した画像を表示する。それ以外にも、映像表示部２１２は、撮影に関する情報や機器情報等の各種情報を表示する。映像表示部２１２は、例えば、タッチパネル式の液晶ディスプレイで構成されている。タッチパネル式の映像表示部２１２は、外部入力部２０７としても機能する。画像信号伸張部２１１は、例えば、画像信号伸張用のＩＣで構成されている。

音声信号伸張部２１３は、制御部３００から出力される音声信号を復号する。音声信号伸張部２１３は、例えば、音声信号伸張用のＩＣで構成されている。

音声信号伸張部２１３からの出力は、音声出力部２１４に入力される。音声出力部２１４は、画像に付随する音声を出力する。それ以外にも、音声出力部２１４は、ビデオカメラ１００からユーザへ報知する警告音を出力する。音声出力部２１４は、例えば、スピーカーで構成されている。

出力Ｉ／Ｆ２１５は、映像信号をビデオカメラ１００から外部へ出力するためのインタフェースである。具体的には出力Ｉ／Ｆ２１５は、ビデオカメラ１００と外部機器とをケーブルで接続する場合のケーブルインタフェースや、映像信号をメモリカードに記録する場合のメモリカードインタフェース等である。

制御部３００は、ビデオカメラ１００の全体を制御する。制御部３００は、撮像素子２０１、画像信号処理部２０３、画像信号圧縮部２０４、レンズ制御モジュール２０５、姿勢検出部２０６、外部入力部２０７、音声ＡＤ変換部２０９、音声信号圧縮部２１０、画像信号伸張部２１１、音声信号伸張部２１３、出力Ｉ／Ｆ２１５及び記憶部３０２等との間で信号の授受が可能に構成されている。本実施の形態では、制御部３００は、ＣＰＵで構成されている。制御部３００は、記憶部３０２に格納されたプログラムを読み込んで実行することによってビデオカメラ１００の各種制御を実行する。制御部３００が実行する制御の例としては、例えば、レンズ群２００の焦点距離やズームの制御や、姿勢検出部２０６や外部入力部２０７からの入力信号の処理や、画像信号処理部２０３、画像信号圧縮部２０４、音声信号圧縮部２１０、画像信号伸張部２１１及び音声信号伸張部２１３等のＩＣの動作制御等である。また、図示は省略するが、制御部３００とレンズ制御モジュール２０５等との間では、適宜、信号がＡＤ変換又はＤＡ変換される。なお、制御部３００は、ＩＣ等の集積回路で構成することもできる。

クロック３０１は、ビデオカメラ１００内で動作する制御部３００等に処理動作の基準となるクロック信号を供給する。なお、クロック３０１は、利用する集積回路や扱うデータによって、単一または複数のクロックを用いることも可能である。また、ひとつの発振子のクロック信号を任意の倍数に乗じて使用してもよい。

記憶部３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を含んでいる。ＲＯＭは、制御部３００が処理するプログラムやプログラムを動作させるための各種データを記憶しておく。ＲＡＭは、制御部３００が処理するプログラム実行時に使用するメモリ領域等として使用される。また、ＲＡＭは、ＩＣのメモリ領域としても使用され得る。ＨＤＤは、画像信号圧縮部２０４により符号化変換された映像データや音声信号圧縮部２１０により符号化変換された音声データや、後述する撮影された画像から画像の一部を切り出して生成した画像等の各種データを保存する。また、ＨＤＤは、制御部３００で実行するプログラムを記憶している。なお、記憶部３０２は、ＨＤＤに限られず、半導体メモリに記憶されていてもよいし、ＳＤメモリカード、ＣＤ−ＲＯＭやＤＶＤ等の可搬型記録媒体を含んでいてもよい。

次に、制御部３００について詳細に説明する。ここでは、制御部３００のうち、撮影された画像から画像の一部を切り出して新たな画像を生成するために必要な構成について説明する。制御部３００は、一般的なビデオカメラと同様の機能を発揮させるための構成、例えば、撮影した画像を記録したり、再生したりする構成も有する。

制御部３００は、レンズ制御モジュール２０５を制御するレンズ制御部３１１と、撮像素子２０１を制御する撮像制御部３１２と、画像信号処理部２０３からの出力を解析する画像解析部３１３と、音声ＡＤ変換部２０９からの出力を解析する音声解析部３１４と、ビデオカメラ１００の撮影状態を生成するカメラワーク情報抽出部３１５と、ビデオカメラ１００が撮影した画像を解析・分析し、新たに生成する画像の切り出し枠を決定する構図情報計算部３１６と、決定した切り出し枠を用いて新たに画像を生成する構図情報整形部３１７と、映像信号と音声信号とを多重化する多重化部３１８と、再生を行う再生部３１９を有している。制御部３００は、記憶部３０２に記憶されたプログラムを読み込んで実行することによって、後述する各種の処理を実現する。

レンズ制御部３１１は、レンズ制御モジュール２０５のレンズ位置センサの検出信号及び姿勢検出部２０６の各種センサの検出信号が入力されている。レンズ制御部３１１は、これらの検出信号及び撮像素子２０１等の他の構成要素からの情報に基づいて、レンズ群２００を適正に配置させるための制御信号をレンズ制御モータに出力する。こうして、レンズ制御部３１１は、ズーム制御、フォーカス制御、像ぶれ補正制御等を行う。また、レンズ制御部３１１は、レンズ群２００の制御信号をカメラワーク情報抽出部３１５へ出力する。また、姿勢検出部２０６の各種センサの検出信号は、カメラワーク情報抽出部３１５へも出力されている。

撮像制御部３１２は、撮像素子２０１の動作を制御する。撮像素子２０１に対して、撮影時の露出量、撮影速度、及び感度等を制御する。撮像制御部３１２から出力される制御信号は、撮像素子２０１だけでなく、カメラワーク情報抽出部３１５へも入力される。

画像解析部３１３は、画像信号処理部２０３からの映像データに基づいて画像の特徴を抽出する。画像解析部３１３は、画像の色情報、例えば、画像に含まれる色の分布の情報や、ホワイトバランス情報を検出する。色の分布の検出は、デジタル映像信号を形成するデータに含まれる色情報を確認することで実現可能である。また、画像解析部３１３は、画像に人物の顔が含まれている場合には、画像の中から顔検出を行う。顔検出については、パターンマッチング等を用いることにより実現可能である。

音声解析部３１４は、音声ＡＤ変換部２０９からの音声データを解析して、特徴のある音を抽出するものである。ここで特徴のある音とは、例えば、撮影者の声、特定の単語の発音、歓声、及び銃声等がある。これらの音は、これらの音が持つ特有の周波数を予め登録しておき、それとの比較により判別するなどの方法等によって抽出可能である。また、これ以外にも、例えば、音の入力レベルが所定レベル以上のときに特徴のある音であると判定するようにしてもよい。

カメラワーク情報抽出部３１５は、撮影している画像に関する撮影情報を抽出する。カメラワーク情報抽出部３１５には、撮像素子２０１、姿勢検出部２０６、外部入力部２０７、レンズ制御部３１１、撮像制御部３１２、画像解析部３１３及び音声解析部３１４からの出力信号が入力されている。カメラワーク情報抽出部３１５は、これらの出力信号に基づいて撮影情報を抽出する。

この画像に関する撮影情報には、画像の撮影時の撮影装置の状態やカメラワークなどの撮影に関する情報、画像そのものが含む被写体や背景に関する情報、画像に付帯する音声に関する情報が含まれる。例えば、撮影時の撮影装置に関する情報の例としては、焦点距離、ズーム倍率、露出、撮影速度、感度、３原色点の色空間情報、ホワイトバランス、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報、色分布、顔認識情報、カメラ姿勢、例えば、加速度、角速度、仰角・俯角等であり、撮影時刻、例えば、撮影開始時刻、終了時刻であり、撮影インデックス情報、ユーザ入力内容、フレームレート、サンプリング周波数等が挙げられる。例えば、カメラワーク情報抽出部３１５は、レンズ制御部３１１の制御信号に基づいて、焦点距離やズーム倍率を撮影情報として抽出する。また、カメラワーク情報抽出部３１５は、姿勢検出部２０６の検出信号に基づいて、加速度、角速度、仰角・俯角等のカメラ姿勢を検出し、検出したカメラ姿勢からカメラの向きを左右に振る動作であるパン、カメラの向きを上下に振るティルト等の撮影時のビデオカメラ１００のカメラの動作を撮影情報として抽出する。さらには、ビデオカメラ１００を動作させた後にビデオカメラ１００を静止させて撮影した部分を撮影情報として抽出することができる。このように、カメラワーク情報抽出部３１５は、入力された信号そのものから撮影情報を抽出する場合もあれば、入力された信号と組み合わせたり、分析したりすることによって撮影情報を抽出する場合もある。

構図情報計算部３１６は、カメラワーク情報抽出部３１５で抽出された撮影情報に基づいて、新たに生成する画像の切り出し枠を決定する。この切り出し枠の決定の詳細については後述する。

構図情報整形部３１７は、構図情報計算部３１６で決定した切り出し枠に基づいて、画像信号処理部２０３から出力された撮影した画像から新たに画像を生成する。生成した画像は画像信号圧縮部２０４へ出力する。画像の生成の詳細については後述する。

多重化部３１８は、画像信号圧縮部２０４からの符号化映像データと音声信号圧縮部２１０からの符号化音声データを多重化して出力する。多重化部３１８により多重化されたデータは、記憶部３０２に格納される。多重化の方式としては、例えば、ＭＰＥＧのＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）方式等である。ただし、これに限定されるものではない。

なお、本実施の形態では、多重化する場合を例として示しているが、必ずしも多重化しなくてもよい。

これらカメラワーク情報抽出部３１５、構図情報計算部３１６、構図情報整形部３１７及び多重化部３１８の処理は、撮影時、詳しくは、撮影中又は撮影直後に逐次、実行される。

再生部３１９は、撮影の終了後に、ユーザの入力に基づいて切り出した画像の再生を実行する。詳しくは、再生部３１９は、記憶部３０２に記憶された多重化されたデータを読み出し、再生させるべき部分の符号化映像データ及び符号化音声データをそれぞれ画像信号伸張部２１１及び音声信号伸張部２１３に出力する。出力された符号化映像データ及び符号化音声データはそれぞれ、画像信号伸張部２１１及び音声信号伸張部２１３で復号され、映像表示部２１２及び音声出力部２１４から出力される。こうして、画像の中から撮影した画像から切り出した画像の再生が実行される。

＜２．新たな画像の生成＞
次に、撮影された画像から画像の一部を切り出して新たな画像を生成する手順を、撮影された画像の一例を用いて説明する。撮影された画像から画像の一部を切り出して、新たな画像を生成する処理は、カメラワーク情報抽出部３１５と構図情報計算部３１６と構図情報整形部３１７で行う。

図３は構図情報計算部３１６の詳細な構成を示す図である。カメラワーク情報抽出部３１５から出力された撮影情報を入力信号とする。入力された撮影情報から撮影した画像に人物が含まれているか、人物が含まれている場合、顔がどちらを向いているか、人物が誰なのか等を検出する人検出部４０１と、入力された撮影情報から画像の１コマの単位であるフレームのフレーム間において人物や物体が動いているかどうかを検出する動き検出部４０２と、前後のフレームにおいて特徴的な図形が動いているかどうか、すなわちビデオカメラ１００を固定して撮影しているかどうかを検出するエッジ検出部４０３と、撮影情報と人検出部４０１の検出結果と動き検出部４０２の検出結果とエッジ検出部４０３の検出結果とから切り出し枠を決定する切り出し枠決定部４０４とで構成される。

図４は、撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。

図５は、ビデオカメラ１００で撮影された画像の一例を示す図である。図５において、撮影した画像を画像の１コマの単位であるフレームで示している。画像は、フレームＦ１、フレームＦ２、フレームＦ３、フレームＦ４、フレームＦ５、フレームＦ６、フレームＦ７、フレームＦ８、フレームＦ９の順で撮影された一例である。この画像は、ビデオカメラ１００を三脚で固定して撮影されたものである。フレームＦ１では、人物Ａが撮影された画面のやや左側に正面を向いて立っており、全身が撮影されている。フレームＦ２はフレームＦ１に対して、人物ＡがフレームＦ１で立っていた位置で、撮影しているビデオカメラ１００から見て、右を向いている。フレームＦ３はフレームＦ２に対して、撮影された画面の右端に人物Ｂが見えている。フレームＦ４はフレームＦ３に対して、人物Ｂが、撮影している画面の右端から左側に向かって歩いている。フレームＦ５はフレームＦ４に対して、人物Ｂが、人物Ａの右隣りまで歩いてきた。フレームＦ６はフレームＦ５に対して、人物Ｂは、人物Ａの右隣りで立ち止まっている。また、人物Ａは顔を左に向けた。フレームＦ７はフレームＦ６に対して、人物Ａは左側に向きを変えて左端に向かって歩き始めた。フレームＦ８はフレームＦ７に対して、人物Ｂが正面を向いた。フレームＦ９はフレームＦ８に対して、人物Ａが撮影された画面の左端に消えようとしている。図５の撮影された画像の一例を用いて、新たな画像を生成する手順を説明する。

（ステップＳ４０１）カメラワーク情報抽出部３１５は、撮影している画像に関する撮影情報を抽出する。カメラワーク情報抽出部３１５には、撮像素子２０１、姿勢検出部２０６、外部入力部２０７、レンズ制御部３１１、撮像制御部３１２、画像解析部３１３及び音声解析部３１４からの出力信号が入力されている。カメラワーク情報抽出部３１５は、これらの出力信号に基づいて撮影情報を抽出する。

この画像に関する撮影情報には、画像の撮影時の撮影装置の状態やカメラワークなどの撮影に関する情報、画像そのものが含む被写体や背景に関する情報、画像に付帯する音声に関する情報が含まれる。例えば、撮影時の撮影装置に関する情報の例としては、焦点距離、ズーム倍率、露出、撮影速度、感度、３原色点の色空間情報、ホワイトバランス、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報、色分布、顔認識情報、カメラ姿勢、例えば、加速度、角速度、仰角・俯角等であり、撮影時刻、例えば、撮影開始時刻、終了時刻であり、撮影インデックス情報、ユーザ入力、フレームレート、サンプリング周波数等が挙げられる。例えば、カメラワーク情報抽出部３１５は、レンズ制御部３１１の制御信号に基づいて、焦点距離やズーム倍率を撮影情報として抽出する。また、カメラワーク情報抽出部３１５は、姿勢検出部２０６の検出信号に基づいて、加速度、角速度、仰角・俯角等のカメラ姿勢を検出し、検出したカメラ姿勢からカメラの向きを左右に振る動作であるパン、カメラの向きを上下に振るティルト等の撮影時のビデオカメラ１００のカメラの動作を撮影情報として抽出する。さらには、ビデオカメラ１００を動作させた後にビデオカメラ１００を静止させて撮影した部分を撮影情報として抽出することができる。このように、カメラワーク情報抽出部３１５は、入力された信号そのものから撮影情報を抽出する場合もあれば、入力された信号と組み合わせたり、分析したりすることによって撮影情報を抽出する場合もある。

（ステップＳ４０２）次にカメラワーク情報抽出部３１５で抽出した撮影情報を用いて人検出、動き検出、エッジ検出を行う。

人検出部４０１は、撮影情報から人物を検出する。人物の検出は単に人であるかを検出してもいいし、記憶部３０２にあらかじめ認識させたい人物の情報を登録しておき、登録しておいた情報と比較することで検出した人物が誰かを検出してもよい。また、検出した人物が正面を向いているか後ろを向いているかの向きも検出する。さらに人検出部４０１は、撮影された画像の遠近法の観点から画像に映し出される人物を検出してもよい。例えば、画像に映し出されている人物Ａと人物Ｂがあった場合に、人物Ａが人物Ｂよりも大きく写っている場合には、人物Ａが前方に配置され、人物Ｂが後方に配置されていると検出してもよい。

動き検出部４０２は、フレーム間で動きのある部分を特定し、その部分について、前のフレームから後のフレームに対してどのような方向に、どれくらいの速さで動いているかを特定する。「動き」を検出する技術は、フレーム間の動きベクトル等の技術を用いて実現することが可能である。

エッジ検出部４０３は、撮影された画像において、背景となる部分を特定する分析を行う。具体的には「動き」を特定する処理において、「動き」の大きさが小さい部分を背景として認識する。これにより背景部分を識別できる。

エッジ検出部４０３は、撮影された画像の被写体の輪郭の強さやテクスチャに基づいて背景部分を特定してもよい。さらに、撮影された画像の色についての情報、例えばＲ、Ｇ、Ｂのそれぞれについて色の分布情報をヒストグラムにした情報を解析して背景部分を特定してもよい。さらに、エッジ検出部４０３は、特定した背景部分において、建物の窓枠や道路標識など特徴的な図形が動いているかどうか、すなわちビデオカメラ１００を固定して撮影しているかどうかも検出する。

図６は、図５の撮影された画像の一例において、人物の検出とフレーム間の動きを検出した結果を説明する図である。

フレームＦ１において、人物Ａは人検出されて人物であると検出され、検出した結果が人検出枠ｗ１１で囲まれて表示されている。

フレームＦ２において、人物Ａは人検出で継続して人物であると検出され、検出した結果が人検出枠ｗ２１で囲まれて表示されている。

フレームＦ３において、人物Ａは人検出で継続して人物であると検出され、検出した結果が人検出枠ｗ３１で囲まれて表示されている。

フレームＦ４において、人検出で人物Ａに加えて人物Ｂを人物であると検出され、検出した結果が人物Ａに対しては人検出枠ｗ４１で、人物Ｂに対して人検出枠ｗ４２で表示されている。さらにフレームＦ４ではフレームＦ３に対して人物Ｂが左側に歩いたことを動き検出で検出され、検出された「動き」が動きベクトルＶ４で表示されている。

フレームＦ５において、人物Ａ、人物Ｂはそれぞれ人検出で継続して人物であると検出され、検出した結果がそれぞれ人検出枠ｗ５１、人検出枠ｗ５２で囲まれて表示されている。さらにフレームＦ５ではフレームＦ４に対して人物Ｂは引き続き左側に移動しているので、動き検出で検出され、検出された「動き」が動きベクトルＶ５で表示されている。

フレームＦ６において、人物Ａ、人物Ｂはそれぞれ人検出で継続して人物であると検出され、検出した結果がそれぞれ人検出枠ｗ６１、人検出枠ｗ６２で囲まれて表示されている。

フレームＦ７において、人物Ａ、人物Ｂはそれぞれ人検出で継続して人物であると検出され、検出した結果がそれぞれ人検出枠ｗ７１、人検出枠ｗ７２で囲まれて表示されている。さらにフレームＦ７ではフレームＦ６に対して人物Ａは左側に移動しているので、動き検出で検出され、検出された「動き」が動きベクトルＶ７で表示されている。

フレームＦ８において、人物Ａ、人物Ｂはそれぞれ人検出で継続して人物であると検出され、検出した結果がそれぞれ人検出枠ｗ８１、人検出枠ｗ８２で囲まれて表示されている。

フレームＦ９において、人物Ａは撮影された画面の左端に消えようとしているため人検出されず、人物Ｂは人検出で継続して人物であると検出され、検出した結果が人検出枠ｗ９２で囲まれて表示されている。さらにフレームＦ９ではフレームＦ８に対して人物Ａは左側に移動しているので、動き検出で検出され、検出された「動き」が動きベクトルＶ９で表示されている。

ここで、図６において、人検出枠の検出は、人検出部４０１で行い、動きベクトルの検出は動き検出部４０２で行った。図６において、撮影情報にビデオカメラ１００が固定された状態で撮影されていたため、エッジ検出部４０３における検出は実施しなかった。

（ステップＳ４０３）切り出し枠決定部４０４は、撮影情報と人検出部４０１の検出結果と動き検出部４０２の検出結果とエッジ検出部４０３の検出結果とから切り出し枠を決定する。

図７は、図５の撮影された画像の一例において、図６の人検出結果とフレーム間の動きを検出した結果から切り出し枠を決定する方法を説明する図である。

撮影された画像から一部の画像を切り出す場合に、守るべき制約条件がある。図８は制約条件の一例を示す図である。制約条件の種類としては、枠そのものの制約、フレーム毎の制約、フレーム間にまたがる制約等がある。

枠そのものの制約として、切り出す画像の枠の大きさ（サイズ）の制約がある。例えば、切り出す枠は撮影された画面の１／４以上であるという制約である。さらにフレーム間の切り出す画像の枠の大きさ（サイズ）の変化量の制約、例えば、大きさの変化量はＷ％以内（Ｗは小数）等、の制約がある。

フレーム毎の制約は、フレームの構図に関する制約である。フレームの構図に関する制約として、三分割構図、三角構図、対角線構図、日の丸構図、シンメトリー構図がある。三分割構図は、切り出す画面の縦横を等間隔に引いた水平線と垂直線それぞれ２本ずつで画面を上下・左右方向にそれぞれ３等分して９等分すると仮定し、それらの線上や線同士の交点上に構図上の重要な要素を配置する制約である。三角構図は、画面の中央部に高い木やビルなどを配置し、三角形に配置する制約である。対角線構図は、並木や道路・木の枝など、直線的に伸びる被写体を対角線上に配置する制約である。日の丸構図は、被写体を日の丸のように真ん中に配置する制約である。シンメトリー構図は、被写体を左右対称や上下対称に配置する制約である。フレームの構図に関する制約のうち、どれか１つにあてはまるように構図を決定する。

フレーム間の制約は、フレーム間のカメラワークに関する制約である。フレーム間のカメラワークに関する制約は、撮影しているビデオカメラの左右の移動時間、例えば、Ｓ１秒以上Ｓ２秒以下、上下の移動時間、例えばＳ３秒以上Ｓ４秒以下、ズームの縮小時間、例えば、Ｓ５秒以上Ｓ６秒以下、ズームの拡大時間、例えばＳ７秒以上Ｓ８秒以下等の制約である（Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８は小数）。制約条件は記憶部３０２に記憶されている。フレーム間のカメラワークに関する制約は、全てにおいて制約を満たすように構図を決定する。

これらの制約条件を満たすように切り出し枠を決定する。制約条件である、枠そのものの制約、フレーム毎の制約、フレーム間の制約を全て満たすように構図を決定できない場合は、それぞれの制約に優先順位を付与し、できる限りの制約条件を満たすように構図を決定する。例えば優先順位として、優先度の高い順として枠そのものの制約、フレーム間の制約、フレーム毎の制約とする。

まず、撮影された画像は、撮影条件として三脚で固定されて撮影されている。従って、画像を切り出す時に画像は固定されていることを前提として決定する。

フレームＦ１において、人検出されているのは人物Ａのみの人検出枠ｗ１１であり、動きベクトルは検出されていないため、人検出枠ｗ１１から切り出し枠を決定する。切り出し枠は撮影された画面の１／４以上であることが望ましく、人検出枠ｗ１１は人物Ａが正面を向いて立っている。制約条件である枠そのものの制約と、フレームの構図に関する制約から、人物Ａを全身から胸より上の部分のみかつ人物Ａが中心に配置される構図、例えば、シンメトリー構図に従う構図になるように切り出し枠ｎ１を決定する。

フレームＦ２において、人検出枠ｗ２１の人物Ａは右を向いたので、制約条件である切り出す画像の枠の大きさの制約、フレームＦ１で切り出した切り出し枠ｎ１との間の切り出す画像の枠の大きさの変化量の制約、フレームの構図に関する制約、フレーム間のカメラワークに関する制約から、人物Ａを全身から胸より上の部分のみで、人物Ａを切り出し枠の左側に配置される構図、例えば、三分割構図になるように切り出し枠ｎ２を決定する。

フレームＦ３において、人物Ａは人検出で継続して人物であると検出され、検出した結果を人検出枠ｗ３１で囲まれて表示されているので、切り出し枠ｎ２と同じ切り出し枠を切り出し枠ｎ３として決定する。

フレームＦ４において人検出枠ｗ４１、人検出枠ｗ４２、動きベクトルＶ４とから切り出し枠を決定する。人物Ａと人物Ｂの両方を胸から上の部分で切り出すために、切り出す画像の枠の大きさの制約、フレームＦ２で切り出した切り出し枠ｎ２との間の切り出す画像の枠の大きさの変化量の制約とフレーム間のカメラワークに関する制約で左右の移動時間から切り出し枠ｎ４を決定する。この場合、切り出し枠ｎ４の中に人物Ｂの顔が全て入るように切り出されていないが、フレームの構図に関する制約よりも、フレーム間カメラワークに関する制約を優先させて決定したためである。

フレームＦ５において、人検出枠ｗ５１、人検出枠ｗ５２、動きベクトルＶ５で表示されている。制約条件である切り出す画像の枠の大きさの制約、フレームＦ４で切り出した切り出し枠ｎ４との間の切り出す画像の枠の大きさの変化量の制約、フレームの構図に関する制約、フレーム間のカメラワークに関する制約から、切り出し枠ｎ５を決定する。

フレームＦ６において、フレームＦ５に対して大きな変化がないため、切り出し枠ｎ５と同じ位置の切り出し枠を切り出し枠ｎ６として決定する。

フレームＦ７において、人検出枠ｗ７１、人検出枠ｗ７２、動きベクトルＶ７とから切り出し枠を決定する。人物Ａと人物Ｂの両方を胸から上の部分で切り出し、かつ人物Ａは動いているので、フレームＦ６で切り出した切り出し枠ｎ６との間の切り出す画像の枠の大きさの変化量の制約を優先して、切り出し枠ｎ７を決定する。

フレームＦ８において、フレームＦ７に対して大きな変化がないため、切り出し枠ｎ７と同じ位置の切り出し枠を切り出し枠ｎ８として決定する。

フレームＦ９において、人物Ａは撮影された画面の左端に消えようとしているため人検出されず、動きベクトルＶ９は検出されているので、人物Ｂを中心として制約条件を満たすように切り出し枠ｎ９を決定する。

図９は、図７で決定した切り出し枠を説明する図である。切り出し枠決定部４０４は、上述したように各フレームについて切り出し枠を決定した。

（ステップＳ４０４）構図情報整形部３１７は、画像信号処理部２０３の出力信号を構図情報計算部３１６で切り出した切り出し枠で切り取り、切り取った画像を撮影した画像と同じ大きさに引き伸ばし、新たな画像を生成する。新たに生成した画像は、画像信号圧縮部２０４に出力する。

図１０は、図９の各フレームの切り出し枠を元の撮影した画像のサイズに引き伸ばした図である。新たな画像として、フレームＮＦ１、フレームＮＦ２、フレームＮＦ３、フレームＮＦ４、フレームＮＦ５、フレームＮＦ６、フレームＮＦ７、フレームＮＦ８、フレームＮＦ９が生成される。

＜３．まとめ＞
以上により、本実施の形態で説明するビデオカメラ１００は、撮影した画像の一部を切り出して新たな画像を生成する。その生成される新たな画像は、記憶部３０２に記録された制約条件に基づいて、撮影された画像から切り出される。そのため、ビデオカメラ１００での画像撮影時に熟練した撮影技術等がなくても、撮影した画像から新たに生成される画像は、より好ましい画像となる。

なお、本実施の形態で説明した制約条件は、一例であり、これに限らず、上述した制約条件のうちの少なくとも１つを制約条件としてもよいし、他の制約条件を用いてもよい。他の制約条件として、例えば、道路や川など曲線でできているものの曲線を取り入れてＳ字状に配置するＳ字型構図や、道路や川などのカーブを取り入れてＣ字状に配置するＣ字型構図がある。

また、図５の撮影された画像は、人物のみであったが、人物と自動車等の物体が複数動いている画像から切り出す場合は、切り出し枠の決定を、検出した人物や物体全ての重心から切り出し枠を決定するとしてもよいし、切り出す中心となる人物や物体を予め優先度をつけて付与しておき、優先度に基づいて切り出し枠を決定してもよい。さらに優先度は、外部入力部２０７から指定してもよい。

なお、本実施の形態において、新たに生成した画像は、多重化部３１８で撮影した画像と一緒に多重化され、記憶部３０２に記憶された後に再生部３１９で再生するものとしていたが、記憶部３０２で記憶させる前に再生部３１９から再生させてもよい。

なお、本実施の形態において、新たに生成する画像のサイズは撮影した画像のサイズに引き伸ばしたが、撮影した画像のサイズである必要はなく、サイズは外部入力部２０７から指定してもよいし、あらかじめ決めておいてもよい。

（実施の形態２）
実施の形態１において、撮影した画像から新たな画像を生成する際に、制約条件を満たしたとしても、生成された新たな画像のフレーム間で画像が滑らかにならない場合がある。例えば、撮影しているビデオカメラ１００のズーム速度が所定速度よりも速い場合や、人物や物体の動きが所定速度よりも早い場合等である。本実施の形態では、生成する新たな画像のフレーム間で滑らかにするための補間処理について説明する。

図１１は、実施の形態２に係るビデオカメラ１１００の概略構成を示すブロック図である。ビデオカメラ１１００は、新たな画像を生成する時の切り出し枠を決定する点で実施の形態１のビデオカメラ１００と異なる。具体的には、ビデオカメラ１１００の基本的な構成は、ビデオカメラ１００と略同様である。そこで、実施の形態１と同様の構成については、同様の符号を付して説明を省略し、異なる部分を中心に説明する。

実施の形態１に対して異なる構成として、ビデオカメラ１１００は、実施の形態１のビデオカメラ１００に対して、制御部１３００の構成が異なる。制御部１３００は、実施の形態１の制御部３００に対して、構図情報計算部１３１６の構成が異なる。

図１２は、構図情報計算部１３１６の構成の詳細を示すブロック図である。

構図情報計算部１３１６は、切り出し枠決定部４０４で切り出し枠を仮決定した後に、フレーム間の切り出し枠の連続性から切り出した画像が滑らかに再生できるように切り出し枠を補間処理する。切り出し枠の補間処理は、スプライン補間処理やラグランジュ補間処理を用いる。

図１３は、撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。図４の実施の形態１のフローチャートと異なる点は、ステップＳ４０３とステップＳ４０４の間にステップＳ１３０１が追加されている点である。

ステップＳ１３０１において、切り出し枠決定部４０４で切り出し枠を仮決定した後に、フレーム間の切り出し枠の連続性から切り出した画像が滑らかに再生できるように切り出し枠を補間する。切り出し枠の補間は、スプライン補間やラグランジュ補間を用いる。

次に、切り出し枠を補間処理していない場合と切り出し枠を補間処理した場合でどのように切り出した画像が変化するかを説明する。図１４は、ビデオカメラ１００で撮影された画像の切り出しを説明する図である。すなわち、切り出し枠を補間処理していない場合の一例である。図１５は、ビデオカメラ１１００で撮影された画像の切り出しを説明する図である。すなわち、切り出し枠を補間処理した場合の一例である。図１４の上段は、ビデオカメラ１００で撮影した画像であり、画像は、フレームＦ２１、フレームＦ２２、フレームＦ２３の順で撮影された一例である。図１５の上段はビデオカメラ１１００で撮影した画像であり、ビデオカメラ１００と同じように撮影した画像なため、同じフレーム番号とし、フレームＦ２１、フレームＦ２２、フレームＦ２３の順で撮影されたものとする。図１４の上段において、実施の形態１で説明したように切り出し枠を決定する。フレームＦ２１に対して切り出し枠ｗ２１、フレームＦ２２に対して切り出し枠ｗ２２、フレームＦ２３に対して切り出し枠ｗ２３を決定する。図１４の中段は各フレームについて、切り出し枠を取り出したものである。図１４の下段は各フレームの切り出し枠を撮影時の大きさに引き伸ばし、新たな画像であるフレームＮＦ２１、フレームＮＦ２２、フレームＮＦ２３が生成されたものである。

図１４の新たに生成された画像は、フレーム間で人物のサイズが急激に変化している。本実施の形態では、フレーム間の人物のサイズを緩やかに変化させる。図１５の上段において、実施の形態１で説明したように切り出し枠を決定する。この時点では決定した切り出し枠は確定したものではなく、仮決定である。フレームＦ２１に対して切り出し枠ｗ２１、フレームＦ２２に対して切り出し枠ｗ２２、フレームＦ２３に対して切り出し枠ｗ２３を決定する。フレームＦ２２の切り出し枠ｗ２２を基準としてフレームＦ２１の切り出し枠ｗ２１とフレームＦ２３の切り出し枠ｗ２３を補間処理する。図１５の上段において、フレームＦ２１の切り出し枠ｗ２１を補間方向ｉ１に補間処理し、切り出し枠ｗ３１とする。図１５の上段において、フレームＦ２３の切り出し枠ｗ２３を補間方向ｉ３に補間処理し、切り出し枠ｗ３３とする。図１５の中段は各フレームについて、切り出し枠を取り出したものである。図１５の下段は各フレームの切り出し枠を撮影時の大きさに引き伸ばし、新たな画像であるフレームＮＦ３１、フレームＮＦ２２、フレームＮＦ３３が生成されたものである。図１４の下段の新たな画像と比較して、フレーム間で人物のサイズが緩やかに変化している、すなわち画像が滑らかになっている。

以上により、本実施の形態で説明するビデオカメラ１１００は、撮影した画像の一部を切り出して新たな画像を生成する。その生成される新たな画像は、記憶部３０２に記録された制約条件に基づいて、撮影された画像から切り出され、さらにフレーム間で補間処理される。そのため、ビデオカメラ１１００での画像撮影時に熟練した撮影技術等がなくても、撮影した画像から新たに生成される画像は、滑らかでより自然な画像となる。

（実施の形態３）
本実施の形態では、ビデオカメラによって撮影した画像から新たに生成された画像の記録について説明する。

実施の形態１では、ビデオカメラ１００によって撮影された画像から新たに画像を生成し、記録する構成について説明した。本実施の形態では、新たに画像を生成せず、新たな画像に対する属性情報を生成する構成について説明する。

図１６は、実施の形態３に係るビデオカメラ２１００の概略構成を示すブロック図である。ビデオカメラ２１００は、新たな画像を生成せずに新たな画像を生成するための属性情報を記録する点で実施の形態１のビデオカメラ１００と異なる。具体的には、基本的にはビデオカメラ２１００の基本的な構成は、ビデオカメラ１００と略同様である。そこで、実施の形態１と同様の構成については、同様の符号を付して説明を省略し、異なる部分を中心に説明する。

実施の形態１に対して異なる構成として、ビデオカメラ２１００は、実施の形態１のビデオカメラ１００に対して、画像信号処理部２２０３、画像信号圧縮部２２０４、制御部２３００、記憶部２３０２の構成が異なる。画像信号処理部２２０３は、出力されるデジタル映像信号が制御部２３００の構図情報整形部２３１７に入力されていない点で異なる。これは制御部２３００において新たな画像を生成しないためである。画像信号圧縮部２２０４は、制御部２３００から出力されるデジタル映像信号を入力していない点で異なる。制御部２３００において新たな画像を生成しないためである。

制御部２３００は、実施の形態１の制御部３００に対して、カメラワーク情報抽出部２３１５、構図情報整形部２３１７、多重化部２３１８、再生部２３１９の構成が異なる。カメラワーク情報抽出部２３１５は、抽出した撮影情報を構図情報整形部２３１７に入力する点で異なる。構図情報整形部２３１７は、カメラワーク情報抽出部２３１５で抽出した撮影情報と、構図情報計算部３１６で決定した切り出し枠を属性情報として多重化部２３１８へ出力する。多重化部２３１８では、属性情報を、撮影した画像とともに記憶部２３０２に記録する。再生部２３１９は、記憶部２３０２に記録された撮影した画像と付属情報に基づいて、新たな画像の再生を実行する。

図１７は、実施の形態３に係る撮影された画像から画像の一部を切り出して新たな画像を生成する手順を説明するフローチャートである。実施の形態１の図４のフローチャートと異なる点は、ステップＳ４０３で切り出し枠を決定した後、ステップＳ４０４をステップＳ１７０１に変更している点である。ステップＳ１７０１において、構図情報整形部２３１７において、カメラワーク情報抽出部２３１５で抽出した撮影情報と、構図情報計算部３１６で決定した切り出し枠を属性情報として多重化部２３１８へ出力する。多重化部２３１８は、撮影された画像、画像に付随する音声、属性情報を一つのデータに多重化する。多重化されたデータは記憶部２３０２に記録される。

図１８は、撮影された画像と新たに生成する画像の属性情報の記録を説明する図である。撮影された画像データと共に、属性情報を撮影された画像データの付属する情報として記録する。属性情報には、撮影情報と決定した切り出し枠を記録する。

決定した切り出し枠は、元の撮影された画像の左上を基準として、そこから矩形の切り出し枠の左上が、横方向及び縦方向へのオフセット量の情報、及び切り出し枠の横方向と縦方向の大きさの情報、で示すことができる。

なお、属性情報と撮影された画像、画像に付随する音声とは必ずしも多重化する必要はない。属性情報と、撮影された画像、画像に付随する音声を記憶部２３０２において関連付けて記憶することができれば、それぞれに個別のデータとして保持するものであってもよい。属性情報と撮影された画像、画像に付随する音声との関連付けは、例えば新たに両者の関連を示す別のデータを生成するものであってもよいし、属性情報と撮影された画像、画像に付随する音声を、記憶部２３０２に記録する際のファイルシステム管理における一つのグループとして、例えばファイルシステム内における同一ディレクトリ下に、格納するなどで対応するものであってもよい。

また、図１８の一例では、属性情報は、撮影された画像の特定のフレームのみに設ける場合を例示したが本実施の形態はこれに限定されない。例えば、すべてのフレームに属性情報を設けるものであってもよい。また、撮影された画像中において、符号化時に基準となるフレーム、を選択してそのフレームのみに属性情報を設けるものであってもよい。

さらに、撮影された画像、画像に付随する音声と属性情報とは多重化されたのちに、符号化するものであってもよい。反対に、撮影された画像、画像に付随する音声を符号化した後に、符号化された撮影画像、画像に付随する音声と属性情報を多重化するものであってもよい。また、属性情報は符号化の対象としてもよいし、しなくてもよい。

以上により、本実施の形態で説明するビデオカメラ２１００は、撮影した画像の撮影情報と、撮影した画像の一部を切り出すための切り出し枠を撮影した画像の付属情報として記録する。記録された撮影した画像と付属情報に基づいて、新たな画像を再生する。これにより撮影された画像と新しく生成された画像を効率的に記録、管理することができる。

本開示は、画像を撮影して記録するビデオカメラ等に適用可能である。

１００，１１００，２１００ ビデオカメラ
２００ レンズ群
２０１ 撮像素子
２０２ 画像ＡＤ変換部
２０３，２２０３ 画像信号処理部
２０４，２２０４ 画像信号圧縮部
２０５ レンズ制御モジュール
２０６ 姿勢検出部
２０７ 外部入力部
２０８ マイクロフォン
２０９ 音声ＡＤ変換部
２１０ 音声信号圧縮部
２１１ 画像信号伸張部
２１２ 映像表示部
２１３ 音声信号伸張部
２１４ 音声出力部
２１５ 出力Ｉ／Ｆ
３００，１３００，２３００ 制御部
３０１ クロック
３０２，２３０２ 記憶部
３１１ レンズ制御部
３１２ 撮像制御部
３１３ 画像解析部
３１４ 音声解析部
３１５，２３１５ カメラワーク情報抽出部
３１６，１３１６ 構図情報計算部
３１７，２３１７ 構図情報整形部
３１８，２３１８ 多重化部
３１９，２３１９ 再生部

Claims (6)

1. 撮影された画像の撮影情報を抽出するカメラワーク情報抽出部と、
   前記撮影情報と前記撮影された画像から、制約条件に基づいて、新たな画像を切り出すための切り出し枠を決定する構図情報計算部と、
   前記撮影された画像から前記切り出し枠を用いて新たな画像を切り出し、所定サイズに変換する構図情報整形部と、
   を備える画像生成装置。
2. 前記制約条件は、切り出し枠のサイズに関する制約、画像の１コマの単位であるフレーム間の切り出し枠のサイズの変化量に関する制約、画像の１コマの単位であるフレームの構図に関する制約とフレーム間にまたがるカメラワークに関する制約のうち少なくとも１つを含む、
   請求項１に記載の画像生成装置。
3. 前記撮影情報は、
   画像の撮影時の状態やカメラワークに関する情報、画像そのものが含む被写体や背景に関する情報と画像に付帯する音声に関する情報のうち少なくとも１つを含む、
   請求項１に記載の画像生成装置。
4. 画像を取得する撮像系と、
   請求項１乃至３のいずれか１つに記載の画像生成装置と、
   を備えた撮影装置。
5. 撮影された画像の撮影情報を抽出し、
   前記撮影情報と前記撮影された画像から、制約条件に基づいて、新たな画像を切り出すための切り出し枠を決定し、
   前記撮影された画像から前記切り出し枠を用いて新たな画像を切り出し、所定サイズに変換する、画像生成方法。
6. 撮影された画像の撮影情報を抽出すること、
   前記撮影情報と前記撮影された画像から、制約条件に基づいて、新たな画像を切り出すための切り出し枠を決定すること、
   前記撮影された画像から前記切り出し枠を用いて新たな画像を切り出し、所定サイズに変換すること、をコンピュータに実行させるためのプログラム。