JP7703377B2 - 撮像装置、情報処理装置及びその制御方法並びにプログラム - Google Patents

Description

本発明は、撮像装置、情報処理装置及びその制御方法並びにプログラムに関する。

デジタルカメラやスマートフォン等の撮像機能を備える電子機器には、加速度センサを搭載したものがある。このような電子機器による撮影では、例えば、動画撮影時に加速度センサにより電子機器の姿勢を検出する。そして、検出された姿勢に基づいて、撮影した動画の再生表示時に動画をどの程度回転させて表示するかを示す情報（以下「回転行列」という）を求め、求めた回転行列を動画データファイルに埋め込んで記憶する。そして、動画を再生する再生装置は、動画再生時に動画データファイル内の回転行列を用いて、動画を回転させて表示する。これにより、動画再生時の違和感を低減させることができる。

しかし、撮影方向を真上や真下に（空や地面に）向けて撮影する場合や、電子機器を傾けていない状態から撮影を始めて撮影途中に電子機器を傾けた場合には、撮影者の期待と異なる回転行列が付与されてしまう場合がある。

この問題に対して、特許文献１には、補助カメラ（インカメラ）から入力される撮影者の顔の向きに基づいて、主カメラで撮影中の動画データの回転行列を決定する技術が開示されている。また、特許文献２には、撮影中に静止画を記録するトリガ信号を受け、その時点の姿勢と、それ以前に記録していた動画像のうち、トリガ信号を受けたときの姿勢と一致する姿勢で撮影された動画のみを記録媒体に記録する技術が開示されている。

特表２００９－５４２０５９号公報 特開２０１７－１１８４４６号公報

特許文献１に開示された技術によれば、撮影者の意図する回転行列を自動的に付与することができる。しかしながら、主カメラとは別に撮影中の撮影者の顔を写す補助カメラが必要となる。また、特許文献２に開示された技術によれば、撮影者の意図する回転行列が与えられた部分のみを記録することができる。しかし、撮影中に回転量を決定するためのトリガ信号の入力を必ず行わなければならず、自動的に決定することができない。また、トリガ信号を受けた際の姿勢と異なる動画像は削除されてしまう。

本発明は、このような事情に鑑みてなされたものであり、補助カメラを必要とすることなく、適切な回転行列を撮影中に自動で付与することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮像部と、前記撮像部の姿勢を検出する姿勢検出手段と、前記撮像部により撮影された動画を再生装置で表示する際の角度を補正するための回転行列を、前記姿勢検出手段が検出した姿勢に基づいて生成する複数の行列生成手段と、前記動画の画像データを符号化する符号化手段と、前記撮像部による前記動画の撮影時における前記撮像部のフレームレートを異にする動作モードに応じて前記複数の行列生成手段の中から１つの行列生成手段を選択する選択手段と、前記動画を再生装置で表示する際の角度を前記回転行列により補正することが可能なフォーマットで、前記選択手段が選択した行列生成手段により生成された回転行列を前記符号化された画像データに含ませてデータファイルを生成するファイル生成手段と、を備え、前記複数の行列生成手段は、前記動画の先頭フレームを記録する際に検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第１の行列生成手段と、前記動画の記録中に最も多く検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第２の行列生成手段と、前記動画の記録中に最も高い撮像レートで撮影されたフレーム間において最も多く検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第３の行列生成手段と、を含むことを特徴とする。

本発明によれば、補助カメラを必要とすることなく、適切な回転行列を撮影中に自動で付与することができる。

第１実施形態に係る撮像装置の概略構成を示すブロック図である。 動画データファイルのフォーマットを説明する図である。 動画データに対して生成される回転行列を説明する図である。 撮像装置での動画データの記録処理を説明するフローチャートである。 Ｓ４０２での回転行列生成手段を決定する処理のフローチャートである。 Ｐｒｅ－ＲＥＣモードでの動画データファイルの生成方法を説明するフローチャートである。 第３実施形態に係る撮像装置の概略構成を示すブロック図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明を撮像装置として具現化させた構成について説明する。撮像装置の代表例としては所謂デジタルカメラを挙げることができるが、本発明に係る撮像装置はデジタルカメラに限定されず、スマートフォンやタブレットＰＣ等の撮像機能を有する電子機器であっても構わない。

＜第１実施形態＞
図１は、第１実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、バス１１０を介して通信可能に接続された撮像部１０１，信号処理部１０２、ＲＡＭ１０３、エンコーダ１０４、姿勢検出部１０５、表示装置１０６、操作部１０７、記録媒体１０８及びＣＰＵ１０９を備える。

撮像部１０１は、撮影光学系と、撮影光学系を通じて形成される光学像をアナログ電気信号に変換する撮像素子と、撮像素子から出力されるアナログ電気信号をデジタルデータに変換して画像データを生成する信号変換部を有する。なお、本実施形態において、「画像データ」とは、静止画データのみならず、動画データ（映像データ）を含む概念であるとする。撮像部１０１は、生成した画像データを信号処理部１０２へ出力する。信号処理部１０２は、撮像部１０１から取得した画像データに対して各種の画像処理を行いＲＡＭ１０３へ出力する。撮像部１０１及び信号処理部１０２は、撮像装置１００における画像生成手段を構成する。

ＲＡＭ１０３は、信号処理部１０２での画像処理後の画像データを一時的に格納し、また、エンコーダ１０４により符号化された画像データを記録媒体１０８に保存するまで一時的に格納する記憶手段である。エンコーダ１０４は、信号処理部１０２で処理されてＲＡＭ１０３に一時的に格納された画像データに対して圧縮符号化処理を行い、符号化された画像データをＲＡＭ１０３へ出力する。

姿勢検出部１０５は、例えばジャイロセンサ等であり、撮像装置１００の姿勢を検出する。なお、ジャイロセンサ等による姿勢検出方法は公知であるため、説明を省略する。表示装置１０６は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、撮像装置１００の各種機能の設定メニューやライブビュー映像、撮影された静止画や動画を表示する。また、表示装置１０６には、操作部１０７の１つとして機能するタッチパネルが重畳されており、ユーザはタッチパネルに対するタッチ操作により各種指示を撮像装置１００（ＣＰＵ１０９）に入力することが可能となっている。操作部１０７は更に、機械的なスイッチやボタンを含んでいてもよい。記録媒体１０８は、撮像装置１００に着脱可能なメモリカードであり、符号化された画像データ等を画像ファイルとして保存する。

ＣＰＵ１０９は、自身が備えるＲＯＭに格納されたプログラムを自身が備えるＲＡＭに展開して撮像装置１００を構成する各部の動作を制御することにより、撮像装置１００の全体的な制御を行う。本実施形態においてＣＰＵ１０９は、姿勢検出部１０５による撮像装置１００の姿勢検出結果を用いて回転行列を生成する回転行列生成手段として機能し、また、動画データファイルを生成する動画ファイル生成手段として機能する。「回転行列」の定義については、先に背景技術において説明した通りである。

なお、ここでは、撮像装置１００として、撮像部１０１を一体的に備える構成を取り上げているが、本発明に係る撮像装置はこのような構成に限られない。例えば、撮像部１０１と、撮像部１０１以外の各部を備える情報処理装置とが、物理的に別体で、且つ、相互に通信可能であることによって、撮像装置が構成されていてもよい。その場合に、信号処理部１０２は、情報処理装置側ではなく、撮像部１０１側に設けられていてもよい。

図２は、撮像装置１００で生成される動画データファイルのフォーマットを説明する図である。なお、動画データファイルのフォーマットの詳細は‘ISO/IEC 14496-12 ISO base media file format’に記載されているため、ここでは簡単な説明にとどめる。

動画データファイルは、ヘッダ部である‘ｆｔｙｐ’と、メタ情報格納部である‘ｍｏｏｖ’と、動画データ及びタイムコードデータの格納部である‘ｍｄａｔ’から構成される。ｍｄａｔは、エンコーダ１０４の符号化結果であるビデオサンプルを１個又は複数個集めたビデオチャンクで構成される。なお、本実施形態ではビデオサンプルのみを扱うが、タイムコードサンプルやオーディオサンプルが存在しても構わない。なお、同種のサンプルのチャンクの集合をトラックと称呼する。

ｍｏｏｖは、ｍｄａｔ内のサンプルデータに関するメタデータである。メタデータには、その動画データファイル全体に関わるものと、各トラックに対してバンドルされたものとがある。例えば、図２中の‘ｍｖｈｄ’は、動画データファイル全体に関わるメタデータの１つで、‘ｔｋｈｄ’はトラック向けのメタデータの１つである。

図２に例示したｍｖｈｄとｔｋｈｄにはそれぞれ、対応する動画データファイルとトラックに関する回転行列が含まれる。回転行列の実体はアフィン変換行列である。そして、回転行列は、前述の動画データファイルフォーマットに対応する再生装置が動画再生を行う際に表示角度を補正して（所定の角度だけ画像を回転させて）表示させるためのメタデータである。再生装置は、回転行列を用いて元画像をアフィン変換して画像を表示する。

回転行列は、図２において‘ｍａｔｒｉｘ’という名称の一次元配列で示される。配列の要素数は９で、１要素のサイズは３２ビットである。図３（ａ），（ｂ）は、一次元配列の要素とアフィン変換行列との対応を説明する図である。図３（ａ），（ｂ）に示されるａ，ｂ，ｕ，ｃ，ｄ，ｖ，ｘ，ｙ，ｗは全て固定小数点で、ａ，ｂ，ｃ，ｄ，ｘ，ｙは上位１６ビットが整数部を表し、下位１６ビットが小数部を表す。一方、ｕ，ｖ，ｗは、上位２ビットが整数部を表し、下位３０ビットが小数部を表す。なお、図３（ｃ）～（ｆ）については後述する。

ｍｏｏｖには、各トラックのメタデータとして、‘ｓｔｓｄ’や‘ｓｔｓｚ’、‘ｓｔｃｏ’（図２に不図示）がある。ｓｔｓｄは、トラック種別判断と格納データの詳細を示す。ｓｔｓｄは、ビデオトラックでは符号化形式や画角、サンプリング周波数等の情報を示し、タイムコードトラックではサンプルのサンプリング周波数やビデオサンプルと同期関係にあること等の情報を示す。ｓｔｓｚは、各サンプルデータのデータ長を示す。ｓｔｃｏは、各チャンクのファイル先頭からのオフセットを示す。

次に、撮像装置１００での動画データの記録処理について説明する。ここでは、通常のビデオサンプルのフレームレートは６０ｆｐｓであるとする。一方、低フレームレートで撮影を行うモードにおけるフレームレート（撮像レート）は０．０５ｆｐｓ（２０秒毎に１フレーム）とする。フレームレートを変更可能なモードでは、６０ｆｐｓで記録を開始し、変更後に１２０ｆｐｓで記録するものとする。以下、低フレームレートの動作モードをタイムラプスモードと称呼し、フレームレートを変更可能な動作モードをハイフレームレートモードと称呼する。

図４は、撮像装置１００での動画データの記録処理を説明するフローチャートである。図４にＳ番号で示す各処理（ステップ）は、ＣＰＵ１０９が自身のＲＯＭに格納されたプログラムを自身のＲＡＭに展開して撮像装置１００の各ブロックの動作を統括的に制御することにより実現される。

Ｓ４０１でＣＰＵ１０９は、動画撮影モードを操作部１０７を通じてユーザが入力したモードに設定する。これにより、動画撮影モードは、ノーマルモード、タイムラプスモード及びハイフレームレートモードのいずれかに設定される。

Ｓ４０２でＣＰＵ１０９は、回転行列生成手段を決定する。ここで、Ｓ４０２の処理の詳細について説明する。図５は、Ｓ４０２での回転行列生成手段を決定する処理のフローチャートである。なお、ユーザは、操作部１０７を操作することにより、回転行列生成手段の選択画面を表示装置１０６に表示させ、選択画面から所望の回転行列生成手段を選択することができる。

Ｓ５０１でＣＰＵ１０９は、Ｓ４０１で設定された動画撮影モードがタイムラプスモードか否かを判定する。ＣＰＵ１０９は、タイムラプスモードが設定されていると判定した場合（Ｓ５０１でＹｅｓ）、処理をＳ５０３へ進め、タイムラプスモードは設定されていないと判定した場合（Ｓ５０１でＮｏ）、処理をＳ５０２へ進める。

Ｓ５０２でＣＰＵ１０９は、表示装置１０６に表示された回転行列生成手段の選択画面から回転行列生成手段Ａ（第１の行列生成手段）が選択されたか否かを判定する。ＣＰＵ１０９は、回転行列生成手段Ａが選択されたと判定した場合（Ｓ５０２でＹｅｓ）、処理をＳ５０３へ進め、回転行列生成手段Ａは選択されていないと判定した場合（Ｓ５０２でＮｏ）、処理をＳ５０４へ進める。

Ｓ５０３でＣＰＵ１０９は、姿勢検出部１０５が動画記録開始時（録画開始時）に検出した姿勢情報を用いて回転行列を生成する回転行列生成手段Ａを採用し、これによりＳ４０２の処理を終了させる。

Ｓ５０４でＣＰＵ１０９は、動画撮影モードがハイフレームレートモードに設定されているか否かを判定する。ＣＰＵ１０９は、動画撮影モードがハイフレームレートモードに設定されていないと判定した場合（Ｓ５０４でＮｏ）、処理をＳ５０５へ進める。処理がＳ５０５へ進む場合とは、動画撮影モードがノーマルモードに設定されている場合である。この場合、Ｓ５０５でＣＰＵ１０９は、動画記録中に最も多く検出された姿勢情報を用いて回転行列を生成する回転行列生成手段Ｂ（第２の行列生成手段）を採用し、これによりＳ４０２の処理を終了させる。

ＣＰＵ１０９は、動画撮影モードがハイフレームレートモードに設定されていると判定した場合（Ｓ５０４でＹｅｓ）、処理をＳ５０６へ進める。Ｓ５０６でＣＰＵ１０９は、最も高い撮像レートで撮影されたフレーム間において最も多く検出された姿勢情報を用いて回転行列を生成する回転行列生成手段Ｃ（第３の行列生成手段）を採用し、これによりＳ４０２の処理を終了させる。

こうしてＳ４０２によって回転行列生成手段が決定した後のＳ４０３でＣＰＵ１０９は、操作部１０７を介して動画記録の開始指示を受け付けたか否かを判定する。ＣＰＵ１０９は、動画記録の開始指示を受け付けていないと判定した場合（Ｓ４０３でＮｏ）、Ｓ４０３の処理を繰り返し、動画記録の開始指示を受け付けたと判定した場合（Ｓ４０３でＹｅｓ）、処理をＳ４０４へ進める。

Ｓ４０４でＣＰＵ１０９は、動画記録を開始する。具体的には、ＣＰＵ１０９は、ＲＡＭ１０３上にビデオサンプル用リングバッファと、ｆｔｙｐ及びｍｏｏｖを生成するためのワークメモリを確保する。ＣＰＵ１０９は、複数チャンクを蓄積可能なサイズをビデオサンプル用リングバッファに確保する。なお、ＣＰＵ１０９は、動画データ取得時の撮像装置１００の姿勢をカウントするための変数（以下「姿勢変数」という）Ｌ，Ｍ，Ｎ，Ｏを用意している。Ｓ４０２にて回転行列生成手段Ｂ，Ｃのいずれか一方が選択されている場合には、Ｓ４０４でＣＰＵ１０９は姿勢変数Ｌ，Ｍ，Ｎ，Ｏをリセットする（ゼロ（０）にする）。

Ｓ４０５でＣＰＵ１０９は、画像生成手段から動画データを構成するフレーム画像の画像データを取得してＲＡＭ１０３に保存する。また、Ｓ４０５でＣＰＵ１０９は、エンコーダ１０４によりＲＡＭ１０３に保存された画像データに対し圧縮符号化処理を行い、ビデオサンプルである圧縮符号化データをＲＡＭ１０３上のリングバッファに保存する。エンコーダ１０４はビデオサンプルのサイズ情報をＣＰＵ１０９に返し、ＣＰＵ１０９は取得したビデオサンプルのサイズ情報をＲＡＭ１０３上のｆｔｙｐ，ｍｏｏｖ生成用ワークメモリに含まれるビデオトラックのｓｔｃｏ，ｓｔｓｚに反映する。

Ｓ４０６でＣＰＵ１０９は、Ｓ４０２で回転行列生成手段Ａが採用されたか否かを判定する。ＣＰＵ１０９は、回転行列生成手段Ａが採用されたと判定した場合（Ｓ４０６でＹｅｓ）、処理をＳ４０９へ進め、回転行列生成手段Ａが採用されていないと判定した場合（Ｓ４０６でＮｏ）、処理をＳ４０７へ進める。

Ｓ４０７でＣＰＵ１０９は、動画撮影時の撮像部１０１の姿勢情報を姿勢検出部１０５から取得する。Ｓ４０８でＣＰＵ１０９は、Ｓ４０８で取得した姿勢情報に基づき、姿勢変数をインクリメントし、その後、処理をＳ４１２へ進める。Ｓ４０８では、具体的には、姿勢情報が示す撮像装置１００の姿勢（傾き角度）が０°であれば姿勢変数Ｌを、９０°であれば姿勢変数Ｍを、１８０°であれば姿勢変数Ｎを、２７０°であれば姿勢変数Ｏをそれぞれインクリメントする。なお、撮像装置１００の姿勢が０°である状態とは通常の使用状態を指し、９０°である状態とは撮影者から見て撮像装置１００を反時計まわり方向に９０°回転させた状態を指す。

Ｓ４０９でＣＰＵ１０９は、Ｓ４０５で取得した画像データが動画データの先頭フレームか否かを判定する。ＣＰＵ１０９は、Ｓ４０５で取得した画像データが先頭フレームであると判定した場合（Ｓ４０９でＹｅｓ）、処理をＳ４１０へ進め、Ｓ４０５で取得した画像データが先頭フレームではないと判定した場合（Ｓ４０９でＮｏ）、処理をＳ４１２へ進める。

Ｓ４１０の内容はＳ４０７の処理の内容と同じである。Ｓ４１１でＣＰＵ１０９は、Ｓ４１０で取得した姿勢情報に基づいて回転行列を生成し、ＲＡＭ１０３上のｆｔｙｐ，ｍｏｏｖのためのワークメモリにあるｍｖｈｄのｍａｔｒｉｘに回転行列を反映させ、その後、処理をＳ４１２へ進める。具体的には、回転行列には、姿勢情報が示す撮像装置１００の姿勢（傾き角度）が０°の場合に図３（ｃ）の値が、９０°の場合に図３（ｄ）の値が、１８０°の場合に図３（ｅ）の値が、２７０°の場合に図３（ｆ）の値がそれぞれ設定される。

Ｓ４１２でＣＰＵ１０９は、ＲＡＭ１０３上のリングバッファに５１２ｋＢｙｔｅ以上の画像データが蓄積されているか否かを判定する。ＣＰＵ１０９は、５１２ｋＢｙｔｅ以上の画像データが蓄積されていると判定した場合（Ｓ４１２でＹｅｓ）、処理をＳ４１３へ進め、５１２ｋＢｙｔｅ以上の画像データは蓄積されていないと判定した場合（Ｓ４１２でＮｏ）、処理をＳ４１４へ進める。

Ｓ４１３でＣＰＵ１０９は、記録媒体制御部（不図示）を介して、５１２ｋＢｙｔｅ単位で記録媒体１０８に符号化された画像データを書き込む。Ｓ４１４でＣＰＵ１０９は、動画撮影モードがハイフレームレートモードか否かを判定する。ＣＰＵ１０９は、ハイフレームレートモードであると判定した場合（Ｓ４１４でＹｅｓ）、処理をＳ４１５へ進め、ハイフレームレートモードではないと判定した場合（Ｓ４１４でＮｏ）、処理をＳ４１８へ進める。

Ｓ４１５でＣＰＵ１０９は、操作部１０７を介してフレームレートの変更指示を受け付けたか否かを判定する。ＣＰＵ１０９は、フレームレートの変更指示を受け付けたと判定した場合（Ｓ４１５でＹｅｓ）、処理をＳ４１６へ進め、フレームレートの変更指示を受け付けていないと判定した場合（Ｓ４１５でＮｏ）、処理をＳ４１８へ進める。

Ｓ４１６でＣＰＵ１０９は、フレームレート（撮像レート）を１２０ｆｐｓに変更する。これにより、画像生成手段による画像データの生成間隔は１２０ｆｐｓとなる。Ｓ４１７でＣＰＵ１０９は、姿勢変数Ｌ，Ｍ，Ｎ，Ｏのカウントをリセットし、その後、処理をＳ４１８へ進める。

Ｓ４１８でＣＰＵ１０９は、操作部１０７を介して動画記録の終了指示を受け付けたか否かを判定する。ＣＰＵ１０９は、動画記録の終了指示を受け付けていないと判定した場合（Ｓ４１８でＮｏ）、処理をＳ４０５へ戻し、動画記録の終了指示を受け付けたと判定した場合（Ｓ４１８でＹｅｓ）、処理をＳ４１９へ進める。

Ｓ４１９でＣＰＵ１０９は、回転行列生成手段Ｂ，Ｃのいずれかが採用されているか否かを判定する。ＣＰＵ１０９は、回転行列生成手段Ｂ，Ｃのいずれかが採用されていると判定した場合（Ｓ４１９でＹｅｓ）、処理をＳ４２０へ進め、回転行列生成手段Ｂ，Ｃのいずれも採用されていないと判定した場合（Ｓ４１９Ｎｏ）、処理をＳ４２１へ進める。

Ｓ４２０でＣＰＵ１０９は、回転行列を姿勢変数Ｌ，Ｍ，Ｎ，Ｏのうち最も大きい値を用いて生成し、ＲＡＭ１０３上のｆｔｙｐ，ｍｏｏｖのためのワークメモリにあるｍｖｈｄのｍａｔｒｉｘに回転行列を反映させる。ここで、ＣＰＵ１０９は、姿勢変数Ｌが最も大きい場合には図３（ｃ）の値を、姿勢変数Ｍが最も大きい場合には図３（ｄ）の値を、姿勢変数Ｎが最も大きい場合には図３（ｅ）の値を、姿勢変数Ｏが最も大きい場合には図３（ｆ）の値を、回転行列に設定する。

Ｓ４２１でＣＰＵ１０９は、動画記録の終了処理を行う。具体的には、ＣＰＵ１０９は、ＲＡＭ１０３上のリングバッファに蓄積された未保存のビデオサンプルを記録媒体１０８に保存する。そして、ＲＡＭ１０３上のｆｔｙｐ，ｍｏｏｖ用ワークメモリで作成したｆｔｙｐ，ｍｏｏｖを記録媒体１０８に保存し、記録媒体１０８上でｆｔｙｐ、ｍｏｏｖ及びｍｄａｔをファイルシステム上で結合させ。これにより、動画データファイルが完成する。

上記説明の通り、本実施形態では、複数の回転行列生成手段から動画撮影モードに応じて最適な回転行列生成手段を選択して動画データを記録する。これにより、再生表示の際に違和感が生じることを低減させることができる。また、撮影者を撮影する補助カメラを必要とすることがないため、撮像装置の小型化やコストダウンを図ることができる。更に、撮像装置１００の姿勢が変化した場合に動画ファイルの一部が削除されてしまうこともない。

＜第２実施形態＞
第２実施形態では、静止画を撮影する際に、静止画のみならず、静止画の記録前の動画（ビデオサンプル）も記録する動作モード（以下「Ｐｒｅ－ＲＥＣモード」という）を有する撮像装置での動画データファイルの生成方法について説明する。撮像装置の構成は、ＣＰＵ１０９がＰｒｅ－ＲＥＣモードを実行するためのプログラムを自身のＲＯＭに記憶している点を除いて、第１実施形態に係る撮像装置１００の構成と同じである。

図６は、Ｐｒｅ－ＲＥＣモードでの動画データファイルの生成方法を説明するフローチャートである。図６にＳ番号で示す各処理（ステップ）は、ＣＰＵ１０９が自身のＲＯＭに格納されたプログラムを自身のＲＡＭに展開して撮像装置１００の各ブロックの動作を統括的に制御することにより実現される。なお、ビデオサンプルを記録する際のフレームレートは、例えば３０ｆｐｓであるが、これに限られるものではない。

Ｓ６０１でＣＰＵ１０９は、操作部１０７を介してＰｒｅ－ＲＥＣモードの指定を受け付ける。Ｓ６０２，Ｓ６０３の処理はそれぞれ、図４のフローチャートのＳ４０４，Ｓ４０５の処理と同様であるため、ここでの説明を省略する。Ｓ６０４でＣＰＵ１０９は、操作部１０７を介して静止画の撮影指示を受け付けたか否かを判定する。ＣＰＵ１０９は、静止画の撮影指示を受け付けたと判定した場合（Ｓ６０４でＹｅｓ）、処理をＳ６０５へ進め、静止画の撮影指示を受け付けていないと判定した場合（Ｓ６０４でＮｏ）、処理をＳ６０３へ戻す。

Ｓ６０５でＣＰＵ１０９は、ビデオサンプルの記録処理を停止する。Ｓ６０６でＣＰＵ１０９は、静止画の撮影処理を行う。具体的には、画像生成手段（撮像部１０１、信号処理部１０２）により画像データが生成され、ＲＡＭ１０３に一時的に保存される。画像データは、エンコーダ１０４により所定の圧縮符号化処理が施された後、ＲＡＭ１０３に蓄積される。なお、静止画データに対する圧縮符号化処理は、ビデオサンプルの記録時の動画データの圧縮符号化処理と同じでもあってもよいし異なっていてもよい。また、圧縮符号化処理を行うエンコーダが動画データと静止画データとで異なるものであってもよい。静止画データに対しては、圧縮符号化処理を行わないようにしても構わない。

Ｓ６０７の処理は、図４のフローチャートのＳ４０７の処理と同じであるため、説明を省略する。Ｓ６０８でＣＰＵ１０９は、Ｓ６０７で姿勢検出部１０５が検出した姿勢情報に基づいて回転行列を生成し、ｆｔｙｐ，ｍｏｏｖ用ワークメモリにあるｍｖｈｄのｍａｔｒｉｘに回転行列を反映させる。例えば、回転行列には、姿勢情報が示す撮像装置１００の傾きが０°である場合には図３（ｃ）の値が、９０°の場合には図３（ｄ）の値が、１８０°の場合には図３（ｅ）の値が、２７０°の場合には図３（ｆ）の値が設定される。

Ｓ６０９でＣＰＵ１０９は、記録終了処理を行う。具体的には、ＣＰＵ１０９は、ＲＡＭ１０３上のリングバッファに蓄積されたビデオサンプルを記録媒体１０８に保存する。そして、ＣＰＵ１０９は、ＲＡＭ１０３上のｆｔｙｐ，ｍｏｏｖ用ワークメモリで作成したｆｔｙｐ，ｍｏｏｖを記録媒体１０８に保存し、記録媒体１０８上でｆｔｙｐ，ｍｏｏｖ，ｍｄａｔをファイルシステム上で結合し、動画データファイルを完成させる。また、ＣＰＵ１０９は、Ｓ６０６でＲＡＭ１０３に保存された静止画データを記録媒体１０８に保存する。このような一連の処理により、第２実施形態でも第１実施形態と同様の効果を得ることができる。

＜第３実施形態＞
第３実施形態では、外部装置から操作指示を受け付ける通信手段を有する撮像装置での回転行列の決定方法及び動画データファイルの生成方法について説明する。

図７は、第３実施形態に係る撮像装置１００Ａの概略構成を示すブロック図である。撮像装置１００Ａは、第１実施形態に係る撮像装置１００に対して、外部装置７１１との無線通信を実行可能とする無線通信部７１０を加えたものであり、他のブロックの構成は撮像装置１００のブロックの構成と同等である。

無線通信部７１０は、各種の無線通信方法を用いて外部装置７１１との間で信号の送受信を行う。なお、無線通信方法には公知の通信方法を用いることができ、特に限定されるものではない。外部装置７１１は、撮像装置１００Ａとは物理的に分かれており、外部装置７１１が備える無線通信手段（不図示）を介して撮像装置１００Ａとの間で信号の送受信を行う。例えば、撮像装置１００Ａの操作部１０７を介して入力可能な指令と同じ指令を、外部装置７１１の操作部（不図示）を介して入力することができる。

撮像装置１００Ａでの動画データの記録処理は、図４のフローチャートのＳ４０２の処理の違いを除いて、第１実施形態での撮像装置１００での動画データの記録処理と同じである。撮像装置１００ＡでのＳ４０２の処理においてＣＰＵ１０９は、外部装置７１１を介して撮影指示がなされた場合には回転行列生成手段Ａを採用する。一方、ＣＰＵ１０９は、撮影指示が外部装置７１１ではなく、操作部１０７を介した入力であれば、Ｓ５０４の判定に従って回転行列生成手段Ｂ又は回転行列生成手段Ｃを採用する。このような一連の処理により、第３実施形態でも第１実施形態と同様の効果を得ることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，１００Ａ 撮像装置
１０１ 撮像部
１０２ 信号処理部
１０４ エンコーダ
１０５ 姿勢検出部
１０６ 表示装置
１０７ 操作部
１０８ 記録媒体
１０９ ＣＰＵ
７１０ 無線通信部

Claims (10)

1. 撮像部と、
   前記撮像部の姿勢を検出する姿勢検出手段と、
   前記撮像部により撮影された動画を再生装置で表示する際の角度を補正するための回転行列を、前記姿勢検出手段が検出した姿勢に基づいて生成する複数の行列生成手段と、
   前記動画の画像データを符号化する符号化手段と、
   前記撮像部による前記動画の撮影時における前記撮像部のフレームレートを異にする動作モードに応じて前記複数の行列生成手段の中から１つの行列生成手段を選択する選択手段と、
   前記動画を再生装置で表示する際の角度を前記回転行列により補正することが可能なフォーマットで、前記選択手段が選択した行列生成手段により生成された回転行列を前記符号化された画像データに含ませてデータファイルを生成するファイル生成手段と、を備え、
   前記複数の行列生成手段は、
   前記動画の先頭フレームを記録する際に検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第１の行列生成手段と、
   前記動画の記録中に最も多く検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第２の行列生成手段と、
   前記動画の記録中に最も高い撮像レートで撮影されたフレーム間において最も多く検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第３の行列生成手段と、を含むことを特徴とする撮像装置。
2. 前記撮像部は、第１のフレームレートでの撮影を行う第１の動作モードを有し、
   前記選択手段は、前記第１の動作モードでの撮影が行われる場合に前記第１の行列生成手段を選択することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像部は、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートでの撮影を行う第２の動作モードを有し、
   前記選択手段は、前記第２の動作モードでの撮影が行われる場合に前記第２の行列生成手段を選択することを特徴とする請求項２に記載の撮像装置。
4. 前記撮像部は、前記第２のフレームレートよりも高い第３のフレームレートと前記第２のフレームレートとの間でフレームレートの変更が可能な第３の動作モードを有し、
   前記選択手段は、前記第３の動作モードでの撮影が行われる場合に前記第３の行列生成手段を選択することを特徴とする請求項３に記載の撮像装置。
5. 外部装置からの指示を受け付ける通信手段を有し、
   前記選択手段は、前記通信手段を介して前記外部装置から動画を撮影する指示を受け付けた場合に前記第１の行列生成手段を選択することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 外部からの操作を受け付ける操作手段を備え、
   前記選択手段は、前記複数の行列生成手段の中から前記操作手段を介して受け付けた行列生成手段を選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮像部は、静止画と、該静止画を記録する前の動画とを記録する第４の動作モードを有し、
   前記複数の行列生成手段は、静止画を記録する指示を受け付けた際に前記姿勢検出手段が検出した前記撮像部の姿勢に基づいて前記回転行列を決定する第４の行列生成手段を有し、
   前記選択手段は、前記第４の動作モードが設定されている場合に前記第４の行列生成手段を選択することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像手段により撮影された動画を該動画の撮影時における前記撮像手段の姿勢を示す姿勢情報と共に取得する取得手段と、
   前記動画を再生装置で表示する際の角度を補正するための回転行列を前記姿勢情報に基づいて生成する複数の行列生成手段と、
   前記動画の画像データを符号化する符号化手段と、
   前記撮像手段による前記動画の撮影時における前記撮像手段のフレームレートを異にする動作モードに応じて前記複数の行列生成手段の中から１つの行列生成手段を選択する選択手段と、
   前記動画を再生装置で表示する際の角度を前記回転行列により補正することが可能なフォーマットで、前記選択手段が選択した行列生成手段により生成された回転行列を前記符号化された画像データに含ませてデータファイルを生成するファイル生成手段と、を備え、
   前記複数の行列生成手段は、
   前記動画の先頭フレームの姿勢情報に基づいて前記回転行列を決定する第１の行列生成手段と、
   前記動画の記録中に最も多く検出された姿勢情報に基づいて前記回転行列を決定する第２の行列生成手段と、
   前記動画の記録中に最も高い撮像レートで撮影されたフレーム間において最も多く検出された姿勢情報に基づいて前記回転行列を決定する第３の行列生成手段と、を含むことを特徴とする情報処理装置。
9. 撮像部により動画を撮影するステップと、
   前記動画の撮影時における前記撮像部の姿勢を検出するステップと、
   前記撮像部により取得された動画を再生装置で表示する際の角度を補正するための回転行列を前記撮像部の姿勢に基づいて生成する複数の行列生成手段の中から、前記動画の撮影時における前記撮像部のフレームレートを異にする動作モードに応じて、１つの行列生成手段を選択するステップと、
   前記動画の画像データを符号化するステップと、
   前記動画を再生装置で表示する際の角度を前記回転行列により補正することが可能なフォーマットで、前記選択された行列生成手段により生成された回転行列を前記符号化された画像データに含ませてデータファイルを生成するステップと、
   前記データファイルを記録手段に記録するステップと、を有し、
   前記複数の行列生成手段は、
   前記動画の先頭フレームを記録する際に検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第１の行列生成手段と、
   前記動画の記録中に最も多く検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第２の行列生成手段と、
   前記動画の記録中に最も高い撮像レートで撮影されたフレーム間において最も多く検出された前記撮像部の姿勢に基づいて前記回転行列を決定する第３の行列生成手段と、を含むことを特徴とする撮像装置の制御方法。
10. コンピュータを請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするプログラム。

Images