JP4009173B2 - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP4009173B2 JP4009173B2 JP2002287193A JP2002287193A JP4009173B2 JP 4009173 B2 JP4009173 B2 JP 4009173B2 JP 2002287193 A JP2002287193 A JP 2002287193A JP 2002287193 A JP2002287193 A JP 2002287193A JP 4009173 B2 JP4009173 B2 JP 4009173B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- frame
- information
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラにかかり、特に、被写体を撮影することによって動画像を取得するデジタルカメラに関する。
【０００２】
【従来の技術】
近年、簡便に撮影可能なＣＣＤ撮像素子などを用いた撮像装置として、デジタルカメラが数多く流通している。デジタルカメラは、その撮影時には、ＣＣＤ撮像素子などで光量に応じた電荷（光電変換）を画素毎に読み取って、画像データに変換した後に、撮影画像を画像データとして記録媒体に記録している。
【０００３】
また、３次元ジャイロや３次元加速度センサ等の各種センサの高性能化、小型化、低価格化により、デジタルビデオカメラ等の一般家電製品に各種センサを搭載し、デジタルビデオカメラによる撮影時の手ぶれ補正などを行うものが提案されている。
【０００４】
例えば、特許文献１には、振動ジャイロや加速度センサを使用して手ぶれを検出して、手ぶれ補正を行うことが記載されている。これによって、リアルタイムな処理で手ぶれ補正を行うことができる。
【０００５】
【特許文献１】
特開２００２−２１４６５９公報（第５頁）
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１等の従来の技術では、振動ジャイロや加速度センサ等の検出手段の検出結果を画像加工等の２次的に利用するものではなく、検出手段の検出結果を２次的に利用するものはない。
【０００７】
本発明は、上記事実を考慮して、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を２次的に利用して、画像加工ができるデジタルカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、被写体を撮影して複数のフレーム画像からなる動画像を表す画像データを取得する撮影手段と、前記撮影手段による撮影時の傾き、移動方向を含む加速度、及びズーム倍率を含む移動情報を検出する検出手段と、前記検出手段によって検出される前記移動情報を、撮影時の時間情報に対応させて、前記撮影手段によって取得される前記画像データに付与する付与手段と、前記付与手段によって前記移動情報が付与された前記画像データを記憶する記憶手段と、前記撮影手段による撮影終了後に、前記記憶手段に記憶された前記複数のフレーム画像を加工して静止画像の作成を指示するための指示手段と、前記指示手段によって前記静止画像の作成が指示された場合に、前記記憶手段に記録された前記画像データから前記移動情報を抽出し、該移動情報及び対応する前記時間情報に基づいて関連する前記複数のフレーム画像の重複領域を演算する演算手段と、前記記憶手段に記憶された前記画像データにおける前記複数のフレーム画像を加工して、前記演算手段によって演算した前記重複領域を除いて前記複数のフレーム画像を合成加工する加工手段と、を備えることを特徴としている。
【０００９】
請求項１に記載の発明によれば、撮影手段では、被写体を撮影して複数のフレーム画像からなる動画像を表す画像データが取得される。例えば、撮影手段では、ＭＰＥＧ（Moving Picture Experts Group）２形式などの各種の画像データ等を取得することが可能である。
【００１０】
検出手段では、撮影手段による撮影時の傾き、移動方向を含む加速度、及びズーム倍率を含む移動情報が検出される。
【００１１】
付与手段では、検出手段によって検出された移動情報が撮影時の時間情報（例えば、撮影時間や移動情報検出時のフレーム）に対応して画像データに付与される。例えば、Ｅｘｉｆファイル形式のデータのように、ＭＰＥＧ２形式の画像データに付帯情報として移動情報を付与可能である。
【００１２】
そして、記憶手段では、付与手段によって移動情報が付与された画像データが記憶される。例えば、メモリカード等の記憶媒体やＲＡＭ等のデジタルカメラ内蔵メモリに記憶される。
【００１３】
ここで、撮影後に、記憶手段に記憶された複数のフレーム画像を加工して静止画像の作成を指示するための指示手段によって静止画撮影が指示された場合に、記憶手段に記憶された画像データから移動情報を抽出して、該移動情報及び移動情報に対応する時間情報に基づいて、関連する複数のフレーム画像の重複領域が演算手段によって演算され、記憶手段に記憶された画像データにおける複数のフレーム画像を加工して、演算手段によって演算された重複領域を除いて複数のフレーム画像が加工手段によって合成加工される。これによって、例えば、移動方向や加速度を含む移動速度等の移動情報と時間情報から各フレーム画像の重複部分等を算出することができ、パノラマ画像等の静止画像を作成することが可能となる。
【００１４】
すなわち、移動情報及び時間情報に基づいて、関連する複数のフレーム画像を組み合わせて静止画像を生成することによって、例えば、請求項５に記載の発明のように、パノラマ画像等を作成することができる。
【００１５】
従って、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を２次的に利用して画像加工を行うことができる。
【００１６】
なお、演算手段は、請求項２に記載の発明のように、撮影時の前記撮影手段による撮影の移動方向及び移動量を演算し、演算した前記移動方向及び移動量から前記重複領域を演算するようにしてもよい。これによって、動画像の各フレーム画像における重複領域を算出することができ、加工手段によって該重複領域を除いてフレーム画像を合成することによって、パノラマ画像等の静止画像を作成することができる。
【００１７】
また、検出手段は、請求項３に記載の発明のように、３次元ジャイロ及び３次元加速度測定手段を含むようにしてもよい。これによって、デジタルカメラの撮影時の傾き、撮影時の移動方向、加速度等の移動情報を検出することが可能となる。なお、３次元加速度測定手段は、１次元の加速度センサを複数用いるようにしてもよい。
【００１８】
また、 指示手段は、請求項４に記載の発明のように、前記静止画像の中心となる画像フレームを更に指示可能とし、前記加工手段が、前記指示手段によって指示された前記中心となる画像フレームを中心として前記複数のフレーム画像を合成加工するようにしてもよい。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態は動画撮影可能なデジタルカメラに本発明を適用したものである。
【００２０】
図１には、本発明の実施の形態に係わるデジタルカメラの概略構成を示す。図１に示すように、デジタルカメラ１０は、撮影部１２を備えており、該撮影部１２は、レンズ１４、オートフォーカス（ＡＦ）機構４７、絞り４８、撮像素子５０、サンプリング部５６、Ａ／Ｄ変換器５８、及び信号処理部６０からなる。
【００２１】
レンズ１４は、詳しくはズームレンズ（焦点距離可変レンズ）からなり、ズームレンズ機構は駆動回路４６によって駆動される。また、ＡＦ機構４７も同様に駆動回路４６によって駆動される。なお、ズームレンズに代えて、ＡＦ機構４７のみを備えた焦点距離可変レンズ等を用いてもよい。
【００２２】
また、レンズ１４の焦点位置に相当する位置には、エリアＣＣＤセンサ等で構成される撮像素子５０が配置され、被写体を反射してレンズ１４に入射された光は撮像素子５０の受光面に結像される。撮像素子５０は、受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表すアナログ信号を画像信号として出力する。撮像素子５０は、駆動回路４６に接続されているタイミング信号発生部５２によって発生されたタイミング信号に同期したタイミングで駆動されて画像信号を出力する。
【００２３】
レンズ１４と撮像素子５０の間に設けられた絞り４８は、連続的に変更可能な単一な絞りで構成してもよいし、絞り量が異なる複数の絞りを切り替える構成としてもよい。
【００２４】
タイミング信号発生部５２には、ストロボ１８の発光を制御するストロボ制御回路５４も接続されており、ストロボ１８は低照度であることが検出された場合や、ユーザによって発光が指示された場合にタイミング信号発生部５２によって発生されたタイミング信号に同期したタイミングで発光制御される。
【００２５】
撮像素子５０の信号出力端には、サンプリング部５６、Ａ／Ｄ変換器５８、信号処理部６０が順に接続され、撮影部１２によって得られる画像信号は、さらに信号処理部６０に後段に接続されたメモリ６２、及び圧縮／伸張部６４へと出力されるようになっている。また、それぞれはシステムバス６８に接続され、システムバス６８に接続されたシステム制御部７０によって統括的に制御されるようになっている。なお、システム制御部７０には、図示しないタイマ回路を備えており、撮影時の撮影時間を取得することが可能とされている。
【００２６】
サンプリング部５６では、撮像素子５０から出力された画像信号をタイミング信号発生部５２によって発生されたタイミング信号に同期したタイミングでサンプリングすると共に、増幅してＡ／Ｄ変換器５８へ出力する。サンプリング部５６は、図示しないＣＤＳ（Correlated Double Sampling：相関二重サンプリング：以下ＣＤＳという）部を含んで構成されている。ＣＤＳ部は、例えば、ＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部からのタイミング信号によりクランプするクランプ回路と、タイミング信号によりアナログ電圧をホールドするサンプルホールド回路とを有する。ＣＤＳ部は、ノイズ成分を除去してアナログの出力信号として画像信号をＡ／Ｄ変換器５８に送る。サンプリング部５６から出力された画像信号は、Ａ／Ｄ変換器５８によってデジタルの画像データに変換されて信号処理部６０へ出力される。信号処理部６０では、入力された画像データに対して色補正・γ補正・Ｙ／Ｃ変換等の各種処理を行う。信号処理部６０から出力された画像データは、ＲＡＭ等で構成されたメモリ６２に一時記録される。そして、図示しないレリーズスイッチ等の操作がなされた場合等に、圧縮／伸張部６４で圧縮されてからスロットに装填されたメモリカード又は内蔵メモリ７８に画像データが格納されるようになっている。
【００２７】
また、システムバス６８には、カラーディスクプレイ２６等も接続され、撮影によって得られる画像データに基づく表示が可能とされている。
【００２８】
さらに、システムバス６８には、デジタルカメラ１０の撮影方向、移動速度等を検出する３次元ジャイロ、３次元加速度センサ、音声を入力するマイク等の各種センサ４２、及び図示しない撮影を指示するレリーズスイッチや電源スイッチ等の各種スイッチ７４が接続されている。
【００２９】
すなわち、レリーズスイッチが操作された等により撮影が指示された場合に、システム制御部７０はメモリ６２に一時記憶されている画像データを読出して圧縮／伸張部６４へ転送する。これにより、画像データは圧縮／伸張部６４で圧縮された後にメモリカード又は内蔵メモリ７８に格納される。なお、撮影する際のモードによって画像データが圧縮されることなくメモリカード又は内蔵メモリ７８に格納される場合もある。
【００３０】
また、メモリカード又は内蔵メモリ７８に格納された画像データが表す画像の再生（表示）が指示された場合には、メモリカード又は内蔵メモリ７８から画像データが読み出され、読出された画像データが圧縮／伸張部６４で伸張（解凍）された後、メモリ６２に一時記憶される。そして、メモリ６２に記憶された画像データを用いてカラーディスプレイ２６への画像の表示（再生）が行われる。
【００３１】
ところで、本実施の形態に係わるデジタルカメラ１０は、動画撮影も可能とされており、動画撮影時の処理は、システムバス６８に接続された動画処理部７２で行われる。
【００３２】
さらに、本実施の形態に係わるデジタルカメラ１０には、動画撮影によって得られる動画像を表す画像データを撮影終了後に編集する機能を有しており、当該動画編集は、システムバス６８に接続された動画編集部７６によって行われるようになっている。
【００３３】
次に、動画処理部７２の詳細な構成について図２を参照して説明する。
【００３４】
図２に示すように、動画処理部７２は、撮影部１２の撮影によって得られる画像データが入力される。なお、撮影部１２には、音声データを得るための図示しないマイク等も含まれる。
【００３５】
また、動画処理部７２には、この他に撮影時の各種情報を取得するための各種装置が接続されており、本実施の形態では、３次元ジャイロ１６、測距部２０、ズーム可動器操作情報２２、測光部２４、及び３次元加速度測定部３０が接続されている。
【００３６】
３次元ジャイロ１６では、撮影時のデジタルカメラ１０の傾きが検出され、測距部２０では、被写体までの距離が検出され、ズーム可動器操作情報２２では、ズーム倍率等の情報が取得され、測光部２４では、撮影時の周辺の光強度が検出され、３次元加速度測定部３０では、撮影時のデジタルカメラの移動方向を含む加速度が検出される。
【００３７】
これらの各種情報は、動画処理部７２の測定情報ストリーム作成装置３２に入力され、撮影部１２によって取得される画像データ及び音声データは、動画処理部７２の映像／音声ストリーム作成装置３４に入力される。
【００３８】
動画処理部７２は、上述の測定情報ストリーム作成装置３２、映像／音声ストリーム作成装置３４、及びストリーム多重化装置３６を含んで構成されている。
【００３９】
映像／音声ストリーム作成装置３４では、撮影部１２より得られる画像データ及び音声データに基づいて、それぞれの撮影時間に対応するように映像ストリーム及び音声ストリームが生成される。すなわち、音声を含む動画像を表す画像データが作成される。例えば、ＭＰＥＧ（Moving Picture Experts Group）２−ＰＳ（Program Stream）やＭＰＥＧ２−ＴＳ（Transport Stream）等のフォーマットのデータが適用可能である。
【００４０】
測定情報ストリーム作成装置３２では、各種情報が上述の撮影時間に対応するように測定情報ストリームが作成される。
【００４１】
そして、ストリーム多重化装置３６では、測定情報ストリーム作成装置３２で作成された測定情報ストリーム、及び映像／音声ストリーム作成装置３４で作成された映像ストリームと音声ストリームが多重化される。すなわち、動画像を表す画像データに音声情報と測定情報が付与された画像データが生成される。例えば、ＭＰＥＧ形式等のフォーマットを用いてストリームの多重化が行われる。
【００４２】
このようにストリーム多重化装置３６で生成された多重化ストリームの画像データは、メモリカード又は内蔵メモリ７８に格納されるようになっている。
【００４３】
すなわち、本実施の形態に係わるデジタルカメラ１０では、動画像撮影時には、動画像を表す画像データ内に、デジタルカメラ１０に設けられた各種センサ４２によって取得される測定情報が付与された画像データを得ることができる。
【００４４】
多重化ストリームのデータ構成は、例えば、図３に示すように、撮影（測定）時間に対応した予め定められたフォーマットでバイトデータを格納する複数のデータセルと、該データセルに対応した動画像を表す画像データと、音声を表す音声データと、から構成されており、各データセルにそれぞれ測定情報が格納される。また、データセル、画像データ、及び音声データはそれぞれを対応させるためのＩＤ等の識別情報を含む時間情報を有し、当該時間情報によってそれぞれのデータを対応させることができる。
【００４５】
各データセルは、動画像を表す画像データの各フレームに対応して設けてもよいし、数フレーム（１〜３フレーム等）に対応して１つのデータセルを設けるようにしてもよい。
【００４６】
ここで、本実施の形態の多重化ストリームに適用可能な動画像ファイルについて説明する。本実施の形態では、動画像の把握を容易とするため、静止画像とほぼ同様に、動画像は映像データに付帯データが付加された動画像ファイルとして扱う。
【００４７】
すなわち、デジタルカメラなどで撮影された静止画像で提供される撮影画像は、撮影画像の把握を容易とするため、撮影画像そのものの画像データ以外に、ファイル名や撮影条件などの属性データを含んだ形式（所謂Ｅｘｉｆ形式）の画像ファイルとして流通される。
【００４８】
このＥｘｉｆ形式の画像ファイルには、個々の撮影画像毎に、画像データ以外に属性データとして、ファイル名、撮影に使用したデジタルカメラの機種、撮影日時、撮影時の撮影条件（デジタルカメラの設定）を表す各種情報（例えばシャッタースピード、絞り値、画質モード（画像データの圧縮率）、感度、露出プログラムのモード、測光方式、ホワイトバランスのモード、フォーカスのモード、シャープネスのモード、焦点距離、露出補正値、ストロボのオンオフ、ストロボ補正値、マクロモードのオンオフ等）等の情報が含まれている。
【００４９】
ところで、動画像は、静止画像が時系列的に連続された静止画像群である。この静止画像群に含まれる１静止画像は、動画像中の１フレームとして扱うことができる。従って、動画像は、フレーム単位（静止画像単位）で時間や位置を特定することが可能である。
【００５０】
そこで、本実施の形態の多重化ストリームでは、その静止画像群である動画像を対象とした付帯データが映像データ（静止画像群の画像ファイル群）に付加された動画像ファイルとして扱う。この付帯データは、動画像の利用形態を特定したり範囲を指定したりするためのデータである。
【００５１】
詳細には、動画像ファイルは、映像データと付帯データとから構成される。映像データは、時系列的に連続した上述のＥｘｉｆ形式のフォーマットで構成することができる。なお、Ｅｘｉｆ形式による画像ファイルによる属性データは、静止画像データの各々に帰属させてもよいが、所定数毎に帰属させてもよく、内容に変動があったときにそのフレームである静止画像データに帰属させてもよい。
【００５２】
付帯データは、動画像単位で、映像データ以外に、次の表１に示す、ステータス、インデックス、フレームプリント、メール配信、測定情報、日付情報、カメラ機種、及びＰＷ情報の８つの各項目に大分類された内容を含んでいる。
【００５３】
【表１】
【００５４】
付帯データの、第１の項目である「ステータス」は、映像データの扱い（フレームの重要性）を表すものであり、適用内容と適用範囲から構成される。適用内容は、代表、主要、保管用、不要の４種類に小分類されており、各々の小分類には、適用範囲としてフレーム番号（フレームＮｏ．）が対応される。ステータス（代表）の項目は動画像ファイル内の代表的なフレームやフレーム範囲を示すもので、主に動画像ファイルからダイジェスト版を作成するときに参照するために用いられる。ステータス（主要）の項目は動画像ファイル内の主要な（標準的な）フレームやフレーム範囲を示すもので、主に動画像ファイルを標準的に（通常のモードで）再生するときに参照するために用いられる。ステータス（保管用）の項目は動画像ファイルを保管するときのフレームやフレーム範囲を示すもので、主に保管用とすべき動画像ファイルを全て（フルモードで）再生するときに参照するために用いられる。ステータス（不要）の項目は動画像ファイルに含まれる不要なフレームやフレーム範囲を示すもので、主にメディア変換時や動画ファイル送信時に削除されるべきフレームやフレーム範囲を参照するために用いられる。
【００５５】
項目は、コード情報で表される。表１の例では、第１の項目「ステータス」を表す「１」に適用内容の序列の番号０〜３が連続されて構成される。すなわち、ステータス（代表）の項目は「１０」、ステータス（主要）の項目は「１１」、ステータス（保管用）の項目は「１２」、ステータス（不要）の項目は「１３」のコード情報で表される。また、適用範囲は開始フレームと終了フレームとから構成されている（開始フレーム：終了フレーム）。
【００５６】
付帯データの、第２の項目である「インデックス」は、映像データにおける位置を表すものであり、主にインデックス作成時のフレームの位置を表している。適用内容としては、プリントインデックス、モニターインデックスの２種類に小分類されており、その適用範囲としてフレーム番号（フレームＮｏ．）が対応される。プリントインデックスは、動画像ファイルに関するインデックスをプリントするときのフレームやフレーム範囲を示すもので、モニターインデックスは、動画像ファイルをモニターなどに表示するときのフレームやフレーム範囲を示すものである。プリントインデックスは「２０」、モニターインデックスは「２１」のコード情報で表される。
【００５７】
付帯データの、第３の項目である「フレームプリント」は、映像データにおけるプリント指示の位置を表すものであり、映像データからプリントを作成時のフレームの位置を表している。適用内容としては、プリントサイズによって、Ｌサイズプリント、２Ｌサイズプリント、ポストカードプリントの３種類に小分類されており、その適用範囲としてフレーム番号（フレームＮｏ．）及び枚数が対応される。Ｌサイズプリントは「３０」、２Ｌサイズプリントは「３１」、ポストカードプリントは「３２」のコード情報で表される。
【００５８】
付帯データの、第４の項目である「メール配信」は、映像データを電送することを表すものであり、電送形態、宛先及び電送範囲が対応される。適用内容としては、電送形態により小分類され、電送形態には宛先を含んでいる。表１の例では、動画像をメール送信する場合に「４０」のコード情報で表され、静止画像をメール送信する場合に「４１」のコード情報で表される。内容には、アドレス（"△＠□.com"、"×＠○.co.jp"、"△＠○.co.jp"）を含み、電送範囲としてフレーム番号（フレームＮｏ．）またはフレーム範囲が対応される。
【００５９】
付帯データの、第５の項目である「測定情報」は、撮影時点における各種センサより得られる測定情報を表すものである。適用内容としては、３次元ジャイロ１６から得られる測定データや３次元加速度測定部３０から得られる測定データ等が用いられ、その位置における撮影範囲としてフレーム番号（フレームＮｏ．）が対応される。測定情報は「５０」のコード情報で表される。
【００６０】
付帯データの、第６の項目である「日付情報」は、撮影時点における日付を表すものである。適用内容として、年月日時曜日などのデータが用いられ、その日時における撮影範囲としてフレーム番号（フレームＮｏ．）が対応される。日付情報は「６０」のコード情報で表される。
【００６１】
付帯データの、第７の項目である「カメラ機種」は、撮影に利用したカメラすなわち映像データを得たカメラの機種を表すものである。適用内容としては、カメラの種別及び型番などで構成され、表１の例では、デジカメとして「７０」、デジタルビデオとして「７１」、カメラ内蔵の携帯端末として「７２」、カメラ内蔵時計として「７３」のコード情報で表される４種類に小分類されており、その適用範囲としてフレーム番号（フレームＮｏ．）が対応される。
【００６２】
付帯データの、第８の項目である「ＰＷ情報」は、映像データに対する暗証番号を表すものであり、主に秘匿性を必要とするフレームの位置を表している。適用内容としては、暗証番号を含み、その適用範囲としてフレーム番号（フレームＮｏ．）が対応される。コード情報は、「８０」が対応される。
【００６３】
なお、上記の８種類の項目以外にも、焦点距離や絞り値などの撮影条件情報、その動画像ファイルのユーザを表す氏名、住所、年齢、性別などの個人情報、クレジットカードの種別や番号などの決済情報を含むことができる。
【００６４】
一方、動画編集部７６は、図４に示すように、スプリット手段８０、演算手段８２、及び画像加工手段８４を含んで構成されている。
【００６５】
スプリット手段８０では、メモリカード又は内蔵メモリ７８に格納された画像データをスプリット手段８０に読出して、測定情報ストリームと映像／音声ストリームに分割し、測定情報ストリームを演算手段８２へ出力する共に、映像／音声ストリームを画像加工手段８４へ出力する。
【００６６】
演算手段８２には、デジタルカメラ１０の各種設定やメニュー操作等を行うための各種スイッチ７４が接続されており、当該各種スイッチ７４の操作により、動画像の加工指示等が可能とされている。例えば、動画像からパノラマ画像を作成する等の指示や、そのときの中心となる画像の指示等を各種スイッチ７４の操作で行うようになっている。
【００６７】
演算手段８２では、各種スイッチ７４の指示に応じて、測定情報ストリームから動画像の各フレームに対応する測定情報を用いて、各フレームの撮影時間やフレームレートから算出される時間情報に基づいて、撮影時のデジタルカメラ１０の移動方向や移動距離等を算出するようになっている。
【００６８】
また、画像加工手段８４では、演算手段８２によって演算された結果に基づいて、スプリット手段８０より出力される映像／音声ストリームから対応する画像を抽出する等を行い、画像の加工を行うようになっている。
【００６９】
例えば、画像加工手段８４では、演算手段８２によって演算されたデジタルカメラ１０の撮影時の移動方向や移動距離から隣接する被写体フレームを抽出して、１枚の画像とすることにより、パノラマ画像等の静止画を作成する等の画像加工を行うことが可能である。
【００７０】
続いて、上述のように構成されたデジタルカメラ１０で動画撮影を行う際の処理について図５のフローチャートを参照して説明する。
【００７１】
まず、ステップ１００では、動画撮影指示か否か判定される。該判定は、例えば、例えば、各種スイッチを操作して動画撮影モードとして、図示しないレリーズスイッチ等の撮影指示を行う操作等がなされたか否かを判定することによってなされ、ステップ１００の判定が否定された場合には、肯定されるまで待機して、ステップ１０２へ移行する。
【００７２】
ステップ１０２では、所定周期で画像データが取得されると共に、測定情報が取得される。例えば、１／３０ｓｅｃの周期（フレームレート）で撮像素子５０によるサンプリングを行うと共に、数フレーム毎に各種情報（デジタルカメラ１０に加わる加速度、傾き、ズーム倍率等）が取得される。なお、各種情報は、フレームレート同様に、１／３０ｓｅｃの周期で取得するようにしてもよい。
【００７３】
続いて、ステップ１０４では、測定情報ストリーム及び映像／音声ストリームが作成される。例えば、ＭＥＰＧ２形式の動画データが作成されると共に、動画データの各フレームに対応するように、測定情報が作成される。
【００７４】
次に、ステップ１０６では、測定情報ストリームと映像／音声ストリームが合成されてストリーム多重化が行われる。例えば、ＭＰＥＧ２形式の動画データに上述のＥｘｉｆファイル形式と同様の付帯情報を付与することによって、ストリームの多重化が行われる。これによって、各動画フレームに対応した測定情報を付与することができる。
【００７５】
そして、ステップ１０８では、多重化されたストリームがメモリカード又は内蔵メモリ７８に記憶され、ステップ１１０では、動画撮影終了指示がなされたか否か判定される。該判定は、例えば、図示しないレリーズスイッチ等の操作がなされたか否か判定することによってなされ、該判定が否定された場合には、ステップ１０２へ戻って上述の処理が繰り返され、該判定が肯定された場合には、一連の処理を終了する。
【００７６】
次に、上述のように撮影された動画像から画像加工を行う際の処理について図６のフローチャートを参照して説明する。なお、画像加工として、動画像からパノラマ画像を作成する場合を例に説明する。
【００７７】
ステップ２００では、動画からパノラマ画像作成指示があるか否か判定される。例えば、各種スイッチ７４を操作することによって、パノラマ画像作成が指示されたか否か判定し、該判定が否定された場合には、肯定されるまで待機してステップ２０２へ移行する。
【００７８】
ステップ２０２では、中心画像が指定されたか否か判定される。すなわち、中心となるフレーム画像が指示されたか否か判定される。該判定は、例えば、各種スイッチ７４を操作することによって、中心となるフレーム画像が指定されたか否かを判定することによってなされる。
【００７９】
ステップ２０２の判定が否定された場合には、肯定されるまで待機してステップ２０４へ移行する。
【００８０】
ステップ２０４では、指定された中心画像周辺の多重化ストリームがメモリカード又は内蔵メモリ７８から読出される。すなわち、指定された中心フレーム画像とその周辺のフレーム画像及び、測定情報を含む多重化ストリームが読出される。
【００８１】
ステップ２０６では、読出された多重化ストリームが映像／音声ストリームと測定情報ストリームとに分離される。すなわち、図４に示すスプリット手段８０によって映像／音声ストリームと測定情報ストリームが分離されて、測定情報ストリームが演算手段８２に出力され、映像／音声ストリームが画像加工手段８４に出力される。
【００８２】
ステップ２０８では、演算手段８２で読出されたフレーム画像間の重複部の演算が行われる。例えば、３次元ジャイロ１６より得られる撮影時のデジタルカメラ１０の傾き、３次元加速度測定部３０より得られるデジタルカメラ１０に加わる加速度、ズーム可動器操作情報２２より得られるズーム倍率、及び各フレームの撮影時間（なお、撮影時間はシステム制御部７０より取得してもよいし、フレームレートに基づいて算出することもできる）から、デジタルカメラ１０の撮影時の移動方向及び移動量を演算することができる。そして、演算された移動方向及び移動量から各フレームの重複領域を演算することが可能となる。
【００８３】
ステップ２１０では、演算結果に基づいてパノラマ画像が生成される。すなわち、上述のようにして演算された重複領域を除いた複数のフレーム画像を合成することによってパノラマ画像を作成することができる。例えば、図７に示すように、撮影方向（デジタルカメラ１０の移動方向）が図７に示す撮影方向の場合には、各フレーム画像において、デジタルカメラ１０の移動速度によっては重複領域が発生する。この重複領域を演算した結果に基づいて、パノラマ画像を作成することができる。
【００８４】
そして、作成されたパノラマ画像は、ステップ２１２でメモリカード又は内蔵メモリ７８に記憶される。
【００８５】
このように、本実施の形態に係わるデジタルカメラ１０では、動画撮影時にデジタルカメラの移動情報（傾きや加速度等）を検出して、時間情報と共に、動画像を表す画像データに付帯情報として付与することにより、当該付帯情報に基づいて、動画像の各フレーム画像を加工して、パノラマ画像等の静止画像を作成することができる。すなわち、移動情報を２次的に利用して、画像加工することができる。
【００８６】
なお、上記の実施の形態では、各種センサ４２の測定結果を画像データに付与して記憶して、動画編集部７６によってパノラマ画像を作成するようにしたが、動画編集部７６による編集はこれに限るものではなく、例えば、複数の画像データを組み合わせて、広角レンズで撮影したような広角画像を作成するようにしてもよい。
【００８７】
【発明の効果】
以上説明したように本発明によれば、撮影する際のデジタルカメラの移動情報を検出して、時間情報に対応させて複数のフレーム画像からなる画像データに付与して記憶させ、記憶された移動情報を抽出して、該移動情報に基づいて複数のフレーム画像を加工するので、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を２次的に利用して、画像加工ができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わるデジタルカメラの概略構成を示すブロック図である。
【図２】本発明の実施の形態に係わるデジタルカメラの動画処理部の詳細な構成を示すブロック図である。
【図３】多重化ストリームのデータ構成の一例を示す概念図である。
【図４】本発明の実施の形態に係わるデジタルカメラの動画編集部の詳細な構成を示すブロック図である。
【図５】本発明の実施の形態に係わるデジタルカメラで動画撮影を行う際の処理の流れを示すフローチャートである。
【図６】本発明の実施の形態に係わるデジタルカメラで撮影された動画像から画像加工を行う際の処理の流れを示すフローチャートである。
【図７】パノラマ画像の作成の一例を示す模式図である。
【符号の説明】
１０ デジタルカメラ
１２ 撮影部
１６ ３次元ジャイロ
２０ 測距部
２２ ズーム可動器操作情報
２４ 測光部
３０ ３次元加速度測定部
４２ 各種センサ
３２ 測定情報ストリーム作成装置
３４ 映像／音声ストリーム作成装置
３６ ストリーム多重化装置
７２ 動画処理部
７６ 動画編集部
７８ メモリカード又は内蔵メモリ
【発明の属する技術分野】
本発明は、デジタルカメラにかかり、特に、被写体を撮影することによって動画像を取得するデジタルカメラに関する。
【０００２】
【従来の技術】
近年、簡便に撮影可能なＣＣＤ撮像素子などを用いた撮像装置として、デジタルカメラが数多く流通している。デジタルカメラは、その撮影時には、ＣＣＤ撮像素子などで光量に応じた電荷（光電変換）を画素毎に読み取って、画像データに変換した後に、撮影画像を画像データとして記録媒体に記録している。
【０００３】
また、３次元ジャイロや３次元加速度センサ等の各種センサの高性能化、小型化、低価格化により、デジタルビデオカメラ等の一般家電製品に各種センサを搭載し、デジタルビデオカメラによる撮影時の手ぶれ補正などを行うものが提案されている。
【０００４】
例えば、特許文献１には、振動ジャイロや加速度センサを使用して手ぶれを検出して、手ぶれ補正を行うことが記載されている。これによって、リアルタイムな処理で手ぶれ補正を行うことができる。
【０００５】
【特許文献１】
特開２００２−２１４６５９公報（第５頁）
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１等の従来の技術では、振動ジャイロや加速度センサ等の検出手段の検出結果を画像加工等の２次的に利用するものではなく、検出手段の検出結果を２次的に利用するものはない。
【０００７】
本発明は、上記事実を考慮して、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を２次的に利用して、画像加工ができるデジタルカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、被写体を撮影して複数のフレーム画像からなる動画像を表す画像データを取得する撮影手段と、前記撮影手段による撮影時の傾き、移動方向を含む加速度、及びズーム倍率を含む移動情報を検出する検出手段と、前記検出手段によって検出される前記移動情報を、撮影時の時間情報に対応させて、前記撮影手段によって取得される前記画像データに付与する付与手段と、前記付与手段によって前記移動情報が付与された前記画像データを記憶する記憶手段と、前記撮影手段による撮影終了後に、前記記憶手段に記憶された前記複数のフレーム画像を加工して静止画像の作成を指示するための指示手段と、前記指示手段によって前記静止画像の作成が指示された場合に、前記記憶手段に記録された前記画像データから前記移動情報を抽出し、該移動情報及び対応する前記時間情報に基づいて関連する前記複数のフレーム画像の重複領域を演算する演算手段と、前記記憶手段に記憶された前記画像データにおける前記複数のフレーム画像を加工して、前記演算手段によって演算した前記重複領域を除いて前記複数のフレーム画像を合成加工する加工手段と、を備えることを特徴としている。
【０００９】
請求項１に記載の発明によれば、撮影手段では、被写体を撮影して複数のフレーム画像からなる動画像を表す画像データが取得される。例えば、撮影手段では、ＭＰＥＧ（Moving Picture Experts Group）２形式などの各種の画像データ等を取得することが可能である。
【００１０】
検出手段では、撮影手段による撮影時の傾き、移動方向を含む加速度、及びズーム倍率を含む移動情報が検出される。
【００１１】
付与手段では、検出手段によって検出された移動情報が撮影時の時間情報（例えば、撮影時間や移動情報検出時のフレーム）に対応して画像データに付与される。例えば、Ｅｘｉｆファイル形式のデータのように、ＭＰＥＧ２形式の画像データに付帯情報として移動情報を付与可能である。
【００１２】
そして、記憶手段では、付与手段によって移動情報が付与された画像データが記憶される。例えば、メモリカード等の記憶媒体やＲＡＭ等のデジタルカメラ内蔵メモリに記憶される。
【００１３】
ここで、撮影後に、記憶手段に記憶された複数のフレーム画像を加工して静止画像の作成を指示するための指示手段によって静止画撮影が指示された場合に、記憶手段に記憶された画像データから移動情報を抽出して、該移動情報及び移動情報に対応する時間情報に基づいて、関連する複数のフレーム画像の重複領域が演算手段によって演算され、記憶手段に記憶された画像データにおける複数のフレーム画像を加工して、演算手段によって演算された重複領域を除いて複数のフレーム画像が加工手段によって合成加工される。これによって、例えば、移動方向や加速度を含む移動速度等の移動情報と時間情報から各フレーム画像の重複部分等を算出することができ、パノラマ画像等の静止画像を作成することが可能となる。
【００１４】
すなわち、移動情報及び時間情報に基づいて、関連する複数のフレーム画像を組み合わせて静止画像を生成することによって、例えば、請求項５に記載の発明のように、パノラマ画像等を作成することができる。
【００１５】
従って、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を２次的に利用して画像加工を行うことができる。
【００１６】
なお、演算手段は、請求項２に記載の発明のように、撮影時の前記撮影手段による撮影の移動方向及び移動量を演算し、演算した前記移動方向及び移動量から前記重複領域を演算するようにしてもよい。これによって、動画像の各フレーム画像における重複領域を算出することができ、加工手段によって該重複領域を除いてフレーム画像を合成することによって、パノラマ画像等の静止画像を作成することができる。
【００１７】
また、検出手段は、請求項３に記載の発明のように、３次元ジャイロ及び３次元加速度測定手段を含むようにしてもよい。これによって、デジタルカメラの撮影時の傾き、撮影時の移動方向、加速度等の移動情報を検出することが可能となる。なお、３次元加速度測定手段は、１次元の加速度センサを複数用いるようにしてもよい。
【００１８】
また、 指示手段は、請求項４に記載の発明のように、前記静止画像の中心となる画像フレームを更に指示可能とし、前記加工手段が、前記指示手段によって指示された前記中心となる画像フレームを中心として前記複数のフレーム画像を合成加工するようにしてもよい。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態は動画撮影可能なデジタルカメラに本発明を適用したものである。
【００２０】
図１には、本発明の実施の形態に係わるデジタルカメラの概略構成を示す。図１に示すように、デジタルカメラ１０は、撮影部１２を備えており、該撮影部１２は、レンズ１４、オートフォーカス（ＡＦ）機構４７、絞り４８、撮像素子５０、サンプリング部５６、Ａ／Ｄ変換器５８、及び信号処理部６０からなる。
【００２１】
レンズ１４は、詳しくはズームレンズ（焦点距離可変レンズ）からなり、ズームレンズ機構は駆動回路４６によって駆動される。また、ＡＦ機構４７も同様に駆動回路４６によって駆動される。なお、ズームレンズに代えて、ＡＦ機構４７のみを備えた焦点距離可変レンズ等を用いてもよい。
【００２２】
また、レンズ１４の焦点位置に相当する位置には、エリアＣＣＤセンサ等で構成される撮像素子５０が配置され、被写体を反射してレンズ１４に入射された光は撮像素子５０の受光面に結像される。撮像素子５０は、受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表すアナログ信号を画像信号として出力する。撮像素子５０は、駆動回路４６に接続されているタイミング信号発生部５２によって発生されたタイミング信号に同期したタイミングで駆動されて画像信号を出力する。
【００２３】
レンズ１４と撮像素子５０の間に設けられた絞り４８は、連続的に変更可能な単一な絞りで構成してもよいし、絞り量が異なる複数の絞りを切り替える構成としてもよい。
【００２４】
タイミング信号発生部５２には、ストロボ１８の発光を制御するストロボ制御回路５４も接続されており、ストロボ１８は低照度であることが検出された場合や、ユーザによって発光が指示された場合にタイミング信号発生部５２によって発生されたタイミング信号に同期したタイミングで発光制御される。
【００２５】
撮像素子５０の信号出力端には、サンプリング部５６、Ａ／Ｄ変換器５８、信号処理部６０が順に接続され、撮影部１２によって得られる画像信号は、さらに信号処理部６０に後段に接続されたメモリ６２、及び圧縮／伸張部６４へと出力されるようになっている。また、それぞれはシステムバス６８に接続され、システムバス６８に接続されたシステム制御部７０によって統括的に制御されるようになっている。なお、システム制御部７０には、図示しないタイマ回路を備えており、撮影時の撮影時間を取得することが可能とされている。
【００２６】
サンプリング部５６では、撮像素子５０から出力された画像信号をタイミング信号発生部５２によって発生されたタイミング信号に同期したタイミングでサンプリングすると共に、増幅してＡ／Ｄ変換器５８へ出力する。サンプリング部５６は、図示しないＣＤＳ（Correlated Double Sampling：相関二重サンプリング：以下ＣＤＳという）部を含んで構成されている。ＣＤＳ部は、例えば、ＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部からのタイミング信号によりクランプするクランプ回路と、タイミング信号によりアナログ電圧をホールドするサンプルホールド回路とを有する。ＣＤＳ部は、ノイズ成分を除去してアナログの出力信号として画像信号をＡ／Ｄ変換器５８に送る。サンプリング部５６から出力された画像信号は、Ａ／Ｄ変換器５８によってデジタルの画像データに変換されて信号処理部６０へ出力される。信号処理部６０では、入力された画像データに対して色補正・γ補正・Ｙ／Ｃ変換等の各種処理を行う。信号処理部６０から出力された画像データは、ＲＡＭ等で構成されたメモリ６２に一時記録される。そして、図示しないレリーズスイッチ等の操作がなされた場合等に、圧縮／伸張部６４で圧縮されてからスロットに装填されたメモリカード又は内蔵メモリ７８に画像データが格納されるようになっている。
【００２７】
また、システムバス６８には、カラーディスクプレイ２６等も接続され、撮影によって得られる画像データに基づく表示が可能とされている。
【００２８】
さらに、システムバス６８には、デジタルカメラ１０の撮影方向、移動速度等を検出する３次元ジャイロ、３次元加速度センサ、音声を入力するマイク等の各種センサ４２、及び図示しない撮影を指示するレリーズスイッチや電源スイッチ等の各種スイッチ７４が接続されている。
【００２９】
すなわち、レリーズスイッチが操作された等により撮影が指示された場合に、システム制御部７０はメモリ６２に一時記憶されている画像データを読出して圧縮／伸張部６４へ転送する。これにより、画像データは圧縮／伸張部６４で圧縮された後にメモリカード又は内蔵メモリ７８に格納される。なお、撮影する際のモードによって画像データが圧縮されることなくメモリカード又は内蔵メモリ７８に格納される場合もある。
【００３０】
また、メモリカード又は内蔵メモリ７８に格納された画像データが表す画像の再生（表示）が指示された場合には、メモリカード又は内蔵メモリ７８から画像データが読み出され、読出された画像データが圧縮／伸張部６４で伸張（解凍）された後、メモリ６２に一時記憶される。そして、メモリ６２に記憶された画像データを用いてカラーディスプレイ２６への画像の表示（再生）が行われる。
【００３１】
ところで、本実施の形態に係わるデジタルカメラ１０は、動画撮影も可能とされており、動画撮影時の処理は、システムバス６８に接続された動画処理部７２で行われる。
【００３２】
さらに、本実施の形態に係わるデジタルカメラ１０には、動画撮影によって得られる動画像を表す画像データを撮影終了後に編集する機能を有しており、当該動画編集は、システムバス６８に接続された動画編集部７６によって行われるようになっている。
【００３３】
次に、動画処理部７２の詳細な構成について図２を参照して説明する。
【００３４】
図２に示すように、動画処理部７２は、撮影部１２の撮影によって得られる画像データが入力される。なお、撮影部１２には、音声データを得るための図示しないマイク等も含まれる。
【００３５】
また、動画処理部７２には、この他に撮影時の各種情報を取得するための各種装置が接続されており、本実施の形態では、３次元ジャイロ１６、測距部２０、ズーム可動器操作情報２２、測光部２４、及び３次元加速度測定部３０が接続されている。
【００３６】
３次元ジャイロ１６では、撮影時のデジタルカメラ１０の傾きが検出され、測距部２０では、被写体までの距離が検出され、ズーム可動器操作情報２２では、ズーム倍率等の情報が取得され、測光部２４では、撮影時の周辺の光強度が検出され、３次元加速度測定部３０では、撮影時のデジタルカメラの移動方向を含む加速度が検出される。
【００３７】
これらの各種情報は、動画処理部７２の測定情報ストリーム作成装置３２に入力され、撮影部１２によって取得される画像データ及び音声データは、動画処理部７２の映像／音声ストリーム作成装置３４に入力される。
【００３８】
動画処理部７２は、上述の測定情報ストリーム作成装置３２、映像／音声ストリーム作成装置３４、及びストリーム多重化装置３６を含んで構成されている。
【００３９】
映像／音声ストリーム作成装置３４では、撮影部１２より得られる画像データ及び音声データに基づいて、それぞれの撮影時間に対応するように映像ストリーム及び音声ストリームが生成される。すなわち、音声を含む動画像を表す画像データが作成される。例えば、ＭＰＥＧ（Moving Picture Experts Group）２−ＰＳ（Program Stream）やＭＰＥＧ２−ＴＳ（Transport Stream）等のフォーマットのデータが適用可能である。
【００４０】
測定情報ストリーム作成装置３２では、各種情報が上述の撮影時間に対応するように測定情報ストリームが作成される。
【００４１】
そして、ストリーム多重化装置３６では、測定情報ストリーム作成装置３２で作成された測定情報ストリーム、及び映像／音声ストリーム作成装置３４で作成された映像ストリームと音声ストリームが多重化される。すなわち、動画像を表す画像データに音声情報と測定情報が付与された画像データが生成される。例えば、ＭＰＥＧ形式等のフォーマットを用いてストリームの多重化が行われる。
【００４２】
このようにストリーム多重化装置３６で生成された多重化ストリームの画像データは、メモリカード又は内蔵メモリ７８に格納されるようになっている。
【００４３】
すなわち、本実施の形態に係わるデジタルカメラ１０では、動画像撮影時には、動画像を表す画像データ内に、デジタルカメラ１０に設けられた各種センサ４２によって取得される測定情報が付与された画像データを得ることができる。
【００４４】
多重化ストリームのデータ構成は、例えば、図３に示すように、撮影（測定）時間に対応した予め定められたフォーマットでバイトデータを格納する複数のデータセルと、該データセルに対応した動画像を表す画像データと、音声を表す音声データと、から構成されており、各データセルにそれぞれ測定情報が格納される。また、データセル、画像データ、及び音声データはそれぞれを対応させるためのＩＤ等の識別情報を含む時間情報を有し、当該時間情報によってそれぞれのデータを対応させることができる。
【００４５】
各データセルは、動画像を表す画像データの各フレームに対応して設けてもよいし、数フレーム（１〜３フレーム等）に対応して１つのデータセルを設けるようにしてもよい。
【００４６】
ここで、本実施の形態の多重化ストリームに適用可能な動画像ファイルについて説明する。本実施の形態では、動画像の把握を容易とするため、静止画像とほぼ同様に、動画像は映像データに付帯データが付加された動画像ファイルとして扱う。
【００４７】
すなわち、デジタルカメラなどで撮影された静止画像で提供される撮影画像は、撮影画像の把握を容易とするため、撮影画像そのものの画像データ以外に、ファイル名や撮影条件などの属性データを含んだ形式（所謂Ｅｘｉｆ形式）の画像ファイルとして流通される。
【００４８】
このＥｘｉｆ形式の画像ファイルには、個々の撮影画像毎に、画像データ以外に属性データとして、ファイル名、撮影に使用したデジタルカメラの機種、撮影日時、撮影時の撮影条件（デジタルカメラの設定）を表す各種情報（例えばシャッタースピード、絞り値、画質モード（画像データの圧縮率）、感度、露出プログラムのモード、測光方式、ホワイトバランスのモード、フォーカスのモード、シャープネスのモード、焦点距離、露出補正値、ストロボのオンオフ、ストロボ補正値、マクロモードのオンオフ等）等の情報が含まれている。
【００４９】
ところで、動画像は、静止画像が時系列的に連続された静止画像群である。この静止画像群に含まれる１静止画像は、動画像中の１フレームとして扱うことができる。従って、動画像は、フレーム単位（静止画像単位）で時間や位置を特定することが可能である。
【００５０】
そこで、本実施の形態の多重化ストリームでは、その静止画像群である動画像を対象とした付帯データが映像データ（静止画像群の画像ファイル群）に付加された動画像ファイルとして扱う。この付帯データは、動画像の利用形態を特定したり範囲を指定したりするためのデータである。
【００５１】
詳細には、動画像ファイルは、映像データと付帯データとから構成される。映像データは、時系列的に連続した上述のＥｘｉｆ形式のフォーマットで構成することができる。なお、Ｅｘｉｆ形式による画像ファイルによる属性データは、静止画像データの各々に帰属させてもよいが、所定数毎に帰属させてもよく、内容に変動があったときにそのフレームである静止画像データに帰属させてもよい。
【００５２】
付帯データは、動画像単位で、映像データ以外に、次の表１に示す、ステータス、インデックス、フレームプリント、メール配信、測定情報、日付情報、カメラ機種、及びＰＷ情報の８つの各項目に大分類された内容を含んでいる。
【００５３】
【表１】
付帯データの、第１の項目である「ステータス」は、映像データの扱い（フレームの重要性）を表すものであり、適用内容と適用範囲から構成される。適用内容は、代表、主要、保管用、不要の４種類に小分類されており、各々の小分類には、適用範囲としてフレーム番号（フレームＮｏ．）が対応される。ステータス（代表）の項目は動画像ファイル内の代表的なフレームやフレーム範囲を示すもので、主に動画像ファイルからダイジェスト版を作成するときに参照するために用いられる。ステータス（主要）の項目は動画像ファイル内の主要な（標準的な）フレームやフレーム範囲を示すもので、主に動画像ファイルを標準的に（通常のモードで）再生するときに参照するために用いられる。ステータス（保管用）の項目は動画像ファイルを保管するときのフレームやフレーム範囲を示すもので、主に保管用とすべき動画像ファイルを全て（フルモードで）再生するときに参照するために用いられる。ステータス（不要）の項目は動画像ファイルに含まれる不要なフレームやフレーム範囲を示すもので、主にメディア変換時や動画ファイル送信時に削除されるべきフレームやフレーム範囲を参照するために用いられる。
【００５５】
項目は、コード情報で表される。表１の例では、第１の項目「ステータス」を表す「１」に適用内容の序列の番号０〜３が連続されて構成される。すなわち、ステータス（代表）の項目は「１０」、ステータス（主要）の項目は「１１」、ステータス（保管用）の項目は「１２」、ステータス（不要）の項目は「１３」のコード情報で表される。また、適用範囲は開始フレームと終了フレームとから構成されている（開始フレーム：終了フレーム）。
【００５６】
付帯データの、第２の項目である「インデックス」は、映像データにおける位置を表すものであり、主にインデックス作成時のフレームの位置を表している。適用内容としては、プリントインデックス、モニターインデックスの２種類に小分類されており、その適用範囲としてフレーム番号（フレームＮｏ．）が対応される。プリントインデックスは、動画像ファイルに関するインデックスをプリントするときのフレームやフレーム範囲を示すもので、モニターインデックスは、動画像ファイルをモニターなどに表示するときのフレームやフレーム範囲を示すものである。プリントインデックスは「２０」、モニターインデックスは「２１」のコード情報で表される。
【００５７】
付帯データの、第３の項目である「フレームプリント」は、映像データにおけるプリント指示の位置を表すものであり、映像データからプリントを作成時のフレームの位置を表している。適用内容としては、プリントサイズによって、Ｌサイズプリント、２Ｌサイズプリント、ポストカードプリントの３種類に小分類されており、その適用範囲としてフレーム番号（フレームＮｏ．）及び枚数が対応される。Ｌサイズプリントは「３０」、２Ｌサイズプリントは「３１」、ポストカードプリントは「３２」のコード情報で表される。
【００５８】
付帯データの、第４の項目である「メール配信」は、映像データを電送することを表すものであり、電送形態、宛先及び電送範囲が対応される。適用内容としては、電送形態により小分類され、電送形態には宛先を含んでいる。表１の例では、動画像をメール送信する場合に「４０」のコード情報で表され、静止画像をメール送信する場合に「４１」のコード情報で表される。内容には、アドレス（"△＠□.com"、"×＠○.co.jp"、"△＠○.co.jp"）を含み、電送範囲としてフレーム番号（フレームＮｏ．）またはフレーム範囲が対応される。
【００５９】
付帯データの、第５の項目である「測定情報」は、撮影時点における各種センサより得られる測定情報を表すものである。適用内容としては、３次元ジャイロ１６から得られる測定データや３次元加速度測定部３０から得られる測定データ等が用いられ、その位置における撮影範囲としてフレーム番号（フレームＮｏ．）が対応される。測定情報は「５０」のコード情報で表される。
【００６０】
付帯データの、第６の項目である「日付情報」は、撮影時点における日付を表すものである。適用内容として、年月日時曜日などのデータが用いられ、その日時における撮影範囲としてフレーム番号（フレームＮｏ．）が対応される。日付情報は「６０」のコード情報で表される。
【００６１】
付帯データの、第７の項目である「カメラ機種」は、撮影に利用したカメラすなわち映像データを得たカメラの機種を表すものである。適用内容としては、カメラの種別及び型番などで構成され、表１の例では、デジカメとして「７０」、デジタルビデオとして「７１」、カメラ内蔵の携帯端末として「７２」、カメラ内蔵時計として「７３」のコード情報で表される４種類に小分類されており、その適用範囲としてフレーム番号（フレームＮｏ．）が対応される。
【００６２】
付帯データの、第８の項目である「ＰＷ情報」は、映像データに対する暗証番号を表すものであり、主に秘匿性を必要とするフレームの位置を表している。適用内容としては、暗証番号を含み、その適用範囲としてフレーム番号（フレームＮｏ．）が対応される。コード情報は、「８０」が対応される。
【００６３】
なお、上記の８種類の項目以外にも、焦点距離や絞り値などの撮影条件情報、その動画像ファイルのユーザを表す氏名、住所、年齢、性別などの個人情報、クレジットカードの種別や番号などの決済情報を含むことができる。
【００６４】
一方、動画編集部７６は、図４に示すように、スプリット手段８０、演算手段８２、及び画像加工手段８４を含んで構成されている。
【００６５】
スプリット手段８０では、メモリカード又は内蔵メモリ７８に格納された画像データをスプリット手段８０に読出して、測定情報ストリームと映像／音声ストリームに分割し、測定情報ストリームを演算手段８２へ出力する共に、映像／音声ストリームを画像加工手段８４へ出力する。
【００６６】
演算手段８２には、デジタルカメラ１０の各種設定やメニュー操作等を行うための各種スイッチ７４が接続されており、当該各種スイッチ７４の操作により、動画像の加工指示等が可能とされている。例えば、動画像からパノラマ画像を作成する等の指示や、そのときの中心となる画像の指示等を各種スイッチ７４の操作で行うようになっている。
【００６７】
演算手段８２では、各種スイッチ７４の指示に応じて、測定情報ストリームから動画像の各フレームに対応する測定情報を用いて、各フレームの撮影時間やフレームレートから算出される時間情報に基づいて、撮影時のデジタルカメラ１０の移動方向や移動距離等を算出するようになっている。
【００６８】
また、画像加工手段８４では、演算手段８２によって演算された結果に基づいて、スプリット手段８０より出力される映像／音声ストリームから対応する画像を抽出する等を行い、画像の加工を行うようになっている。
【００６９】
例えば、画像加工手段８４では、演算手段８２によって演算されたデジタルカメラ１０の撮影時の移動方向や移動距離から隣接する被写体フレームを抽出して、１枚の画像とすることにより、パノラマ画像等の静止画を作成する等の画像加工を行うことが可能である。
【００７０】
続いて、上述のように構成されたデジタルカメラ１０で動画撮影を行う際の処理について図５のフローチャートを参照して説明する。
【００７１】
まず、ステップ１００では、動画撮影指示か否か判定される。該判定は、例えば、例えば、各種スイッチを操作して動画撮影モードとして、図示しないレリーズスイッチ等の撮影指示を行う操作等がなされたか否かを判定することによってなされ、ステップ１００の判定が否定された場合には、肯定されるまで待機して、ステップ１０２へ移行する。
【００７２】
ステップ１０２では、所定周期で画像データが取得されると共に、測定情報が取得される。例えば、１／３０ｓｅｃの周期（フレームレート）で撮像素子５０によるサンプリングを行うと共に、数フレーム毎に各種情報（デジタルカメラ１０に加わる加速度、傾き、ズーム倍率等）が取得される。なお、各種情報は、フレームレート同様に、１／３０ｓｅｃの周期で取得するようにしてもよい。
【００７３】
続いて、ステップ１０４では、測定情報ストリーム及び映像／音声ストリームが作成される。例えば、ＭＥＰＧ２形式の動画データが作成されると共に、動画データの各フレームに対応するように、測定情報が作成される。
【００７４】
次に、ステップ１０６では、測定情報ストリームと映像／音声ストリームが合成されてストリーム多重化が行われる。例えば、ＭＰＥＧ２形式の動画データに上述のＥｘｉｆファイル形式と同様の付帯情報を付与することによって、ストリームの多重化が行われる。これによって、各動画フレームに対応した測定情報を付与することができる。
【００７５】
そして、ステップ１０８では、多重化されたストリームがメモリカード又は内蔵メモリ７８に記憶され、ステップ１１０では、動画撮影終了指示がなされたか否か判定される。該判定は、例えば、図示しないレリーズスイッチ等の操作がなされたか否か判定することによってなされ、該判定が否定された場合には、ステップ１０２へ戻って上述の処理が繰り返され、該判定が肯定された場合には、一連の処理を終了する。
【００７６】
次に、上述のように撮影された動画像から画像加工を行う際の処理について図６のフローチャートを参照して説明する。なお、画像加工として、動画像からパノラマ画像を作成する場合を例に説明する。
【００７７】
ステップ２００では、動画からパノラマ画像作成指示があるか否か判定される。例えば、各種スイッチ７４を操作することによって、パノラマ画像作成が指示されたか否か判定し、該判定が否定された場合には、肯定されるまで待機してステップ２０２へ移行する。
【００７８】
ステップ２０２では、中心画像が指定されたか否か判定される。すなわち、中心となるフレーム画像が指示されたか否か判定される。該判定は、例えば、各種スイッチ７４を操作することによって、中心となるフレーム画像が指定されたか否かを判定することによってなされる。
【００７９】
ステップ２０２の判定が否定された場合には、肯定されるまで待機してステップ２０４へ移行する。
【００８０】
ステップ２０４では、指定された中心画像周辺の多重化ストリームがメモリカード又は内蔵メモリ７８から読出される。すなわち、指定された中心フレーム画像とその周辺のフレーム画像及び、測定情報を含む多重化ストリームが読出される。
【００８１】
ステップ２０６では、読出された多重化ストリームが映像／音声ストリームと測定情報ストリームとに分離される。すなわち、図４に示すスプリット手段８０によって映像／音声ストリームと測定情報ストリームが分離されて、測定情報ストリームが演算手段８２に出力され、映像／音声ストリームが画像加工手段８４に出力される。
【００８２】
ステップ２０８では、演算手段８２で読出されたフレーム画像間の重複部の演算が行われる。例えば、３次元ジャイロ１６より得られる撮影時のデジタルカメラ１０の傾き、３次元加速度測定部３０より得られるデジタルカメラ１０に加わる加速度、ズーム可動器操作情報２２より得られるズーム倍率、及び各フレームの撮影時間（なお、撮影時間はシステム制御部７０より取得してもよいし、フレームレートに基づいて算出することもできる）から、デジタルカメラ１０の撮影時の移動方向及び移動量を演算することができる。そして、演算された移動方向及び移動量から各フレームの重複領域を演算することが可能となる。
【００８３】
ステップ２１０では、演算結果に基づいてパノラマ画像が生成される。すなわち、上述のようにして演算された重複領域を除いた複数のフレーム画像を合成することによってパノラマ画像を作成することができる。例えば、図７に示すように、撮影方向（デジタルカメラ１０の移動方向）が図７に示す撮影方向の場合には、各フレーム画像において、デジタルカメラ１０の移動速度によっては重複領域が発生する。この重複領域を演算した結果に基づいて、パノラマ画像を作成することができる。
【００８４】
そして、作成されたパノラマ画像は、ステップ２１２でメモリカード又は内蔵メモリ７８に記憶される。
【００８５】
このように、本実施の形態に係わるデジタルカメラ１０では、動画撮影時にデジタルカメラの移動情報（傾きや加速度等）を検出して、時間情報と共に、動画像を表す画像データに付帯情報として付与することにより、当該付帯情報に基づいて、動画像の各フレーム画像を加工して、パノラマ画像等の静止画像を作成することができる。すなわち、移動情報を２次的に利用して、画像加工することができる。
【００８６】
なお、上記の実施の形態では、各種センサ４２の測定結果を画像データに付与して記憶して、動画編集部７６によってパノラマ画像を作成するようにしたが、動画編集部７６による編集はこれに限るものではなく、例えば、複数の画像データを組み合わせて、広角レンズで撮影したような広角画像を作成するようにしてもよい。
【００８７】
【発明の効果】
以上説明したように本発明によれば、撮影する際のデジタルカメラの移動情報を検出して、時間情報に対応させて複数のフレーム画像からなる画像データに付与して記憶させ、記憶された移動情報を抽出して、該移動情報に基づいて複数のフレーム画像を加工するので、デジタルカメラの撮影時の移動情報を検出する検出手段の検出結果を２次的に利用して、画像加工ができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わるデジタルカメラの概略構成を示すブロック図である。
【図２】本発明の実施の形態に係わるデジタルカメラの動画処理部の詳細な構成を示すブロック図である。
【図３】多重化ストリームのデータ構成の一例を示す概念図である。
【図４】本発明の実施の形態に係わるデジタルカメラの動画編集部の詳細な構成を示すブロック図である。
【図５】本発明の実施の形態に係わるデジタルカメラで動画撮影を行う際の処理の流れを示すフローチャートである。
【図６】本発明の実施の形態に係わるデジタルカメラで撮影された動画像から画像加工を行う際の処理の流れを示すフローチャートである。
【図７】パノラマ画像の作成の一例を示す模式図である。
【符号の説明】
１０ デジタルカメラ
１２ 撮影部
１６ ３次元ジャイロ
２０ 測距部
２２ ズーム可動器操作情報
２４ 測光部
３０ ３次元加速度測定部
４２ 各種センサ
３２ 測定情報ストリーム作成装置
３４ 映像／音声ストリーム作成装置
３６ ストリーム多重化装置
７２ 動画処理部
７６ 動画編集部
７８ メモリカード又は内蔵メモリ
Claims (5)
- 被写体を撮影して複数のフレーム画像からなる動画像を表す画像データを取得する撮影手段と、
前記撮影手段による撮影時の傾き、移動方向を含む加速度、及びズーム倍率を含む移動情報を検出する検出手段と、
前記検出手段によって検出される前記移動情報を、撮影時の時間情報に対応させて、前記撮影手段によって取得される前記画像データに付与する付与手段と、
前記付与手段によって前記移動情報が付与された前記画像データを記憶する記憶手段と、
前記撮影手段による撮影終了後に、前記記憶手段に記憶された前記複数のフレーム画像を加工して静止画像の作成を指示するための指示手段と、
前記指示手段によって前記静止画像の作成が指示された場合に、前記記憶手段に記録された前記画像データから前記移動情報を抽出し、該移動情報及び対応する前記時間情報に基づいて関連する前記複数のフレーム画像の重複領域を演算する演算手段と、
前記記憶手段に記憶された前記画像データにおける前記複数のフレーム画像を加工して、前記演算手段によって演算した前記重複領域を除いて前記複数のフレーム画像を合成加工する加工手段と、
を備えたデジタルカメラ。 - 前記演算手段は、撮影時の前記撮影手段による撮影の移動方向及び移動量を演算し、演算した前記移動方向及び移動量から前記重複領域を演算することを特徴とする請求項１に記載のデジタルカメラ。
- 前記検出手段は、３次元ジャイロ及び３次元加速度測定手段を含むことを特徴とする請求項２に記載のデジタルカメラ。
- 前記指示手段は、前記静止画像の中心となる画像フレームを更に指示可能とされ、前記加工手段は、前記指示手段によって指示された前記中心となる画像フレームを中心として前記複数のフレーム画像を合成加工することを特徴とする請求項１乃至請求項３の何れか１項に記載のデジタルカメラ。
- 前記加工手段は、前記静止画としてパノラマ画像を生成することを特徴とする請求項４に記載のデジタルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002287193A JP4009173B2 (ja) | 2002-09-30 | 2002-09-30 | デジタルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002287193A JP4009173B2 (ja) | 2002-09-30 | 2002-09-30 | デジタルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004128683A JP2004128683A (ja) | 2004-04-22 |
| JP4009173B2 true JP4009173B2 (ja) | 2007-11-14 |
Family
ID=32280066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002287193A Expired - Fee Related JP4009173B2 (ja) | 2002-09-30 | 2002-09-30 | デジタルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4009173B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5378135B2 (ja) | 2009-09-29 | 2013-12-25 | 富士フイルム株式会社 | 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置 |
| JP5436367B2 (ja) | 2009-09-29 | 2014-03-05 | 富士フイルム株式会社 | グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置 |
| JP5352406B2 (ja) | 2009-09-30 | 2013-11-27 | 富士フイルム株式会社 | 合成画像作成方法ならびにそのプログラムおよび情報処理装置 |
| JP4859974B2 (ja) * | 2009-12-21 | 2012-01-25 | 富士フイルム株式会社 | 情報処理装置、プリントシステムおよび画像合成方法 |
| JP5383576B2 (ja) | 2010-03-31 | 2014-01-08 | 富士フイルム株式会社 | 撮像装置、撮像方法およびプログラム |
| JP5602818B2 (ja) * | 2012-11-07 | 2014-10-08 | オリンパスイメージング株式会社 | カメラ、画像再生装置、画像合成方法、およびプログラム |
| EP3240467A4 (en) * | 2014-12-31 | 2018-12-26 | Morphotrust Usa, LLC | Detecting facial liveliness |
| JP6740867B2 (ja) * | 2016-11-09 | 2020-08-19 | トヨタ自動車株式会社 | 画像処理方法 |
| JP6705534B2 (ja) * | 2018-10-19 | 2020-06-03 | ソニー株式会社 | センサ装置、信号処理方法 |
-
2002
- 2002-09-30 JP JP2002287193A patent/JP4009173B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004128683A (ja) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8878951B2 (en) | Image processing apparatus and method of controlling the same | |
| JP2007019678A (ja) | 顔画像記録装置および撮像装置ならびにそれらの制御方法 | |
| JP2010200239A (ja) | 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法 | |
| JP4860568B2 (ja) | 撮影装置 | |
| JP2009077026A (ja) | 撮影装置および方法並びにプログラム | |
| JP2015053741A (ja) | 画像再生装置 | |
| JP4009173B2 (ja) | デジタルカメラ | |
| JP2011015091A (ja) | 撮像装置 | |
| JP2010087722A (ja) | 撮影装置及び動画像編集方法 | |
| JP2006238311A (ja) | 撮影装置及びプログラム | |
| JP4948014B2 (ja) | 電子カメラ | |
| JP2006140703A (ja) | 撮影装置及び撮影処理方法 | |
| JP2007082076A (ja) | カメラ装置、画像記録方法及び画像表示方法 | |
| JP2010087598A (ja) | 撮影装置及び撮影制御方法ならびにそのプログラム、画像表示装置及び画像表示方法ならびにそのプログラム、撮影システム及びその制御方法ならびにそのプログラム | |
| JP2004312218A (ja) | デジタルカメラおよび画像再生装置 | |
| JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
| JP2005229280A (ja) | 画像処理装置および方法並びにプログラム | |
| JP5321108B2 (ja) | カメラ、レンズ収差補正プログラム、およびレンズ収差補正プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2000041170A (ja) | 画像撮像装置及び方法 | |
| JP2007243624A (ja) | ディジタル・スチル・カメラおよび画像再生システムならびにそれら制御方法 | |
| JPH11224324A (ja) | 画像信号処理方法及び装置 | |
| JP2012182730A (ja) | デジタルカメラおよびプログラム | |
| JP2004236006A (ja) | デジタルカメラ | |
| JP2004112549A (ja) | デジタルスチルカメラ装置 | |
| JP2008227839A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070831 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4009173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |