JP5082973B2 - 映像記録システム、及び撮像装置 - Google Patents

Description

本発明は、撮像装置と情報処理装置とからなる映像記録システム、及び撮像装置に関する。

H.264や、JPEG等の画像圧縮技術を採用するビデオカメラや電子スチルカメラ等の撮像装置が普及している。また、カメラ等によって撮影された動画像や静止画像を大画面テレビやPCで閲覧することが普及している。一方、通信回線の高速化等、ネットワーク環境も充実してきている。このような背景の中で、撮像装置で、撮影した映像を遠隔地に存在する装置へ送信する発明が検討されている。

特許文献１には、「映像記録媒体を用いることなく映像データを保存、再生あるいは加工することができる映像データ管理方法及び映像データ管理システムを提供する」という目的が記載されている。また、「前記映像記録装置にて撮影した映像データを、前記ネットワークを介して当該映像記録装置と接続される映像管理装置に送信し、前記映像管理装置に送信されてきた映像データを当該映像管理装置に保存する」映像データ管理システムが記載されている。

特許文献２には、「ビデオカメラで撮影した画像の編集を容易にする」という目的が記載されており、「映像情報撮像装置１０が本画像データと簡易画像データを同時に作成し、本画像データをテープ等の記録媒体２０に記録し、簡易画像データをネットワーク経由でサーバ装置３０へ出力する」映像情報撮像システムが記載されている。

特開２００２−１０１８４号公報 特開２００４−３２８１０５号公報

テレビ放送のハイビジョン化、テレビ受像機の大画面化に伴い、これらに表示する画像データのサイズは肥大しており、画像データを保存するストレージに必要な容量も大きくなっている。

そして、データの大容量化するほど、撮像装置のユーザが、ストレージの空き容量を気にしながら装置を利用する必要が高まる。一方、撮像装置を使い勝手良く利用するためには、プレビュー機能、サムネイル表示機能、あるいはレックビュー機能といった、画像を確認するために再生する機能も求められる。

これに対して、特許文献１においては、映像記録装置から画像を外部装置に送ることにより、ユーザ端末の記録媒体を用いないこと、あるいは記録媒体の空き容量を増やすことが可能となる。

しかしながら、特許文献１の映像管理システムにおいて、映像データを映像管理装置に送信した後に再び映像データを再生するには、映像管理装置から映像データをダウンロード等する必要がある。従って、ユーザにとっての手間となる。

一方、特許文献２においては、簡易画像をサーバ等に送信することによって、サーバ装置での画像の管理を容易にすることが可能となっている。また、主画像を映像情報撮像装置で再生することも可能である。

しかし、サーバにて一括管理されるのは編集のための簡易画像データである。従って、ストレージ容量の限られた本画像データを映像情報撮像装置側に残しておくことにより、ユーザは記録時間や記録枚数にも従来どおり配慮が必要となる。

また、特許文献２においては、撮像装置が備えるディスプレイは、一般的に、同世代のテレビ受像機等が表示できる情報量に比べて小さい場合が多い。そして、従来の機器で再生を行うにはいったん大サイズの撮影データを再生し、表示する際にディスプレイの大きさに縮小するということが行われている。したがって、大きなサイズの撮影データを小型ディスプレイのためだけに再生するには、その分電力消費を伴う。

さらに、特許文献２においては、サーバ装置において、本画像を出力する場合は、サーバ装置で簡易画像を検索等おこなってから、本画像を映像情報撮像装置から受信する必要がある。このため、再度サーバ装置と映像情報撮像装置との間で送受信を行うための手間が発生する。

本願発明では、撮像装置で取得した画像を情報処理装置に送信する場合において、撮像装置での撮像した画像を再生する機能の利便性を確保しつつ、その記録容量の空き容量の減少を抑制することを課題とする。

該課題を解決するため、本願発明では、例えば、撮像装置において、符号化によって互いサイズの異なる２種の映像情報を得る。そして、撮像装置は、一方の映像情報を外部の装置に出力した後、出力した映像情報を削除するが、他方の圧縮映像情報は記録媒体に保持する。

本願発明によると、本願発明では、撮像装置で取得した画像を情報処理装置に送信する場合において、撮像装置での撮像した画像を再生する機能の利便性を確保しつつ、その記録容量の空き容量の減少を抑制することを課題とする。撮像装置での撮像した画像を再生する機能の利便性を確保しつつ、その記録容量の空き容量の減少を抑制することが可能となる。

また、撮像装置に付属する液晶ディスプレイは一般に解像度の小さなものが用いられるが、その小さなディスプレイのみに映像を表示する場合にはデータサイズの小さい映像情報を再生して表示することにより、消費電力の削減に繋がる。

また、前記の２種の映像信号について、データサイズの小さい映像信号のみを再生すると解像度の小さな再生画像が得られ、データサイズの大きい映像信号とデータサイズの小さい映像信号を組み合わせて再生すると解像度の大きな再生画像が得られるようにデータを作成しておくと、撮像装置に付属のディスプレイのみに表示する場合にはデータサイズの小さい映像信号、外部に接続した大型ディスプレイに表示する場合には大小２つの映像信号を組み合わせて復号することにより、ディスプレイサイズに応じた表示が可能となる。

また、外部ディスプレイの解像度に応じてデータサイズの小さい映像信号とデータサイズの大きい映像信号の一部あるいは全部を組み合わせて復号して表示することにより、外部ディスプレイの解像度に表示するに当たっての最低限の電力での表示が可能となる。

また、監視システムなど、特に低遅延での映像再生が要求される場合、撮像装置内に格納されているデータサイズの小さい映像信号を優先的に外部ディスプレイ及び付属のディスプレイへ表示することにより、外部に格納したデータサイズの大きい映像信号からデータを取得する際の遅延を考慮せずに映像の再生が可能となる。

以下に、本発明の実施の形態を説明する。

本発明のシステムにおいて、撮像装置の例としては、デジタルビデオカメラやデジタルスチルカメラ、カメラ機能を備えた携帯電話、カメラ機能を備えたモバイルＰＣ、ＰＤＡ、その他、撮像できる装置のことを示す。また、撮像装置は、携帯性を有し、ユーザが持ち運びできることが望ましい。また、情報処理装置とは、ＨＤＤレコーダ、ディスクレコーダ、ホームサーバ、サーバ等、情報を処理する機器のことを示す。

本実施例では、撮像装置の例として、動画像撮像装置について説明する。また、情報処理装置の例として、サーバ装置について説明する。

図１は、動画像撮影装置とサーバ装置、および撮影した映像を視聴するテレビジョン装置に適用した場合の構成を示す。

動画像撮影装置１０は、光学系１０１、撮像素子１０２、画像信号処理部１０３、画像圧縮伸長部１０４、ストレージ装置１０５、出力バッファ１０６、出力処理部１０７、入力処理部１０８、入力バッファ１０９、表示処理部１１０、表示部１１１、ユーザインタフェース部１１２、セレクタ１１３、コネクタ１１４を有する。また、画像圧縮伸長部１０４は、セレクタ１０４１、第１の画像圧縮部１０４２、第２の画像圧縮部１０４３、セレクタ１０４４、セレクタ１０４５、画像伸長部１０４６を有して構成される。

以下、動画像撮影装置１０の動作について説明する。図示していない被写体より発せられた光はまず光学系１０１によって集光される。光学系１０１に関して詳細は図示されていないが、複数のレンズ、合焦および倍率調整のためにレンズを移動させるモータ、これを制御する制御系等から構成される。

光学系１０１によって集光された光は撮像素子１０２によって電気信号に変換される。撮像素子１０２は実際に感光するCCDやCMOS等の撮像部のほか、アナログ電気信号をサンプリングしてデジタル電気信号に変換するAD変換回路、周囲の光量によってゲイン調整を行うAGC回路、撮像素子に駆動のためのタイミング信号を供給するタイミングジェネレータ、およびこれらを制御する制御回路等によって構成される。

撮像素子１０２によってデジタル電気信号に変換された映像信号は、画像信号処理部１０３においてノイズ除去やエンハンス処理、撮像素子１０２からの生データ（RGBフォーマット）を輝度信号と２種類の色差信号に変換する変換処理等が施され、画像圧縮伸長部１０４へ供給される。画像信号処理部１０３は、例えば、専用のＬＳＩ等で構成する。

画像圧縮伸長部１０４は映像信号を所定の画像サイズへ拡大もしくは縮小し、MPEG-2、MPEG―４、Ｈ.２６４等の所定の動画像圧縮規格に従って圧縮もしくは符号化し、圧縮映像信号としてストレージ装置１０５、もしくは出力バッファ１０６へ出力する機能を有する回路である。また、ストレージ装置１０５、もしくは入力バッファ１０９から入力された圧縮映像信号を所定の動画像圧縮規格に従って伸長し、映像信号として表示処理部１１０へ出力する機能を有する。画像圧縮伸長部１０４の動作に関しては後述する。なお、画像圧縮伸張部１０４はＡＳＩＣ等の専用回路により構成する。ストレージ装置１０５は、動画像記録装置１０に備え付けられた取り外し不可のストレージ（HDD、フラッシュメモリ等）でも良いし、リムーバブルなストレージ（DVD、BD、SDカード、磁気テープ等）であっても良いものとする。

また、出力バッファ１０６、及び入力バッファ１０７は例えば図示されていない揮発性メモリや、取り外しできないように構成されたストレージ装置バッファ装置で構成する。また、表示部１１１は、例えば液晶ディスプレイや有機ＥＬディスプレイ、その他のディスプレイ装置で構成される。

出力処理部１０７は、出力バッファ１０６より圧縮映像信号を読み出し、ネットワーク上に出力する。入力処理部１０８はネットワークより圧縮映像信号を入力し、入力バッファ１０９へ書き込む。

また、表示処理部１１０は、入力された映像信号を表示すべきサイズへ拡大もしくは縮小し、液晶ディスプレイ等により構成される表示部１１１へ出力する。また同時に、図１には示されていない外部機器接続端子（例えばS端子、D端子、HDMI端子など）へ、それぞれに適切な画像サイズおよびフォーマットに変換して出力する。

出力処理部１０７、入力処理部１０８、表示処理部１１０は、例えばＦＰＧＡ、ＡＳＩＣ等の処理回路により構成する。

ユーザインタフェース１１２には、ユーザが動画像撮影装置１０の動作を制御できるようなボタン類、例えば電源ON/OFFスイッチ、再生・停止ボタン、録画開始ボタン、各種モード切り替えボタン等が備わっている。

本実施例に記載の動画像撮影装置１０の特徴は、ユーザインタフェース１１２を通してユーザから録画開始の指示を受けると、録画を開始し、第１の画像圧縮部１０４２にて圧縮処理を行って主画像データを生成し、これを出力バッファ１０６および処理部１０７を通してネットワーク上に出力しつつ、同時に第２の画像圧縮部１０４３にて画像サイズ・フレームレート・ビットレート等を削減しつつ圧縮処理を行って副画像データを生成し、これをストレージ装置１０５に記録する点にある。また、本実施例に記載の動画像撮影装置１０の他の特徴は、主画像データと副画像データを対にして管理する点にある。

以下、本動画像記録装置１０の動作に関して、詳細説明を行う。

まず、記録動作について説明する。図１における太実線は、記録動作のパスを示している。また、図５は、本動画像記録装置１０及びサーバ装置３０の動作のフローチャートを示す。

まず、動画像記録装置１０の電源が投入されると、本動画像記録装置はネットワークへ接続しようと試みる。ネットワークとの接続はいかなる形態でもよく、電話網でも良いし、インターネットでも良いものとする。また、ネットワークは、有線でも良いし、無線接続でもよいものとする。しかし、動画像記録装置を、携帯性良く利用するためには、ネットワークは、無線であることが望ましい。ここではインターネットとの無線接続の場合について説明する。本動画像記録装置は周辺のアクセスポイントを探索し、通信によってネットワークリンクを確立する。

その際、例えば複数のアクセスポイントが検出された場合には、その旨を表示部１１１に表示し、ユーザインタフェース部１１２を通してアクセスポイントを選択するようにユーザに促す。いずれかのアクセスポイントへ接続するようにユーザがユーザインタフェース部１１２を操作すると、指定されたアクセスポイントへの接続を試み、成功した場合には表示部１１１、あるいは図１には図示していないLED等によってネットワークリンクが確立された旨をユーザに伝える。

あるいは、無条件で接続するアクセスポイントが存在する場合（例えば自宅にいる場合等）には、そのアクセスポイントへ接続し、成功した場合には表示部１１１、あるいは図１には図示していないLED等によってネットワークリンクが確立された旨をユーザに伝える。

またあるいは、ネットワークリンクを確立する際に、例えばWEP（Wired Equivalent Privacy）やWPA（Wi-Fi Protected Access）等の認証が必要な場合には、動画像記録装置１０その旨を表示部１１１に表示し、ユーザインタフェース部１１２を通して認証を行うようにユーザに促す。ユーザはユーザインタフェース部１１２を通して認証キーを直接入力しても良いし、例えばユーザの指紋情報と認証キーを動画像記録装置１０であらかじめ関連させて記憶しておき、図示していない指紋センサで指紋を読み取った結果ユーザの指紋情報と一致すれば認証キーを入力したことと等価とみなす方法でも良い。また、別途認証用のカード等を用意しておき、これを動画像記録装置１０に具備されたカードスロットへ差し込んで認証するような方法でも良い。認証の結果、アクセスポイントへの接続が認められた場合には、ネットワークリンクを確立し、成功した場合には表示部１１１、あるいは図１には図示していないLED等によってネットワークリンクが確立された旨をユーザに伝える。認証が失敗した場合には、その旨を表示部１１１へ出力して、再度認証を行うようユーザに促す。

上記の手順によって、動画像記録装置１０がネットワーク接続に成功すると、次にサーバ３０への接続を確立しようと試みる。接続に認証が必要な場合には、アクセスポイントへの接続の認証と同様の動作により、認証を行う。また、接続可能なサーバが複数ある場合には、規定のサーバを１つ選んで接続しても良いし、表示部１１１へその旨を表示して、ユーザの選択によって接続先を選択しても良い。上述の手順によって、動画像記録装置１０と、サーバ３０との接続が確立される（ｓ１００１、ｓ２００１）。

これまでの手順によって、動画像記録装置１０とサーバ３０がネットワーク２０を介して接続されると、動画像記録装置１０はサーバ３０に具備されたストレージ（図１には非表示）のうち記録可能なストレージ容量を問い合わせる。サーバ３０から応答があると、動画像記録装置１０は記録可能なストレージの容量と記録モード等から記録可能時間を計算し、表示部１１１へ表示して、ユーザからの記録開始の指示を待つ（ｓ１００２）。

一方、動画像記録装置１０とサーバ３０が結果的に接続を確立できなかった場合においても、動画像記録装置１０は出力バッファ１０６の空き容量と記録モード等から記録可能時間を計算し、表示部１１１へ表示して、ユーザからの記録開始の指示を待つ（ｓ１００２）。

なお、接続の確立は、動画像記録装置１０の電源をＯＮにした場合に行うほかにも、画像の記録を開始した後、所定容量の画像データが記録される度に行われる構成としてもよい。この構成とすると、ネットワークの通信速度が、単位時間に記録される画像データの容量よりも大きい場合に、ネットワークに接続されている時間を短縮する事ができる。また、定期的に接続の確立状況をサーチする構成としてもよい。ユーザによる指示によって接続の開始を確立する構成としてもよい。

ｓ１００２において、ユーザがユーザインタフェース部１１２を通して記録開始の指示を出すと、記録動作が開始される（ｓ１００３）。すなわち、被写体から発せられた光線は光学系１０１、撮像素子１０２、画像信号処理部１０３を通って画像圧縮伸長部１０４へ入力される。なお、ｓ１００２において、記録開始の指示がなされない場合は、引き続き記録開始の指示を待つ。

画像圧縮伸長部１０４は、前述の通り第１の画像圧縮部と第２の画像圧縮部を備えており、画像信号処理部１０３から入力された映像信号はセレクタ１０４１を通して第１の画像圧縮部１０４２と第２の画像圧縮部１０４３の両方へ同時に入力される。

第１の画像圧縮部１０４２では、入力された映像信号を主画像データに符号化する（ｓ１００４）。具体的には、第１の画像圧縮部１０４２は、入力された映像信号を主画像として所定のサイズとフレームレート（例えば１９２０画素×１０８０画素のサイズ、秒間３０フレーム等）に整形し、所定の動画像圧縮規格（例えば前出の画像サイズであればH.264 High Profileが採用されることが多い）に準拠して圧縮を行い、主画像データを生成する。生成された主画像データは、セレクタ１０４４を通して、出力バッファ１０６へ出力される。出力された主画像データは、出力バッファ１０６に記録される（ｓ１００５）。なお、本実施例における記録は、一時的な記録も含むものとする。

一方、第１の画像圧縮部１０４２で主画像データの生成が行われるのと同時に、第２の画像圧縮部１０４３において、入力された映像信号を副画像データに符号化する（ｓ１００４）。具体的には、第２の画像圧縮部１０４３は、入力された画像を副画像として所定のサイズとフレームレート（例えば３２０画素ｘ１８０画素、秒間１５フレーム）に整形し、所定の動画像圧縮規格（例えば前出の画像サイズであればH.264 Baseline Profile等）に準拠して圧縮を行い、副画像データを生成する。生成された副画像データは、セレクタ１０４４を通して、ストレージ装置１０５へ出力される。なお、副画像データのサイズは、主画像データのサイズよりも小さいものとする。出力されたデータは、ストレージ装置１０５に記録される（ｓ１００５）。

ここで、第１の画像圧縮部１０４２と第２の画像圧縮部１０４３、さらに出力処理部１０７は、画像データ管理ファイルを生成、あるいは編集する機能を備える。この管理ファイルの形式としては、例えば画像データに固有の識別子を割り当てておき、その識別子と、その識別子を有する画像データがストレージ装置１０５（領域先頭からのバイト数、ストレージのセクタアドレス、等）に格納されているかを対にして管理するものとする。

一方、データ管理ファイルは、サーバ３０側においても保持される。サーバ３０側では、画像データに固有の識別子と、あるいはサーバ３０が持つストレージのどの位置（領域先頭からのバイト数、ストレージのセクタアドレス、等）に格納されているかを対にして管理するものとする。しかし、本実施例では、管理ファイルの具体的な形式は問わないものとする。

画像圧縮伸長部１０４から主画像データが出力バッファ１０６へ書き込まれる際、最初に主画像データを管理する主画像データ管理ファイルを編集し、現在作成中の主画像データの先頭位置が出力バッファ１０６のどの位置にあるかを示す情報を主画像データ管理ファイルへ書き込む。また、後述する副画像の書き込み先がDVDやBDなどのリムーバブルメディアである場合には、メディアを識別するための識別子（例えばディスクIDなど）の情報も主画像データ管理ファイルへ書き込むものとする。

出力バッファ１０６に主画像データが書き込まれると、出力処理部１０７が、主画像データの送信条件を満たしているかを判定する（ｓ１００６）。例えば、出力処理部１０７は、画像記録装置１０とサーバ３０のネットワーク２０を介した接続が確立されているかを判定する。また、出力処理部１０７は出力バッファ１０６に格納された主画像データのデータ量を監視しておき、出力バッファ１０６にある程度の主画像データが蓄積され、かつこのデータをネットワーク２０へ出力可能であるかを判定する。

この送信条件を満たす場合に、出力処理部１０７は、出力バッファ１０６に格納された主画像データを読み出し、必要に応じてパケタイズ等の加工を施した後、ネットワーク２０を介してサーバ３０へ送信する（ｓ１００８）。ｓ１００６において、送信条件を満たさないと判定された場合には、出力バッファ１０６は、主画像データを継続して蓄積する（ｓ１００７）。例えば、動画像記録装置１０とサーバ３０の接続が確立されていない場合、主画像データは出力バッファ１０６へ格納され、ユーザからの記録停止指示を受けるまで、あるいは出力バッファ１０６として確保されている容量が全て主画像データでいっぱいになるまで蓄積される。

出力処理部１０７から主画像データがサーバ３０へ送信される際、サーバ３０では、サーバ側に保持する主画像データ管理ファイルを編集し、現在転送中の主画像データの先頭位置がサーバ３０の持つストレージのどの位置にあるかをサーバ側の主画像データ管理ファイルへ書き込む。また、後述する副画像の書き込み先がDVDやBDなどのリムーバブルメディアである場合には、メディアを識別するための識別子（例えばディスクIDなど）の情報もともにサーバ側の主画像データ管理ファイルへ書き込むものとする。

ｓ１００８において、出力処理部１０７が出力バッファ１０６に格納されている画像データを全てサーバ３０へ転送し終えた場合、出力バッファ１０６は、転送された主画像データを削除する（ｓ１００９）。また、出力処理部１０７は出力バッファ１０６側の主画像データ管理ファイルを編集し、転送を終えた主画像データの識別子とその位置に関する情報を消去する。

出力処理部１０７から主画像データがサーバ３０へ転送されている最中に、通信環境の悪化等により動画像記録装置１０とサーバ３０の接続が切断された場合には、出力処理部１０７は出力バッファ側の主画像データ管理ファイルを編集し、主画像データの先頭位置を、転送が未完了の主画像データの位置に書き換える。

画像圧縮伸長部１０４が主画像データを出力バッファ１０６に出力する際、出力バッファ１０６は、最初に主画像データ管理ファイルを編集し、現在作成中の主画像データの先頭位置が出力バッファ１０６のどの位置にあるかを主画像データ管理ファイルへ書き込む。

画像圧縮伸長部１０４から主画像データがストレージ装置１０５へ書き込まれる際に、副画像データを管理するファイルである副画像データ管理ファイルを編集し、現在作成中の副画像データの先頭位置がストレージ装置１０５のどの位置にあるかを副画像データ管理ファイルへ書き込む。

なお、副画像データ管理ファイルと、主画像データ管理ファイルとでは、同一の映像信号から生成された主画像データと副画像データとが対応するように識別子を付加する。

上述のように、ストレージ装置１０５、出力バッファ１０６、および出力処理部１０７が、主画像データは削除し、主画像データの転送後も、ストレージ装置１０５から副画像データは、削除されないで保持するように処理を行う。言い換えると、動画像記録装置１０は、副画像データと主画像データのうち、主画像データのみを転送し、削除する処理を行う。

なお、主画像データは、ストレージ装置１０５に一度記録された後、そこから出力バッファ１０６に読み出され、その後転送されてもよい。

また、画像信号処理部１０３から出力されたデジタル映像信号は、セレクタ１１３を通して、表示処理部１１０へも供給される。表示処理部１１０は画像サイズ調整等の必要な画像処理やフォーマット変換を施した後、これを表示部１１１に出力してユーザに提示する。これにより、ユーザは現在撮影中の画像がいかなるものかを見ることが可能となる。

次に、動画像記録装置１０の再生動作について説明する。再生動作のパスは、図２および図３において太実線で示されている。また、図６は、再生動作のフローチャートを示す。

まず、再生動作が始まると、動画像記録装置１０は、表示部１１１のみで再生を行うか、外部の表示機器に再生するかを判定する（ｓ１１０１）。この判定は、具体的には、コネクタ１１４に外部の表示機器が接続されてない場合には表示１１１のみに表示し、外部の表示機器が接続されている場合には外部の表示機器に再生する構成としてもよい。この場合、コネクタ１１４に外部表示機器が接続されている場合に、その旨を示す信号を画像処理装置１０４内のセレクタに送信することにより、画像処理装置１０４が処理する映像信号を切換える構成としてもよい。また、この、ｓ１１０１における判定は、ユーザインタフェース部１１２の操作により、ユーザが表示部１１１のみで再生を行うモードと、外部の表示機器で再生を行うかモードとのどちらのモードに切換えたかを判定する構成としてもよい。

ここで、撮影した画像を動画像記録装置１０に具備された表示部１１１に表示する場合を考える。これは、例えば屋外において撮影した画像をその場で表示する場合等を想定している。動画像記録装置１０は一般に携帯可能な大きさであり、したがって表示部１１１に関しても２〜４型の小型液晶ディスプレイが用いられることが多い。このような小型の表示部に対しては、画像サイズの大きな主画像を縮小して表示する場合と、もともと画像サイズの小さい副画像を表示した場合で、視覚的にはさほど大きな差異はみられない。

ｓ１１０１でyesの場合、つまり、動画像記録装置１０で再生を行い、かつ再生画の表示先が表示部１１１のみ映像信号の表示を表示１１１のみで再生する場合の動作を、図２のデータパスを用いて説明する。この場合、記録された副画像データがストレージ装置１０５より読み出される（ｓ１１０２）。次に、副画像データは、セレクタ１０４５を通して画像伸長部１０４６へ入力され、画像圧縮規格に準拠した形で伸長され、映像信号に復号される（ｓ１１０３）。その後、復号された映像信号は表示処理部１１０から表示部１１１に出力される。

ｓ１１０１でNoの場合、つまり、一方、再生画の表示先が表示部１１１だけでなく、コネクタ１１４によって外部に接続されたテレビジョン装置等が存在する場合には、ストレージ装置１０５に格納されている副画像データでは画質が荒い可能性がある。このため、サーバ３０に存在する主画像をネットワーク経由で転送して再生する必要がある。

この場合の動作を、図３のデータパスおよび図６のフローチャートを用いて説明する。この場合、まず動画像記録装置１０とサーバ３０をネットワーク２０経由での接続を確立する（ｓ１１０２、ｓ２１０１）。その手順に関しては、記録の場合と同様であるので、ここでは省略する。

動画像記録装置１０とサーバ３０がネットワーク２０経由で接続されると、入力処理部１０７はサーバ側の主画像管理ファイルを参照してサーバ３０に蓄積されているデータの中から再生したい主画像データを検索する。

サーバ３０は、該当する主画像データがある場合は、主画像データをネットワーク経由２０で動画像記録装置１０に送信する（ｓ２１０２）。また、サーバ３０は、主画像データが無い場合には、主画像データが無い事を示すデータを動画像記録装置に送信する（ｓ２１０２）。

動画像記録装置１０は、入力処理部１０８により、送信されるデータを受信する（ｓ１１１２）。

入力処理部１０８は、受信したデータが主画像データか否かを判定する（ｓ１１１３）。ここで、入力されるデータが主画像データである場合には、入力バッファ１０９は、主画像データを蓄積する。入力されるデータが主画像データで無い場合には、その旨を示すデータを入力バッファを介して画像圧縮伸張部１０４に出力する。

受信したデータが主画像データであり、かつ、入力バッファに所定量以上蓄積され、画像伸長部１０４５にて滞りなく再生できると判断された場合、主画像データは入力バッファ１０９より読み出される。そして、セレクタ１０４５を通して画像伸長部１０４６へ供給され、伸長されることにより映像信号に復号される（ｓ１１１４）。

画像圧縮伸張部１０４が、入力されるデータが主画像データで無い旨を示すデータを受信した場合には、セレクタ１０４５を切換え、出力バッファ１０６の主画像管理ファイルを参照して、出力バッファ１０６に蓄積されているデータの中から再生したい主画像データを読み出す（ｓ１１１５）。そして、主画像データは、画像伸長部１０４６へ供給され、伸長されることにより映像信号に復号される（ｓ１１１６）。

ｓ１１１４またはｓ１１１６において復号された映像信号は表示処理部１１０より表示部１１１、およびコネクタ１１４を介して接続された、図示されていない接続されたテレビジョン装置などの外部の表示機器へ送信される（ｓ１１１７）。また、外部の表示機器は、動画像記録装置１０より送信された映像信号を受信する（ｓ３１０１）。

なお、図６のフローチャートでは、動画像記録装置１０は、サーバ３０から主画像データが無い事を示すデータを受信した後、ｓ１１１５で、出力バッファ１０６から主画像データを読み出す構成とした。しかし、例えば、動画像記録装置１０は、先に出力バッファ１０６内の主画像データを検索し、ストレージ装置内に主画像データが無い場合に、接続を確立し、サーバ３０内の主画像データを検索する構成としてもよい。これにより、出力バッファ１０６に主画像データが存在する場合には、サーバ３０と接続しないでも、主画像データを外部の表示機器に送信することが可能になるため、通信量を低減することが可能となる。

また、主画像データが、サーバ３０内にも出力バッファ１０６内にも存在しない場合がある。これは、例えば、動画像記録装置１０からサーバ３０に主画像データを送信し、出力バッファ１０６から主画像データが削除された後、サーバ３０においても主画像データが削除される場合である。このような場合には、動画像記録装置１０は、ストレージ装置１０５内の副画像データを復号化した上で、外部の表示機器に送信する構成としてもよい。このような構成とすることによって、例え主画像データが見つからない場合にも、副画像データの画質によって外部の表示機器に、映像を出力することが可能となる。

また、ｓ１１１１においてサーバとの接続が確立されず、かつｓ１１０２において出力バッファにも主画像がない場合がある。この場合においては、主画像データがサーバ３０上にあるか否かは不明である。このような場合には、動画像記録装置１０は、ストレージ装置１０５内の副画像データを復号化した上で、外部の表示機器に送信する構成としてもよい。このような構成とすることによって、例え接続が確立できず出力バッファ１０６内の主画像データが見つからない場合にも、副画像データの画質によって外部の表示機器に、映像を出力することが可能となる。

また、上述の説明では、動画像記録装置１０は、主画像データを映像信号に復号した後に、外部の標示機器に送信する例について説明した。しかし、外部の表示機器が画像伸長装置あるいは、画像復号装置を備えている場合もある。このため、動画像記録装置１０は、主画像データを映像信号に復号しないまま、外部の表示機器に送信する構成としてもよい。

次に、動画像記録装置１０での編集動作について説明する。

ユーザが動画像記録装置１０を用いて編集作業を行う際には、まずストレージ装置１０５に格納されている副画像に対して編集操作を行い、同時にこのとき施された編集操作の内容を記録して出力バッファ１０６へ書き込んで、主画像データに対しても同様の編集操作を行うようにする。

例えば、すでに記録されている画像データを消去する場合、まずストレージ装置１０５に格納されている副画像データの中から、該当する副画像データを抽出し、消去処理を行う。これと同時に、該当する副画像データの識別子と編集内容を示す編集情報を（この場合は消去）を記録する。

引き続き、対応する主画像データに対しても同様の編集操作を施す。まず、出力バッファ１０６の中に対応する主画像データが存在するかどうかを検索する。存在すれば、その主画像データに対して同様の編集操作を施す。次に、編集対象となる主画像データの識別子と編集操作の内容を対にして出力バッファ１０６へ書き込む。データの形式に関しては特に限定するものではなく、例えばMPEG-2 TS形式のパケットにデータを埋め込んでおく形式でも良いし、別の形式でも良いものとする。

サーバ３０との接続が確立されていれば、出力処理部１０７は編集対象となる主画像データの識別子と編集操作の内容が書かれたデータをネットワーク２０経由でサーバ３０へ転送する。サーバ３０はデータ内容を解析し、サーバ３０が持つストレージの中に対応する主画像データが存在するかどうかを検索する。存在すれば、その主画像データに対して同様の編集操作を施す。

以上、削除操作について説明したが、別の編集操作（例えば２つの画像データの結合、画像データの分割、特殊効果付加など）に関しても同様である。

なお、主画像データを動画像記録装置１０から送信する際、動画像記録装置１０が、例えば出力処理部１０７等によって付加データを主画像データに付加する構成としてもよい。この場合、付加データは、例えば、その画像データが、削除を禁止する旨を示す情報や、動画像記録装置１０により撮像された旨を示す情報とする。あるいは、サーバ３０が、動画像記録装置１０により入力した画像データに該付加データを付加する構成としてもよい。そして、該付加データが付加されている主画像データについては、サーバ３０の制御手段が、削除等の編集操作を制限するように制御する。ここで、制限とは、例えば編集操作を禁止することをいう。また、サーバ３０で、該付加データの内容を、主画像データとともに外部の表示機器やディスプレイに出力する構成としてもよい。これにより、ユーザが、動画像記録装置１０に副画像データが残っているにも関わらず、対応する主画像データを編集する可能性を抑制することが可能となる。あるいは、ユーザが、サーバより主画像データが編集できない理由を認知することが可能となる。

さらに、サーバ３０において、主画像データに編集操作がされた場合でも、編集前の主画像データと、編集後の主画像データの両方を残しておき、動画像記録装置１０との同期がとれるまで、編集前の主画像データを保持して制御により、編集操作の制限としてもよい。ここで、同期とは、例えば、動画像記録装置１０においてもサーバ３０での編集操作と同様の編集を行うこととする。この際に、動画像記録装置１０側においては、操作部によりサーバ３０での編集操作を反映させることをユーザが許可する操作を受け付ける構成としてもよい。そして、動画像記録装置１０とサーバ３０が同期した後に、サーバ３０から編集前の主画像データを消す構成としてもよい。この構成により、画像データの管理の利便性を向上することが可能となる。

また、サーバ３０において、主画像データを編集する場合も利用シーンとして想定される。この場合において、サーバ３０において主画像データを編集を行う場合に、サーバ３０での編集履歴を記録し、動画像記録装置１０に転送する構成としてもよい。

あるいは、動画像記録装置１０がサーバ３０から主画像データをダウンロードする際、サーバ３０では、主画像データが既に削除されている場合がある。このような場合には、携帯撮像装置１０は、既に主画像データが削除されている旨を示す情報を、表示部１１１に表示するとともに、副画像データをストレージ装置１０５から削除するか否かを問い合わせる旨を示す情報を表示する構成としてもよい。

ここまで説明したとおり、本実施例の動画像記録装置１０は、従来は装置本体に備えられたストレージに記録されていた主画像をネットワーク２０経由でサーバへ転送し、本体には表示用および編集用の副画像のみを残しておくことにより、本体ストレージ容量を気にせずに撮影可能とする。さらに、主画像データは、サーバ３０が備えるストレージに集中されるため、撮影した映像の一元管理が可能であるという利点がある。

このような利点を生かすため、本実施例の動画像記録装置１０は、例えばアイドル状態にあるときに、出力バッファ１０６に未転送の主画像データが残っており、かつサーバ３０とネットワーク２０経由で接続可能である場合、バックグラウンドで未転送の主画像データを転送する機能を有していても良い。また、前記バックグラウンドでの転送動作を行う際、動画像記録装置１０が電源コンセントに接続されている場合には転送を行い、動画像記録装置１０がバッテリ駆動されている場合には転送を行わないような条件判断を行う機能を有していても良い。

また、これまで説明した動画像記録装置１０の動作においては、主画像データを第１の画像圧縮部で、副画像データを第２の画像圧縮部で、それぞれ同時に生成することになっていた。しかし、主画像データをまず作成して出力バッファ１０６へ転送し、これを読み出して画像伸長部１０４６で復号してから第２の画像圧縮部１０４３へ入力して副画像データを生成するような動作でも良い。

また、第２の画像圧縮部１０４３へ入力する代わりに、第１の画像圧縮部１０４２へ入力して圧縮しても良い。この場合の動作を図４を用いて説明する。データパスは太実線で示されている。つまり、第１の画像圧縮部１０４２を時分割で利用し、ある時間帯は主画像データを生成し、また別の時間帯では副画像データを作成するように制御し、これと連動してセレクタ１０４１が画像信号処理部１０３から入力される映像信号と画像伸長部１０４６から入力される映像信号を切り替えて第１の画像圧縮部１０４２へ供給するように制御することにより、主画像データと副画像データを生成することが可能である。この場合、回路規模削減や消費電力削減のために、動作に関与しない第２の画像圧縮部１０４３を取り払ってもよい。

以上、副画像データは動画像であるという前提で説明を行ったが、副画像データは静止画でも良いものとする。すなわち、これまで副画像データとして説明してきた内容は、例えばシーン先頭のサムネイル画像データのような静止画データでも良い。以下、副画像データがサムネイル画像データである場合の例について説明する。

例えば、ユーザが本動画像撮影装置を用いて再生動作を行おうとする際、まずストレージ装置１０５よりいくつかのサムネイル画像データが読み出され、画像伸長部１０４６で伸長されてサムネイル画像となり、表示処理部１１０で適切なＯＳＤ表示とともに整形され、表示部１１１へ表示される。

そして、ユーザはユーザインタフェース１１２を利用して、複数のサムネイルの中から再生したい主画像データに対応するサムネイル画像を選択する。すると、入力処理部１０８は選択されたサムネイル画像に関連付けられた主画像データを出力バッファ１０６、もしくはネットワーク２０経由でサーバ３０より探し出し、入力バッファ１０９へ転送する。以降は上記で説明した再生動作の要領で、画像伸長部１０４６、表示処理部１１０を通して表示部１１１、もしくは外部に接続された外部表示機器に再生画像が表示される。

あるいは、これまで副画像データとして説明してきた内容は、管理情報ファイル（例えばDVD-VR規格におけるIFOファイル）でも良いものとする。

例えば、ストレージ装置１０５に格納された管理情報ファイルは、ユーザインタフェースを通してのユーザからの指示によって、図示していないホストCPUなどによって適切に書き換えられることにより、主画像データをサーバ３０から読み出して来ずともプレイリストを作成することが可能である。

その後、上記のようにして作成されたプレイリストに従って主画像データを再生する際には、入力処理部１０８はプレイリストによって指定されたストリームを出力バッファ１０６、あるいはサーバ３０より探し出し、これまでに説明した再生の手順に準拠して連続再生することにより、プレイリスト再生を実現することが可能となる。

このように、副画像データは必ずしも動画像のデータである必要はなく、静止画、管理ファイル、あるいは主画像データに関連する他の情報であってもかまわないものとする。

また、本実施例では、主画像データ、副画像データといった、動画像データの例について説明してきたが、動画像データに限らず、音声、画像、テキスト、その他のセンサによって取得できるデータから、サイズの大きいデータ、サイズの小さいデータをそれぞれ生成する携帯センシング装置にも適用可能である。サイズの大きいデータとサイズの小さいデータを対応づけ、サイズの大きいデータをサーバに送信することにより、携帯センシング装置における記録媒体の空き容量を保ちつつ、表示等の機能を利用する際の消費電力を低下させ、さらにサーバにおけるデータの管理を容易にすることが可能である。

また、本実施例では、入力された映像信号を圧縮符号化して主画像データおよび副画像データを生成する例として説明してきたが、主画像データおよび副画像データを生成する手段は圧縮符号化には限らないものとする。例えば、入力された映像信号に対してある種の変換符号化（例えばウェーブレット変換）を施し、その低次成分を副画像データ、高次成分を主画像データとする構成であっても良いものとする。これにより、副画像データを生成するときに必要となる画像の縮小処理が不要となり、処理量や回路規模の低減につなげることが可能となる。

また、本発明の構成は、上記実施例に限定されるものではなく、発明の範囲で自由に変更することも可能である。

第１の実施例に係る動画像記録装置の構成および記録のデータパスを示すブロック図である。 第１の実施例に係る動画像記録装置の構成および再生して表示部１１１のみに表示する場合のデータパスを示すブロック図である。 第１の実施例に係る動画像記録装置の構成および再生して外部に接続された表示装置と表示部１１１に表示する場合のデータパスを示すブロック図である。 第１の実施例に係る動画像記録装置の構成および副画像データを生成するための別の方法を示したブロック図である。 記録動作を示すフローチャートである。 再生動作を示すフローチャートである。

符号の説明

１０ …動画像撮影装置
１０１ …光学系
１０２ …撮像素子
１０３ …画像信号処理部
１０４ …画像圧縮伸長部
１０４１…セレクタ
１０４２…第１画像圧縮部
１０４３…第２画像圧縮部
１０４４…セレクタ
１０４５…セレクタ
１０４６…画像伸長部
１０５ …ストレージ装置
１０６ …出力バッファ
１０７ …出力処理部
１０８ …入力処理部
１０９ …入力バッファ
１１０ …表示処理部
１１１ …表示部
１１２ …ユーザインタフェース部
１１３ …セレクタ
１１４ …コネクタ
２０ …ネットワーク
３０ …サーバ

Claims (4)

1. 撮像装置と情報処理装置とを有する映像記録システムであって、
   前記撮像装置は、
   映像を撮像して、映像信号を得る撮像手段と、
   映像信号を符号化して、第１の圧縮映像情報を生成する第１の符号化手段と、
   映像信号を符号化して、前記第１の圧縮映像情報よりも容量の小さい第２の圧縮映像情報を生成する第２の符号化手段と、
   前記第１の圧縮映像情報及び第２の圧縮映像情報を記録媒体へ記録する記録手段と、
   前記第１の圧縮映像情報をネットワーク経由にて前記情報処理装置に出力する出力手段と、
   前記第１の圧縮映像情報及び第２の圧縮映像情報のいずれかを復号化して映像信号を出力する復号化手段と、
   前記復号化手段が出力した映像信号を表示する表示手段と、
   前記第１の圧縮映像情報が前記出力手段により出力された場合に、前記第２の圧縮映像情報を前記記録媒体に保持し、かつ前記第１の圧縮映像情報を前記記録媒体から削除するよう処理を行う処理手段と、を備え、
   前記情報処理装置は、前記出力手段により出力された前記第１の圧縮映像情報を受信した場合には、前記撮像装置から入力される前記第１の圧縮映像情報を記録し、
   前記撮像装置の復号化手段は、前記情報処理装置から受信した前記第１の圧縮映像情報、前記出力手段が備える出力バッファに記録された前記第１の圧縮映像情報、並びに、第２の圧縮映像情報のうちから選択される一の圧縮映像情報を復号化するものであり、前記映像信号を外部の表示手段に出力する場合には、前記情報処理装置から受信した前記第１の圧縮映像情報又は前記出力手段が備える出力バッファに記録された前記第１の圧縮映像情報を復号化することを特徴とする映像記録システム。
2. 請求項１記載の映像記録システムであって、
   前記撮像装置の復号化手段は、前記情報処理装置からの前記第１の圧縮映像情報の受信が確認出来ない場合に、前記出力手段が備える出力バッファに記録された前記第１の圧縮映像情報を読み出して復号化することを特徴とする映像記録システム。
3. 映像を撮像して、映像信号を得る撮像手段と、
   前記映像信号を符号化して、第１の圧縮映像情報を生成する第１の符号化手段と、
   前記第１の圧縮映像情報よりも容量の小さい第２の圧縮映像情報を符号化により生成する第２の符号化手段と、
   前記第１の圧縮映像情報及び第２の圧縮映像情報を記録媒体へ記録する記録手段と、 前記第１の圧縮映像情報を外部の情報処理装置に出力する出力手段と、
   前記第１の圧縮映像情報及び前記第２の圧縮映像情報のいずれかを復号化して映像信号を出力する復号化手段と、
   前記復号化手段が出力した映像信号を表示する表示手段と、
   前記第１の圧縮映像情報が前記出力手段によりネットワーク経由にて外部の装置に出力された場合に、前記第２の圧縮映像情報を前記記録媒体に保持し、かつ前記第１の圧縮映像情報を前記記録媒体から削除するよう処理を行う処理手段と、
   を備え、
   前記撮像装置の復号化手段は、前記外部の装置から受信した前記第１の圧縮映像情報、前記出力手段が備える出力バッファに記録された前記第１の圧縮映像情報、並びに、第２の圧縮映像情報のうちから選択される一の圧縮映像情報を復号化するものであり、前記映像信号を外部の表示手段に出力する場合には、前記外部の装置から受信した前記第１の圧縮映像情報又は前記出力手段が備える出力バッファに記録された前記第１の圧縮映像情報を復号化することを特徴とする撮像装置。
4. 請求項３記載の撮像装置であって、
   前記撮像装置の復号化手段は、前記情報処理装置からの前記第１の圧縮映像情報の受信が確認出来ない場合に、前記出力手段が備える出力バッファに記録された前記第１の圧縮映像情報を読み出して復号化することを特徴とする撮像装置。

Images