JP5393331B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、複数の記録媒体を撮影画像の記録先に使用する撮像装置に関する。

特開２００９−０２７６９３号公報 特開２００２−３６９１４３号公報

被写体を動画として撮影し、その動画像を圧縮符号化して記録媒体に記録する動画像記録装置として、デジタルビデオカメラがよく知られている。近年、デジタルビデオカメラで記録できる動画像が、標準解像度（ＳＤ：Standard Definition）から高解像度（ＨＤ：High Definition）にシフトしている。今後は、４０００×２０００画素に相当する４Ｋ２Ｋと呼ばれる解像度への高精細化が考えられている。

現在、ＨＤ画像に対応する動画圧縮符号化規格として、Ｈ．２６４が知られている。Ｈ．２６４は、既にデジタルビデオカメラで採用されている。しかし、既存のＨ．２６４対応の単一の符号化ＬＳＩを利用して、４Ｋ２Ｋの映像を符号化することは困難である。例えば６０コマ／秒の動画としてリアルタイムに符号化処理することが困難である。このような場合、入力画像信号（フレーム）を画面内で分割し、複数の符号化装置で、分割領域を並列に符号化処理する構成が知られている（例えば、特許文献１）。また符号化装置だけでなく、記録媒体も並列化し、大量の画像データを扱えるような構成も知られている（例えば、特許文献２）。このように、符号化装置及び記録媒体を並列化すると、分割の画像領域によって符号量にバラツキがあるので、記録媒体に記録される符号量に差が生じる。その結果、最も符号量の多い画像領域の符号を記録した記録媒体が一杯になった時点で、以後の記録が不能になる。特許文献２に記載の技術では、この問題に対して、画面上で分割された画像領域の大きさや形状を変更して、記録媒体への記録符号量を均一化している。

従来技術でも、動きが多い画像や、シーンチェンジが多い画像では、領域分割を行っても発生符号を記録媒体に均一に振り分けることが困難になることがある。また、分割される画像領域の大きさや形状を変えることは、符号化処理の観点では、分割位置が変化することに伴う視覚的違和感や、画像領域毎の画質の変化や相違を生じさせる要因になりかねない。

本発明は、このような問題点を解決する撮像装置を提示することを目的とする。

本発明に係る撮像装置は、画像を入力する入力手段と、前記入力手段から入力された画像を複数の画像領域に分割する画像分割手段と、前記画像分割手段によって分割された複数の画像領域の画像をそれぞれ符号化する複数の符号化手段と、複数の記録媒体にそれぞれ符号化データを記録する複数の記録手段と、前記複数の符号化手段がそれぞれ出力する符号化データの記録先を、前記複数の記録媒体の中から選択する選択手段と、前記複数の符号化手段が出力する符号化データの符号量をそれぞれ計算する符号量計算手段と、前記複数の記録媒体に記録された符号化データの符号量をそれぞれ計算する記録符号量計算手段とを有し、前記選択手段は、前記符号量計算手段が計算した符号量と、前記記録符号量計算手段が計算した符号量とを加算した値が均一になるように、前記複数の符号化手段がそれぞれ出力する符号化データの記録先となる記録媒体を選択することを特徴とする。

本発明によれば、画像領域ごとに発生した符号量に応じて記録媒体を切り替えて、発生符号を均一になるよう記録媒体に記録するので、画質の変化や視覚的違和感を発生させることなく、より長時間の記録が可能になる。

本発明に係る撮像装置の一実施例の概略構成ブロック図である。 本実施例の再生系の概略構成ブロック図である。 画像分割例である。 本実施例の動作フローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る撮像装置の一実施例の概略構成ブロック図を示す。入力部１０は、撮像素子及びレンズ、並びにこれらを駆動する駆動回路からなり、被写体を撮像して得られる、例えば４０００×２０００画素（４Ｋ２Ｋ）、又はそれ以上の解像度を表す動画像の画像データを出力する。撮像素子には、ＣＣＤ（Charge Coupled Device）式又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）式等がある。

画像分割部１１は、入力部１０からの画像データを画面内で複数の画像領域に分割する。図３を参照して、領域分割例を説明する。図３（ａ）は、画像分割部１１の入力画像データを示す。図３（ｂ−１）は、入力画像データを横に４分割した分割例を示す。図３（ｂ−２）は、入力画像データを縦に４分割した分割例を示す。図３（ｂ−３）は、入力画像データを縦と横に２分割した分割例を示す。

図３（ｂ−１）に示す分割例の場合、画像分割部１１は、画像領域３０１，３０２，３０３，３０４の画像データをそれぞれ、符号化部１２，２２，３２，４２に供給する。図３（ｂ−２）に示す分割例の場合、画像分割部１１は、画像領域３０５，３０６，３０７，３０８の画像データをそれぞれ符号化部１２，２２，３２，４２に供給する。図３（ｂ−３）に示す分割例の場合、画像分割部１１は、画像領域３０９，３１０，３１１，３１２の画像データをそれぞれ符号化部１２，２２，３２，４２に供給する。画像分割部１１は、図３（ｂ−１）、図３（ｂ−２）、図３（ｂ−３）のいずれかの分割例を、予め定められた設定に従って選択する。

符号化部１２，２２，３２，４２は、Ｈ．２６４などの動画圧縮規格に従って入力画像データを符号化する。符号化部１２，２２，３２，４２の出力符号は、互いに独立した符号化データ（ストリーム）である。符号化部１２の出力符号は、符号量計算部１３及び領域識別信号付加部１４に供給される。符号化部２２の出力符号は、符号量計算部２３及び領域識別信号付加部２４に供給される。符号化部３２の出力符号は、符号量計算部３３及び領域識別信号付加部３４に供給される。符号化部４２の出力符号は、符号量計算部４３及び領域識別信号付加部４４に供給される。

符号量計算部１３，２３，３３，４３はそれぞれ入力符号（符号化データ）の符号量を計算し、選択部５０が記録先の記録媒体を選択するタイミングまで、符号量を累計する。例えば、選択部５０が、１フレーム毎に発生符号を記録する記録媒体を選択し直す場合、符号量計算部１３，２３，３３，４３は、１フレームの符号量を選択部５０に出力する。

領域識別信号付加部１４，２４，３４，４４はそれぞれ、符号化部１２，２２，３２，４２の出力符号（符号化データ）のヘッダに領域識別信号を付加する。例えば、領域識別信号付加部１４，２４，３４及び４４の領域識別符号はそれぞれ、「００」、「０１」、「１０」及び「１１」である。領域識別符号「００」、「０１」、「１０」及び「１１」はそれぞれ、１画面を４分割したときの各画像領域に対応している。符号化部１２，２２，３２，４２がＨ．２６４の圧縮符号化手段である場合は、発生符号のＳＥＩ（Supplemental Enhancement Information）に領域識別信号を付加する。ＳＥＩは、復号には関係しない補助データを保持できる。

記録符号量計算部１５，２５，３５，４５は、記録媒体１６，２６，３６，４６に記録された符号化データの符号量を計算する。すなわち、記録符号量計算部１５は、記録開始から記録終了までに記録媒体１６に記録された符号化データの符号量を累積加算する。予め記録媒体１６にデータが記録されている場合は、記録済みの符号量を初期値とし、それ以降に記録される符号量を加算する。記録符号量計算部１５は、記録媒体１６に記録済みの符号量の情報を選択部５０に供給する。同様に、記録符号量計算部２５，３５，４５はそれぞれ、記録媒体２６，３６，４６に記録済みの符号量の情報を選択部５０に供給する。

選択部５０には、符号量計算部１３，２３，３３，４３から画像領域毎の符号量の情報が入力され、領域識別信号付加部１４，２４，３４，４４からヘッダに領域識別信号が付加された符号化データが入力される。選択部５０にはまた、記録符号量計算部１５，２５，３５，４５から各記録媒体１６，２６，３６，４６の記録符号量の情報が入力される。

選択部５０は、記録符号量計算部１５，２５，３５，４５からの情報により、各記録媒体１６，２６，３６，４６に記録されたデータの符号量を把握している。選択部５０はまた、符号量計算部１３，２３，３３，４３からの情報により、次に記録媒体１６，２６，３６，４６に記録する１フレーム分の符号化データの符号量も把握している。選択部５０は、以上の情報から記録媒体１６，２６，３６，４６の記録符号量と次に記録媒体１６，２６，３６，４６に記録する符号化データの符号量の加算結果が均一になるような組合せを計算する。

例えば、記録媒体１６，２６，３６，４６にそれぞれ４００ＫＢ，５００ＫＢ，１０００ＫＢ，２０００ＫＢのデータが既に記録されているとする。また、領域識別信号付加部１４，２４，３４，４４の出力符号の符号量がそれぞれ、４００ＫＢ，６００ＫＢ，１０００ＫＢ，１５００ＫＢであるとする。このとき、選択部５０は、記録先を次のように設定する。すなわち、記録符号量が最も少ない記録媒体１６に、最も符号量が多い領域識別信号付加部４４から出力される符号化データを記録するように記録先を選択する。記録符号量が２番目に少ない記録媒体２６に、２番目に符号量が多い領域識別信号付加部３４から出力される符号化データを記録するように記録先を選択する。記録符号量が３番目に少ない記録媒体３６に、３番目に符号量が多い領域識別信号付加部２４から出力される符号化データを記録するように記録先を選択する。記録符号量が最も多い記録媒体４６に、最も符号量が少ない領域識別信号付加部１４から出力される符号化データを記録するように記録先を選択する。

このように、記録媒体に既に記録されている符号量とこれから記録する符号量に応じて記録先を選択することで、各記録媒体の記録符号量を均一化することができる。

図４は、画像入力から記録媒体に記録するまでの本実施例の動作のフローチャートを示す。図４を参照して、図１に示す実施例の各部の動作タイミングを説明する。

Ｓ４０で、入力部１０が、画像データ（動画像）の入力を行う。

Ｓ４１で、画像分割部１１が、入力部１０からの画像データを画面（フレーム）内で複数の領域に分割する。

Ｓ４２で、符号化部１２，２２，３２，４２がそれぞれ、入力された画像領域の画像データを符号化する。

Ｓ４３で、符号量計算部１３，２３，３３，４３がそれぞれ、符号化部１２，２２，３２，４２が出力する１フレーム分の符号化データの符号量を計算して、その情報を選択部５０に出力する。

Ｓ４４で、領域識別信号付加部１４，２４，３４，４４が、記録媒体に記録する符号のヘッダに領域識別信号を付加する。

Ｓ４５で、記録符号量計算部１５，２５，３５，４５がそれぞれ、記録媒体１６，２６，３６，４６に記録されたデータの符号量（記録符号量）を算出して、選択部５０にその情報を出力する。

Ｓ４６で、選択部５０が、符号化データをいずれの記録媒体に記録するかを選択する。選択部５０は、記録符号量計算部１５，２５，３５，４５からの記録符号量の情報と、符号量計算部１３，２３，３３，４３からの１フレーム分の符号化データ（新たに記録されるデータ）の符号量の情報とに基づいて記録先を決定する。

Ｓ４７で、記録媒体１６，２６，３６，４６がそれぞれ、選択部５０によって選択された符号化データを記録する。

以上で本フローは終了となり、次のフレームの処理において再びフローが繰り返される。

以上の動作により、各画像領域の符号化データが、記録符号量が平準化するように選択された記録媒体に記録される。これにより、各記録媒体に記録される符号量を均一化できる。また、符号化データを記録する記録媒体を選択するようにしたので、平準化に伴って視覚的違和感や画質の変化が生じることもない。

なお、上述した構成では、フレーム毎に記録先を選択するようにしたが、複数のフレーム単位、例えば、ＧＯＰ（Group of Pictures）の整数倍毎に記録先を選択するように構成しても良い。選択部５０が、各画像領域の発生符号量と各記録媒体に記録済みの符号量に従い適応的に記録先を選択したが、画像領域毎の記録先を周期的に切り替えても、各記録媒体の記録符号量のばらつきを低減出来る。

図２は、本実施例の再生系の概略構成ブロック図を示す。記録媒体２０１，２１１，２２１，２３１は記録媒体１６，２６，３６，４６に対応する。すなわち、記録媒体２０１，２１１，２２１，２３１には、画面内で領域分割された画像データを符号化したデータであって、領域識別信号がヘッダに付加された符号化データが記録されている。表示装置２５１は、画面内で領域分割されて記録された符号化データの再生画像を、１画面にして表示する表示装置であり、表示部２０４，２１４，２２４，２３４を有する。

復号化部２０２，２１２，２２２，２３２は、記録媒体２０１，２１１，２２１，２３１から記録された符号化データを読み出し、復号化する。復号化による再生画像データは、選択部２５０に供給される。

ヘッダ解析部２０３，２１３，２２３，２３３は、記録媒体２０１，２１１，２２１，２３１から読み出した符号化データのヘッダを読み込み、解析する。すなわち、ＳＥＩに記録されている領域識別信号を復号し、選択部２５０に供給する。

選択部２５０は、ヘッダ解析部２０３，２１３，２２３，２３３からの領域識別信号に従い、復号化部２０２，２１２，２２２，２３２からの再生画像データを表示する表示部（表示位置）を選択する。表示部２０４，２１４，２２４，２３４は、それぞれ画面の分割領域を表示する領域表示手段であり、単一の表示装置２５１の分割画面とも言える。例えば、図３（ｂ−１）に示す分割例の場合、表示部２０４は、最も左にある１／４の領域の画像を表示する。表示部２１４は、左端から２番目の１／４の領域の画像を表示する。表示部２２４は、右端から２番目の１／４の領域の画像を表示する。表示部２３４は、最も右にある１／４の領域の画像を表示する。例えば、ヘッダ解析部２０３からの領域識別信号が右端の画像領域を示すとき、選択部２５０は、復号化部２０２からの再生画像データを表示部２３４に出力する。

各表示部２０４，２１４，２２４，２３４が担当する表示域は、符号化時の領域分割に従い予め設定される。

このような動作により、領域分割されて符号化され複数の記録媒体の何れかにに記録された画像情報の再生画像が、正しい画面上に適切に表示される。

１０ 入力部
１１ 画像分割部
１２、２２、３２、４２ 符号化部
１３、２３、３３、４３ 符号量計算部
１４、２４、３４、４４ 領域識別信号付加部
１５、２５、３５、４５ 記録符号量計算部
１６、２６、３６、４６ 記録媒体
５０ 選択部

Claims (3)

1. 画像を入力する入力手段と、
   前記入力手段から入力された画像を複数の画像領域に分割する画像分割手段と、
   前記画像分割手段によって分割された複数の画像領域の画像をそれぞれ符号化する複数の符号化手段と、
   複数の記録媒体にそれぞれ符号化データを記録する複数の記録手段と、
   前記複数の符号化手段がそれぞれ出力する符号化データの記録先を、前記複数の記録媒体の中から選択する選択手段と、
   前記複数の符号化手段が出力する符号化データの符号量をそれぞれ計算する符号量計算手段と、
   前記複数の記録媒体に記録された符号化データの符号量をそれぞれ計算する記録符号量計算手段
   とを有し、
   前記選択手段は、前記符号量計算手段が計算した符号量と、前記記録符号量計算手段が計算した符号量とを加算した値が均一になるように、前記複数の符号化手段がそれぞれ出力する符号化データの記録先となる記録媒体を選択する
   ことを特徴とする撮像装置。
2. 更に、前記複数の符号化手段が符号化する画像の画像領域を示す識別信号を、前記複数の符号化手段がそれぞれ出力する符号化データのヘッダに付加する領域識別信号付加手段を有することを特徴とする請求項１に記載の撮像装置。
3. 更に、
   前記複数の記録媒体に記録される符号化データをそれぞれ復号化する複数の復号化手段と、
   前記複数の復号化手段によってそれぞれ復号化された画像を１画面にして表示する表示手段と、
   前記複数の記録媒体に記録される符号化データのヘッダに付加された領域識別信号を解析するヘッダ解析手段と、
   前記記録媒体に記録されている符号化データのヘッダの領域識別信号に従い、前記複数の復号化手段によってそれぞれ復号化された画像を表示するための前記表示手段における表示位置を選択する第２の選択手段
   とを具備することを特徴とする請求項２に記載の撮像装置。

Images