JP5625543B2 - 符号化装置、電子機器、撮像装置、および撮像システム - Google Patents

Description

本発明は、動画データを符号化する符号化装置、電子機器、撮像装置、および撮像システムに関する。

撮像装置で撮像された動画データを符号化する撮像システムには、たとえば監視システムがある。
そして、動画データを符号化することにより、伝送する動画データのデータ量を減らしたり、記録する動画データのデータ量を減らしたりすることができる（特許文献１）。

特開２０００−２６１７１３号公報

しかしながら、たとえば撮像装置などにより撮像された動画データを符号化する場合、撮影環境によっては動画データを符号化したとしても、データ量を好適に削減することができない場合がある。

たとえば監視システムの撮像部には、暗闇を撮像する場合、各画像の露光時間を確保するために、撮像フレームレートを下げるものがある。
この場合、撮像部から出力される暗闇の動画データのフレーム間隔が広がる。
そして、符号化装置が固定フレームレートで符号化処理を実行している場合、同じ画像を複数回符号化したり、符号化されない画像が発生したりする。
同じ画像を複数回符号化することは、無駄な符号化データを発生させる。

また、暗闇を撮影した画像には、光量が不足するため、多くの量子化ノイズが含まれる。
この場合、各動画データの画像を符号化した場合の符号量は、増大する。
特に、他の画像を参照するインターフレームとして暗闇の画像を符号化した場合、各画像に含まれる量子化ノイズが異なるため、その量子化ノイズの画像間の差異により符号量が増大する。
そして、符号化装置は、たとえばＭＰＥＧ（Moving Picture Experts Group）１、２、４、またはＨ．２６４などの規格に準拠した符号化方式により画像を符号化する。
このため、符号化装置は、符号量が増大した符号化データを、規格に準拠したデータ量に収めるために、符号化データを通常の場合より多く減らすように符号量を調整する。
その結果、暗闇の画像の画質は、通常の画像の画質より劣化する。

このように符号化装置では、暗闇の画像を好適に符号化することが求められている。

本発明によれば、暗闇における画像全体を長い露光時間で撮像した画像データを新たな画像のフレームデータが入力される度に符号化する暗闇モードと、暗闇ではない画像全体を通常の明るさで撮像した画像データを固定フレームレートのタイミング毎に符号化する通常モードとで、符号化する符号化装置であって、
暗闇モードか通常モードかの設定に応じて、暗闇モードに設定されたときは、撮像した動画データを新たな画像のフレームデータが入力される度に符号化し、通常モードに設定されたときは撮像した動画データを固定フレームレートのタイミング毎に符号化する符号化実行部と、
前記符号化実行部における符号化のため、撮像フレームレートまたは１フレーム全体の動画データに応じて、前記暗闇モードか前記通常モードかの設定を行なう設定部と
を有し、
前記設定部は、
前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像より低い暗い画像の場合には、前記撮像した動画データを前記暗闇モードに設定し、
前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像と同じ場合には、前記撮像した動画データを前記通常モードに設定し、
前記符号化実行部は、
前記設定された暗闇モードまたは通常モードに基づいて前記撮像した動画データを符号化する、ことを特徴とする、符号化装置が提供される。

第１の観点では、動画データの画像が通常より暗い場合、設定部は、動画データの符号量が減るように設定する。
また、符号化実行部は、暗い画像の符号量を減らす設定の下で、動画データの暗い画像を符号化する。
よって、第１の観点では、暗い画像についての符号量を減らすことができる。

本発明によれば、上記符号化装置を有する電子機器が提供される。

本発明によれば、上記符号化装置を有する撮像装置が提供される。

本発明によれば、上記符号化装置を有する撮像システムが提供される。

本発明によれば、暗闇の画像を好適に符号化することができる。

図１は、本発明の第１実施形態に係る撮像装置の概略ブロック図である。 図２は、図１の撮像部の概略ブロック図である。 図３は、図１の撮像装置において符号化される動画データの一例の説明図である。 図４は、図１の符号化部が実現されるコンピュータ装置のブロック図である。 図５は、図１の符号化実行部のブロック図である。 図６は、図５の符号化実行部の単独の動作の説明図である。 図７は、図１のモード管理部が利用するモード判定テーブルの一例を示す図である。 図８は、図１の符号方法管理部が利用する符号化パラメータテーブルの一例を示す図である。 図９は、図１の撮像装置の全体の動作のシーケンスチャートを示す図である。 図１０は、図１のモード管理部の動作のフローチャートを示す図である。 図１１は、図１の符号方法管理部の動作のフローチャートを示す図である。 図１２は、図１の符号化実行部の動作のフローチャートを示す図である。 図１３は、図１の撮像装置により符号化される動画データの一例の説明図である。 図１４は、本発明の第２実施形態に係る撮像装置の概略ブロック図である。 図１５は、図１４の撮像装置の全体の動作のシーケンスチャートを示す図である。 図１６は、本発明の第３実施形態に係る撮像装置の概略ブロック図である。 図１７は、図１６の撮像装置の全体の動作のシーケンスチャートを示す図である。 図１８は、本発明の第４実施形態に係る監視システムの概略ブロック図である。

以下、本発明の実施の形態を図面に関連付けて説明する。
説明は以下の順に行う。
１．第１実施形態（入力された画像のフレームレートに基づいて、暗闇の画像であるか否かを判断する撮像装置１の例）
２．第２実施形態（動画データについての撮像情報に基づいて、暗闇の画像であるか否かを判断する撮像装置１の例）
３．第３実施形態（符号化したフレームデータ２１の増減に基づいて、暗闇の画像であるか否かを判断する撮像装置１の例）
４．第４実施形態（撮像システムの例）

＜１．第１実施形態＞
第１実施形態
［撮像装置１の構成］
図１は、本発明の第１実施形態に係る撮像装置１の概略ブロック図である。
図１の撮像装置１は、撮像部２と、撮像部２に接続された符号化部３とを有する。
符号化部３は、モード管理部４、符号方法管理部５、符号化実行部６を有する。

撮像部２は、画像を連続的に撮像し、撮像した複数のフレームデータ２１を含む動画データの信号を出力する。

モード管理部４は、撮像部２に接続される。
そして、モード管理部４は、撮像部２から入力された撮像データにおけるフレームデータ２１のフレームレートに基づいて、撮像された動画データが暗闇の動画であるか否かを判断する。
モード管理部４は、たとえばフレームレートが低くなると、撮像された動画データが暗闇の動画であると判断する。

また、モード管理部４は、判断したモードを、モード信号として出力する。
モード管理部４により判断される符号化部３の動作モードには、通常モードと、暗闇モードとがある。
暗闇モードは、暗闇を撮影したフレームデータ２１を符号化するモードである。
通常モードは、暗闇以外の通常の明るさで撮影したフレームデータ２１を符号化するモードである。

符号方法管理部５は、符号化実行部６、撮像部２、モード管理部４に接続される。
符号方法管理部５は、符号化実行部６に符号化方式を設定し、符号化実行部６にＭＰＥＧ１、２、４、またはＨ．２６４などの規格に準拠した符号化を実行させる。
このため、符号方法管理部５は、通常は、符号化実行部６に対して、たとえば固定フレームレート、ＧＯＰ長、各ピクチャの符号化方式（Ｉ，Ｐ，Ｂ）、量子化テーブル、量子化量などの量子化パラメータなどの基本的なパラメータを設定する。

また、符号方法管理部５は、符号化部３の動作モード毎の複数組の符号化パラメータを有する。
そして、符号方法管理部５は、モード管理部４から入力されたモード信号などに基づいて、１組の符号化パラメータを選択する。
符号方法管理部５は、選択した符号化パラメータの設定信号を出力する。

符号化実行部６は、撮像部２、符号方法管理部５に接続される。
そして、符号化実行部６は、入力された設定信号に基づいて、符号化方式を切り替える。
符号化実行部６は、切り替えた符号化方式で、撮像部２から入力される動画データを符号化する。

以上の動作により、図１の撮像装置１は、撮像部２から入力された撮像データにおけるフレームデータ２１のフレームレートが低くなると暗闇の動画が撮像されていると判断し、符号化パラメータなどを暗闇画像用のものに切り替えてフレームデータ２１を符号化する。符号化された動画データは、符号化実行部６から出力される。

図２は、図１の撮像部２の概略ブロック図である。
図２の撮像部２は、画素アレイ部１１、垂直走査部１２、カラムＡＤ（Analog to Digital）変換部１３、水平走査部１４、撮像制御部１５、クロック信号生成部１６を有する。
これらの回路は、たとえば半導体基板に、図２のレイアウトにより形成される。

画素アレイ部１１は、複数の画素回路を有する。
画素回路は、図示しない光電変換素子、転送トランジスタなどを有する。
複数の画素回路は、半導体基板の一面に二次元配列される。

垂直走査部１２は、複数の選択信号線により画素アレイ部１１に接続される。
選択信号線は、たとえば二次元配列における各列の複数の画素回路に接続される。
垂直走査部１２は、たとえば複数の選択信号線の１本を選択し、選択した選択信号線の電位を制御する。
これにより、二次元配列された複数の画素回路のうちの１列の画素回路が選択される。

カラムＡＤ変換部１３は、複数のＡＤ変換部を有する。
複数のＡＤ変換部は、複数の垂直信号線により画素アレイ部１１に接続される。
垂直信号線は、たとえば二次元配列における各行の複数の画素回路に接続される。
ＡＤ変換部は、選択された各列の画素回路の光電変換素子から読み出された信号を増幅して画素値へ変換する。

水平走査部１４は、カラムＡＤ変換部１３の複数のＡＤ変換部、水平出力信号線１７に接続される。
水平走査部１４は、カラムＡＤ変換部１３の複数のＡＤ変換部を順番に選択し、当該複数のＡＤ変換部により変換された複数の画素値の信号を、水平出力信号線１７へ出力する。

撮像制御部１５は、垂直走査部１２、水平走査部１４、クロック信号生成部１６などに接続される。
そして、撮像制御部１５は、クロック信号に同期して垂直走査部１２、水平走査部１４などの動作を制御する。
これにより、垂直走査部１２は、たとえば複数の画素回路を１列ずつ順番に選択する。
水平走査部１４は、各列の選択期間毎に１列分の画素回路の複数の画素値を水平出力信号線１７へ出力する。
この１回の読出し動作により、撮像部２から撮像された１枚のフレームデータ２１が出力される。
また、この読出し動作を繰り返すことにより、撮像部２は、複数のフレームデータ２１を順番に出力する。
この複数のフレームデータ２１により、撮像された動画データが構成される。

また、撮像制御部１５には、フレームデータ２１が入力される。
撮像制御部１５は、入力されるフレームデータ２１に基づいて、撮像環境を判断する。
撮像制御部１５は、たとえば各フレームデータ２１の平均輝度を演算したり、複数の画素値を積算したりする。
そして、撮像制御部１５は、たとえば平均輝度または積算値について判断し、撮影される画像の明るさが所定の明るさ範囲となるように、画像の撮像時間および撮像間隔を調整する。
たとえば、平均輝度または積算値が所定値以下である場合、撮像制御部１５は、画像の撮像間隔（フレームレート）を伸ばして各画像の撮像時間を確保し、その確保した撮像時間において適切な露光が得られるように撮像を制御する。

図３は、図１の撮像装置１において符号化される動画データの一例の説明図である。
図３の動画データは、複数の画像のフレームデータ２１を有する。
図３の動画データは、撮像部２から符号化部３へ出力される。
そして、図３の動画データは、左側のフレームから順番に、たとえば３枚のフレームデータ２１のグループ毎に符号化される。
この符号化処理の単位をＧＯＰ（Group Of Pictures）という。

また、図３の例では、各ＧＯＰにおいて左から１番目のフレームは、Ｉ（Intra）ピクチャとして符号化される。Ｉピクチャは、他のフレームを参照しないで符号化されるピクチャである。
２番目のフレームは、Ｂ（Bidirectional predictive）ピクチャとして符号化される。Ｂピクチャは、同一ＧＯＰ内のＩピクチャおよびＰピクチャを参照して符号化されるピクチャである。
３番目のフレームは、Ｐ（Predictive）ピクチャとして符号化される。Ｐピクチャは、同一ＧＯＰ内の先行して符号化されたＩピクチャを参照して符号化されるピクチャである。

図４は、図１の符号化部３が実現されるコンピュータ装置のブロック図である。
図４のコンピュータ装置１００は、ＣＰＵ（Central Processing Unit）１０１、メモリ（ＭＥＭ）１０２、入出力部（Ｉ／Ｏ）１０３、タイマ（ＴＭＲ）１０４を有する。
ＣＰＵ１０１、メモリ１０２、入出力部１０３、タイマ１０４は、システムバス１０５に接続される。
なお、図４のコンピュータ装置１００は、たとえば半導体集積回路として実現される。

メモリ１０２は、符号化プログラムを記憶する。
メモリ１０２に記憶されている符号化プログラムは、コンピュータ装置１００の出荷前にメモリ１０２に記憶されているものであっても、コンピュータ装置１００の出荷後にメモリ１０２に記憶されているものであってもよい。
コンピュータ装置１００の出荷後にメモリ１０２に記憶される符号化プログラムは、たとえばコンピュータ読取可能な記録媒体に記録されたものを読み込んだものであっても、インターネットなどの伝送媒体を通じてダウンロードしたものであってもよい。

ＣＰＵ１０１は、メモリ１０２に記憶されている符号化プログラムを読み込んで実行する。
これにより、ＣＰＵ１０１に、図１のモード管理部４、符号方法管理部５、符号化実行部６が実現される。
なお、図４において、符号化部３に入力される動画データは、たとえば入出力部１０３から入力され、メモリ１０２に保存される。
また、符号化実行部６により符号化された動画データは、メモリ１０２に保存された後、入出力部１０３から外部へ出力される。

図５は、図１の符号化実行部６のブロック図である。
図５の符号化実行部６は、ＭＰＥＧ４ ｖｉｓｕａｌ方式により動画データを符号化する。図５の符号化実行部６は、設定されたＧＯＰ毎に、複数のフレームデータ２１を符号化する。

図５の符号化実行部６は、第１フレームメモリ３１、動きベクトル検出器３２、減算器３３、ＤＣＴ（Discrete Cosine Transform）器３４、量子化器３５を有する。
また、図５の符号化実行部６は、ＶＬＣ（Variable Length Code）器３６、バッファ３７を有する。
また、図５の符号化実行部６は、逆量子化器３８、ＩＤＣＴ（Inverse DCT）器３９、第２フレームメモリ４０、動き補償器４１を有する。

第１フレームメモリ３１は、入力部１１から出力されたフレームデータ２１による画像を記憶する。
動きベクトル検出器３２は、第１フレームメモリ３１に接続される。
動きベクトル検出器３２は、第１フレームメモリ３１に記憶された新たな符号化対象の画像について、他のフレームデータ２１の画像と共通するオブジェクトについての動きベクトルを検出する。
この際、動きベクトル検出器３２は、設定された動きベクトルサーチの方向および参照範囲のフレームデータ２１に基づいて、動きベクトルを検出する。
動きベクトル検出器３２は、通常は、同一ＧＯＰ内の既に符号化された先行するフレームデータ２１に基づいて、動きベクトルを検出する。

減算器３３は、第１フレームメモリ３１、動き補償器４１に接続される。
減算器３３は、第１フレームメモリ３１に記憶される画像から、動き補償器４１により補償処理された第２フレームメモリ４０に記憶される画像を減算する。

ＤＣＴ器３４は、減算器３３に接続される。
ＤＣＴ器３４は、減算器３３により差分演算された画像について、所定のブロック毎に離散コサイン変換する。

量子化器３５は、ＤＣＴ器３４に接続される。
量子化器３５は、ＤＣＴ器３４のブロック毎に離散コサイン変換により得られた周波数帯毎のＤＣＴ係数を量子化する。
この際、量子化器３５は、設定された量子化量Ｑｐ、量子化テーブルを用いて、ＤＣＴ係数を量子化する。

ＶＬＣ器３６は、量子化器３５に接続される。
ＶＬＣ器３６は、量子化器３５により量子化されたＤＣＴ係数データを、可変長符号化する。
ＶＬＣ器３６は、符号化したデータを、バッファ３７へ出力する。
これにより、バッファ３７には、符号化されたフレームデータ２１が記憶される。
このバッファ３７から図２の出力部１６へ符号化されたフレームデータ２１が出力される。
また、ＶＬＣ器３６は、動きベクトル検出器３２に接続され、この動きベクトル検出器３２により検出された動きベクトルのデータをバッファ３７へ出力する。

また、ＤＣＴ器３４、量子化器３５、およびＶＬＣ器３６は、符号方法管理部５により符号化パラメータが設定される。
ＤＣＴ器３４、量子化器３５、およびＶＬＣ器３６は、これらに基づいてたとえばブロックサイズ、量子化の程度、符号化の仕方を調整する。
また、量子化器３５は、バッファ３７に記憶されている符号化済みのフレームデータ２１のデータ量を読み込む。
量子化器３５は、このデータ量に応じた独自の判断により、フレームデータ２１の符号化の要否などを判断する。

逆量子化器３８は、量子化器３５に接続される。
逆量子化器３８は、量子化器３５により量子化された後のＤＣＴ係数から、量子化済みのフレームデータ２１についてのＤＣＴ係数を生成する。

ＩＤＣＴ器３９は、逆量子化器３８に接続される。
ＩＤＣＴ器３９は、逆量子化器３８により生成されたＤＣＴ係数から、量子化済みのフレームデータ２１の画像を生成する。
第２フレームメモリ４０には、この量子化済みのフレームデータ２１の画像が記憶される。

動き補償器４１は、動きベクトル検出器３２、第２フレームメモリ４０に接続される。
動き補償器４１は、第２フレームメモリ４０に記憶されている画像を、動きベクトル検出器３２により検出された動きベクトルに基づいて移動させた画像を生成する。

図６は、図５の符号化実行部６の単独の動作の説明図である。
図６（Ａ）は、暗闇を撮像した場合の動画データを示す図である。
図６（Ｂ）は、符号化実行部６により符号化された符号化データを示す図である。
図６（Ｃ）は、図６（Ｂ）の各符号化データの符号化データ量の説明図である。
図６において、左から右へ時間が経過している。

図６の符号化処理を実行するために、符号方法管理部５は、符号化実行部６に対して、固定フレームレート、ＧＯＰ長、符号化するピクチャの種類（Ｉ，Ｐ，Ｂ）、量子化テーブル、量子化量などの、所定の規格に準拠した符号化パラメータを設定する。

暗闇を撮像している場合、撮像部２は、光量不足を補うために、フレームレートを制御して各画像の露光時間を確保する。
このため、図６（Ａ）に示すように、撮像部２から出力される複数のフレームデータ２１の間隔は、一定とならない。フレーム間隔は、不定期となる。
撮像フレーム間隔が変化する場合に、符号化実行部６が、その設定に基づいて一定の固定フレームレートで符号化処理を実行した場合、図６（Ｂ）に示すように、撮像された複数のフレームデータ２１は、符号化されない場合がある。
図６（Ａ）では、３枚目のフレームデータ２１が符号化されていない。
また、同じフレームデータ２１が複数回符号化される場合がある。
図６（Ａ）では、１枚目の撮像フレームデータ２１が２回符号化されている。
２番目の符号化されたフレームデータ２１は、１番目のフレームデータ２１として動きがないフレームであり、情報量を増やすものではなく、無駄である。

また、符号化実行部６が、図６（Ｂ）の１回目の符号化処理でイントラフレーム符号化を実行し、それ以降の符号化処理でインターフレーム符号化を実行したとする。
この場合、図６（Ｃ）に示すように、１枚目のイントラフレームの符号化データ量は、通常のフレームデータ量となる。
２枚目のインターフレームの符号化データ量は、１枚目と同一の画像を符号化しているため、通常より少ないフレームデータ量となる。
３枚目のインターフレームの符号化データ量は、１枚目のイントラフレームより多いフレームデータ量となる。
４枚目のインターフレームの符号化データ量は、１枚目のイントラフレームより多いフレームデータ量となる。

このように暗闇を撮像した場合、固定フレームレートによる２枚目のインターフレームは、１枚目のインターフレームと同一の画像であるため、無駄である。
また、３枚目および４枚目のインターフレームのデータ量は、他の画像を参照した符号化がなされているにもかかわらず、他の画像を参照しないイントラフレームのデータ量より多くなってしまう。
この原因としては、暗闇を撮像した各画像には、露光時間を確保することにより大量のノイズ成分が含まれ、かつ、そのノイズ成分が画像毎に異なるためであると考えられる。
このことは、インターフレーム数が多いほど、符号量が増大することを意味する。
また、図６（Ｂ）の１回目のイントラフレームとして符号化される画像についても、その画像に大量の撮影時の量子化ノイズが含まれている。このため、一般的に、同じ画像を通常の明るさの下で撮影した場合より、符号化データ量が多くなる。

そのため、暗闇のフレームデータ２１について、たとえばＭＰＥＧ１、２、４、またはＨ．２６４などの規格に準拠した符号化方式により符号化すると、通常より多い符号化データが発生する。
符号化実行部６は、この通常より多い符号化データを規格に準拠したデータ量に収めるために、符号化データを通常よりも多く減らすように符号量を調整する。
その結果、暗闇についての明瞭でない画像の画質は、通常の画像の画質より劣化する。
このような符号化の課題を解決するために、第１実施形態の符号化部３は、符号化実行部６の他に、符号方法管理部５、モード管理部４を有する。

図７は、図１のモード管理部４が利用するモード判定テーブルの一例を示す図である。
図７のモード判定テーブルは、たとえば図４のメモリ１０２に記憶される。
そして、モード管理部４は、撮像部２から入力されるフレームデータ２１のフレームレートに基づいて、符号化部３の動作モードを判断する。
モード管理部４は、フレームレートが所定の閾値より大きい場合、暗闇モードと判断する。
フレームレートが所定の閾値以下である場合、モード管理部４は、通常モードと判断する。
なお、このフレームレートの閾値には、たとえば撮像部２の通常動作でのフレームレートの値を使用すればよい。

［暗闇の画像用の符号化パラメータの説明］
図８は、図１の符号方法管理部５が利用する符号化パラメータテーブルの一例を示す図である。
図８の符号化パラメータテーブルは、たとえば図４のメモリ１０２に記憶される。
そして、符号方法管理部５は、モード管理部４から入力されるモード信号に基づいて、暗闇モードの値または通常モードの値を選択する。
符号方法管理部５は、選択したモードの値を符号化実行部６へ設定するための設定信号を出力する。

図８の符号化パラメータテーブルは、符号化実行部６がフレームデータ２１の符号化に用いる複数の符号化パラメータテーブルについて、通常モードの値と、暗闇モードの値とを有する。
具体的には例えば、量子化テーブルについての通常モードの値は「ＴＢＬ１」であり、暗闇モードの値は「ＴＢＬ２」である。
量子化テーブルは、画像の周波数成分毎の周波数成分のカット割合の値を有する。
なお、第２の量子化テーブルは、たとえば第２の量子化テーブルと比べて高周波部分のカット割合を大きくしたものであればよい。
これにより、符号化された暗闇の画像のフレームデータ２１に含まれる撮影時の量子化ノイズを減らすことができる。
また、画像に含まれる撮影時の量子化ノイズによる符号量の増大を抑制できる。

量子化量Ｑｐは、量子化パラメータの一種である。
そして、量子化量Ｑｐについての通常モードの値は「ｑ１」であり、暗闇モードの値は「ｑ２」である。
符号化実行部６は、設定された量子化量Ｑｐにしたがって、量子化処理を実行する。
なお、暗闇モードの量子化量ｑ２は、通常モードの量子化量ｑ１と比べて、高周波部分の値が十分に大きいものであればよい。
これにより、符号化された暗闇の画像のフレームデータ２１に含まれる撮影時の量子化ノイズを減らすことができる。
また、画像に含まれる撮影時の量子化ノイズによる符号量の増大を抑制できる。

インターフレームの動きベクトルサーチについての通常モードの値は「有」であり、暗闇モードの値は「無（固定）」である。
動きベクトルサーチが無（固定）となることにより、インターフレームの動きベクトルが固定化される。
符号化処理が簡略化され、符号化部３の消費電力が低減する。
なお、この固定化処理と、後述するイントラ固定などとを組み合わせることにより、固定化したことによる符号量の増大、画質劣化などを抑制することができる。

符号化反復の有無についての通常モードの値は「無」であり、暗闇モードの値は「有」である。
符号化処理を反復した場合、符号化処理に時間がかかる。このため、通常モードでは一定のフレームレートで符号化する必要があるため、符号化反復をしていない。
これに対して、暗闇モードとなる場合、撮像部２は、通常より低いフレームレートでフレームデータ２１を出力している。
この長いフレーム期間を有効に利用するように、暗闇モードでは、符号化処理を反復して実行する。
これにより、符号化実行部６は、長くなったフレーム期間を有効に利用して、最適な符号量および画質が得られるように符号化処理を実行できる。

イントラ／インタ切り替えの有無についての通常モードの値は「無」であり、暗闇モードの値は「有」である。
また、イントラ固定の有無についての通常モードの値は「無」であり、暗闇モードの値は「有」である。
暗闇を撮像した画像には、多くの撮影時の量子化ノイズが含まれる。
また、この撮影時の量子化ノイズは、前後して撮像された画像の間でも異なる。
このため、暗闇モードでは、イントラ／インタ切り替えを有りとする。また、イントラ固定を有りとする。
これにより、符号化実行部６は、暗闇撮影によりフレーム間隔（フレームレートの逆数）が広がると、インターフレーム符号化が指定されていたフレームデータ２１を、基本的な設定にかかわらず強制的に切り替えて、イントラフレームとして符号化する。
その結果、符号化実行部６は、前後して撮像された暗闇の画像の間で撮影時の量子化ノイズが大きく異なっていたとしても、その異なる撮影時の量子化ノイズに起因する符号量の増大を抑制することができる。

符号化フレームレートについての通常モードの値は「固定（＝撮像部２の通常の撮像フレームレート）」であり、暗闇モードの値は「非固定（可変）」である。
暗闇を撮像する場合、撮像部２は、撮像フレームレートを可変させる。
このため、固定フレームレートでの入力を前提として符号化処理を実行した場合、同じ画像のフレームデータ２１を複数回符号化したり、符号化されない画像のフレームデータ２１が発生することがある。
そして、暗闇モードでは、符号化フレームレートを非固定とする。
この場合、符号化実行部６は、新たなフレームデータ２１が入力される度に、そのフレームデータ２１の符号化処理を実行する。
これにより、１ＧＯＰ長に対応する撮像された動画データでの期間は、長くなる。
また、同一画像に関する不要な符号化を減らし、その分他のフレームに対する符号化割り当てを増やすことができ、トータルの画質を向上できる。
また、非固定フレームレートと固定ＧＯＰ長との組み合わせにより、ＧＯＰが対応する期間を延ばすことができる。

ユーザデータの有無についての通常モードの値は「任意（有または無）」であり、暗闇モードの値は「有」である。
符号化実行部６は、符号化したフレームデータ２１により構成される動画データに、暗闇の画像であることを示す情報を含むユーザデータを追加する。
これにより、復号の際にユーザデータを解釈することにより、復号後の画質改善用のフィルタ係数を、暗闇の画像についての撮影時の量子化ノイズを抑制するように変更可能となる。

設定の切替時のイントラ指定についての通常モードの値は「無」であり、暗闇モードの値は「有」である。
この場合、符号化実行部６は、符号化パラメータの設定を更新した直後の最初のフレームデータ２１を、ＧＯＰなどの基本的な設定に関係なく、イントラフレームとして符号化する。
これにより、最低限の符号量で符号化することができる。
また、この情報をユーザデータに含めることにより、復号部７３では、変化点の取得、シーンチェンジの取得が可能となる。

［撮像装置１の動作］
次に、図１の撮像装置１の動作を説明する。
図９は、図１の撮像装置１の全体の動作のシーケンスチャートを示す図である。
図９において、時間は上から下に経過している。

撮像装置１において、撮像部２は、撮像処理を開始し、動画データを符号化部３へ出力する（ステップＳＴ１）。
具体的には、撮像部２は、撮像環境に応じた露光時間で撮影した画像のフレームデータ２１を、その露光時間に対応した撮像フレームレートで繰り返し出力する。
符号化実行部６は、通常は、撮像部２の通常の撮像フレームレート毎に符号化処理を実行する。

モード管理部４は、撮像部２から新たなフレームデータ２１が入力されると、モード判定処理を実行する（ステップＳＴ２−１，ＳＴ２−２）。

図１０は、図１のモード管理部４の動作のフローチャートを示す図である。
モード判定処理において、モード管理部４は、モード決定処理を実行する（ステップＳＴ１１）。
モード決定処理において、モード管理部４は、撮像部２から入力された撮像データにおけるフレームデータ２１の撮像フレームレートに基づいて、撮像された動画データが暗闇の動画であるか否かを判断する。
モード管理部４は、図７に示すように、たとえば最新の入力フレームデータ２１についての撮像フレームレートが、通常の撮影時の撮像フレームレートより低くなると、撮像された動画データが暗闇の動画であると判断する。
モード管理部４は、たとえばタイマ１０４により計測された前回のフレームデータ２１の入力時刻と、今回入力されたフレームデータ２１の入力時刻との間の経過時間を演算する。
次に、モード管理部４は、演算した現時点での経過時間が、それまでの通常の撮像フレームレートにおける経過時間より長いか否かを判断する。
そして、演算した現時点での経過時間が従来の経過時間より長くなっている場合、モード管理部４は、撮像フレームレートが低くなったと判断する。
なお、モード管理部４は、メモリ１０２に記憶させた通常の撮像フレームレートと、タイマ１０４により計測された現在のフレーム期間とを比較して判断してもよい。

これに対して、最新の入力フレームデータ２１についての撮像フレームレートが、通常の撮像フレームレートに一致する場合、モード管理部４は、撮像された動画データが通常の動画であると判断する。

モード決定処理を実行した後、モード管理部４は、判断したモード情報を通知する（ステップＳＴ１２）。
モード管理部４は、判定したモードの値を有するモード信号を出力する。
このモード情報は、図９に示すように、モード管理部４から符号方法管理部５へ通知される。

モード情報が入力されると、符号方法管理部５は、符号化実行部６による符号方法を選択する（ステップＳＴ３−１，ＳＴ３−２）。

図１１は、図１の符号方法管理部５の動作のフローチャートを示す図である。
符号方法の選択処理において、符号方法管理部５は、撮像部２から入力された符号化対象のフレームデータ２１が暗闇の画像であるか否かを判断する（ステップＳＴ２１）。
符号方法管理部５は、モード信号の値に基づいて、これを判断する。

暗闇の画像である場合、符号方法管理部５は、暗闇の画像用の符号方法を選択する（ステップＳＴ２２）。
符号方法管理部５は、図８の左側の暗闇モードの符号化パラメータを選択する。

暗闇の画像でない場合、符号方法管理部５は、通常の符号方法を選択する（ステップＳＴ２３）。
符号方法管理部５は、図８の右側の通常モードの符号化パラメータを選択する。

符号化方法を選択した後、符号方法管理部５は、選択した符号方法を通知する（ステップＳＴ２４）。
符号方法管理部５は、選択した符号化パラメータの設定信号を出力する。
符号化パラメータの設定信号は、図９に示すように、符号化実行部６に入力される。

符号化パラメータの設定信号が入力されると、符号化実行部６は、入力されている最新の画像のフレームデータについての符号化処理を実行する（ステップＳＴ４−１，ＳＴ４−２）。

図１２は、図１の符号化実行部６の動作のフローチャートを示す図である。
符号化実行部６は、通常の撮像フレームレート（固定フレームレート）に相当する周期毎に、図１２の符号化処理を実行する。

通常の撮像フレームレート毎の符号化処理において、符号化実行部６は、まず、符号化方法の変更の要否を判断する（ステップＳＴ３１）。
符号化実行部６は、たとえば符号化パラメータの設定信号の内容が変更されると、符号化方法の変更が必要であると判断し、それ以外では不要と判断する。

符号化方法の変更が必要である場合、符号化実行部６は、図５の各部に、入力された設定信号に含まれる符号化パラメータを設定する（ステップＳＴ３２）。
これにより、符号化実行部６は、モード信号に基づいて符号方法管理部５により選択した符号化モードでフレームデータ２１を符号化可能な状態となる。
なお、符号化方法の変更が必要でない場合、符号化実行部６は、符号化パラメータを設定しない。符号化実行部６は、過去の符号化方法を継続する。

符号化パラメータを更新した後、または符号化方法の変更が必要でない場合、符号化実行部６は、最新の画像のフレームデータ２１についての符号化処理を実行する（ステップＳＴ３３）。
符号化実行部６は、たとえば新たに設定された符号化パラメータの下で、最新の画像のフレームデータ２１を符号化し、所定のデータ量に収まるように符号量を調整する。

以上の処理により、図９に示すように、撮像部２から出力された各フレームデータ２１は、符号化される。
符号化実行部６は、符号化した各フレームデータ２１を出力する。
これにより、撮像部２により撮像された動画データは、符号化される。

［通常の明るい画像の場合の符号化部３の動作］
そして、このような動画の撮像および符号化の動作において、符号化実行部６は、通常の明るい画像が撮像されている場合などには、符号方法管理部５により設定された規格に準拠した基本的な符号化パラメータの設定の下で、符号化処理を実行する。
符号化実行部６は、たとえば固定フレームレートのタイミング毎に符号化処理を実行する。
符号化実行部６は、各画像のフレームデータ２１を、ＧＯＰおよび符号化するピクチャの種類の指定にしたがって量子化し、符号化する。
このように規格に準拠した基本的な符号化パラメータの設定の下で、撮影された明るい画像を符号化することにより、動画の各画像のデータ量を減らすことができる。
なお、撮影された明るい画像にも、暗闇の画像と同様に、符号化によるノイズ成分が含まれている。しかしながら、明るい画像では、元々の情報量が多いため、暗闇の画像を撮影した場合のように符号化によるノイズ成分が復号後の画像において目立たない。

［暗闇の画像の場合の符号化部３の動作］
また、モード管理部４により暗闇の画像のフレームデータ２１が入力されたと判断されると、符号方法管理部５は、符号化実行部６に対して、図８の暗闇モード用の符号化パラメータを設定する。
そして、符号方法管理部５により符号化フレームレートとして「非固定（可変）」が設定されると、符号化実行部６は、撮像部２から新たな画像のフレームデータ２１が入力される度に、実際に符号化処理を実行する。
また、符号化モードの値として「ＴＢＬ２」が設定されると、符号化実行部６は、メモリ１０２に記憶されている暗闇モード用の第２の量子化テーブルを使用して、量子化処理を実行する。
量子化量「ｑ２」が設定されると、符号化実行部６は、設定された量子化量Ｑｐにしたがって、量子化処理を実行する。
インターフレームの動きベクトルサーチについて「無（固定）」が設定されると、符号化実行部６は、固定化された動きベクトルを用いて符号化処理を実行する。
符号化反復として「有」が設定されると、符号化実行部６は、同一の画像のフレームデータ２１に対する符号化処理を複数回実行する。
イントラ／インタ切り替えについて「有」が設定されると、符号化実行部６は、規格に準拠した基本的な設定においてインターフレームへの符号化が指定されている場合であっても、画像のフレームデータ２１をイントラフレームとして符号化する。
ユーザデータについて「有」が設定されると、符号化実行部６は、符号化したフレームデータ２１により構成される動画データに、暗闇の画像であることを示す情報を含むユーザデータを追加する。
設定の切替時のイントラ指定について「有」が設定されると、符号化実行部６は、規格に準拠した基本的な設定に関係なく、符号化パラメータの設定を更新した際の最初のフレームデータ２１を、イントラフレームとして符号化する。

［動画データの符号化の一例］
図１３は、図１の撮像装置１により符号化される動画データの一例の説明図である。
図１３（Ａ）は、撮像部２が符号化部３へ出力する複数のフレームデータ２１を示す図である。
図１３（Ｂ）は、符号化部３により符号化された複数のフレームデータ２１を示す図である。
図１３において、時間は、左から右へ経過している。

図１３（Ａ）に示すように、撮像部２は、タイミングＴ１１までは、通常の一定の撮像フレームレートＶで、複数のフレームデータ２１を出力している。
そして、タイミングＴ１１以降では、撮影環境が暗くなったため、撮像部２は、２倍の撮像フレームレートＶで、複数のフレームデータ２１を出力する。
また、タイミングＴ１２以降では、さらに撮影環境が暗くなったため、撮像部２は、３倍の撮像フレームレートＶで、複数のフレームデータ２１を出力する。
これにより、撮像部２は、各画像の露光時間を確保し、暗い環境下でも明るい画像を撮像することができる。

この場合、符号方法管理部５から符号化実行部６へ出力される符号化パラメータの設定信号の内容は、タイミングＴ１１、Ｔ１２において変更される。
たとえばタイミングＴ１１以前では、固定フレームレートで符号化処理を実行するが、タイミングＴ１１以降では、可変フレームレートで符号化処理を実行する。
このため、符号化実行部６は、図１３（Ｂ）に示すように、撮像フレームレートに応じて実際にフレームデータ２１を符号化する実行タイミングが切り替わる。
具体的には、タイミングＴ１１前の符号化処理は、ＧＯＰ長＝３の下で、１Ｖの期間毎にフレームデータ２１を符号化していたのに対して、タイミングＴ１１以降では、２Ｖの期間毎にフレームデータ２１を符号化するように切り替わる。
また、タイミングＴ１２以降では、３Ｖの期間毎にフレームデータ２１を符号化するように切り替わる。
このように符号化実行部６が新たなフレームデータ２１が入力された場合にのみ実際の符号化処理を実行することにより、ＧＯＰが対応する期間が延びることになる。

なお、符号化実行部６は、各ＧＯＰ内の最初のフレームデータ２１をＩフレームとして符号化し、２番目のフレームデータ２１をＢフレームとして符号化し、３番目のフレームデータ２１をＰフレームとして符号化する。
符号化パラメータの設定が変更された最初のフレームは、Ｉフレームとして符号化される。

以上のように、第１実施形態の符号化部３は、暗闇を撮像する際にフレームレートが変化したとしても、その変化に追従して撮像された複数のフレームデータ２１を適切に符号化することができる。
また、第１実施形態では、暗闇の画像のフレームデータ２１に、多くの撮影時の量子化ノイズが含まれていたとしても、量子化パラメータなどの符号化パラメータをそれに応じた適切なものへ変更し、符号量の増大を抑えることができる。暗闇の画像のフレームデータ２１を、イントラフレームとして符号化した場合でも、イントラフレームとしての符号化した場合でも、符号量の増大を抑えることができる。
その結果、第１実施形態において、暗闇についての明瞭でない画像の画質は、通常の符号化パラメータのまま符号化した場合と比べて、高画質に維持される。
また、第１実施形態では、通常の画像と暗闇の画像とで符号化方式を切り替えているので、画像の特徴、情報量などが異なるこれらの画像を、各々に適した符号化方式により好適に符号化することができる。

＜２．第２実施形態＞
［撮像装置１の構成］
図１４は、本発明の第２実施形態に係る撮像装置１の概略ブロック図である。
図１４の撮像装置１は、撮像部２と、撮像部２に接続された符号化部３とを有する。
符号化部３は、モード管理部４、符号方法管理部５、符号化実行部６を有する。
第２実施形態では、モード管理部４が、動画データについての撮像情報に基づいて、暗闇の画像であるか否かを判断する。
なお、第２実施形態の各部の符号には、発明内容を理解し易くするために、第１実施形態の対応する各部と同じ符号を用いる。

撮像部２は、画像を連続的に撮像し、撮像した複数のフレームデータ２１を含む動画データの信号を出力する。
また、撮像部２は、各画像のフレームデータ２１についての撮像情報の信号を出力する。
撮像情報は、撮像制御部１５により生成される。
撮像制御部１５は、各フレームデータ２１の平均輝度を演算したり、複数の画素値を積算したりする。
また、撮像制御部１５は、たとえば平均輝度または積算値と所定の暗闇の判定閾値とを比較する。
そして、演算した値が判定閾値以下である場合、撮像制御部１５は、対応するフレームデータ２１の画像が暗闇のものであることを示す撮像情報を生成する。
また、演算した値が判定閾値より大きい場合、撮像制御部１５は、対応するフレームデータ２１の画像が通常の明るさのものであることを示す撮像情報を生成する。

なお、撮像情報は、たとえば各フレームデータ２１の画像の輝度、各フレームデータ２１の画像を撮像した露光時間、および各フレームデータ２１の画像についての直前の画像との撮像の時間間隔の少なくとも１個を示す情報であればよい。
暗闇の画像では、輝度が低くなるため、撮像部２における各画像の露光時間が長くなり、その結果としてフレーム間隔も長くなる。

モード管理部４は、撮像部２に接続される。
そして、モード管理部４は、撮像部２から入力される撮像情報の信号に基づいて、入力される各フレームデータ２１の撮像環境を判断し、モード信号を出力する。
たとえば撮像情報の値が暗闇のものである場合、モード管理部４は、フレームデータ２１の撮像環境が暗いと判断する。

符号方法管理部５は、撮像部２、モード管理部４に接続される。
符号方法管理部５は、符号化部３の動作モード毎の複数組の符号化パラメータを有する。
そして、符号方法管理部５は、入力されたモード信号などに基づいて、１組の符号化パラメータを選択する。
符号方法管理部５は、選択した符号化パラメータの設定信号を出力する。

符号化実行部６は、撮像部２、符号方法管理部５に接続される。
そして、符号化実行部６は、入力された設定信号に基づいて、符号化方式を切り替える。
符号化実行部６は、切り替えた符号化方式で、撮像部２から入力される動画データを符号化する。

以上の動作により、図１４の撮像装置１は、撮像データとは別の撮像情報に基づいて暗闇の画像であるか否かを判断し、暗闇の画像である場合には符号化パラメータなどを暗闇画像用のものに切り替えてフレームデータ２１を符号化する。
符号化された動画データは、符号化実行部６から出力される。

［撮像装置１の動作］
図１５は、図１４の撮像装置１の全体の動作のシーケンスチャートを示す図である。
撮像装置１において、撮像部２は、撮像処理を開始する（ステップＳＴ２１）。
撮像部２は、撮像した画像のフレームデータ２１を符号化部３へ繰り返し出力する。
また、撮像部２は、生成した各フレームデータ２１についての撮像情報を生成して符号化部３へ繰り返し出力する。

符号化部３のモード管理部４は、撮像部２から新たなフレームデータ２１についての撮像情報が入力されると、符号化モードを判定する（ステップＳＴ２２）。
モード管理部４は、判定したモードの値を有するモード信号を符号方法管理部５へ出力する。

モード信号が入力されると、符号方法管理部５は、モード管理部４により判定された符号化モードに対応する符号方法を選択する（ステップＳＴ２３）。
符号方法管理部５は、選択した符号方法のパラメータの設定信号を符号化実行部６へ出力する。
符号方法のパラメータの設定信号が入力されると、符号化実行部６は、入力された設定信号に含まれる符号化パラメータを設定する。

その後、符号化実行部６は、新たに入力された最新の画像のフレームデータ２１についての符号化処理を実行する（ステップＳＴ２４）。
符号化実行部６は、たとえば新たに設定された符号化パラメータの下で、最新の画像のフレームデータ２１を符号化し、所定のデータ量に収まるように符号量を調整する。
符号化実行部６は、符号化した各フレームデータ２１を出力する。
これにより、撮像部２により撮像された動画データは、符号化される。

以上のように、第２実施形態では、モード管理部４は、撮像部２から通知された撮像環境を示す撮像情報に基づいて、撮像環境が暗いか否かを判断する。
よって、モード管理部４は、フレームデータ２１に基づいて自ら判断することなく、符号化モードを判定することができる。
モード管理部４の判定時間を短縮することができる。その分、符号化実行部６の符号化処理に時間をかけることができる。

＜３．第３実施形態＞
［撮像装置１の構成］
図１６は、本発明の第３実施形態に係る撮像装置１の概略ブロック図である。
図１６の撮像装置１は、撮像部２と、撮像部２に接続された符号化部３とを有する。
符号化部３は、モード管理部４、符号方法管理部５、符号化実行部６を有する。
第３実施形態では、モード管理部４は、仮に符号化したフレームデータ２１の増減に基づいて、暗闇の画像であるか否かを判断する。
なお、第３実施形態の各部の符号には、発明内容を理解し易くするために、第１実施形態の対応する各部と同じ符号を用いる。

撮像部２は、画像を連続的に撮像し、撮像した複数のフレームデータ２１を含む動画データの信号を出力する。

モード管理部４は、符号化実行部６に接続される。
そして、モード管理部４は、符号化実行部６により符号化されたフレームデータ２１に基づいて、入力されている各フレームデータ２１の撮像環境を判断し、モード信号を出力する。
たとえば一定の符号化パラメータの下で符号化した場合、一般的に、暗闇の画像のフレームデータ２１の符号量（ビット量）は、通常の画像のフレームデータ２１の符号量（ビット量）より多くなる傾向にある。
このため、モード管理部４は、所定の符号化パラメータの下で符号化されたフレームデータ２１の符号量が所定の符号量の閾値以上であるか否かを判断する。
そして、符号化されたフレームデータ２１の符号量が所定の閾値以上である場合、モード管理部４は、フレームデータ２１の撮像環境が暗いと判断する。
また、符号化されたフレームデータ２１の符号量が所定の閾値未満である場合、モード管理部４は、フレームデータ２１の撮像環境が通常の明るさであると判断する。

符号方法管理部５は、撮像部２、モード管理部４に接続される。
符号方法管理部５は、符号化部３の動作モード毎の複数組の符号化パラメータを有する。
そして、符号方法管理部５は、入力されたモード信号などに基づいて、１組の符号化パラメータを選択する。
符号方法管理部５は、選択した符号化パラメータの設定信号を出力する。

符号化実行部６は、撮像部２、符号方法管理部５に接続される。
そして、符号化実行部６は、入力された設定信号に基づいて、符号化方式を切り替える。
符号化実行部６は、切り替えた符号化方式で、撮像部２から入力される動画データを符号化する。

以上の動作により、図１６の撮像装置１は、符号化したフレームデータ２１のデータ量の増減に基づいて暗闇の画像であるか否かを判断し、暗闇の画像である場合には符号化パラメータなどを暗闇画像用のものに切り替えてフレームデータ２１を符号化する。
符号化された動画データは、符号化実行部６から出力される。

［撮像装置１の動作］
図１７は、図１６の撮像装置１の概略ブロック図である。
撮像装置１において、撮像部２は、撮像処理を開始する（ステップＳＴ３１）。
撮像部２は、撮像した画像のフレームデータ２１を符号化部３へ繰り返し出力する。
また、撮像部２は、生成した各フレームデータ２１についての撮像情報を生成して符号化部３へ繰り返し出力する。

撮像部２から新たな最新の画像のフレームデータ２１が入力されると、モード管理部４は、仮符号化指示の信号を符号化実行部６へ出力する（ステップＳＴ３１）。
符号化実行部６は、所定の符号化パラメータでの符号化処理を実行する。
符号化実行部６は、符号化したフレームデータ２１またはその符号量を示す信号を、モード管理部４へ出力する。

符号化部３のモード管理部４は、符号化実行部６に接続される。
モード管理部４は、符号化されたフレームデータ２１の符号量に基づいて、符号化モードを判定する（ステップＳＴ３３）。
モード管理部４は、判定したモードの値を有するモード信号を符号方法管理部５へ出力する。

モード信号が入力されると、符号方法管理部５は、モード管理部４により判定された符号化モードに対応する符号方法を選択する（ステップＳＴ３４）。
符号方法管理部５は、選択した符号方法のパラメータの設定信号を符号化実行部６へ出力する。
符号方法のパラメータの設定信号が入力されると、符号化実行部６は、入力された設定信号に含まれる符号化パラメータを設定する。

その後、符号化実行部６は、更新された符号化パラメータの下で、先に符号化処理したフレームデータ２１についての符号化処理を実行する（ステップＳＴ３５）。
符号化実行部６は、たとえば新たに設定された符号化パラメータの下で、最新の画像のフレームデータ２１を符号化し、所定のデータ量に収まるように符号量を調整する。
符号化実行部６は、符号化した各フレームデータ２１を出力する。
なお、符号化実行部６は、この本来の符号化処理において、最適な符号量または最適な画質が得られるまで、符号化処理を複数回繰り返す。
これにより、撮像部２により撮像された動画データは、符号化される。

以上のように、第３実施形態では、モード管理部４は、符号化実行部６により仮に符号化されたフレームデータ２１の符号量に基づいて、撮像環境が暗いか否かを判断する。
ここで、撮像部２は、暗闇の画像を撮像する場合、通常より低いフレームレートで撮像したフレームデータ２１出力している。
よって、符号化部３は、符号化実行部６が同一のフレームデータ２１について複数回の符号化処理を繰り返したとしても、次のフレームデータ２１が入力する前に各フレームデータ２１の符号化処理を完了することができる。
符号化部３は、撮像部２により撮像されたすべてのフレームデータ２１を符号化することが可能である。
すなわち、第３実施形態では、撮像情報が得られない場合であっても、モード管理部４にて、撮像データの符号化を事前に仮実施し、符号化されたフレームデータ２１の発生ビット量（符号量）の増減から暗闇撮像か否かを判断する。これにより、暗闇撮像のフレームデータ２１を適切に符号化することができる。

＜４．第４実施形態＞
［監視システム５１の構成および動作］
図１８は、本発明の第４実施形態に係る監視システム５１の概略ブロック図である。
図１８の監視システム５１は、第１実施形態と同様の方式により暗闇のフレームデータ２１を符号化して伝送する。
図１８の監視システム５１は、第１撮像装置５２、第２撮像装置５３、監視装置５４、およびこれらが接続されたネットワーク５５を有する。

第１撮像装置５２は、撮像部２、符号化部３、第１記憶部６１、ネットワーク５５に接続された第１通信部６２を有する。
なお、第２撮像装置５３の構成は、第１撮像装置５２と同様であり、説明を省略する。

撮像部２は、画像を連続的に撮像し、撮像した複数のフレームデータ２１を含む動画データの信号を出力する。

符号化部３は、符号化実行部６、符号方法管理部５、モード管理部４を有する。
モード管理部４は、撮像フレームレートに基づいて、符号化モードを判断する。
符号方法管理部５は、モード管理部４により判断された符号化モードに対応する符号化パラメータを符号化実行部６に設定する。
符号化実行部６は、設定された符号化パラメータの下で、撮像部２により撮像された各フレームデータ２１を符号化する。

第１記憶部６１は、符号化部３に接続される。
第１記憶部６１は、符号化部３により符号化されたフレームデータ２１を蓄積記憶する。
これにより、第１記憶部６１には、複数の符号化されたフレームデータ２１による動画データが記憶される。

第１通信部６２は、符号化部３、第１記憶部６１に接続される。
第１通信部６２は、符号化部３により符号化されたフレームデータ２１をネットワーク５５へ出力する。
これにより、リアルタイムの画像のフレームデータ２１は、第１撮像装置５２から監視装置５４へ送信される。
また、第１通信部６２は、第１記憶部６１に蓄積保存されている符号化されたフレームデータ２１をネットワーク５５へ出力する。
これにより、過去の画像のフレームデータ２１が、第１撮像装置５２から監視装置５４へ送信される。

監視装置５４は、ネットワーク５５に接続された第２通信部７１、第２記憶部７２、復号部７３、モニタ７４を有する。

第２通信部７１は、ネットワーク５５から、第１撮像装置５２または第２撮像装置５３から送信された符号化されたフレームデータ２１を受信する。
第２記憶部７２は、第２通信部７１に接続される。
第２記憶部７２は、第２通信部７１により受信された符号化されたフレームデータ２１を記憶する。
これにより、第２記憶部７２には、第１撮像装置５２または第２撮像装置５３により撮像された動画のフレームデータ２１が蓄積保存される。

復号部７３は、第２通信部７１および第２記憶部７２に接続される。
復号部７３は、第２通信部７１により受信された符号化されたフレームデータ２１を復号する。
また、復号部７３は、第２記憶部７２に蓄積された符号化されたフレームデータ２１を復号する。

モニタ７４は、復号部７３に接続される。
モニタ７４は、復号部７３により復号されたフレームデータ２１に基づいて画像を表示する。
これにより、モニタ７４には、第１撮像装置５２により撮像された監視映像または第２撮像装置５３により撮像された監視映像が、リアルタイムまたは時間をさかのぼって表示される。

以上のように、第４実施形態では、監視装置５４のモニタ７４に、第１撮像装置５２または第２撮像装置５３により撮像した監視映像を表示することができる。
しかも、第１撮像装置５２および第２撮像装置５３の符号化部３は、第１実施形態の撮像装置１と同様に、暗闇の画像を、それに対応した好適な符号化パラメータに基づいてフレームデータ２１を符号化する。
よって、監視装置５４のモニタ７４には、通常の符号化パラメータに基づいて符号化されたフレームデータ２１と比べて、高画質の画像が表示される。

以上の各実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
また、上述した各実施形態は、適宜組み合わせたり、入れ替えたりすることができる。

たとえば上記第２実施形態では、撮像部２は、複数のフレームデータ２１で構成される動画データとは別に、撮像情報の信号を符号化部３へ送信している。
この他にも例えば、撮像部２は、動画データに撮像情報を埋め込んで、符号化部３へ送信してもよい。
この場合、モード管理部４は、動画データに埋め込まれた撮像情報に基づいて、各フレームデータ２１の撮像環境が暗いか否かを判断すればよい。

上記実施形態では、暗闇の画像を符号化する場合、動きベクトルを固定化している。
この他にもたとえば、暗闇モードにおいても、動きベクトルサーチを実行するようにしてもよい。

この場合、第３実施形態のモード管理部４は、符号量にかえて、フレームデータ２１がインターフレームとして符号化されたときの動きベクトルに基づいて、暗闇の画像であるか否かを判断してもよい。
暗闇の画像では、通常画像と比べて、動きベクトルの方向または大きさがばらつきやすい傾向にある。
このため、動きベクトルの方向または大きさが所定値以上の分布でばらつく場合、モード管理部４は、暗闇の画像であると判断することができる。
これにより、たとえば符号化されたフレームデータ３１がインターフレーム（別フレームを参照して符号化されるフレーム）の場合には、動きベクトルのバラツキにより暗闇撮像か否かを判断することができる。暗闇画像では、通常の明るさの画像に比べて、画像ノイズにより動きベクトルがバラツキやすい傾向にある。

また、暗闇モードでは、撮像フレームレートが通常より低くなっている。フレーム間隔が開いている。
このため、動きベクトルサーチの方向を通常の一方向から全方向に切り替えてもよい。このように暗闇画像ではフレーム間隔が通常より開いている。このため、モード管理部４が、暗闇撮像の符号化処理において、インターフレームの動きベクトルサーチを全方向サーチに切り替える方式を採用したとしても、所望の各フレームをフレームレートの期間において符号化処理を終えることができる。
また、動きベクトルを参照する範囲を通常のＧＯＰ内から、既に符号化済みのすべてのフレームデータ２１の範囲に切り替えてもよい。このように暗闇画像ではフレーム間隔が通常より開いている。このため、モード管理部４が、暗闇撮像についての参照ブロックの選定を、保存している参照フレーム中の全ブロックから選定可能に切り替える方式を採用したとしても、所望の各フレームをフレームレートの期間において符号化処理を終えることができる。

上記実施形態では、符号方法管理部５は、規格に準拠したＧＯＰなどの基本的なパラメータを設定するとともに、画像が暗い場合には図８のすべてのパラメータを変更している。
この他にも例えば、符号方法管理部５は、画像が暗い場合に、図８のパラメータのうちの少なくとも１つのパラメータを変更してもよい。

上記実施形態では、符号化部３は、暗闇の画像のフレームデータ２１を符号化する場合と、通常の明るさの画像のフレームデータ２１を符号化する場合とで、符号化方式を切り替えている。
この他にも例えば、符号化部３は、暗闇の画像のフレームデータ２１を符号化する場合を含む３種類以上の場合分けにより、符号化方式を切り替えてもよい。

上記第１実施形態から第３実施形態は、撮像装置１の例である。
撮像装置１には、たとえばビデオカメラ、ＤＳＣ（Digital Still Camera）、放送局用カメラ、監視カメラ、ウェブカメラなどがある。
なお、これらの実施形態の符号化部３および撮像部２は、撮像装置１の他に、携帯電話機、ゲーム機器、携帯電子ブック、ナビゲーション装置、コンピュータ装置、再生装置などの電子機器に用いることができる。
また、符号化部３と、撮像部２とは、別々の電子機器に用いられていてもよい。この場合において、撮像部２から符号化部３への動画データなどの伝送には、ケーブルを用いた有線通信、無線通信を利用できる。

上記第４実施形態は、第１実施形態の撮像装置１を監視システム５１に使用した例である。
この他にも例えば、第２実施形態の撮像装置１または第３実施形態の撮像装置１を、第４実施形態の監視システム５１に使用してもよい。
監視システム５１において、撮像装置１と監視装置５４とは、無線通信により動画データを送受してもよい。
これらの撮像装置１および監視装置５４は、監視システム５１の他にも、放送システム、ホームネットワークシステムなどの撮像システムにも適用可能である。

１…撮像装置（電子機器）、２…撮像部、３…符号化部（符号化装置）、４…モード判定部（判断部）、５…符号方法管理部（設定部）、６…符号化実行部、５１…監視システム（撮像システム）、５２…第１撮像装置（撮像装置）、５３…第２撮像装置（撮像装置）、５４…監視装置（表示装置）、６２…第１通信部、７１…第２通信部、７３…復号部、７４… モニタ、ＴＢＬ１…第１量子化テーブル、ＴＢＬ２…第２量子化テーブル、ｑ１…第１量子化量、ｑ２…第２量子化量

Claims (19)

1. 暗闇における画像全体を長い露光時間で撮像した画像データを新たな画像のフレームデータが入力される度に符号化する暗闇モードと、暗闇ではない画像全体を通常の明るさで撮像した画像データを固定フレームレートのタイミング毎に符号化する通常モードとで、符号化する符号化装置であって、
   暗闇モードか通常モードかの設定に応じて、暗闇モードに設定されたときは、撮像した動画データを新たな画像のフレームデータが入力される度に符号化し、通常モードに設定されたときは撮像した動画データを固定フレームレートのタイミング毎に符号化する符号化実行部と、
   前記符号化実行部における符号化のため、撮像フレームレートまたは１フレーム全体の動画データに応じて、前記暗闇モードか前記通常モードかの設定を行なう設定部と
   を有し、
   前記設定部は、
   前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像より低い暗い画像の場合には、前記撮像した動画データを前記暗闇モードに設定し、
   前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像と同じ場合には、前記撮像した動画データを前記通常モードに設定し、
   前記符号化実行部は、
   前記設定された暗闇モードまたは通常モードに基づいて前記撮像した動画データを符号化する、
   ことを特徴とする、符号化装置。
2. 前記設定部は、
   前記通常モードについて、前記符号化実行部に対して、前記撮像した動画データについての画像の符号化を実行する間隔を規定する符号化フレームレートの固定を設定し、
   前記暗闇モードについて、前記符号化実行部に対して、前記符号化フレームレートの非固定を設定するように、符号化フレームレートの設定を変更し、
   前記符号化実行部は、
   前記符号化フレームレートが固定されている場合には、前記撮像した動画データについての画像の入力タイミングに関係なく一定の符号化フレームレートの期間毎に前記撮像した画像データの符号化処理を実行し、
   前記符号化フレームレートが非固定にされている場合には、前記撮像した動画データについての画像の入力タイミング毎に画像データの符号化処理を実行する、
   請求項１記載の符号化装置。
3. 前記設定部は、
   前記暗闇モードにおいて、前記符号化実行部に対して、同じ撮像された画像データについての符号化処理の反復を設定し、
   前記符号化実行部は、
   前記通常モードにおいて、各符号化処理において前記撮像した動画データの画像データの符号化処理を１回ずつ実行し、
   前記符号化処理の反復が設定された場合には、各符号化処理において前記動画データの画像についての符号化処理を複数回実行する、
   請求項２記載の符号化装置。
4. 前記設定部は、
   前記通常モードおいて、前記符号化実行部に対して、複数回の符号化処理において、他の画像を参照するインターフレームへの符号化処理と、他の画像を参照しないイントラフレームへの符号化処理とを実行するように、符号化処理方法を設定し、
   前記暗闇モードにおいて、前記符号化実行部に対して、前記イントラフレームへの符号化処理のみを実行するように、符号化処理方法を設定し、
   前記符号化実行部は、
   前記イントラフレームへの符号化処理のみの実行が設定された場合には、各符号化処理において、前記イントラフレームに符号化する、
   請求項２または３記載の符号化装置。
5. 前記符号化実行部は、
   前記設定部によるモードの設定が、前記通常モードから前記暗闇モードに変更された場合、当該モード変更直後の最初の画像を、それまでの符号化状況と関係なく、他の画像を参照しないイントラフレームに符号化する、
   請求項２から４のいずれか一項記載の符号化装置。
6. 前記設定部は、
   前記通常モードにおいて、前記符号化実行部に対して、画像の周波数成分毎のカット割合を規定する第１量子化テーブルを設定し、
   前記暗闇モードにおいて、前記符号化実行部に対して、前記第１量子化テーブルより高周波成分のカット割合を大きくした第２量子化テーブルを設定し、
   前記符号化実行部は、
   前記設定された前記第１量子化テーブルまたは前記第２量子化テーブルを用いて前記動画データの画像を符号化する、
   請求項２から５のいずれか一項記載の符号化装置。
7. 前記設定部は、
   前記通常モードにおいて、前記符号化実行部に対して、第１量子化量を設定し、
   前記暗闇モードにおいて、前記符号化実行部に対して、前記第１量子化量より高周波部分の値が大きい第２量子化量を設定し、
   前記符号化実行部は、
   前記設定された前記第１量子化量または前記第２量子化量を用いて前記動画データの画像を符号化する、
   請求項２から６のいずれか一項記載の符号化装置。
8. 前記設定部は、
   前記通常モードにおいて、前記符号化実行部に対して、他の画像を参照するインターフレームとして符号化される画像についての動きベクトルサーチの実行を設定し、
   前記暗闇モードにおいて、前記符号化実行部に対して、前記動きベクトルサーチを無効に設定し、
   前記符号化実行部は、
   前記動きベクトルサーチが無効である場合には、動きベクトルを固定化して符号化処理を実行する、
   請求項２から７のいずれか一項記載の符号化装置。
9. 前記設定部は、
   前記暗闇モードにおいて、前記符号化実行部に対して設定するパラメータ、すなわち、
   符号化フレームレートの固定／符号化フレームレートの非固定、
   量子化テーブルの種類、
   量子化パラメータの値、
   インターフレームについての動きベクトルサーチの有無、
   符号化処理の反復の有無、
   イントラフレームとインターフレームとの強制的な切替の有無、
   イントラフレームへの固定の有無、
   設定切替時のイントラフレーム指定の有無、
   動きベクトルサーチのサーチ方向、
   動きベクトルサーチの参照範囲の設定のうちの、少なくとも１つのパラメータの設定を、前記通常モードにおけるパラメータと異ならせる、
   請求項１記載の符号化装置。
10. 前記符号化装置は、
    前記動画データの画像が通常より暗いか否かを判断する判断部を有し、
    前記設定部は、
    暗い画像の符号化に用いる暗闇用の設定データ、通常の明るさの画像の符号化に用いる通常用の設定データを有し、
    前記判断部の判断結果に基づいて、前記暗闇用の設定データおよび前記通常用の設定データのうちの１個の設定データを選択し、選択した設定データを前記符号化実行部に設定する
    請求項１から９のいずれか一項記載の符号化装置。
11. 前記判断部は、
    前記符号化実行部に入力される前記動画データが入力され、
    前記動画データの各画像について、画像が通常より暗いか否かを判断する
    請求項１０記載の符号化装置。
12. 前記判断部は、
    前記動画データの撮像フレーム間隔に基づいて、各画像が通常より暗いか否かを判断する
    請求項１１記載の符号化装置。
13. 前記判断部は、
    前記動画データの各画像についての撮像情報が入力され、前記撮像情報に基づいて各画像が通常より暗いか否かを判断する
    請求項１０記載の符号化装置。
14. 前記撮像情報は、
    前記動画データにおける各画像の輝度、各画像を撮像した露光時間、および各画像についての直前の画像との撮像の時間間隔の少なくとも１個を示す情報である
    請求項１３記載の符号化装置。
15. 前記判断部は、
    前記符号化実行部に、前記動画データの新たな画像が入力されると、前記符号化実行部に、所定の設定の下での符号化処理の実行を指示し、
    前記所定の設定の下での符号化処理の実行により得られる符号化結果に関する情報に基づいて、各画像が通常より暗いか否かを判断する
    請求項１０記載の符号化装置。
16. 暗闇における画像全体を長い露光時間で撮像した画像データを新たな画像のフレームデータが入力される度に符号化する暗闇モードと、暗闇ではない画像全体を通常の明るさで撮像した画像データを固定フレームレートのタイミング毎に符号化する通常モードとで、符号化する符号化装置であって、モード設定に応じて動画データを符号化する符号化実行部と、前記符号化実行部における符号化のため、撮像フレームレートまたは１フレーム全体の動画データに応じて、前記暗闇モードか前記通常モードかの設定を前記符号化実行部に行なう設定部とを有する、符号化装置を具備する、電子機器であって、
    前記符号化実行部は、暗闇モードか通常モードかの設定に応じて、暗闇モードに設定されたときは、撮像した動画データを新たな画像のフレームデータが入力される度に符号化し、通常モードに設定されたときは撮像した動画データを固定フレームレートのタイミング毎に符号化し、
    前記設定部は、
    前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像より低い暗い画像の場合には、前記撮像した動画データを前記暗闇モードに設定し、
    前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像と同じ場合には、前記撮像した動画データを前記通常モードに設定し、
    前記符号化実行部は、
    前記設定された暗闇モードまたは通常モードに基づいて前記撮像した動画データを符号化する、
    ことを特徴とする、
    電子機器。
17. 撮像した動画データを含む信号を出力する撮像部と、
    前記撮像部から前記信号が入力される符号化部と
    を有する撮像装置であって、
    前記符号化部は、暗闇における画像全体を長い露光時間で撮像した画像データを新たな画像のフレームデータが入力される度に符号化する暗闇モードと、暗闇ではない画像全体を通常の明るさで撮像した画像データを固定フレームレートのタイミング毎に符号化する通常モードとで符号化する符号化部であって、
    暗闇モードか通常モードかの設定に応じて、暗闇モードに設定されたときは、撮像した動画データを新たな画像のフレームデータが入力される度に符号化し、通常モードに設定されたときは撮像した動画データを固定フレームレートのタイミング毎に符号化する符号化実行部と、
    前記符号化実行部における符号化のため、撮像フレームレートまたは１フレーム全体の動画データに応じて、前記暗闇モードか前記通常モードかの設定を行なう設定部と
    を有し、
    前記設定部は、
    前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像より低い暗い画像の場合には、前記撮像した動画データを前記暗闇モードに設定し、
    前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像と同じ場合には、前記撮像した動画データを前記通常モードに設定し、
    前記符号化実行部は、
    前記設定された暗闇モードまたは通常モードに基づいて前記撮像した動画データを符号化する、
    ことを特徴とする、撮像装置。
18. 前記撮像部は、
    撮影環境が暗い場合、前記動画データの撮影フレームレートを下げる、
    請求項１７記載の撮像装置。
19. 撮像部、符号化部および第１通信部を有し、前記撮像部により撮像した動画データを前記符号化部で符号化して前記第１通信部から送信する撮像装置と、
    第２通信部、復号部およびモニタを有し、前記第１通信部から送信された符号化された動画データを前記第２通信部により受信して前記復号部により復号し、復号した動画データを前記モニタに表示する表示装置と
    を有する、撮像システムであって、
    前記符号化部は、暗闇における画像全体を長い露光時間で撮像した画像データを新たな画像のフレームデータが入力される度に符号化する暗闇モードと、暗闇ではない画像全体を通常の明るさで撮像した画像データを固定フレームレートのタイミング毎に符号化する通常モードとで、符号化する符号化実行部と、
    前記符号化実行部における符号化のため、撮像フレームレートまたは１フレーム全体の動画データに応じて、前記暗闇モードか前記通常モードかの設定を行なう設定部と
    を有し、
    前記設定部は、
    前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像より低い暗い画像の場合には、前記撮像した動画データを前記暗闇モードに設定し、
    前記撮像した１フレーム全体の動画データの画像が、通常の明るさで撮像した画像と同じ場合には、前記撮像した動画データを前記通常モードに設定し、
    前記符号化実行部は、
    前記設定された暗闇モードまたは通常モードに基づいて前記撮像した動画データを符号化する、
    ことを特徴とする、撮像システム。

Images