JP7009697B2 - 装置、撮像装置、移動体、プログラム及び方法 - Google Patents

Description

本発明は、装置、撮像装置、移動体、プログラム及び方法に関する。

非特許文献１には、ＲＡＷ画像の圧縮技術について記載されている。
［先行技術文献］
［非特許文献］
［非特許文献１］ "ＲＡＷ画像はどのように圧縮されているか"，［ｏｎｌｉｎｅ］，平成２４年７月２１日，特許学会，［令和２年６月１７日検索］，インターネット ＜ＵＲＬ：ｈｔｔｐ：／／ｃｙｇｘ．ｍｙｄｎｓ．ｊｐ／ｂｌｏｇ／？ａｒｔｉ＝４３１＞

本発明の第１の形態に係る装置は、画素毎に１つの色成分を持つ画素情報を含む画像データを取得するように構成される回路を備える。回路は、画素情報に基づいて、第１の色成分と第２の色成分との間の相関を表す第１の相関情報を算出するように構成される。回路は、第１の相関情報に基づいて、第２の色成分の情報を圧縮するように構成される。

回路は、第１の色成分の情報及び第１の相関情報に基づいて、第２の色成分の予測値を算出するように構成されてよい。第１の色成分と第２の色成分の予測値との間の差分をとることによって、第２の色成分の情報を圧縮するように構成されてよい。

回路は、第２の色成分を有する複数の第２の画素のそれぞれについて、複数の第２の画素のそれぞれの周辺に位置する複数の第１の画素の第１の色成分を用いて、複数の第２の画素のそれぞれにおける第１の色成分の予測値を算出するように構成されてよい。回路は、複数の第２の画素のそれぞれについて算出した第２の色成分と第１の色成分の予測値とを用いて、第１の相関情報を算出するように構成されてよい。

回路は、複数の第２の画素のそれぞれについて算出した第２の色成分と第１の色成分の予測値とを用いて、第１の色成分の予測値を独立変数とし、第２の色成分を従属変数として回帰分析を行うことにより、相関を表す関数を算出するように構成されてよい。回路は、複数の第２の画素のそれぞれについて、第１の色成分の情報及び関数に基づいて、第２の色成分の予測値を算出するように構成されてよい。

回路は、第１の色成分の画像について隣接画素との差分をとることによって、第１の色成分の情報を圧縮するように構成されてよい。

画素情報は、第１の色成分、第２の色成分、及び第３の色成分の情報を含んでよい。回路は、第１の色成分と第３の色成分との間の相関を表す第２の相関情報を算出するように構成されてよい。回路は、第２の相関情報に基づいて、第３の色成分の情報を圧縮するように構成されてよい。

画素情報は、画素配置において予め定められた画素パターンにて配置された第１の画素群の色成分の情報と、画素配置において予め定められた画素パターンにて第１の画素群とは位相が異なるように配置された第２の画素群の色成分の情報と、画素配置において予め定められた画素パターンにて第１の画素群及び第２の画素群のいずれとも位相が異なるように配置された第３の画素群の色成分の情報と、画素配置において予め定められた画素パターンにて第１の画素群の色成分の情報と、第２の画素群及び第３の画素群のいずれとも位相が異なるように配置された第４の画素群の色成分の情報とを有してよい。第１の色成分は、第１の画素群の色成分であってよい。第２の色成分は、第２の画素群の色成分であってよい。第３の色成分は、第３の画素群の色成分であってよい。第４の画素群の色成分は、第１の色成分の色と同じ色の色成分であってよい。回路は、画素情報に基づいて、第１の色成分と、第４の画素群に属する複数の画素の色成分との間の相関を表す第３の相関情報を算出するように構成されてよい。回路は、第１の色成分の情報及び第３の相関情報に基づいて、第４の画素群に属する複数の画素のそれぞれの色成分の予測値を算出するように構成されてよい。回路は、第４の画素群に属する複数の画素のそれぞれの色成分と、第４の画素群に属する複数の画素のそれぞれの色成分の予測値との間の差分をとることによって、第４の画素群に属する複数の画素の色成分の情報を圧縮するように構成されてよい。

回路は、第１の色成分と第２の色成分との間の相関の強さが予め定められた値より低い場合に、第２の色成分の画像について隣接画素との差分をとることによって、第２の色成分の情報を圧縮するように構成されてよい。

回路は、第１の色成分と第２の色成分の予測値との間の差分をとることによって得られた差分値について、隣接画素との差分をとることによって、第２の色成分の情報を圧縮するように構成されてよい。

回路は、動画を構成する複数の動画構成画像を取得するように構成されてよい。回路は、複数の動画構成画像のうちの第１の動画構成画像から第１の相関情報を算出するように構成されてよい。回路は、第１の動画構成画像から算出した第１の相関情報に基づいて、複数の動画構成画像のうち第１の動画構成画像より後の第２の動画構成画像の第２の色成分の情報を圧縮するように構成されてよい。

回路は、第１の動画構成画像と第２の動画構成画像との間でシーンが変化したか否かを判断するように構成されてよい。回路は、第１の動画構成画像と第２の動画構成画像との間でシーンが変化していないと判断した場合に、第１の動画構成画像から算出した第１の相関情報に基づいて、第２の動画構成画像の第２の色成分の情報を圧縮するように構成されてよい。回路は、第１の動画構成画像と第２の動画構成画像との間でシーンが変化したと判断した場合に、第２の動画構成画像から第１の相関情報を算出し、第２の動画構成画像から算出した第１の相関情報に基づいて、複数の動画構成画像のうち第２の動画構成画像より後の第３の動画構成画像の第２の色成分の情報を圧縮するように構成されてよい。

本発明の第２の態様に係る撮像装置は、上記の装置と、上記の画像データを生成するイメージセンサとを備える。

本発明の第３の態様に係る移動体は、上記の撮像装置を備えて移動する。

移動体は、無人航空機であってよい。

本発明の第４の態様に係るプログラムは、コンピュータに、画素毎に１つの色成分を持つ画素情報を含む画像データを取得させるように構成されてよい。プログラムは、コンピュータに、画素情報に基づいて、第１の色成分と第２の色成分との間の相関を表す第１の相関情報を算出させるように構成されてよい。プログラムは、コンピュータに、第１の相関情報に基づいて、第２の色成分の情報を圧縮させるように構成されてよい。プログラムは、非一時的記録媒体に記録されてよい。

本発明の第５の態様に係る方法は、画素毎に１つの色成分を持つ画素情報を含む画像データを取得する段階を備える。方法は、画素情報に基づいて、第１の色成分と第２の色成分との間の相関を表す第１の相関情報を算出する段階を備える。方法は、第１の相関情報に基づいて、第２の色成分の情報を圧縮する段階を備える。

本発明の上記の態様によれば、画像データの圧縮率を高めることができる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る撮像装置１００の機能ブロックを示す図である。 イメージセンサ１２０が生成するＲＡＷ画像データの画素情報の一例を模式的に示す。 ＲＡＷ画像データから取得される色画像を模式的に示す。 制御部１１０の圧縮処理を担う符号化器のブロック構成を示す。 Ｇ２に対応する第４の画素群の圧縮情報を生成する処理を説明するための図である。 赤色（Ｒ）の色成分に対応する第２の画素群の圧縮情報を生成する処理を説明するための図である。 青色（Ｂ）の色成分に対応する第３の画素群の圧縮情報を生成する処理を説明するための図である。 制御部１１０が備える復号化処理のブロック構成を示す。 制御部１１０が実行する圧縮処理方法に関するフローチャートを示す。 制御部１１０が実行する復号化処理方法に関するフローチャートを示す。 動画データを圧縮する処理を説明するための図である。 無人航空機（ＵＡＶ）の一例を示す。 コンピュータ１２００の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等の様なメモリ要素等を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図１は、本実施形態に係る撮像装置１００の機能ブロックを示す図である。

撮像装置１００は、撮像部１０２及びレンズ部１７０を備える。撮像部１０２は、イメージセンサ１２０、制御部１１０、メモリ１３０、操作部１６２、及び表示部１６０を有する。

イメージセンサ１２０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。イメージセンサ１２０は、レンズ部１７０が有するレンズ１７１を介して光を受光する。イメージセンサ１２０は、レンズ１７１を介して結像された光学像の画像データを制御部１１０に出力する。

制御部１１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。メモリ１３０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。制御部１１０は回路に対応する。メモリ１３０は、制御部１１０がイメージセンサ１２０などを制御するのに必要なプログラム等を格納する。メモリ１３０は、撮像装置１００の筐体の内部に設けられてよい。メモリ１３０は、撮像装置１００の筐体から取り外し可能に設けられてよい。

操作部１６２は、撮像装置１００に対する指示をユーザから受け付けるユーザインタフェースである。表示部１６０は、イメージセンサ１２０により撮像され、制御部１１０により処理された画像、撮像装置１００の各種設定情報などを表示する。表示部１６０は、タッチパネルで構成されてよい。

制御部１１０は、レンズ部１７０及びイメージセンサ１２０を制御する。例えば、制御部１１０は、レンズ１７１の焦点の位置や焦点距離を制御する。制御部１１０は、ユーザからの指示を示す情報に基づいて、レンズ部１７０が備えるレンズ制御部１８０に制御命令を出力することにより、レンズ部１７０を制御する。

レンズ部１７０は、１以上のレンズ１７１、レンズ駆動部１７２、レンズ制御部１８０、及びメモリ１８２を有する。本実施形態において１以上のレンズ１７１のことを「レンズ１７１」と総称する。レンズ１７１は、フォーカスレンズ及びズームレンズを含んでよい。レンズ１７１が含むレンズのうちの少なくとも一部または全部は、レンズ１７１の光軸に沿って移動可能に配置される。レンズ部１７０は、撮像部１０２に対して着脱可能に設けられる交換レンズであってよい。

レンズ駆動部１７２は、レンズ１７１のうちの少なくとも一部または全部を、レンズ１７１の光軸に沿って移動させる。レンズ制御部１８０は、撮像部１０２からのレンズ制御命令に従って、レンズ駆動部１７２を駆動して、レンズ１７１全体又はレンズ１７１が含むズームレンズやフォーカスレンズを光軸方向に沿って移動させることで、ズーム動作やフォーカス動作の少なくとも一方を実行する。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令等である。

レンズ駆動部１７２は、複数のレンズ１７１の少なくとも一部または全部を光軸方向に移動させるボイスコイルモータ（ＶＣＭ）を含んでよい。レンズ駆動部１７２は、ＤＣモータ、コアレスモータ、または超音波モータ等の電動機を含んでよい。レンズ駆動部１７２は、電動機からの動力をカム環、ガイド軸等の機構部材を介して複数のレンズ１７１の少なくとも一部または全部に伝達して、レンズ１７１の少なくとも一部または全部を光軸に沿って移動させてよい。

メモリ１８２は、レンズ駆動部１７２を介して移動するフォーカスレンズやズームレンズ用の制御値を記憶する。メモリ１８２は、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。

制御部１１０は、操作部１６２等を通じて取得したユーザの指示を示す情報に基づいて、イメージセンサ１２０に制御命令を出力することにより、イメージセンサ１２０に撮像動作の制御を含む制御を実行する。制御部１１０は、イメージセンサ１２０により撮像された画像を取得する。制御部１１０は、イメージセンサ１２０から取得した画像に画像処理を施してメモリ１３０に格納する。

制御部１１０が実行する画像処理に含まれる圧縮処理の概要を説明する。イメージセンサ１２０は、ＲＡＷ画像データを出力する。ＲＡＷ画像データは、画素毎に１つの色成分を持つ画素情報を含む画像データの一例である。制御部１１０は、イメージセンサ１２０からＲＡＷ画像データを取得すると、ＲＡＷ画像データに含まれる画素情報に基づいて、第１の色成分と第２の色成分との間の相関を表す第１の相関情報を算出し、第１の相関情報に基づいて、第２の色成分の情報を圧縮する。第１の色成分は緑色の色成分であってよい。第２の色成分は、例えば赤色の色成分である。なお、色成分は、光の波長域の一例である。光の波長域は、可視光の波長域であってよく、非可視光の波長域であってよい。光の波長域は、赤外や紫外の波長域を含んでよい。光の波長域は、可視光及び非可視光の波長域の両方の波長域を含んでよい。

制御部１１０は、第１の色成分の情報及び第１の相関情報に基づいて、第２の色成分の予測値を算出する。制御部１１０は、第１の色成分と第２の色成分の予測値との間の差分をとることによって、第２の色成分の情報を圧縮する。

制御部１１０は、第２の色成分を有する複数の第２の画素のそれぞれについて、複数の第２の画素のそれぞれの周辺に位置する複数の第１の画素の第１の色成分を用いて、複数の第２の画素のそれぞれにおける第１の色成分の予測値を算出する。制御部１１０は、複数の第２の画素のそれぞれについて算出した第２の色成分と第１の色成分の予測値とを用いて、第１の相関情報を算出する。

制御部１１０は、複数の第２の画素のそれぞれについて算出した第２の色成分と第１の色成分の予測値とを用いて、第１の色成分の予測値を独立変数とし、第２の色成分を従属変数として回帰分析を行うことにより、相関を表す関数を算出し、複数の第２の画素のそれぞれについて、第１の色成分の情報及び関数に基づいて、第２の色成分の予測値を算出する。

制御部１１０は、第１の色成分の画像について隣接画素との差分をとることによって、第１の色成分の情報を圧縮する。

画素情報は、第１の色成分、第２の色成分、及び第３の色成分の情報を含む。制御部１１０は、第１の色成分と第３の色成分との間の相関を表す第２の相関情報を算出する。制御部１１０は、第２の相関情報に基づいて、第３の色成分の情報を圧縮する。第３の色成分は、例えば青色の色成分である。

画素情報は、画素配置において予め定められた画素パターンにて配置された第１の画素群の色成分の情報と、画素配置において予め定められた画素パターンにて第１の画素群とは位相が異なるように配置された第２の画素群の色成分の情報と、画素配置において予め定められた画素パターンにて第１の画素群及び第２の画素群のいずれとも位相が異なるように配置された第３の画素群の色成分の情報と、画素配置において予め定められた画素パターンにて第１の画素群の色成分の情報と、第２の画素群及び第３の画素群のいずれとも位相が異なるように配置された第４の画素群の色成分の情報とを有する。第１の色成分は、第１の画素群の色成分であり、第２の色成分は、第２の画素群の色成分であり、第３の色成分は、第３の画素群の色成分であり、第４の画素群の色成分は、第１の色成分の色と同じ色の色成分である。この場合、制御部１１０は、画素情報に基づいて、第１の色成分と、第４の画素群に属する複数の画素の色成分との間の相関を表す第３の相関情報を算出する。制御部１１０は、第１の色成分の情報及び第３の相関情報に基づいて、第４の画素群に属する複数の画素のそれぞれの色成分の予測値を算出する。制御部１１０は、第４の画素群に属する複数の画素のそれぞれの色成分と、第４の画素群に属する複数の画素のそれぞれの色成分の予測値との間の差分をとることによって、第４の画素群に属する複数の画素の色成分の情報を圧縮する。

制御部１１０は、第１の色成分と第２の色成分との間の相関の強さが予め定められた値より低い場合に、第２の色成分の画像について隣接画素との差分をとることによって、第２の色成分の情報を圧縮してよい。制御部１１０は、第１の色成分と第２の色成分の予測値との間の差分をとることによって得られた差分値について、隣接画素との差分をとることによって、第２の色成分の情報を圧縮してよい。

撮像装置１００が動画を撮像する場合、イメージセンサ１２０は、動画を構成する複数の動画構成画像を順次に出力する。制御部１１０は、動画を構成する複数の動画構成画像をイメージセンサ１２０から取得する。ここで、複数の動画構成画像のそれぞれがＲＡＷ画像データである場合、制御部１１０は、複数の動画構成画像のうちの第１の動画構成画像から第１の相関情報を算出し、第１の動画構成画像から算出した第１の相関情報に基づいて、複数の動画構成画像のうち第１の動画構成画像より後の第２の動画構成画像の第２の色成分の情報を圧縮する。

制御部１１０は、第１の動画構成画像と第２の動画構成画像との間でシーンが変化したか否かを判断する。制御部１１０は、第１の動画構成画像と第２の動画構成画像との間でシーンが変化していないと判断した場合に、第１の動画構成画像から算出した第１の相関情報に基づいて、第２の動画構成画像の第２の色成分の情報を圧縮する。制御部１１０は、第１の動画構成画像と第２の動画構成画像との間でシーンが変化したと判断した場合に、第２の動画構成画像から第１の相関情報を算出し、第２の動画構成画像から算出した第１の相関情報に基づいて、複数の動画構成画像のうち第２の動画構成画像より後の第３の動画構成画像の第２の色成分の情報を圧縮する。

図２は、イメージセンサ１２０が生成するＲＡＷ画像データの画素情報の一例を模式的に示す。本実施形態のイメージセンサ１２０は、ＲＧＧＢのベイヤ配列の画素配列を持つものとする。

ＲＡＷ画像データの画素構成は、画素Ｒ１１、画素Ｇ１２、画素Ｒ１３、画素Ｇ１４の画素行と、画素Ｇ２１、画素Ｂ２２、画素Ｇ２３、画素Ｂ２４の画素行と、画素Ｒ３１、画素Ｇ３２、画素Ｒ３３、画素Ｇ３４の画素行と、画素Ｇ４１、画素Ｂ４２、画素Ｇ４３、画素Ｂ４４の画素行とを含む。ＲＡＷ画像データは、図２に示す画素構成が２次元的に配置されて形成される。ＲＡＷ画像データにおいて、各画素は画素値として１つの色成分を持つ。具体的には、ＲＡＷ画像データにおいて、画素Ｒ１１、画素Ｒ１３、画素Ｒ３１、及び画素Ｒ３３は赤の色成分（Ｒ）の画素値を持ち、画素Ｇ１２、画素Ｇ１４、画素Ｇ３２、及び画素Ｇ３４は緑の色成分（Ｇ１）の画素値を持ち、画素Ｂ２２、画素Ｂ２４、画素Ｂ４２、及び画素Ｂ４４は青の色成分（Ｂ）の画素値を持ち、画素Ｇ２１、画素Ｇ２３、画素Ｇ４１、及び画素Ｇ４３は緑の色成分（Ｇ２）の画素値を持つ。画素Ｇ１２、画素Ｇ１４、画素Ｇ３２、及び画素Ｇ３４は、画素Ｇ２１、画素Ｇ２３、画素Ｇ４１、及び画素Ｇ４３が同じ色の画素値である。

なお、画素Ｇ１２、画素Ｇ１４、画素Ｇ３２及び画素Ｇ３４は、水平方向及び垂直方向に１画素ずつ間隔を空けて繰り返される画素パターンで配置された第１の画素群に属する画素である。画素Ｒ１１、画素Ｒ１３、画素Ｒ３１及び画素Ｒ３３は、第１の画素群と同じく水平方向及び垂直方向に１画素ずつ間隔を空けた画素パターンで配置され、画素配置において第１の画素群とは水平方向にー１画素分だけ位相がずれた第２の画素群に属する画素である。画素Ｂ２２、画素Ｂ２４、画素Ｂ４２及び画素Ｂ４４は、第１の画素群と同じく水平方向及び垂直方向に１画素ずつ間隔を空けた画素パターンで配置され、画素配置において第１の画素群とは垂直方向に１画素分だけ位相がずれた第３の画素群に属する画素である。画素Ｇ２１、画素Ｇ２３、画素Ｇ４１及び画素Ｇ４３は、第１の画素群と同じく水平方向及び垂直方向に１画素ずつ間隔を空けた画素パターンで配置され、画素配置において第１の画素群とは水平方向にー１画素分かつ垂直方向に１画素分だけ位相がずれ第４の画素群に属する画素である。

図３は、ＲＡＷ画像データから取得される色画像を模式的に示す。制御部１１０は、ＲＡＷ画像データから、画素Ｒ１１、画素Ｒ１３、画素Ｒ３１、及び画素Ｒ３３の画素値を含む赤成分画像３００Ｒと、画素Ｇ１２、画素Ｇ１４、画素Ｇ３２、及び画素Ｇ３４の画素値を含む緑成分画像３００Ｇ１と、画素Ｂ２２、画素Ｂ２４、画素Ｂ４２、及び画素Ｂ４４の画素値を含む青成分画像３００Ｂと、画素Ｇ２１、画素Ｇ２３、画素Ｇ４１、及び画素Ｇ４３の画素値を含む緑成分画像３００Ｇ２とを取得する。制御部１１０は、赤成分画像３００Ｒ、緑成分画像３００Ｇ１、青成分画像３００Ｂ、及び緑成分画像３００Ｇ２のそれぞれの画素情報を圧縮する。

図４は、制御部１１０の圧縮処理を担う符号化器のブロック構成を示す。制御部１１０は、Ｇ１バッファ３１０と、ＤＰＣＭ符号化部３１８と、ＤＰＣＭ復号化部３１９と、Ｇ２バッファ３４０と、位相シフト部３４２と、ＤＰＣＭ符号化部３４８と、Ｒバッファ３２０と、位相シフト部３２２と、係数算出部３２４と、予測値生成部３２６と、ＤＰＣＭ符号化部３２８と、Ｂバッファ３３０と、位相シフト部３３２と、係数算出部３３４と、予測値生成部３３６と、ＤＰＣＭ符号化部３３８とを備える。

Ｇ１バッファ３１０は、ＲＡＷ画像データから取得した緑成分画像３００Ｇ１を保持する。Ｇ２バッファ３４０は、ＲＡＷ画像データから取得した緑成分画像３００Ｇ２を保持する。Ｒバッファ３２０は、ＲＡＷ画像データから取得した赤成分画像３００Ｒを保持する。Ｂバッファ３３０は、ＲＡＷ画像データから取得した青成分画像３００Ｂを保持する。ＤＰＰＭ符号化部３１８は、緑成分画像３００Ｇ１の画素情報を、隣接画素の画素値との差分をとることによって、第１の画素群の画素値の圧縮情報を生成する。ＤＰＣＭ符号化部３１８は、緑成分画像３００Ｇ１の色成分情報をＤＰＣＭ符号化（Ｄｉｆｆｅｒｅｎｃｅ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ） 及びハフマン符号化によって圧縮する。ＤＰＣＭ復号化部３１９は、ＤＰＣＭ符号化部３１８が生成した情報を復号化することによって画素情報を生成する。

位相シフト部３４２は、ＤＰＣＭ復号化部３１９が生成した画素情報の画素配置上の位相をシフトすることによって、第４の画素群の各画素位置の緑色の画素値の予測値を算出する。ＤＰＣＭ符号化部３４８は、緑成分画像３００Ｇ２の画素値から位相シフト部３４２が生成した画素値の予測値を減算することによって得られた差分画素値をＤＰＣＭ符号化及びハフマン符号化によって圧縮して、第４の画素群の画素情報の圧縮情報を生成する。

位相シフト部３２２は、ＤＰＣＭ復号化部３１９が生成した画素情報の画素配置上の位相をシフトすることによって、第２の画素群の各画素位置の緑色画素値の予測値を算出する。係数算出部３２４は、赤成分画像３００Ｒの画素値と、位相シフト部３２２が算出した予測値との相関情報を示す係数を算出する。予測値生成部３２６は、位相シフト部３２２が算出した予測値と、係数算出部３２４が算出した係数とを用いて、第２の画素群の各画素位置の赤色画素値の予測値を算出する。ＤＰＣＭ符号化部３２８は、赤成分画像３００Ｒの画素値から、予測値生成部３２６が算出した予測値を減算することによって得られた差分画素値を、ＤＰＣＭ符号化及びハフマン符号化によって圧縮して、第２の画素群の画素情報の圧縮情報を生成する。

位相シフト部３３２は、ＤＰＣＭ復号化部３１９が生成した画素情報の画素配置上の位相をシフトすることによって、第３の画素群の各画素位置の緑色画素値の予測値を算出する。係数算出部３３４は、青成分画像３００Ｂの画素値と、位相シフト部３３２が算出した予測値との相関情報を示す係数を算出する。予測値生成部３３６は、位相シフト部３３２が算出した予測値と、係数算出部３３４が算出した係数とを用いて、第３の画素群の各画素位置の青色画素値の予測値を算出する。ＤＰＣＭ符号化部３４８は、青成分画像３００Ｂの画素値から、予測値生成部３３６が算出した予測値を減算することによって得られた差分画素値を、ＤＰＣＭ符号化及びハフマン符号化によって圧縮して、第３の画素群の画素情報の圧縮情報を生成する。

制御部１１０は、ＤＰＣＭ符号化部３１８が生成した第１の画素群の画素情報の圧縮情報、ＤＰＣＭ符号化部３２８が生成した第４の画素群の画素情報の圧縮情報、ＤＰＣＭ符号化部３２８が生成した第２の画素群の画素情報の圧縮情報、及びＤＰＣＭ符号化部３３８が生成した第３の画素群の画素情報の圧縮情報と、係数算出部３２４が算出した係数情報及び係数算出部３３４が算出した係数情報とを含んで構成される圧縮データを、ＲＡＷ画像データの圧縮データとして出力する。

なお、圧縮データに含める係数情報は、係数算出部３２４及び係数算出部３３４が算出した係数情報をそれぞれ予め定められた量子化幅で量子化した係数情報であってよい。また、符号化に非ロスレスの符号化方式を適用する場合は、復号化器で実行される処理と整合性を保つために、符号化により得られた情報を符号化器内で復号化して、復号化により得られた情報を用いて差分処理等の行う必要がある。

図５は、Ｇ２に対応する第４の画素群の圧縮情報を生成する処理を説明するための図である。図５において、「Ｇ２，ｘ」は、第４の画素群に属する１つの画素の画素値を示す。「Ｇ１，０」、「Ｇ１，１」、「Ｇ１，２」及び「Ｇ１，３」は、Ｇ１に対応する第１の画素群のうち、水平方向及び垂直方向に１画素以内でＧ２，ｘの画素に隣接する画素の画素値を表す。

位相シフト部３４２は、Ｇ２，ｘの画素の周辺画素値Ｇ１，０、Ｇ１，１、Ｇ１，２及びＧ１，３の平均値を算出することにより、予測値Ｐｒｅｄを算出する。具体的には、位相シフト部３４２は、次の式により、予測値Ｐｒｅｄを算出する。
Ｐｒｅｄ＝（Ｇ１，０＋Ｇ１，１＋Ｇ１，２＋Ｇ１，３）／４

予測値Ｐｒｅｄは、Ｇ２，ｘの画素位置における緑色の画素値の予測値である。そのため、Ｇ２，ｘの画素値の予測値として、予測値Ｐｒｅｄを適用することができる。ＤＰＣＭ符号化部３４８は、差分情報Ｇ２，ｘーＰｒｅｄをＤＰＣＭ符号化及びハフマン符号化することにより、第４の画素群の画素値の圧縮情報を生成する。

なお、図５の例では、注目画素の１画素以内に存在する周辺４画素のＧ１の画素値を用いて予測値Ｐｒｅｄを算出する。しかし、２画素以上離れた位置のＧ１の画素値を用いて予測値Ｐｒｅｄを算出してもよい。また、より長いタップ長さのＦＩＲフィルタを用いて予測値Ｐｒｅｄを算出してもよい。

図６は、赤色（Ｒ）の色成分に対応する第２の画素群の圧縮情報を生成する処理を説明するための図である。図６において、「Ｐ_Ｒ，Ｇ」は、第２の画素群に属する１つの画素の画素値の予測値を示す。「Ｇ１，０」、「Ｇ１，１」は、Ｇ１に対応する第１の画素群のうち、水平方向及び垂直方向に１画素以内でＰ_Ｒ，Ｇの画素に隣接する画素の画素値を表す。位相シフト部３２２は、Ｐ_Ｒ，Ｇの画素の周辺画素値Ｇ１，０及びＧ１，１の平均値を算出することにより、予測値Ｐ_Ｒ，Ｇを算出する。具体的には、位相シフト部３２２は、次の式により、予測値Ｐ_Ｒ，Ｇを算出する。
Ｐ_Ｒ，Ｇ＝（Ｇ１，０＋Ｇ１，１）／２

予測値Ｐ_Ｒ，Ｇは、第２の画素群に属する画素位置における緑色の画素値の予測値である。係数算出部３２４は、緑色の画素値の予測値から赤色の画素値の予測値を算出するために、予め定められた画像領域の画素情報を用いて回帰分析を行って、緑色の色成分と赤色の色成分の相関を表す係数を算出する。具体的には、第２の画素群の赤色の画素値の予測値Ｐｒｅｄ_Ｒが、次の関数で算出されるものとする。
Ｐｒｅｄ_Ｒ＝ａ_Ｒ×Ｐ_Ｒ，Ｇ＋ｂ_Ｒ

ここで、Ｐｒｅｄ_Ｒは従属変数であり、Ｐ_Ｒ，Ｇは独立変数である。ＲＡＷ画像データの第２の画素群の画素値をＲとすると、係数算出部３２４は、誤差Ｒ－Ｐｒｅｄ_Ｒが予め定められた閾値未満となるａ_Ｒ及びｂ_Ｒを、最小二乗法等によって算出する。ＤＰＣＭ符号化部３２８は、差分情報ＲーＰｒｅｄ_ＲをＤＰＣＭ符号化及びハフマン符号化することにより、第２の画素群の画素値の圧縮情報を生成する。

図６の例では、注目画素の１画素以内に存在する周辺２画素のＧ１の画素値を用いて予測値Ｐｒｅｄ_Ｒを算出する。しかし、２画素以上離れた位置のＧ１の画素値を用いて予測値Ｐｒｅｄ_Ｒを算出してもよい。また、より長いタップ長さのＦＩＲフィルタを用いて予測値Ｐｒｅｄ_Ｒを算出してもよい。

図７は、青色（Ｂ）の色成分に対応する第３の画素群の圧縮情報を生成する処理を説明するための図である。図７において、「Ｐ_Ｂ，Ｇ」は、第３の画素群に属する１つの画素の画素値の予測値を示す。「Ｇ１，０」、「Ｇ１，１」は、Ｇ１に対応する第１の画素群のうち、水平方向及び垂直方向に１画素以内でＰ_Ｂ，Ｇの画素に隣接する画素の画素値を表す。位相シフト部３３２は、Ｐ_Ｂ，Ｇの画素の周辺画素値Ｇ１，０及びＧ１，１の平均値を算出することにより、予測値Ｐ_Ｂ，Ｇを算出する。具体的には、位相シフト部３３２は、次の式により、予測値Ｐ_Ｂ，Ｇを算出する。
Ｐ_Ｂ，Ｇ＝（Ｇ１，０＋Ｇ１，１）／２

予測値Ｐ_Ｂ，Ｇは、第３の画素群に属する画素位置における緑色の画素値の予測値である。係数算出部３３４は、緑色の画素値の予測値から青色の画素値の予測値を算出するために、予め定められた画像領域の画素情報を用いて回帰分析を行って、緑色の色成分と青色の色成分の相関を表す係数を算出する。具体的には、第３の画素群の青色の画素値の予測値Ｐｒｅｄ_Ｂが、次の関数で算出されるものとする。
Ｐｒｅｄ_Ｂ＝ａ_Ｂ×Ｐ_Ｂ，Ｇ＋ｂ_Ｂ

ここで、Ｐｒｅｄ_Ｂは従属変数であり、Ｐ_Ｂ，Ｇは独立変数である。ＲＡＷ画像データの第３の画素群の画素値をＢとすると、係数算出部３３４は、誤差Ｂ－Ｐｒｅｄ_Ｂが予め定められた閾値未満となるａ_Ｂ及びｂ_Ｂを、最小二乗法等によって算出する。ＤＰＣＭ符号化部３３８は、差分情報ＢーＰｒｅｄ_Ｂに対してＤＰＣＭ符号化及びハフマン符号化することにより、第３の画素群の画素値の圧縮情報を生成する。

図７の例では、注目画素の１画素以内に存在する周辺２画素のＧ１の画素値を用いて予測値Ｐｒｅｄ_Ｂを算出する。しかし、２画素以上離れた位置のＧ１の画素値を用いて予測値Ｐｒｅｄ_Ｂを算出してもよい。また、より長いタップ長さのＦＩＲフィルタを用いて予測値Ｐｒｅｄ_Ｂを算出してもよい。

図６及び図７に関連して説明した回帰分析を行う対象となる画像領域は、複数の画素を含む領域であってよい。回帰分析を行う対象となる画像領域は画像全体の領域であってよい。なお、１つの画像データにおいて複数の画像領域毎に回帰分析を行う場合、各画像領域で算出された複数の係数情報の間の差分をとることによって、圧縮データに含める係数情報を圧縮してよい。なお、回帰分析において、色成分の間の相関が予め定められた値より低い場合は、相関情報を用いた圧縮は行わず、Ｇ１と同様にＲ及びＢの色成分単独でＤＣＰＭ及びハフマン符号化によって画素情報を圧縮してよい。例えば、制御部１１０は、誤差Ｒ－Ｐｒｅｄ_Ｒが予め定められた閾値未満となるような係数を算出することができなかった場合に、Ｒの色成分の画素情報をＤＣＰＭ及びハフマン符号化によって圧縮してよい。また、制御部１１０は、誤差Ｂ－Ｐｒｅｄ_Ｂが予め定められた閾値未満となるような係数を算出することができなかった場合に、Ｂの色成分の画素情報をＤＣＰＭ及びハフマン符号化によって圧縮してよい。

図８は、制御部１１０が備える復号化処理のブロック構成を示す。制御部１１０は、ＤＰＣＭ復号化部８１０と、Ｇ１バッファ８００と、ＤＰＣＭ復号化部８４０と、位相シフト部８４４と、ＤＰＣＭ復号化部８２０と、位相シフト部８２４と、予測値生成部８２６と、ＤＰＣＭ復号化部８３０と、位相シフト部８３４と、予測値生成部８３６とを備える。

ＤＰＣＭ復号化部８１０は、圧縮データのうちの第１の画素群に対応するＧ１の圧縮情報をＤＰＣＭ復号化して、第１の画素群に対応する緑色画像の画素情報を生成する。Ｇ１バッファ３１０は、緑成分画像の画素情報を保持する。

ＤＰＣＭ復号化部８４０は、圧縮データのうちの第４の画素群に対応するＧ２の圧縮情報をＤＰＣＭ復号化して、第４の画素群に対応する緑色画像の画素値の差分情報を生成する。ＤＰＣＭ復号化部８４０により生成される差分情報は、上述した差分情報Ｇ２，ｘ－Ｐｒｅｄである。位相シフト部８４４は、Ｇ１バッファ８００に保持されている緑色画像の画素情報を用いて、Ｇ１に対応する画素値の予測値Ｐｒｅｄを生成する。ＤＰＣＭ復号化部８４０により生成される差分情報と位相シフト部８４４が生成した予測値Ｐｒｅｄとを加算することにより、ＲＡＷ画像データのうちの第２の画素群の画素情報が生成される。

ＤＰＣＭ復号化部８２０は、圧縮データのうちの第２の画素群に対応するＲの圧縮情報をＤＰＣＭ復号化して、第２の画素群に対応する赤色画像の画素値の差分情報を生成する。ＤＰＣＭ復号化部８２０により生成される差分情報は、上述した差分情報Ｒ１－Ｐｒｅｄ_Ｒである。

位相シフト部８２４は、Ｇ１バッファ８００に保持されている緑色画像の画素情報を用いて、Ｒに対応する画素値の予測値Ｐｒｅｄ_Ｒ，Ｇを生成する。予測値生成部８２６は、位相シフト部８２４が生成した予測値Ｐｒｅｄ_Ｒ，Ｇと、圧縮データに含まれる係数ａ_Ｒ及びｂ_Ｒとに基づいて、Ｐｒｅｄ_Ｒを算出する。具体的には、予測値生成部８２６は、Ｐｒｅｄ_Ｒ＝ａ_Ｒ×Ｐ_Ｒ，Ｇ＋ｂ_Ｒにより、Ｐｒｅｄ_Ｒを算出する。予測値生成部８２６が生成した予測値Ｐｒｅｄ_ＲとＤＰＣＭ復号化部８２０が生成した差分情報とを加算することにより、ＲＡＷ画像データのうちの第２の画素群の画素情報が生成される。

ＤＰＣＭ復号化部８３０は、圧縮データのうちの第３の画素群に対応するＢの圧縮情報をＤＰＣＭ復号化して、第３の画素群に対応する青色画像の画素値の差分情報を生成する。ＤＰＣＭ復号化部８３０により生成される差分情報は、上述した差分情報Ｂ－Ｐｒｅｄ_Ｂである。

位相シフト部８３４は、Ｇ１バッファ８００に保持されている緑色画像の画素情報を用いて、Ｂに対応する画素値の予測値Ｐｒｅｄ_Ｂ，Ｇを生成する。予測値生成部８３６は、位相シフト部８３４が生成した予測値Ｐｒｅｄ_Ｂ，Ｇと、圧縮データに含まれる係数ａ_Ｂ及びｂ_Ｂとに基づいて、Ｐｒｅｄ_Ｂを算出する。具体的には、予測値生成部８３６は、Ｐｒｅｄ_Ｂ＝ａ_Ｂ×Ｐ_Ｂ，Ｇ＋ｂ_Ｂにより、Ｐｒｅｄ_Ｂを算出する。予測値生成部８３６が生成した予測値Ｐｒｅｄ_ＢとＤＰＣＭ復号化部８３０が生成した差分情報とを加算することにより、ＲＡＷ画像データのうちの第３の画素群の画素情報が生成される。

図９は、制御部１１０が実行する圧縮処理方法に関するフローチャートを示す。Ｓ９１０において、制御部１１０は、イメージセンサ１２０から読み出したＲＡＷ画像データを各色成分に分離して、Ｇ１バッファ３１０、Ｇ２バッファ３４０、Ｒバッファ３２０、及びＢバッファ３３０に記憶する。

Ｓ９２０において、ＤＰＣＭ符号化部３１８は、第１の画素群に対応するＧ１の色成分の画素情報に対してＤＰＣＭ符号化及びハフマン符号化を行う。Ｓ９３０において、ＤＰＣＭ復号化部３１９は、ＤＰＣＭ符号化部３１８により得られた画素情報を復号化する。

Ｓ９４０において、位相シフト部３４２、位相シフト部３２２、及び位相シフト部３３２は、ＤＰＣＭ復号化部３１９により得られた画素情報に基づいて、それぞれ第４の画素群、第２の画素群及び第３の画素群の各画素位置における予測値を算出する。

Ｓ９５０において、Ｓ９３０で生成されたＧ１の色成分の画素情報と位相シフト部３４２が生成した予測値との間の差分情報を生成する。Ｓ９６０において、ＤＰＣＭ符号化部３４８は、Ｓ９５０で生成された差分情報に対してＤＰＣＭ符号化及びハフマン符号化を行う。

Ｓ９７０において、係数算出部３２４は、位相シフト部３２２が生成した予測値と、Ｒバッファ３２０に画素情報とを用いて、回帰分析によって上述した係数ａ_Ｒ及びｂ_Ｒを算出する。Ｓ９７２において、予測値生成部３２６は、Ｓ９７０で算出した係数ａ_Ｒ及びｂ_Ｒと、Ｓ９４０で生成された第２の画素群の画素位置における画素情報の予測値とに基づいて、Ｒの色成分の画素値の予測値を生成する。Ｓ９７４において、Ｓ９１０で生成されたＲの色成分の画素値とＳ９７２で生成されたＲの色成分の画素値の予測値との間の差分情報を生成する。Ｓ９７６において、ＤＰＣＭ符号化部３２８は、Ｓ９７４で生成された差分情報に対してＤＰＣＭ符号化及びハフマン符号化を行う。

Ｓ９８０において、係数算出部３３４は、位相シフト部３３２が生成した予測値と、Ｂバッファ３３０に画素情報とを用いて、回帰分析によって上述した係数ａ_Ｂ及びｂ_Ｂを算出する。Ｓ９８２において、予測値生成部３３６は、Ｓ９８０で算出した係数ａ_Ｂ及びｂ_Ｂと、Ｓ９４０で生成された第３の画素群の画素位置における画素情報の予測値とに基づいて、Ｂの色成分の画素値の予測値を生成する。Ｓ９８４において、Ｓ９１０で生成されたＢの色成分の画素値と、Ｓ９８２で生成されたＢの色成分の画素値の予測値との間の差分情報を生成する。Ｓ９８６において、ＤＰＣＭ符号化部３３８は、Ｓ９８４で生成された差分情報に対してＤＰＣＭ符号化及びハフマン符号化を行う。

以上の処理により、Ｓ９６０で生成された第１の画素群の符号化情報、Ｓ９６０で生成された第４の画素群の符号化情報、Ｓ９７６で生成された第２の画素群の符号化情報、及びＳ９８６で生成された第３の画素群の符号化情報と、Ｓ９７０で算出された係数情報及びＳ９８０で算出された係数情報とを含む圧縮データが生成される。

なお、Ｓ９５０及びＳ９６０の処理と、Ｓ９７０からＳ９７６の処理と、Ｓ９８０からＳ９８６の処理とは、並列に実行することができる。

図１０は、制御部１１０が実行する復号化処理方法に関するフローチャートを示す。Ｓ１０１０において、制御部１１０は圧縮データからＧ１の色成分の圧縮情報を取得する。Ｓ１０２０において、ＤＰＣＭ復号化部８１０は、Ｇ１の色成分の圧縮情報をＤＰＣＭ復号化し、Ｇ１バッファ８００がＤＰＣＭ復号化により生成されたＧ１の色成分の画素情報を保持する。

Ｓ１０３０において、位相シフト部８４４、位相シフト部８２４、及び位相シフト部８３４は、Ｇ１バッファ８００に保持されたＧ１の色成分の画素情報に基づいて、それぞれ第４の画素群、第２の画素群及び第３の画素群の画素位置におけるＧ１の色成分の予測値を生成する。

Ｓ１０４０において、制御部１１０は圧縮データからＧ２の色成分の圧縮情報を取得する。Ｓ１０５０において、ＤＰＣＭ復号化部８４０は、Ｓ１０４０で取得した圧縮情報をＤＰＣＭ復号化することにより、Ｇ２の色成分の画素値の差分情報を取得する。Ｓ１０６０において、制御部１１０は、Ｓ１０５０で取得したＧ２の色成分の画素値の差分情報と、Ｓ１０３０で位相シフト部８４４が生成した第４の画素群における予測値とを加算して、Ｇ２の色成分の画素情報を復元する。

Ｓ１０７０において、制御部１１０は圧縮データからＲの色成分の圧縮情報を取得する。Ｓ１０７２において、ＤＰＣＭ復号化部８２０は、Ｓ１０７０で取得した圧縮情報をＤＰＣＭ復号化することにより、Ｒの色成分の画素値の差分情報を取得する。Ｓ１０７４において、予測値生成部８２６は、Ｒの色成分に関する上記の係数を取得し、Ｓ１０７６において、取得した係数と、Ｓ１０３０で位相シフト部８２４が取得した第２の画素群における予測値とを用いて、Ｒの色成分の画素値の予測値を生成する。Ｓ１０７８において、制御部１１０は、Ｓ１０７６で生成したＲの色成分の画素値の予測値と、Ｓ１０７２で取得したＲの色成分の画素値の差分情報とを加算して、Ｒの色成分の画素情報を復元する。

Ｓ１０８０において、制御部１１０は圧縮データからＢの色成分の圧縮情報を取得する。Ｓ１０８２において、ＤＰＣＭ復号化部８３０は、Ｓ１０８０で取得した圧縮情報をＤＰＣＭ復号化することにより、Ｂの色成分の画素値の差分情報を取得する。Ｓ１０８４において、予測値生成部８３６は、Ｂの色成分に関する上記の係数を取得し、Ｓ１０８６において、Ｓ１０８４で取得した係数と、Ｓ１０３０で位相シフト部８３４が取得した第３の画素群における予測値とを用いて、Ｂの色成分の画素値の予測値を生成する。Ｓ１０８８において、制御部１１０は、Ｓ１０８６で生成したＢの色成分の画素値の予測値と、Ｓ１０８２で取得したＢの色成分の画素値の差分情報とを加算して、Ｂの色成分の画素情報を復元する。

図１１は、動画データを圧縮する処理を説明するための図である。制御部１１０は、イメージセンサ１２０から順次に読み出し処理を行うことにより、動画構成画像１１００、動画構成画像１１０１、及び動画構成画像１１０２を含む複数の動画構成画像のデータを取得する。制御部１１０がイメージセンサ１２０から読み出した動画構成画像のデータは、それぞれＲＡＷ画像データである。

動画構成画像１１００は、時刻ｔ０の動画構成画像である。動画構成画像１１００は、動画圧縮処理の基準となる動画構成画像である。例えば、動画構成画像１１００は、動画の符号化処理の対象となる動画構成画像のうちの最初の動画構成画像であってよい。動画構成画像１１００は、動画においてシーンの変化が生じたタイミングの動画構成画像であってよい。

制御部１１０は、動画構成画像１１００の画像データに対して、Ｒ及びＢの各成分の画素情報を、色成分間の相関を用いずに圧縮する。例えば、制御部１１０は、Ｒ及びＢの各成分の画素情報に対して、それぞれ色成分毎にＤＰＣＭ符号化及びハフマン符号化を行う。続いて、制御部１１０は、圧縮により得られた動画構成画像１１００の圧縮データを復号化してＧ１、Ｒ及びＢの各成分の画素情報を取得し、取得したＧ１、Ｒ及びＢの各成分の画素情報を用いて、上述した係数ａ_Ｒ、ｂ_Ｒ、ａ_Ｂ、及びｂ_Ｂを算出する。

続いて、制御部１１０は、動画構成画像１１００の次の時刻ｔ１に取得した動画構成画像１１０１の画像データを圧縮する場合に、動画構成画像１１００の符号化において算出した係数ａ_Ｒ及びｂ_Ｒを用いて、動画構成画像１１０１のＲの色成分の画素情報を圧縮する。また、制御部１１０は、動画構成画像１１００の符号化において算出した係数ａ_Ｂ、及びｂ_Ｂを用いて、動画構成画像１１０１のＢの色成分の画素情報を圧縮する。更に、制御部１１０は、圧縮により得られた動画構成画像１１０１の圧縮データを復号化してＧ１、Ｒ及びＢの各成分の画素情報を取得し、算出したＧ１、Ｒ及びＢの各成分の画素情報を用いて、上述した係数ａ_Ｒ、ｂ_Ｒ、ａ_Ｂ、及びｂ_Ｂを算出する。

続いて、制御部１１０は、動画構成画像１１０１の次の時刻ｔ２に取得した動画構成画像１１０２の画像データを圧縮する場合に、動画構成画像１１０１の符号化において算出した係数ａ_Ｒ及びｂ_Ｒを用いて、動画構成画像１１０２のＲの色成分の画素情報を圧縮する。また、制御部１１０は、動画構成画像１１０１の符号化において算出した係数ａ_Ｂ、及びｂ_Ｂを用いて、動画構成画像１１０２のＢの色成分の画素情報を圧縮する。更に、制御部１１０は、圧縮により得られた動画構成画像１１０２の圧縮データを復号化してＧ１、Ｒ及びＢの各成分の画素情報を取得し、算出したＧ１、Ｒ及びＢの各成分の画素情報を用いて、上述した係数ａ_Ｒ、ｂ_Ｒ、ａ_Ｂ、及びｂ_Ｂを算出する。

動画構成画像１１０１及び動画構成画像１１０２の圧縮処理と同様の圧縮処理を動画構成画像１１０２より後の動画構成画像に対して繰り返すことによって、現在の動画構成画像を圧縮する場合に、直前の動画構成画像で算出した係数ａ_Ｂ、及びｂ_Ｂを用いて符号化する。連続した動画構成画像の間の相関は比較的に高い場合が多いので、直前の動画構成画像の圧縮処理で算出した係数ａ_Ｒ、ｂ_Ｒ、ａ_Ｂ、及びｂ_Ｂを用いても圧縮性能の低下を抑制することができる。

なお、制御部１１０は、連続する動画構成画像の間でシーン変化が生じたと判断した場合に、シーン変化が生じた動画構成画像を動画圧縮処理の基準となる動画構成画像とし、Ｒ及びＢの各成分の画素情報を色成分間の相関を用いずに圧縮してよい。制御部１１０は、連続する動画構成画像間の差分情報、撮像装置１００の動き情報、ズーム情報、焦点情報等の変化に基づいて、シーン変化が生じたと判断してよい。

また、制御部１１０は、動画構成画像の圧縮データに係数ａ_Ｒ、ｂ_Ｒ、ａ_Ｂ、及びｂ_Ｂを含めなくてよい。圧縮データから動画構成画像を復号化する場合には、最初の基準となる動画構成画像の復号化により得られたＧ１、Ｒ及びＢの各成分の画素情報を用いて係数を算出し、算出した係数を次の動画構成画像の復号化に用いればよい。その後の動画構成画像の復号化も同様に、直前の動画構成画像を復号化により得られたＧ１、Ｒ及びＢの各成分の画素情報を用いて係数を算出し、算出した係数を次の動画構成画像の復号化に用いることを繰り返せばよい。

以上の例では、Ｇ１に対応する第１の画素群の画素情報を色成分単独で符号化し、Ｇ２に対応する第４の画素群と、Ｒに対応する第２の画素群と、Ｂに対応する第３の画素群の画素情報とを、Ｇ１に対応する第１の画素群の画素情報との相関情報を用いて圧縮する場合を説明した。しかし、Ｇ２に対応する第４の画素群の画素情報を色成分単独で符号化し、Ｇ１に対応する第１の画素群と、Ｒに対応する第２の画素群と、Ｂに対応する第３の画素群の画素情報とを、Ｇ２に対応する第４の画素群の画素情報との相関情報を用いて圧縮してもよい。また、Ｇ１に対応する第１の画素群の画素情報及びＧ２に対応する第４の画素群の画素情報を色成分単独で符号化し、Ｒに対応する第２の画素群と、Ｂに対応する第３の画素群の画素情報とを、Ｇ１に対応する第１の画素群及びＧ２に対応する第４の画素群との相関情報を用いて圧縮してもよい。その他、任意の特定の色成分の画素情報を色成分単独で符号化し、他の色成分の画素情報を、特定の色成分の画素情報との相関情報を用いて圧縮してよい。

以上の例では、各色成分の符号化にＤＰＣＭ符号化及ハフマン符号化を用いる例を説明した。しかし、ＤＰＣＭ符号化及ハフマン符号化以外に、他の任意の符号化方式を適用することができる。例えば、モノクローム符号化等のように単一の色成分を独立に符号化する方式を適用することができる。また、以上の例では、画素配列がＲＧＧＢのベイヤ配列を例に挙げて説明した。しかし、ＲＹＹＢベイヤ配列、クアッドベイヤ配列等、任意の画素配列の画像データに上述した圧縮処理を適用することができる。

以上に説明した撮像装置１００によれば、ＲＡＷ画像データを色成分間の相関を用いて圧縮するので、色成分間に存在する情報の冗長性を削減することができる。これにより、ＲＡＷ画像データの圧縮効率を高めることができる。

上記のような撮像装置１００は、移動体に搭載されてもよい。撮像装置１００は、図１２に示すような、無人航空機（ＵＡＶ）に搭載されてもよい。ＵＡＶ１０は、ＵＡＶ本体２０、ジンバル５０、複数の撮像装置６０、及び撮像装置１００を備えてよい。ジンバル５０、及び撮像装置１００は、撮像システムの一例である。ＵＡＶ１０は、推進部により推進される移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。

ＵＡＶ本体２０は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。ＵＡＶ本体２０は、複数の回転翼の回転を制御することでＵＡＶ１０を飛行させる。ＵＡＶ本体２０は、例えば、４つの回転翼を用いてＵＡＶ１０を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１０は、回転翼を有さない固定翼機でもよい。

撮像装置１００は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル５０は、撮像装置１００を回転可能に支持する。ジンバル５０は、支持機構の一例である。例えば、ジンバル５０は、撮像装置１００を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル５０は、撮像装置１００を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル５０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置１００を回転させることで、撮像装置１００の姿勢を変更してよい。

複数の撮像装置６０は、ＵＡＶ１０の飛行を制御するためにＵＡＶ１０の周囲を撮像するセンシング用のカメラである。２つの撮像装置６０が、ＵＡＶ１０の機首である正面に設けられてよい。更に他の２つの撮像装置６０が、ＵＡＶ１０の底面に設けられてよい。正面側の２つの撮像装置６０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置６０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置６０により撮像された画像に基づいて、ＵＡＶ１０の周囲の３次元空間データが生成されてよい。ＵＡＶ１０が備える撮像装置６０の数は４つには限定されない。ＵＡＶ１０は、少なくとも１つの撮像装置６０を備えていればよい。ＵＡＶ１０は、ＵＡＶ１０の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置６０を備えてもよい。撮像装置６０で設定できる画角は、撮像装置１００で設定できる画角より広くてよい。撮像装置６０は、単焦点レンズまたは魚眼レンズを有してもよい。

遠隔操作装置１２は、ＵＡＶ１０と通信して、ＵＡＶ１０を遠隔操作する。遠隔操作装置１２は、ＵＡＶ１０と無線で通信してよい。遠隔操作装置１２は、ＵＡＶ１０に上昇、下降、加速、減速、前進、後進、回転などのＵＡＶ１０の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、ＵＡＶ１０の高度を上昇させる指示情報を含む。指示情報は、ＵＡＶ１０が位置すべき高度を示してよい。ＵＡＶ１０は、遠隔操作装置１２から受信した指示情報により示される高度に位置するように移動する。指示情報は、ＵＡＶ１０を上昇させる上昇命令を含んでよい。ＵＡＶ１０は、上昇命令を受け付けている間、上昇する。ＵＡＶ１０は、上昇命令を受け付けても、ＵＡＶ１０の高度が上限高度に達している場合には、上昇を制限してよい。

図１３は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。例えば、コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、制御部１１０として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」の機能を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ－ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ ＵＡＶ
１２ 遠隔操作装置
２０ ＵＡＶ本体
５０ ジンバル
６０ 撮像装置
１００ 撮像装置
１０２ 撮像部
１１０ 制御部
１２０ イメージセンサ
１３０ メモリ
１６０ 表示部
１６２ 操作部
１７０ レンズ部
１７１ レンズ
１７２ レンズ駆動部
１８０ レンズ制御部
１８２ メモリ
３１０ Ｇ１バッファ
３１８ ＤＰＣＭ符号化部
３１９ ＤＰＣＭ復号化部
３２０ Ｒバッファ
３２２ 位相シフト部
３２４ 係数算出部
３２６ 予測値生成部
３２８ ＤＰＣＭ符号化部
３３０ Ｂバッファ
３３２ 位相シフト部
３３４ 係数算出部
３３６ 予測値生成部
３３８ ＤＰＣＭ符号化部
３４０ Ｇ２バッファ
３４２ 位相シフト部
３４８ ＤＰＣＭ符号化部
８００ Ｇ１バッファ
８１０ ＰＣＭ復号化部
８２０ ＤＰＣＭ復号化部
８２４ 位相シフト部
８２６ 予測値生成部
８３０ ＤＰＣＭ復号化部
８３４ 位相シフト部
８３６ 予測値生成部
８４０ ＤＰＣＭ復号化部
８４４ 位相シフト部
１１００、１１０１、１１０２ 動画構成画像
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ

Claims (15)

1. 画素毎に１つの色成分を持つ画素情報を含む画像データを取得し、
   前記画素情報に基づいて、第１の色成分と第２の色成分との間の相関を表す第１の相関情報を算出し、
   前記第１の色成分の情報及び前記第１の相関情報に基づいて、前記第２の色成分の予測値を算出し、
   前記第１の色成分と前記第２の色成分の予測値との間の差分をとることによって、前記第２の色成分の情報を圧縮する
   ように構成された回路
   を備え、
   前記回路は、
   前記第２の色成分を有する複数の第２の画素のそれぞれについて、前記複数の第２の画素のそれぞれの周辺に位置する複数の第１の画素の前記第１の色成分を用いて、前記複数の第２の画素のそれぞれにおける前記第１の色成分の予測値を算出し、
   前記複数の第２の画素のそれぞれについて算出した前記第２の色成分と前記第１の色成分の予測値とを用いて、前記第１の色成分の予測値を独立変数とし、前記第２の色成分を従属変数として回帰分析を行うことにより、前記相関を表す関数を算出し、
   前記複数の第２の画素のそれぞれについて、前記第１の色成分の情報及び前記関数に基づいて、前記第２の色成分の予測値を算出する
   ように構成され、
   前記相関を表す関数は、前記第１の色成分の予測値を独立変数とし、前記第２の色成分を従属変数として前記回帰分析によって算出される係数を含む関数である、
   装置。
2. 前記回路は、前記第１の色成分の画像について隣接画素との差分をとることによって、前記第１の色成分の情報を圧縮するように構成される
   請求項１に記載の装置。
3. 前記画素情報は、前記第１の色成分、前記第２の色成分、及び第３の色成分の情報を含み、
   前記回路は、
   前記第１の色成分と前記第３の色成分との間の相関を表す第２の相関情報を算出し、
   前記第２の相関情報に基づいて、前記第３の色成分の情報を圧縮する
   ように構成される請求項２に記載の装置。
4. 前記画素情報は、
   画素配置において予め定められた画素パターンにて配置された第１の画素群の色成分の情報と、
   画素配置において前記予め定められた画素パターンにて前記第１の画素群とは位相が異なるように配置された第２の画素群の色成分の情報と、
   画素配置において前記予め定められた画素パターンにて前記第１の画素群及び前記第２の画素群のいずれとも位相が異なるように配置された第３の画素群の色成分の情報と、
   画素配置において前記予め定められた画素パターンにて前記第１の画素群、前記第２の画素群及び前記第３の画素群のいずれとも位相が異なるように配置された第４の画素群の色成分の情報と
   を有し、
   前記第１の色成分は、前記第１の画素群の色成分であり、
   前記第２の色成分は、前記第２の画素群の色成分であり、
   前記第３の色成分は、前記第３の画素群の色成分であり、
   前記第４の画素群の色成分は、前記第１の色成分の色と同じ色の色成分であり、
   前記回路は、
   前記画素情報に基づいて、前記第１の色成分と、前記第４の画素群に属する複数の画素の色成分との間の相関を表す第３の相関情報を算出し、
   前記第１の色成分の情報及び前記第３の相関情報に基づいて、前記第４の画素群に属する複数の画素のそれぞれの色成分の予測値を算出し、
   前記第４の画素群に属する複数の画素のそれぞれの色成分と、前記第４の画素群に属する複数の画素のそれぞれの色成分の予測値との間の差分をとることによって、前記第４の画素群に属する複数の画素の色成分の情報を圧縮する
   ように構成される請求項３に記載の装置。
5. 前記回路は、前記第１の色成分と前記第２の色成分との間の相関の強さが予め定められた値より低い場合に、前記第２の色成分の画像について隣接画素との差分をとることによって、前記第２の色成分の情報を圧縮する
   ように構成される請求項１から４のいずれか一項に記載の装置。
6. 前記回路は、
   前記第１の色成分と前記第２の色成分の予測値との間の差分をとることによって得られた差分値について、隣接画素との差分をとることによって、前記第２の色成分の情報を圧縮する
   ように構成される請求項１から５のいずれか一項に記載の装置。
7. 前記回路は、
   動画を構成する複数の動画構成画像を取得し、
   前記複数の動画構成画像のうちの第１の動画構成画像から前記第１の相関情報を算出し、
   前記第１の動画構成画像から算出した前記第１の相関情報に基づいて、前記複数の動画構成画像のうち前記第１の動画構成画像より後の第２の動画構成画像の前記第２の色成分の情報を圧縮するように構成される
   ように構成される請求項１から６のいずれか一項に記載の装置。
8. 前記回路は、
   前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化したか否かを判断し、
   前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化していないと判断した場合に、前記第１の動画構成画像から算出した前記第１の相関情報に基づいて、前記第２の動画構成画像の前記第２の色成分の情報を圧縮し、
   前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化したと判断した場合に、前記第２の動画構成画像から前記第１の相関情報を算出し、前記第２の動画構成画像から算出した前記第１の相関情報に基づいて、前記複数の動画構成画像のうち第２の動画構成画像より後の第３の動画構成画像の前記第２の色成分の情報を圧縮する
   ように構成される請求項７に記載の装置。
9. 画素毎に１つの色成分を持つ画素情報を含む画像データを取得し、
   前記画素情報に基づいて、第１の色成分と第２の色成分との間の相関を表す第１の相関情報を算出し、
   前記第１の相関情報に基づいて、前記第２の色成分の情報を圧縮する
   ように構成された回路
   を備え、
   前記回路は、
   動画を構成する複数の動画構成画像を取得し、
   前記複数の動画構成画像のうちの第１の動画構成画像から前記第１の相関情報を算出し、
   前記第１の動画構成画像と前記第１の動画構成画像より後の第２の動画構成画像との間でシーンが変化したか否かを判断し、
   前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化していないと判断した場合に、前記第１の動画構成画像から算出した前記第１の相関情報に基づいて、前記複数の動画構成画像のうち前記第１の動画構成画像より後の第２の動画構成画像の前記第２の色成分の情報を圧縮し、
   前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化したと判断した場合に、前記第２の動画構成画像から前記第１の相関情報を算出し、前記第２の動画構成画像から算出した前記第１の相関情報に基づいて、前記複数の動画構成画像のうち第２の動画構成画像より後の第３の動画構成画像の前記第２の色成分の情報を圧縮する
   ように構成される、
   装置。
10. 前記回路は、
    前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化していないと判断した場合に、前記第１の動画構成画像から算出した前記第１の相関情報に基づいて前記第２の動画構成画像の前記第２の色成分の情報を圧縮することにより得られた符号化情報を含み、前記第１の相関情報を含まない圧縮データを、前記第２の動画構成画像の圧縮データとして生成し、
    前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化したと判断した場合に、
    前記第１の色成分と前記第２の色成分との間の相関を用いずに前記第２の動画構成画像の前記第２の色成分の画像情報を符号化し、
    前記第１の色成分と前記第２の色成分との間の相関を用いずに前記第２の動画構成画像の前記第２の色成分の画像情報を符号化することによって得られた前記第２の動画構成画像の圧縮データを復号化し、
    前記復号化によって取得した前記第２の動画構成画像の画素情報から前記第１の相関情報を算出し、
    前記第１の色成分と前記第２の色成分との間の相関を用いずに前記第２の動画構成画像の前記第２の色成分の情報を圧縮することにより得られた符号化情報を含み、前記第１の相関情報を含まない圧縮データを、前記第２の動画構成画像の圧縮データとして生成する
    請求項９に記載の装置。
11. 請求項１から１０のいずれか一項に記載の装置と、
    前記画像データを生成するイメージセンサと
    を備える撮像装置。
12. 請求項１１に記載の撮像装置を搭載して移動する移動体。
13. コンピュータに、請求項１から１０のいずれか一項に記載の装置として機能させるためのプログラム。
14. 画素毎に１つの色成分を持つ画素情報を含む画像データを取得する段階と、
    前記画素情報に基づいて、第１の色成分と第２の色成分との間の相関を表す第１の相関情報を算出する段階と、
    前記第１の色成分の情報及び前記第１の相関情報に基づいて、前記第２の色成分の予測値を算出する段階と、
    前記第１の色成分と前記第２の色成分の予測値との間の差分をとることによって、前記第２の色成分の情報を圧縮する段階と
    を備え、
    前記第２の色成分の予測値を算出する段階は、前記第２の色成分を有する複数の第２の画素のそれぞれについて、前記複数の第２の画素のそれぞれの周辺に位置する複数の第１の画素の前記第１の色成分を用いて、前記複数の第２の画素のそれぞれにおける前記第１の色成分の予測値を算出し、
    前記第１の相関情報を算出する段階は、前記複数の第２の画素のそれぞれについて算出した前記第２の色成分と前記第１の色成分の予測値とを用いて、前記第１の色成分の予測値を独立変数とし、前記第２の色成分を従属変数として回帰分析を行うことにより、前記相関を表す関数を算出し、
    前記第２の色成分の予測値を算出する段階は、前記複数の第２の画素のそれぞれについて、前記第１の色成分の情報及び前記関数に基づいて、前記第２の色成分の予測値を算出し、
    前記相関を表す関数は、前記第１の色成分の予測値を独立変数とし、前記第２の色成分を従属変数として前記回帰分析によって算出される係数を含む関数である、
    方法。
15. 画素毎に１つの色成分を持つ画素情報を含む画像データを取得する段階と、
    前記画素情報に基づいて、第１の色成分と第２の色成分との間の相関を表す第１の相関情報を算出する段階と、
    前記第１の相関情報に基づいて、前記第２の色成分の情報を圧縮する段階と
    を備え、
    動画を圧縮する場合に、
    前記動画を構成する複数の動画構成画像のうちの第１の動画構成画像から前記第１の相関情報を算出する段階と、
    前記第１の動画構成画像と前記第１の動画構成画像より後の第２の動画構成画像との間でシーンが変化したか否かを判断する段階と、
    前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化していないと判断した場合に、前記第１の動画構成画像から算出した前記第１の相関情報に基づいて、前記複数の動画構成画像のうち前記第１の動画構成画像より後の第２の動画構成画像の前記第２の色成分の情報を圧縮する段階と、
    前記第１の動画構成画像と前記第２の動画構成画像との間でシーンが変化したと判断した場合に、前記第２の動画構成画像から前記第１の相関情報を算出し、前記第２の動画構成画像から算出した前記第１の相関情報に基づいて、前記複数の動画構成画像のうち第２の動画構成画像より後の第３の動画構成画像の前記第２の色成分の情報を圧縮する段階と
    を備える方法。

Images