JP7076983B2 - 符号化装置、画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、符号化装置、画像処理装置及び画像処理方法に関する。

近時では、撮像装置や携帯型通信端末等の画像処理装置が広く普及している。このような画像処理装置には、撮像手段と、当該撮像手段によって取得される動画像に対して所定の処理を行う画像処理手段と、画像処理手段によって画像処理が施された画像に対して符号化処理を行う符号化処理手段とが備えられている。画像処理手段と符号化処理手段との間での画像データの伝送には、例えば汎用のバスが用いられる。特許文献１には、画像送出側の画像縮小機能と、画像表示側の画像拡大機能を用い、ソフトウェアで画像データの解像度を調整することにより、汎用バスに流れる画像データの転送量の調整を実現することが開示されている。特許文献１では、汎用バスに送出する画像データのフレームレートが一定となる。

特開２０００－８２１３４号公報

しかしながら、フレームレート等の増大に伴って、伝送を良好に行い得なくなることが考えられる。

本発明の目的は、良好に伝送を行い得る符号化装置、画像処理装置及び画像処理方法を提供することにある。

実施形態の一観点によれば、複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像が伝送される第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行う制御手段と、前記バスを介して伝送された画像を符号化する符号化手段とを備えることを特徴とする画像処理装置が提供される。

本発明の他の観点によれば、複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像が伝送される第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行う制御手段と、前記バスを介して伝送された画像を符号化する符号化手段とを備えることを特徴とする画像処理装置が提供される。

本発明の更に他の観点によれば、複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像を受信する第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して受信されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して受信される第１のモードで受信が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで受信が行われるように制御を行う制御手段と、前記バスを介して受信した画像を符号化する符号化手段とを備えることを特徴とする符号化装置が提供される。

本発明の更に他の観点によれば、複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像を受信する第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して受信されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して受信される第１のモードで受信が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで受信が行われるように制御を行う制御手段と、前記バスを介して受信した画像を符号化する符号化手段とを備えることを特徴とする符号化装置が提供される。

本発明によれば、良好に伝送を行い得る符号化装置、画像処理装置及び画像処理方法を提供することができる。

第１実施形態による画像処理装置を示すブロック図である。 第１実施形態による画像処理装置の一部を示すブロック図である。 画像処理モジュールと符号化処理モジュールとの間のバスの構成の例を示す図である。 画像処理モジュールと符号化処理モジュールとの間で行われる処理の例を示す図である。 第１実施形態による画像処理装置に備えられた画像処理モジュールによって行われる処理の例を示すフローチャートである。 第１実施形態による画像処理装置に備えられた符号化処理モジュールによって行われる処理の例を示すフローチャートである。 第２実施形態による画像処理装置に備えられた画像処理モジュールによって行われる処理の例を示すフローチャートである。 第３実施形態による画像処理装置に備えられた画像処理モジュールによって行われる処理の例を示すフローチャートである。 第３実施形態による画像処理装置に備えられた符号化処理モジュールによって行われる処理の例を示すフローチャートである。 第４実施形態による画像処理装置に備えられた画像処理モジュールによって行われる処理の例を示すフローチャートである。

本発明の実施の形態について図面を用いて以下に詳細に説明する。なお、本発明は以下の実施形態に限定されるものではない。

［第１実施形態］
第１実施形態による符号化装置、画像処理装置及び画像処理方法について図面を用いて詳細に説明する。

＜全体構成＞
図１は、本実施形態による画像処理装置を示すブロック図である。画像処理装置１０は、画像処理モジュール１００ａ、１００ｂと、撮像部１１２と、表示部１１６と、通信部１１８と、符号化処理モジュール２００と、メモリ２１１とを有する。画像処理モジュール１００ａの構成と画像処理モジュール１００ｂの構成とは同等である。画像処理モジュール一般について説明する際には、符号１００を用い、個々の画像処理モジュールについて説明する際には、符号１００ａ、１００ｂを用いることとする。ここでは、画像処理装置１０が、撮像装置、より具体的には、デジタルカメラである場合を例に説明するが、これに限定されるものではない。例えば、画像処理装置１０は、スマートフォン、カメラ付き携帯電話、デジタルビデオカメラ等であってもよい。画像処理装置１０には、撮影レンズ（レンズユニット）１１１が備えられる。撮影レンズ１１１は、画像処理装置１０のボディから着脱可能であってもよいし着脱不能であってもよい。画像処理装置１０には、記録媒体１２０が備えられる。記録媒体１２０は、画像処理装置１０のボディから着脱可能であってもよいし着脱不能であってもよい。

画像処理モジュール１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、メモリ１０２と、不揮発性メモリ１０３と、操作部１０４と、画像処理部１１３と、外部ＩＦ制御部１１４と、表示制御部１１５とを有する。画像処理モジュール１００は、通信制御部１１７と、記録媒体制御部１１９と、画像処理モジュール間ＩＦ１２１と、内部バス１３０とを更に有する。

ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することによって、内部バス１３０を介して画像処理モジュール１００の各部（各機能ブロック）の動作を制御する。

メモリ１０２は、書き換え可能な揮発性メモリである。メモリ１０２は、画像処理モジュール１００の各部の動作を制御するためのコンピュータプログラムが一時的に記録される。また、メモリ１０２は、画像処理モジュール１００の各部の動作に関するパラメータ等の情報を一時的に記録する。また、メモリ１０２は、通信制御部１１７によって受信される情報等を一時的に記録する。メモリ１０２は、撮像部１１２によって取得された画像、画像処理部１１３によって処理された画像、符号化処理モジュール２００によって符号化された画像等を一時的に記録する。メモリ１０２は、これらを一時的に記録するための十分な記憶容量を備えている。

不揮発性メモリ１０３は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０３は、画像処理モジュール１００の各部の動作を制御するためのコンピュータプログラムを記憶する。また、不揮発性メモリ１０３は、画像処理モジュール１００の各部の動作に関するパラメータ等の情報を記憶する。かかるコンピュータプログラムによって、本実施形態による画像処理装置１０によって行われる各種動作が実現される。

操作部１０４は、画像処理モジュール１００を操作するためのユーザインターフェースを提供する。操作部１０４は、電源ボタン、メニューボタン、撮影ボタン等の各種ボタンを含んでおり、各種ボタンは、スイッチ、タッチパネル等によって構成される。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザの指示に従って、画像処理モジュール１００を制御する。ここでは、操作部１０４を介して入力される操作に基づいてＣＰＵ１０１が画像処理モジュール１００を制御する場合を例に説明するが、これに限定されるものではない。例えば、不図示のリモートコントローラや不図示の携帯端末等から通信部１１８を介して入力される要求に基づいて、ＣＰＵ１０１が画像処理モジュール１００を制御してもよい。

撮影レンズ（レンズユニット）１１１は、ズームレンズ、フォーカスレンズ等を含む不図示のレンズ群と、不図示のレンズ制御部と、不図示の絞りとを含む。レンズ制御部は、ＣＰＵ１０１から送信される制御信号により、焦点の調整、絞り値（Ｆ値）の調整等を行う。撮像部１１２は、例えば、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等によって構成されるエリアイメージセンサである。撮像部１１２の撮像面には、画素アレイが備えられている。画素アレイには、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、即ち、２次元的に配列されている。画素アレイには、被写体の光学像が撮影レンズ１１１によって結像される。撮像部１１２によって取得された画像（画像データ）は、画像処理部１１３又は画像処理モジュール間ＩＦ１２１に供給される。

画像処理部１１３は、撮像部１１２から供給される画像データに対して所定の画像処理を行う。画像処理部１１３は、メモリ１０２から読み出した画像データに対して所定の画像処理を行うこともできる。所定の画像処理としては、例えば、画素補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。画像処理部１１３は、画像処理が施された画像データをメモリ１０２に一時的に記録し得る。また、画像処理部１１３は、撮像部１１２によって取得される画像データを用いて、露光制御、測距制御等のための所定の演算処理を行うこともできる。画像処理部１１３による演算処理によって得られた演算結果に基づいて、露光制御、測距制御等がＣＰＵ１０１によって行われる。具体的には、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理等がＣＰＵ１０１によって行われる。

外部ＩＦ制御部１１４は、外部モジュールとの間で入出力の制御を行う。外部ＩＦ制御部１１４が画像処理モジュール１００ａに備えられている場合、外部モジュールは、例えば、画像処理モジュール１００ｂ及び符号化処理モジュール２００である。外部ＩＦ制御部１１４が画像処理モジュール１００ｂに備えられている場合、外部モジュールは、例えば、画像処理モジュール１００ａ及び符号化処理モジュール２００である。外部モジュールとの間での入出力のインターフェースとしては、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ規格等の汎用規格のインターフェースを用い得るが、これに限定されるものではない。外部ＩＦ制御部１１４は、ＣＰＵ１０１によって制御される。外部ＩＦ制御部１１４は、画像データ、ストリームデータ、制御信号等を符号化処理モジュール２００に送信し得る。符号化処理モジュール２００は、これらのデータに対して圧縮符号化を行う。外部ＩＦ制御部１１４は、圧縮符号化が施された画像データを符号化処理モジュール２００から受信する。

表示制御部１１５は、表示部１１６を制御する。表示部１１６は、不図示の表示画面を備えている。表示制御部１１５は、画像データに対してリサイズ処理や色変換処理等を行うことにより、表示部１１６の表示画面に表示可能な画像を生成し、かかる画像、即ち、画像信号を表示部１１６に出力する。表示部１１６は、表示制御部１１５から供給される画像信号に基づいて、表示画面に画像を表示する。表示制御部１１５は、ＣＰＵ１０１によって制御される。表示部１１６は、表示画面にメニュー等の設定画面を表示する機能であるオンスクリーン表示（ＯＳＤ：Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を備えている。表示制御部１１５は、画像信号にＯＳＤ画像を重畳し、ＯＳＤ画像が重畳された画像信号を表示部１１６に出力し得る。表示部１１６は、例えば、液晶ディスプレイや有機ＥＬ等によって構成される。表示部１１６は、例えばタッチパネルであってもよい。表示部１１６がタッチパネルである場合、表示部１１６は操作部１０４としても機能し得る。

通信制御部１１７は、例えばＩＥＥＥ８０２．１１等で予め定められた無線通信規格に適合する変調信号を生成し、生成した変調信号を通信部１１８に出力する。通信制御部１１７は、ＣＰＵ１０１によって制御される。また、通信制御部１１７は、無線通信規格に適合する変調信号を、通信部１１８を介して受信し、受信した変調信号を復号し、復号によって得られた信号をＣＰＵ１０１に送信する。通信制御部１１７は、通信設定を記憶するためのレジスタを備えている。通信制御部１１７は、ＣＰＵ１０１からの制御によって、通信時の送受信感度を調整し得る。通信制御部１１７は、所定の変調方式で送受信が行われるように制御を行う。

通信部１１８は、通信制御部１１７から供給される変調信号を外部に出力するとともに、外部からの変調信号を受信するアンテナを備えている。また、通信部１１８には、通信用の回路等が備えられている。ここでは、通信部１１８によって無線通信が行われる場合を例に説明するが、通信部１１８によって行われる通信は無線通信に限定されるものではない。例えば、配線等を用いた電気的な接続によって通信部１１８と外部機器とが接続されてもよい。

記録媒体制御部１１９は、記録媒体１２０を制御する。記録媒体制御部１１９は、ＣＰＵ１０１からの要求に基づいて、記録媒体１２０を制御するための制御信号を記録媒体１２０に出力する。記録媒体１２０としては、例えば不揮発性メモリや磁気ディスク等が用いられる。記録媒体１２０は、上述したように、着脱可能であってもよいし、着脱不能であってもよい。記録媒体１２０には、符号化された画像データ等が記録される。具体的には、記録媒体１２０のファイルシステムに適合した形式の画像データ等が、ファイルとして記録媒体１２０に記録される。かかるファイルとしては、例えば、ＭＰ４ファイル（ＩＳＯ／ＩＥＣ １４４９６－１４：２００３）やＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）ファイル等が挙げられる。

画像処理モジュール間ＩＦ１２１は、撮像部１１２から供給される画像データを他の画像処理モジュール１００に供給する。具体的には、画像処理モジュール間ＩＦ１２１が撮像部１１２に接続されている場合には、当該画像処理モジュール間ＩＦ１２１は、他の画像処理モジュール１００に対して画像データを転送する。一方、画像処理モジュール間ＩＦ１２１が撮像部１１２に接続されていない場合には、当該画像処理モジュールＩＦ１２１は、他の画像処理モジュール１００から供給される画像を受信する。

画像処理モジュール間ＩＦ１２１は、画像の一部のみを、他の画像処理モジュール１００に転送することも可能である。より具体的には、画像処理モジュール間ＩＦ１２１は、例えば、撮像部１１２によって取得された画像を左右に分割し、左半分の画像又は右半分の画像のみを他の画像処理モジュール１００に転送することができる。画像処理モジュール１００ａに備えられた画像処理モジュール間ＩＦ１２１が、右半分の画像のみを画像処理モジュール１００ｂに転送する場合、以下のような処理が行われる。撮像部１１２によって取得される画像は、画像処理モジュール１００ａに備えられた画像処理部１１３と画像処理モジュール１００ａに備えられた画像処理モジュール間ＩＦ１２１とに供給される。画像処理モジュール１００ａに備えられた画像処理部１１３は、撮像部１１２から供給される画像のうちから左半分の画像のみを選択的に抽出し、抽出した左半分の画像に対して画像処理を施す。なお、画像処理モジュール１００ａに備えられた画像処理部１１３は、抽出した左半分の画像を画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録するようにしてもよい。そして、画像処理モジュール１００ａに備えられたメモリ１０２から読み出された左半分の画像に対して、画像処理モジュール１００ａに備えられた画像処理部１１３が画像処理を施すようにしてもよい。画像処理モジュール１００ａに備えられた画像処理モジュール間ＩＦ１２１は、撮像部１１２から供給される画像のうちから右半分の画像のみを選択的に抽出し、抽出した右半分の画像を画像処理モジュール１００ｂに送信する。画像処理モジュール１００ｂに備えられた画像処理モジュール間ＩＦ１２１は、画像処理モジュール１００ａから供給される右半分の画像を、画像処理モジュール１００ｂに備えられた画像処理部１１３に供給する。画像処理モジュール１００ｂに備えられた画像処理部１１３は、画像処理モジュール１００ａから供給される右半分の画像に対して画像処理を施す。なお、画像処理モジュール１００ｂに備えられた画像処理部１１３は、右半分の画像を画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録するようにしてもよい。そして、画像処理モジュール１００ｂに備えられたメモリ１０２から読み出された右半分の画像に対して、画像処理モジュール１００ｂに備えられた画像処理部１１３が画像処理を施すようにしてもよい。

画像処理モジュール間ＩＦ１２１は、例えば、上半分の画像のみ又は下半分の画像のみを他の画像処理モジュール１００に転送することもできる。また、画像処理モジュール間ＩＦ１２１は、例えば、奇数番目のフレームのみ又は偶数番目のフレームのみを他の画像処理モジュール１００に転送することもできる。また、画像処理モジュール間ＩＦ１２１は、例えば、画像を分割することにより形成されるタイルを他の画像処理モジュール１００に転送することもできる。

画像処理モジュール１００に備えられた各々の構成要素は、内部バス１３０を介して互いにアクセス可能となっている。

符号化処理モジュール２００は、例えば、画像処理モジュール１００から供給される画像データに対してフレーム内予測符号化（画面内予測符号化）及びフレーム間予測符号化（画面間予測符号化）等を行うことによって、画像データのサイズを圧縮する。符号化処理モジュール２００は、例えば、Ｈ．２６５（ＩＴＵ Ｈ．２６５又はＩＳＯ／ＩＥＣ２３００８－２）方式によって圧縮化処理を行い得る。

＜符号化処理モジュール＞
次に、符号化処理モジュール２００の構成について図２を用いて説明する。図２は、画像処理装置１０の一部を示すブロック図である。図２においては、符号化処理モジュール２００と、メモリ２１１と、画像処理モジュール１００ａ、１００ｂとが抜き出して示されている。符号化処理モジュール２００は、例えば、所定の動画圧縮規格に基づいて符号化処理を行う。所定の動画圧縮規格としては、例えば、Ｈ２６４規格又はＨ．２６５規格に基づく符号化方式が挙げられる。

符号化処理モジュール２００は、ＣＰＵ２０１と、ブロックサイズ決定部２０２と、予測符号化方法決定部２０３と、予測符号化処理部２０４と、直交変換・量子化部２０５と、局所復号部２０６と、符号量制御部２０７とを有する。符号化処理モジュール２００は、エントロピー符号化部２０８と、多重化処理部２０９と、外部ＩＦ制御部２１０とを更に有する。
ＣＰＵ２０１は、メモリ２１１に格納されているコンピュータプログラムを実行することによって、符号化処理モジュール２００の各部（各機能ブロック）の動作を制御する。

Ｈ．２６４規格に基づく符号化における符号化処理単位は、マクロブロックである。Ｈ．２６５規格においては、４種類のデータ構造、即ち、Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（ＣＴＵ）、Ｃｏｄｉｎｇ Ｕｎｉｔ（ＣＵ）、Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ（ＰＵ）、及び、Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ（ＴＵ）が規定されている。Ｈ．２６５規格に基づく符号化においては、これらのデータ構造を用いて設定されるブロックを符号化処理単位として符号化処理が行われる。ＣＴＵは、画像を分割する処理単位である。ＣＵは、ＣＴＵを画像特性にあわせて再帰的に分割する処理単位である。ＰＵは、ＣＵを予測処理用に分割する処理単位である。ＴＵは、ＣＵを変換処理用に分割する処理単位である。ブロックサイズ決定部２０２は、ブロックのサイズの制限に関する情報であるブロックサイズ制限情報を生成し得る。また、ブロックサイズ決定部２０２は、タイルのサイズの制限に関する情報であるタイルサイズ制限情報をも生成し得る。タイルは、例えばＨ．２６５規格において規定されており、画像を複数の矩形領域に分割することによって生成される。タイルは、複数のＣＴＵを含む。ブロックサイズ決定部２０２は、予測符号化の条件を示す情報である予測符号化条件情報を予測符号化方法決定部２０３に供給する。

予測符号化方法決定部２０３は、ブロックサイズ決定部２０２から供給される予測符号化条件情報に基づいて、符号化対象領域内の各画素ブロックに対する予測符号化方法を決定する。予測符号化方法決定部２０３は、入力される画像信号と、メモリ１０２から読み出した符号化済みの画素値とから、簡易的なフレーム内予測又は動き検出を含むフレーム間予測処理を行うことによって、符号化効率を示す評価値を算出する。そして、予測符号化方法決定部２０３は、符号化効率が最良となる予測符号化方式を決定する。

符号化対象の画素ブロックがＩスライスの場合には、予測符号化方法決定部２０３は、フレーム内の予測画素のブロックサイズと予測モードとを決定する。符号化画素ブロックがＰスライス又はＢスライスの場合には、フレーム内予測及びフレーム間予測のうちの符号化効率の高い方の予測方法を選択する。なお、フレーム内の全てのスライスがＩスライスであるフレームはＩフレームと称され、フレーム内の全てのスライスがＰスライスであるフレームはＰフレームと称され、フレーム内の全てのスライスがＢスライスであるフレームはＢフレームと称される。

予測符号化方法決定部２０３は、フレーム内予測の場合には、ブロックサイズ制限情報に基づいて、フレーム内の予測画素のブロックサイズ、フレーム内予測モード等のフレーム内予測符号化用パラメータを決定する。予測符号化方法決定部２０３は、ブロックサイズ制限情報がない場合におけるフレーム内予測画素のブロックサイズを決定する。また、予測符号化方法決定部２０３は、ブロックサイズ制限情報に基づいて、ブロックサイズ制限情報に規定された制限の範囲内に収まるように、フレーム内の予測画素のブロックサイズを決定する。

予測符号化方法決定部２０３は、フレーム間予測の場合には、参照フレーム、画素ブロックの分割パターン、動きベクトル等のフレーム間予測符号化用パラメータを決定する。予測符号化方法決定部２０３は、ブロックサイズ制限情報に基づいて、ブロックサイズ制限情報に規定された制限の範囲内に収まるように、画素ブロック分割のパターンを変更する。予測符号化方法決定部２０３は、決定した予測符号化用パラメータを予測符号化処理部２０４に出力する。

予測符号化処理部２０４は、符号化対象のフレーム中の着目画素ブロックを符号化する際、予測符号化方法決定部２０３によって決定された予測符号化用パラメータに応じて、メモリ２１１から読み出した符号化済み画像から予測画素ブロックを生成する。そして、予測符号化処理部２０４は、着目画素ブロックと予測画素ブロックとの差分である予測残差ブロックを、直交変換・量子化部２０５に出力する。また、予測符号化処理部２０４は、予測画素ブロックを局所復号部２０６にも出力する。

直交変換・量子化部２０５は、予測符号化処理部２０４から供給される予測残差ブロックに対して直交変換処理を行う。また、直交変換・量子化部２０５は、符号量制御部２０７によって設定された量子化パラメータに応じた量子化ステップを用いて、直交変換処理により得られた係数を量子化する。直交変換・量子化部２０５は、量子化後の係数、即ち、量子化データを、エントロピー符号化部２０８と局所復号部２０６とに出力する。

局所復号部２０６は、直交変換・量子化部２０５から入力される量子化データに対して、逆量子化処理、逆直交変換処理等を行うことによって、予測残差データを生成する。そして、局所復号部２０６は、生成した予測残差データに、予測符号化処理部２０４から入力される予測画像を加算して復号処理を行い、複合処理によって得られた画素ブロックによって示される画像データをメモリ２１１に格納する。メモリ２１１に格納された復号処理後の画像データは、フレーム内予測処理に利用される。更に、デブロッキングフィルタ処理が施された復号後の画像データは、メモリ２１１に保持される。メモリ２１１に保持されたデブロッキングフィルタ処理後の復号データは、フレーム間予測処理にも利用される。

符号量制御部２０７は、符号化ピクチャバッファをオーバーフロー又はアンダーフローさせないように、符号化データの符号量を制御する。符号量制御部２０７は、エントロピー符号化部２０８から供給されるエントロピー符号化後の発生符号量に基づいて、後続のフレームに対する量子化パラメータを生成し、生成した量子化パラメータを直交変換・量子化部２０５に供給する。なお、符号量制御部２０７は、ブロックサイズ決定部２０２によって生成される量子化優先度情報に基づいて、例えば重み付け量子化係数を変更することによって量子化パラメータを調整する。

エントロピー符号化部２０８は、入力される量子化データに対してスライス単位にＣＡＢＡＣ（コンテキスト適応型２値算術符号化）によるエントロピー符号化処理を行う。エントロピー符号化部２０８は、入力される多値の量子化データを２値のデータに変換する２値化部と、２値化部によって生成される２値化データを格納する２値化データメモリとを有している。また、エントロピー符号化部２０８は、２値化データの発生確率をコンテキストに応じて計算し、計算によって求められた２値データの発生確率を保持するコンテキスト計算部を有する。また、エントロピー符号化部２０８は、コンテキスト計算部から供給される２値データの発生確率に応じて算術符号化を行う算術符号化部を有する。エントロピー符号化部２０８は、こうして符号化されたデータを多重化処理部２０９に出力するとともに、エントロピー符号化後の発生符号量を符号量制御部２０７に出力する。

多重化処理部２０９は、画像の符号化の開始の際には、符号化対象のフレームのサイズ等の各種シンタックス情報を、符号化された画像データに付加することによって、ストリームデータを生成し、当該ストリームデータをメモリ２１１に記録する。

外部ＩＦ制御部２１０は、符号化処理モジュール２００に備えられた不図示のバスを制御し得るとともに、外部モジュール、即ち、画像処理モジュール１００ａ、１００ｂとの間での入出力の制御を行う。外部モジュールとの間での入出力のインターフェースとしては、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ規格等の汎用規格のインターフェースを用い得るが、これに限定されるものではない。外部ＩＦ制御部２１０は、画像データ、ストリームデータ等を、画像処理モジュール１００ａ、１００ｂから受信する。外部ＩＦ制御部２１０は、符号化した画像データ、符号化したストリームデータ等を、画像処理モジュール１００ａ、１００ｂに送信する。

なお、外部ＩＦ制御部２１０は、複数のレーンを備えている。外部ＩＦ制御部２１０が例えば４つのレーンを備えている場合には、例えば、４つのレーンによって１つのチャンネルを構成してもよい。チャンネルは、ＰＣＩ Ｅｘｐｒｅｓｓ規格においてはリンクと称される。また、外部ＩＦ制御部２１０が例えば４つのレーンを備えている場合に、２つのレーンをそれぞれ備える２つのチャンネルを構成するようにしてもよい。チャンネルの数、チャンネルを構成するレーンの数は、これらに限定されるものではなく、適宜設定し得る。

メモリ２１１は、書き換え可能な揮発性メモリである。メモリ２１１は、画像データ等を一時的に記録する。また、メモリ２１１は、符号化処理モジュール２００の各部の動作に関するパラメータ等の情報を一時的に記録する。

＜バス構成＞
画像処理モジュール１００と符号化処理モジュール２００とを接続するバスの構成の例について図３を用いて説明する。図３（ａ）は、画像処理モジュール１００ａ、１００ｂと符号化処理モジュール２００とを接続するバスの構成の例を示している。図３（ａ）に示す例においては、２つの画像処理モジュール１００ａ、１００ｂが符号化処理モジュール２００に接続されている。符号化処理モジュール２００に備えられた例えば４つのレーンが、例えば２つのチャンネル３００ａ、３００ｂに分割して用いられている。４つのレーンのうちの２つのレーンは、チャンネル３００ａに用いられている。４つのレーンのうちの残りの２つのレーンは、チャンネル３００ｂに用いられている。チャンネル３００ａは、画像処理モジュール１００ａと符号化処理モジュール２００との間の通信に用いられる。チャンネル３００ｂは、画像処理モジュール１００ｂと符号化処理モジュール２００との間の通信に用いられる。画像処理モジュール１００ａ、１００ｂにそれぞれ備えられているレーンの数が、符号化処理モジュール２００に備えられているレーンの数の半分である場合に、図３（ａ）のようなバス構成３０１が適用され得るが、これに限定されるものではない。図３（ａ）に示すようなバス構成３０１では、例えば左半分の画像００１と右半分の画像００２とがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００ａ、１００ｂから符号化処理モジュール２００にそれぞれ伝送されるようにし得る。また、図３（ａ）に示すようなバス構成においては、上半分の画像と下半分の画像とがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００ａ、１００ｂから符号化処理モジュール２００にそれぞれ伝送されるようにすることもできる。また、図３（ａ）に示すバス構成３０１においては、奇数番目のフレームと偶数番目のフレームとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００ａ、１００ｂから符号化処理モジュール２００にそれぞれ伝送されるようにもし得る。符号化処理モジュール２００に備えられた複数のレーンが複数のチャンネル３００ａ、３００ｂに分割して用いられるこのようなバス構成３０１を「第１のバス構成」と称することとする。第１のバス構成３０１は、ＰＣＩ ｅｘｐｒｅｓｓ規格に備えられたバイファケーション機能を用いて実現され得る。

図３（ｂ）は、画像処理モジュール１００と符号化処理モジュール２００とを接続するバスの構成の他の例を示している。図３（ｂ）に示す例においては、単一の画像処理モジュール１００ａが符号化処理モジュール２００に接続されている。画像処理モジュール１００ａに備えられているレーンの数と符号化処理モジュール２００に備えられているレーンの数とが等しい場合に、図３（ｂ）のようなバス構成３０２が適用され得るが、これに限定されるものではない。画像処理モジュール１００と符号化処理モジュール２００とにそれぞれ備えられた例えば４つのレーンが、複数のチャンネル３００ａ、３００ｂに分割して用いられている。４つのレーンのうちの２つのレーンは、チャンネル３００ａに用いられている。４つのレーンのうちの残りの２つのレーンは、チャンネル３００ｂに用いられている。例えば、左半分の画像００１と右半分の画像００２とがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ伝送されるようにすることができる。また、上半分の画像と下半分の画像とがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ伝送されるようにすることができる。また、奇数番目のフレームと偶数番目のフレームとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ伝送されるようにすることができる。図３（ｂ）に示すバス構成３０２においても、図３（ａ）に示すバス構成３０１と同様に、符号化処理モジュール２００に備えられた複数のレーンが複数のチャンネル３００ａ、３００ｂに分割して用いられている。従って、図３（ｂ）に示すバス構成３０２は、「第１のバス構成」の他の例である。

図３（ｃ）は、画像処理モジュール１００と符号化処理モジュール２００とを接続するバスの構成の更に他の例を示している。図３（ｃ）に示す例においては、単一の画像処理モジュール１００が符号化処理モジュール２００に接続されている。画像処理モジュール１００に備えられているレーンの数と符号化処理モジュール２００に備えられているレーンの数とが等しい場合に、図３（ｃ）のようなバス構成３０３が適用され得るが、これに限定されるものではない。画像処理モジュール１００と符号化処理モジュール２００とにそれぞれ備えられた４つのレーンのいずれもが単一のチャンネル３００に用いられている。単一のチャンネル３００によって画像処理モジュール１００と符号化処理モジュール２００とが接続されているため、例えば動画像を構成する各々のフレームの画像００３は、以下のように送信される。即ち、動画像を構成する各々のフレームの画像００３は、単一のチャンネル３００を介して画像処理モジュール１００から符号化処理モジュール２００に順次送信される。このように、符号化処理モジュール２００に備えられた複数のレーンのいずれもが単一のチャンネル３００に用いられるようなバス構成３０３を「第２のバス構成」と称することとする。

＜画像処理モジュールと符号化処理モジュールとによって行われる処理＞
次に、画像処理モジュールと符号化処理モジュールとによって行われる処理の例について図４を用いて説明する。図４は、画像処理モジュールと符号化処理モジュールとによって行われる処理の例を示す図である。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例に説明するが、これに限定されるものではない。

ステップＳ４０１において、画像処理モジュール１００ａと符号化処理モジュール２００との間、及び、画像処理モジュール１００ｂと符号化処理モジュール２００との間においてバスの接続の確立が行われる。バスの接続を確立するために、各々のモジュール間においてデバイス認識が行われ、各々のモジュールにおいてコンフィグレーションの設定処理、アドレス空間の割り当て等が行われる。

ステップＳ４０２において、各々のチャンネル３００ａ、３００ｂを介して送信される画像の解像度（画素数）、フレームレート等に関する情報を、画像処理モジュール１００ａ、１００ｂが符号化処理モジュール２００に送信する。なお、解像度、フレームレート等に関する情報は、画像処理モジュール１００ａと画像処理モジュール１００ｂとのうちのいずれかからのみ符号化処理モジュール２００に送信されるようにしてもよい。また、ステップＳ４０２において、バス構成を示す情報を、画像処理モジュール１００ａ、１００ｂが符号化処理モジュール２００に送信するようにしてもよい。バス構成を示す情報は、例えば、上述した第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。

ステップＳ４０３において、画像処理モジュール１００ｂは、画像データの送信の準備が完了したことを示す情報を、符号化処理モジュール２００に対して送信する。かかる画像データには、画像処理モジュール１００ｂに備えられた画像処理部１１３によって画像処理が施されている。かかる画像データは、画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録されている。

ステップＳ４０４において、画像処理モジュール１００ａは、画像データの送信の準備が完了したことを示す情報を、符号化処理モジュール２００に対して送信する。かかる画像データには、画像処理モジュール１００ａに備えられた画像処理部１１３によって画像処理が施されている。かかる画像データは、画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録されている。画像処理モジュール１００ａにおける画像処理のタイミングと、画像処理モジュール１００ｂにおける画像処理のタイミングとは互いに異なっている。このため、ステップＳ４０３とステップＳ４０４とは非同期で行われる。

ステップＳ４０５において、符号化処理モジュール２００は、画像データの受信の要求を、画像処理モジュール１００ａと画像処理モジュール１００ｂとに対して同時に送信する。

ステップＳ４０６において、画像処理モジュール１００ａと画像処理モジュール１００ｂとは、チャンネル３００ａ、３００ｂをそれぞれ介して画像データを符号化処理モジュール２００に送信する。画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録されていた画像データが、チャンネル３００ａを介して画像処理モジュール１００ａから符号化処理モジュール２００に送信される。画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録されていた画像データが、チャンネル３００ｂを介して画像処理モジュール１００ｂから符号化処理モジュール２００に送信される。

ステップＳ４０７において、符号化処理モジュール２００は、符号化された画像データであるストリームデータを、画像処理モジュール１００ａに送信する。画像処理モジュール１００ａに備えられた記録媒体制御部１１９は、符号化処理モジュール２００から供給されるストリームデータを記録媒体１２０に記録する。なお、ここでは、符号化処理モジュール２００によって生成されたストリームデータが画像処理モジュール１００ａにのみ供給される場合を例に説明したが、これに限定されるものではない。例えば、符号化処理モジュール２００によって生成されたストリームデータが画像処理モジュール１００ａと画像処理モジュール１００ｂの両方に供給されるようにしてもよい。

なお、ステップＳ４０３からステップＳ４０７までの処理は、記録媒体１２０への動画像データの記録が完了するまでの間、繰り返し行われる。

なお、ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として示したが、これに限定されるものではない。例えば、図３（ｂ）に示すようなバス構成３０２又は図３（ｃ）に示すようなバス構成３０３の場合には、単一の画像処理モジュール１００と符号化処理モジュール２００との間で通信が行われる。

＜画像処理モジュール１００の処理＞
本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例について図５を用いて説明する。図５は、画像処理モジュール１００によって行われる処理の例を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、メモリ１０２に展開されたプログラムがＣＰＵ１０１によって実行されることによって、図５に示すような処理が実現される。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として説明する。

バスを介して伝送し得るデータの量には限度がある。このため、動画像を構成する各々のフレームの解像度が比較的低い場合には、高いフレームレートで動画像を伝送することが可能である。例えば解像度が１９２０×１０８０のフレームを伝送する場合には、フレームレートは例えば２４０ｆｐｓ（２４０Ｐ）とすることができる。一方、動画像を構成する各々のフレームの解像度が比較的高い場合には、フレームレートは低くせざるをえない。例えば解像度が３８４０×２１６０のフレームを伝送する場合には、フレームレートは例えば６０ｆｐｓ（６０Ｐ）とされる。解像度が１９２０×１０８０、フレームレートが２４０ｆｐｓの場合における１秒間当たりのデータ伝送量と、解像度が３８４０×２１６０、フレームレートが６０ｆｐｓの場合における１秒間当たりのデータ伝送量とは同じである。解像度が比較的高いフレームが伝送される場合には、当該フレームの画像を例えば２つに分割し、２つの分割画像を例えば２つの画像処理モジュール１００ａ、１００ｂによって分散処理することが好ましい場合がある。一方、フレームレートが比較的高い場合には、フレームの解像度は比較的低く設定されるため、１つのフレームを分割することなく画像処理モジュール１００によって処理し得る。しかしながら、１つのフレームの伝送が完了し、次のフレームの伝送が行われるまでの間には、送信側と受信側との間でコマンドの送受信等が行われるため、インターバル時間が生じる。インターバル時間の合計が単位時間に占める割合は、フレームレートが高くなるほど大きくなる。例えば、奇数番目のフレームについてはチャンネル３００ａを用いて伝送を行い、偶数番目のフレームについてはチャンネル３００ｂを用いて伝送を行うようにすれば、インターバル時間の合計が単位時間に占める割合を半減することが可能である。そこで、本実施形態では、フレームレートが比較的高い場合には、奇数番目のフレームがチャンネル３００ａを介して伝送され、偶数番目のフレームがチャンネル３００ｂを介して伝送される。一方、フレームレートが比較的低い場合には、解像度の比較的高い画像が伝送され得るため、画像を分割することにより得られる分割画像の各々に対して複数の画像処理モジュール１００ａ、１００ｂによって画像処理を行う。そして、これらの画像処理モジュール１００ａ、１００ｂによって画像処理が施された分割画像をチャンネル３００ａ、３００ｂを介してそれぞれ伝送する。

ステップＳ５０１において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。例えば、図３（ｂ）に示すような第１のバス構成３０２によってバスの接続を確立する。この後、ステップＳ５０２に遷移する。

ステップＳ５０２において、ＣＰＵ１０１は、画像を記録する際に用いられるパラメータである記録用パラメータを取得する。記録用パラメータは、不揮発性メモリ１０３に予め記録されている。ＣＰＵ１０１は、記録用パラメータを不揮発性メモリ１０３から読み出す。記録用パラメータは、具体的には、画像を記録する際の解像度、フレームレート等を含む。記録用パラメータは、操作部１０４を介してユーザによって予め設定される。この後、ステップＳ５０３に遷移する。

ステップＳ５０３において、ＣＰＵ１０１は、記録用パラメータ、具体的には、画像を記録する際の解像度、フレームレート等に関する情報を、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に送信する。この後、ステップＳ５０４に遷移する。なお、ＣＰＵ１０１は、記録用パラメータの他に、ステップＳ５０１において確立されたバス構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。バス構成を示す情報は、例えば、上述した第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。

ステップＳ５０４において、ＣＰＵ１０１は、ステップＳ５０２において取得した記録用パラメータに含まれるフレームレートが、所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ１０２に予め記録されている。ステップＳ５０２において取得した記録用パラメータに含まれるフレームレートが所定の閾値より大きい場合には（ステップＳ５０４においてＹＥＳ）、ステップＳ５０５に遷移する。ステップＳ５０２において取得した記録用パラメータに含まれるフレームレートが所定の閾値以下である場合には（ステップＳ５０４においてＮＯ）、ステップＳ５０６に遷移する。

ステップＳ５０５において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、所定のフレームの画像を符号化処理モジュール２００に送信する。より具体的には、ＣＰＵ１０１は、フレームの順番を示すフレーム番号情報を、送信するフレームに対して付加し、フレーム番号情報が付加されたフレームを符号化処理モジュール２００に送信する。ここでは、画像処理モジュール１００ａと符号化処理モジュール２００との間において奇数番目のフレームの画像が伝送され、画像処理モジュール１００ｂと符号化処理モジュール２００との間において偶数番目のフレームの画像が伝送される場合を例に説明する。画像処理モジュール１００ａによって図５に示す処理が実行される場合、画像処理モジュール１００ａに備えられたＣＰＵ１０１は、奇数番目のフレームの画像を、画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録する。画像処理モジュール１００ａに備えられたＣＰＵ１０１は、メモリ１０２から読み出した奇数番目のフレームの画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像処理モジュール１００ｂによって図５に示す処理が実行される場合、画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、偶数番目のフレームの画像を画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録する。画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、メモリ１０２から読み出した偶数番目のフレームの画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。なお、奇数番目のフレームと偶数番目のフレームとのうちのいずれの伝送を行うかについては、予め決定される。この後、ステップＳ５０７に遷移する。こうして、奇数番目のフレームと偶数番目のフレームとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００ａ、１００ｂから符号化処理モジュール２００にそれぞれ送信される。

ステップＳ５０６において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、各々のフレームの分割画像を符号化処理モジュール２００に送信する。ここでは、各々のフレームの上半分の画像が画像処理モジュール１００ａから符号化処理モジュール２００に送信され、各々のフレームの下半分の画像が画像処理モジュール１００ｂから符号化処理モジュール２００に送信される場合を例に説明する。画像処理モジュール１００ａによって図５に示すような処理が実行される場合、画像処理モジュール１００ａに備えられたＣＰＵ１０１は、各々のフレームの上半分の画像を画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録する。画像処理モジュール１００ａに備えられたＣＰＵ１０１は、メモリ１０２から読み出した上半分の画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像処理モジュール１００ｂによって図５に示す処理が実行される場合、画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、各々のフレームの下半分の画像を画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録する。画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、メモリ１０２から読み出された下半分の画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。なお、上半分の画像と下半分の画像とのうちのいずれの伝送を行うかについては、予め決定される。なお、ここでは、上半分の画像と下半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送する場合を例に説明したが、これに限定されるものではない。例えば、左半分の画像と右半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送するようにしてもよい。また、タイル状に分割された複数の画像の各々を、それぞれ異なるチャンネル３００ａ、３００ｂを介して伝送するようにしてもよい。この後、ステップＳ５０７に遷移する。

ステップＳ５０７において、ＣＰＵ１０１は、符号化処理モジュール２００によって符号化されたストリームデータを、外部ＩＦ制御部１１４を制御することによって受信する。奇数番目のフレームと偶数番目のフレームとがステップＳ５０５においてチャンネル３００ａ、３００ｂをそれぞれ介して符号化処理モジュール２００に送信された場合には、ステップＳ５０７において、以下のような処理が行われる。即ち、ステップＳ５０７においては、以下のようなストリームデータが符号化処理モジュール２００から画像処理モジュール１００ａに供給される。符号化処理モジュール２００から画像処理モジュール１００ａに供給されるストリームデータは、符号化済みの奇数番目のフレームのみから成るストリームデータでもないし、符号化済みの偶数番目のフレームのみから成るストリームデータでもない。符号化済みの奇数番目のフレームと符号化済みの偶数番目のフレームの両方が、符号化処理モジュール２００から画像処理モジュール１００ａに供給される。各々のフレームの上半分の画像と各々のフレームの下半分の画像とがステップＳ５０６においてチャンネル３００ａ、３００ｂをそれぞれ介して符号化処理モジュール２００に送信された場合には、ステップＳ５０７において、以下のような処理が行われる。即ち、ステップＳ５０７においては、以下のようなストリームデータが符号化処理モジュール２００から画像処理モジュール１００ａに供給される。符号化処理モジュール２００から画像処理モジュール１００ａに供給されるストリームデータは、符号化済みの上半分の画像のみから成るストリームデータでもないし、符号化済みの下半分の画像のみから成るストリームデータでもない。上半分の画像と下半分の画像とを合成することにより得られる全体画像に対して符号化処理を施すことによって得られる画像のストリームデータが、符号化処理モジュール２００から画像処理モジュール１００ａに供給される。この後、ステップＳ５０８に遷移する。

ステップＳ５０８において、ＣＰＵ１０１は、記録媒体制御部１１９を制御することによって、コンテナ化したストリームデータを記録媒体１２０に記録する。こうして、図５に示す処理が完了する。

なお、ステップＳ５０５からステップＳ５０８までの処理、又は、ステップＳ５０６からステップＳ５０８までの処理は、繰り返し実行される。

＜符号化処理モジュール２００の処理＞
本実施形態による画像処理装置に備えられた符号化処理モジュール２００によって行われる処理の例について図６を用いて説明する。図６は、符号化処理モジュール２００によって行われる処理の例を示すフローチャートである。不図示の不揮発性メモリに格納されているプログラムがメモリ２１１に展開され、メモリ２１１に展開されたプログラムがＣＰＵ２０１によって実行されることによって、図６に示すような処理が実現される。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として説明する。

ステップＳ６０１において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、画像処理モジュール１００ａとの間でバスの接続の確立を行うとともに、画像処理モジュール１００ｂとの間でバスの接続の確立を行う。この後、ステップＳ６０２に遷移する。

ステップＳ６０２において、ＣＰＵ２０１は、画像を記録する際に用いられるパラメータである記録用パラメータを、外部ＩＦ制御部２１０を制御することによって画像処理モジュール１００ａ、１００ｂから受信する。記録用パラメータは、上述したように、具体的には、画像を記録する際の解像度、フレームレート等である。なお、記録用パラメータの他に、確立されたバス構成を示す情報を、画像処理モジュール１００から受信するようにしてもよい。この後、ステップＳ６０３に遷移する。

ステップＳ６０３において、ＣＰＵ２０１は、ステップＳ６０２において取得した記録用パラメータに含まれるフレームレートが、所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ２１１に予め記録されている。ステップＳ６０２において取得した記録用パラメータに含まれるフレームレートが閾値より大きい場合には（ステップＳ６０３においてＹＥＳ）、ステップＳ６０５に遷移する。ステップＳ６０２において取得した記録用パラメータに含まれるフレームレートが閾値以下である場合には（ステップＳ６０３においてＮＯ）、ステップＳ６０４に遷移する。

ステップＳ６０４において、ＣＰＵ２０１は、ステップＳ６０１において確立されたバス構成が第１のバス構成３０１であるか否かを判定する。ＣＰＵ２０１は、例えば、ステップＳ６０１においてバスの接続を確立した際の情報に基づいて、ステップＳ６０１において確立されたバス構成が第１のバス構成３０１であるか否かを判定し得る。また、ＣＰＵ２０１は、ステップＳ６０２において画像処理モジュールから受信した、確立されたバス構成を示す情報に基づいて、確立されたバス構成が第１のバス構成３０１であるか否かを判定し得る。確立されたバス構成が第１のバス構成３０１である場合には（ステップＳ６０４においてＹＥＳ）、ステップＳ６０７に遷移する。確立されたバス構成が第１のバス構成３０１でない場合には（ステップＳ６０４においてＮＯ）、即ち、第２のバス構成３０３である場合には、ステップＳ６０９に遷移する。

ステップＳ６０５において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの画像データをチャンネル３００ａ、３００ｂを介して受信する。ここでは、奇数番目のフレームが画像処理モジュール１００ａから符号化処理モジュール２００に供給され、偶数番目のフレームが画像処理モジュール１００ｂから符号化処理モジュール２００に供給される場合を例に説明する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ａを介して奇数番目のフレームの画像データを受信する。また、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ｂを介して偶数番目のフレームの画像データを受信する。この後、ステップＳ６０６に遷移する。

ステップＳ６０６において、ＣＰＵ２０１は、チャンネル３００ａ、３００ｂを介してそれぞれ受信した各々のフレームの画像データを、フレーム番号順にメモリ２１１に記録する。この後、ステップＳ６１０に遷移する。

ステップＳ６０７において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの分割画像をチャンネル３００ａ、３００ｂを介してそれぞれ受信する。ここでは、各々のフレームの上半分の画像が画像処理モジュール１００ａから符号化処理モジュール２００に供給され、各々のフレームの下半分の画像が画像処理モジュール１００ｂから符号化処理モジュール２００に供給される場合を例に説明する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの上半分の画像を、チャンネル３００ａを介して受信する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの下半分の画像を、チャンネル３００ｂを介して受信する。なお、ここでは、上半分の画像と下半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送する場合を例に説明したが、これに限定されるものではない。例えば、左半分の画像と右半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して受信するようにしてもよい。この場合、ＣＰＵ２０１は、各々のフレームの左半分の画像を、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ａを介して受信する。また、ＣＰＵ２０１は、各々のフレームの右半分の画像を、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ｂを介して受信する。また、タイル状に分割された複数の画像の各々を、それぞれ異なるチャンネル３００ａ、３００ｂを介して受信するようにしてもよい。この後、ステップＳ６０８に遷移する。

ステップＳ６０８において、ＣＰＵ２０１は、チャンネル３００ａ、３００ｂを介してそれぞれ受信した分割画像を合成することによって得られる全体画像を、メモリ２１１に記録する。この後、ステップＳ６１０に遷移する。

ステップＳ６０９において、ＣＰＵ２０１は、単一のチャンネル３００を介して画像処理モジュール１００から画像を受信する。ＣＰＵ２０１は、受信した画像をメモリ２１１に記録する。この後、ステップＳ６１０に遷移する。

ステップＳ６１０において、ＣＰＵ２０１は、図２を用いて上述したような圧縮符号化処理を行い、圧縮符号化処理によって生成されたストリームデータをメモリ２１１に記録する。この後、ステップＳ６１１に遷移する。

ステップＳ６１１において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、ストリームデータを画像処理モジュール１００ａに送信する。なお、ストリームデータが画像処理モジュール１００ａと画像処理モジュール１００ｂの両方に送信されるようにしてもよい。こうして、図６に示す処理が完了する。

なお、ステップＳ６０５からステップＳ６１１までの処理、ステップＳ６０７からステップＳ６１１までの処理、又は、ステップＳ６０９からステップＳ６１１までの処理は、繰り返し実行される。

このように、本実施形態によれば、閾値より大きいフレームレートの動画像が伝送される場合においては、以下のような第１のモードで伝送が行われる。第１のモードにおいては、動画像を構成する複数のフレームのうちの第１のフレームがチャンネル３００ａを介して伝送され、第１のフレームとは異なる第２のフレームがチャンネル３００ｂを介して伝送される。第１のフレームは例えば奇数番目のフレームであり、第２のフレームは例えば偶数番目のフレームである。閾値より大きいフレームレートの動画像が伝送される場合に、このような第１のモードで伝送が行われるため、単位時間当たりのインターバル時間の割合が低減される。このため、大きいフレームレートで動画像を伝送することが可能となる。一方、閾値以下のフレームレートの動画像が伝送される場合においては、解像度の高いフレームを伝送し得るように、以下のような第２のモードで伝送が行われる。第２のモードにおいては、動画像を構成する複数のフレームのうちの一のフレームの第１の部分がチャンネル３００ａを介して伝送されるとともに、当該一のフレームのうちの第１の部分とは異なる第２の部分がチャンネル３００ｂを介して伝送される。このように、本実施形態によれば、伝送を良好に行い得る画像処理装置を提供することができる。

［第２実施形態］
第２実施形態による符号化装置、画像処理装置及び画像処理方法について図面を用いて説明する。図１乃至図６に示す第１実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

本実施形態による画像処理装置は、単一の画像処理モジュール１００が符号化処理モジュール２００に接続されているものである。

本実施形態による画像処理装置に備えられている画像処理モジュール１００の構成は図１を用いて上述した第１実施形態による画像処理装置１０に備えられている画像処理モジュール１００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００の構成は図２を用いて上述した第１実施形態による画像処理装置１０に備えられている符号化処理モジュール２００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００によって行われる処理は、図６を用いて上述した第１実施形態による画像処理装置１０に備えられている符号化処理モジュール２００によって行われる処理と同様である。

本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例について図７を用いて説明する。図７は、本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、メモリ１０２に展開されたプログラムがＣＰＵ１０１によって実行されることによって、図７に示すような処理が実現される。ここでは、図３（ｂ）に示すようなバス構成３０２又は図３（ｃ）に示すようなバス構成３０３である場合の動作を例として説明する。

ステップＳ７０１において、ＣＰＵ１０１は、画像を記録する際に用いられるパラメータである記録用パラメータを取得する。記録用パラメータは、上述したように、不揮発性メモリ１０３に予め記録されている。ＣＰＵ１０１は、上述したように、記録用パラメータを不揮発性メモリ１０３から読み出す。記録用パラメータとは、上述したように、具体的には、画像を記録する際の解像度、フレームレート等である。記録用パラメータは、操作部１０４を介してユーザによって予め設定される。この後、ステップＳ７０２に遷移する。

ステップＳ７０２において、ＣＰＵ１０１は、ステップＳ７０１において取得した記録用パラメータに含まれるフレームレートが、所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ１０２に予め記録されている。ステップＳ７０１において取得された記録用パラメータに含まれるフレームレートが所定の閾値より大きい場合には（ステップＳ７０２においてＹＥＳ）、ステップＳ７０３に遷移する。ステップＳ７０１において取得された記録用パラメータに含まれるフレームレートが所定の閾値以下である場合には（ステップＳ７０２においてＮＯ）、ステップＳ７０６に遷移する。

ステップＳ７０３において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。ここでは、図３（ｂ）に示すような第１のバス構成３０２によってバスの接続を確立する場合を例に説明するが、これに限定されるものではない。この後、ステップＳ７０４に遷移する。

ステップＳ７０４において、ＣＰＵ１０１は、記録用パラメータ、具体的には、画像を記録する際の解像度、フレームレート等に関する情報を、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に送信する。この後、ステップＳ７０５に遷移する。なお、記録用パラメータの他に、ステップＳ７０３において確立されたバスの構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。バスの構成を示す情報は、例えば、上述した第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。

ステップＳ７０５において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、所定のフレームの画像を符号化処理モジュール２００に送信する。より具体的には、ＣＰＵ１０１は、フレームの順番を示すフレーム番号情報を、送信するフレームに対して付加し、フレーム番号情報が付加されたフレームを符号化処理モジュール２００に送信する。ここでは、奇数番目のフレームの画像がチャンネル３００ａを介して伝送され、偶数番目のフレームの画像がチャンネル３００ｂを介して伝送される場合を例に説明する。ＣＰＵ１０１は、奇数番目のフレームの画像と偶数番目のフレームの画像とをメモリ１０２に一時的に記録する。ＣＰＵ１０１は、メモリ１０２から読み出した奇数番目のフレームの画像を、外部ＩＦ制御部１１４を制御することによって、チャンネル３００ａを介して符号化処理モジュール２００に送信する。また、ＣＰＵ１０１は、メモリ１０２から読み出した偶数番目のフレームの画像を、外部ＩＦ制御部１１４を制御することによって、チャンネル３００ｂを介して符号化処理モジュール２００に送信する。この後、ステップＳ７０９に遷移する。こうして、奇数番目のフレームと偶数番目のフレームとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ送信される。

ステップＳ７０６において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。ここでは、例えば図３（ｃ）に示すような第２のバス構成３０３によってバスの接続を確立する場合を例に説明するが、これに限定されるものではない。この後、ステップＳ７０７に遷移する。

ステップＳ７０７において、ＣＰＵ１０１は、上述したステップＳ７０４と同様に、記録用パラメータを、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に送信する。記録用パラメータは、上述したように、具体的には、画像を記録する際の解像度、フレームレート等に関する情報である。この後、ステップＳ７０８に遷移する。

ステップＳ７０８において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、単一のチャンネル３００を介して画像データを送信する。ＣＰＵ１０１は、フレームの順番を示すフレーム番号情報を、送信するフレームに対して付加し、フレーム番号情報が付加されたフレームを符号化処理モジュール２００に送信する。この後、ステップＳ７０９に遷移する。

ステップＳ７０９において、ＣＰＵ１０１は、符号化処理モジュール２００によって符号化されたストリームデータを、外部ＩＦ制御部１１４を制御することによって受信する。この後、ステップＳ７１０に遷移する。

ステップＳ７１０において、ＣＰＵ１０１は、記録媒体制御部１１９を制御することによって、コンテナ化したストリームデータを記録媒体１２０に記録する。こうして、図７に示す処理が完了する。

なお、ステップＳ７０３からステップＳ７１０までの処理、又は、ステップＳ７０６からステップＳ７１０までの処理は、繰り返し実行される。

このように、本実施形態によれば、閾値より大きいフレームレートの動画像が伝送される場合においては、以下のような第１のモードで伝送が行われる。第１のモードにおいては、動画像を構成する複数のフレームのうちの第１のフレームがチャンネル３００ａを介して伝送され、第１のフレームとは異なる第２のフレームがチャンネル３００ｂを介して伝送される。第１のフレームは例えば奇数番目のフレームであり、第２のフレームは例えば偶数番目のフレームである。閾値より大きいフレームレートの動画像が伝送される場合に、このような第１のモードで伝送が行われるため、単位時間当たりのインターバル時間の割合が低減される。このため、大きいフレームレートでの動画像を伝送することが可能となる。一方、閾値より大きいフレームレートの動画像を伝送しない場合においては、以下のような第２のモードで伝送が行われる。第２のモードでは、動画像を構成する複数のフレームの各々が単一のチャンネル３００を介して伝送される。このように、本実施形態においても、伝送を良好に行い得る画像処理装置を提供することができる。

［第３実施形態］
第３実施形態による符号化装置、画像処理装置及び画像処理方法について図面を用いて説明する。図１乃至図７に示す第１又は第２実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

本実施形態による画像処理装置は、画像を分割することによって生成される複数のタイルを複数のチャンネル３００ａ、３００ｂを介して伝送し得るものである。

本実施形態による画像処理装置に備えられている画像処理モジュール１００の構成は図１を用いて上述した第１実施形態による画像処理装置１０に備えられている画像処理モジュール１００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００の構成は図２を用いて上述した第１実施形態による画像処理装置１０に備えられている符号化処理モジュール２００の構成と同様である。

＜画像処理モジュール１００の処理＞
本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例について図８を用いて説明する。図８は、本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、メモリ１０２に展開されたプログラムがＣＰＵ１０１によって実行されることによって、図８に示すような処理が実現される。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として説明する。

１つのタイルの伝送が完了し、次のタイルの伝送が行われるまでの間には、送信側と受信側との間でコマンドの送受信等が行われるため、インターバル時間が生じる。インターバル時間の合計が単位時間に占める割合は、画像を分割することにより生成されるタイルの数が多くなるほど大きくなる。例えば、奇数番目のタイルについてはチャンネル３００ａを用いて伝送を行い、偶数番目のタイルについてはチャンネル３００ｂを用いて伝送を行うようにすれば、インターバル時間の合計が単位時間に占める割合を半減することが可能である。そこで、本実施形態では、画像を分割することにより生成されるタイルの数が閾値以上である場合には、奇数番目のタイルがチャンネル３００ａを介して伝送され、偶数番目のタイルがチャンネル３００ｂを介して伝送される。一方、画像を分割することにより生成されるタイルの数が閾値以上でない場合には、画像を分割することにより得られる分割画像の各々に対して複数の画像処理モジュール１００ａ、１００ｂによって画像処理を行う。そして、これらの画像処理モジュール１００ａ、１００ｂによって画像処理が施された分割画像をチャンネル３００ａ、３００ｂを介してそれぞれ伝送する。

ステップＳ８０１において、ＣＰＵ１０１は、上述したステップＳ５０１と同様に、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。例えば、図３（ａ）に示すような第１のバス構成３０１によってバスの接続を確立する。この後、ステップＳ８０２に遷移する。

ステップＳ８０２において、ＣＰＵ１０１は、画像を記録する際に用いられるパラメータである記録用パラメータを取得する。記録用パラメータは、不揮発性メモリ１０３に予め記録されている。ＣＰＵ１０１は、記録用パラメータを不揮発性メモリ１０３から読み出す。記録用パラメータは、具体的には、例えば画像を記録した際の画像の解像度等である。ここでは、タイルに分割される画像が静止画像である場合を例に説明するが、これに限定されるものではない。記録用パラメータは、操作部１０４を介してユーザによって予め設定される。この後、ステップＳ８０３に遷移する。

ステップＳ８０３において、ＣＰＵ１０１は、画像を分割することにより生成されるタイルの数を示す情報を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像を分割することによって生成されるタイルの数は、例えば、画像の画素数をタイルのサイズで除算することによって算出し得る。なお、ＣＰＵ１０１は、タイルの数を示す情報の他に、画像の解像度を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。この後、ステップＳ８０４に遷移する。なお、記録用パラメータの他に、ステップＳ８０１において確立されたバス構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。バス構成を示す情報は、上述したように、例えば、上述した第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。

ステップＳ８０４において、ＣＰＵ１０１は、ステップＳ８０３において算出されたタイル数が所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ１０２に予め記録されている。ステップＳ８０３において算出されたタイル数が所定の閾値より大きい場合には（ステップＳ８０４においてＹＥＳ）、ステップＳ８０５に遷移する。ステップＳ８０３において算出されたタイル数が所定の閾値以下である場合には（ステップＳ８０４においてＮＯ）、ステップＳ８０６に遷移する。

ステップＳ８０５において、ＣＰＵ１０１は、画像を複数に分割することによって、複数のタイル（タイル原画像）を生成する。当該タイルのサイズは、符号化処理モジュール２００によって行われる圧縮符号化におけるタイルのサイズと同等のサイズとする。ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、所定のタイルを符号化処理モジュール２００に送信する。ＣＰＵ１０１は、タイルの順番を示すタイル番号情報を、送信するタイルに対して付加し、タイル番号情報が付加されたタイルを符号化処理モジュール２００に送信する。ここでは、奇数番目のタイルが画像処理モジュール１００ａから符号化処理モジュール２００に伝送され、偶数番目のタイルが画像処理モジュール１００ｂから符号化処理モジュール２００に伝送される場合を例に説明する。画像処理モジュール１００ａによって図８に示す処理が実行される場合、画像処理モジュール１００ａに備えられたＣＰＵ１０１は、画像を分割することにより得られる複数のタイルのうちの奇数番目のタイルをメモリ１０２に一時的に記録する。画像処理モジュール１００ａに備えられたＣＰＵ１０１は、メモリ１０２から読み出した奇数番目のタイルを、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像処理モジュール１００ｂによって図８に示す処理が実行される場合、画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、画像を分割することにより得られる複数のタイルのうちの偶数番目のタイルをメモリ１０２に一時的に記録する。画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、メモリ１０２から読み出した偶数番目のタイルを、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。なお、奇数番目のタイルと偶数番目のタイルとのうちのいずれの伝送を行うかは、予め決定される。この後、ステップＳ８０７に遷移する。こうして、各々のタイルがチャンネル３００ａ、３００ｂをそれぞれ介して符号化処理モジュール２００に伝送される。

ステップＳ８０６において、ＣＰＵ１０１は、画像を分割する。ここでは、画像を上下に分割することによって、上半分の画像と下半分の画像とが生成される場合を例に説明するが、これに限定されるものではない。ＣＰＵ１０１は、画像を分割することにより得られる分割画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。上半分の画像が画像処理モジュール１００ａから符号化処理モジュール２００に送信され、下半分の画像が画像処理モジュール１００ｂから符号化処理モジュール２００に送信される場合を例に説明する。画像処理モジュール１００ａによって図８に示す処理が実行される場合、画像処理モジュール１００ａに備えられたＣＰＵ１０１は、上半分の画像をメモリ１０２に一時的に記録する。画像処理モジュール１００ａに備えられたＣＰＵ１０１は、メモリ１０２から読み出した上半分の画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像処理モジュール１００ｂによって図８に示す処理が実行される場合、画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、下半分の画像をメモリ１０２に一時的に記録する。画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、メモリ１０２から読み出した下半分の画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。なお、上半分の画像と下半分の画像とのうちのいずれの伝送を行うかは、予め決定される。なお、ここでは、上半分の画像と下半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送する場合を例に説明したが、これに限定されるものではない。例えば、左半分の画像と右半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送するようにしてもよい。また、連写撮影が行われる場合には、奇数番目の画像と偶数番目の画像とを、それぞれ異なるチャンネル３００ａ、３００ｂを介して伝送するようにしてもよい。この後、ステップＳ８０７に遷移する。

ステップＳ８０７において、ＣＰＵ１０１は、上述したステップＳ５０７と同様に、符号化処理モジュール２００によって符号化されたストリームデータを、外部ＩＦ制御部１１４を制御することによって受信する。この後、ステップＳ８０８に遷移する。

ステップＳ８０８において、ＣＰＵ１０１は、上述したステップＳ５０８と同様に、記録媒体制御部１１９を制御することによって、コンテナ化したストリームデータを記録媒体１２０に記録する。こうして、図８に示す処理が完了する。

なお、ステップＳ８０５からステップＳ８０８までの処理、又は、ステップＳ８０６からステップＳ５０８までの処理は、繰り返し実行される。

＜符号化処理モジュール２００の処理＞
本実施形態による画像処理装置に備えられた符号化処理モジュール２００によって行われる処理の例について図９を用いて説明する。図９は、符号化処理モジュール２００によって行われる処理の例を示すフローチャートである。不図示の不揮発性メモリに格納されているプログラムがメモリ２１１に展開され、メモリ２１１に展開されたプログラムがＣＰＵ２０１によって実行されることによって、図９に示すような処理が実現される。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として説明する。

ステップＳ９０１において、ＣＰＵ２０１は、図６を用いて上述したステップＳ６０１と同様に、外部ＩＦ制御部２１０を制御することによって、以下のような処理を行う。即ち、ＣＰＵ２０１は、画像処理モジュール１００ａとの間でバスの接続の確立を行うとともに、画像処理モジュール１００ｂとの間でバスの接続の確立を行う。この後、ステップＳ９０２に遷移する。

ステップＳ９０２において、ＣＰＵ２０１は、静止画像の解像度を示す情報、タイル数を示す情報（タイル数情報）等を、外部ＩＦ制御部２１０を制御することによって画像処理モジュール１００ａ、１００ｂから受信する。なお、これらの情報の他に、確立されたバス構成を示す情報を、画像処理モジュール１００から受信するようにしてもよい。この後、ステップＳ９０３に遷移する。

ステップＳ９０３において、ＣＰＵ２０１は、ステップＳ９０２において取得したタイル数情報によって示されるタイル数が所定の閾値より大きいか否かを判定する。タイル数情報によって示されるタイル数が所定の閾値より大きい場合には（ステップＳ９０３においてＹＥＳ）、ステップＳ９０５に遷移する。タイル数情報によって示されるタイル数が所定の閾値以下である場合には（ステップＳ９０３においてＮＯ）、ステップＳ９０４に遷移する。

ステップＳ９０４において、ＣＰＵ２０１は、ステップＳ９０１において確立されたバス構成が第１のバス構成３０１であるか否かを判定する。ＣＰＵ２０１は、例えば、ステップＳ９０１においてバスの接続を確立した際の情報に基づいて、ステップＳ９０１において確立されたバス構成が第１のバス構成３０１であるか否かを判定し得る。また、ＣＰＵ２０１は、ステップＳ９０２において画像処理モジュールから受信した、確立されたバス構成を示す情報に基づいて、確立されたバス構成が第１のバス構成３０１であるか否かを判定し得る。確立されたバス構成が第１のバス構成３０１である場合には（ステップＳ９０４においてＹＥＳ）、ステップＳ９０７に遷移する。確立されたバス構成が第１のバス構成３０１でない場合には（ステップＳ９０４においてＮＯ）、即ち、第２のバス構成３０２である場合には、ステップＳ９０９に遷移する。

ステップＳ９０５において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のタイルをチャンネル３００ａ、３００ｂを介して受信する。ここでは、奇数番目のタイルが画像処理モジュール１００ａから符号化処理モジュール２００に供給され、偶数番目のタイルが画像処理モジュール１００ｂから符号化処理モジュール２００に供給される場合を例に説明する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ａを介して奇数番目のタイルを受信する。また、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ｂを介して偶数番目のタイルを受信する。この後、ステップＳ９０６に遷移する。

ステップＳ９０６において、ＣＰＵ２０１は、チャンネル３００ａ、３００ｂを介してそれぞれ受信した各々のタイルを、タイル番号順に並べて合成することによって得られる全体画像をメモリ２１１に記録する。この後、ステップＳ９１０に遷移する。

ステップＳ９０７において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの分割画像をチャンネル３００ａ、３００ｂを介してそれぞれ受信する。ここでは、各々のフレームの上半分の画像が画像処理モジュール１００ａから符号化処理モジュール２００に供給され、各々のフレームの下半分の画像が画像処理モジュール１００ｂから符号化処理モジュール２００に供給される場合を例に説明する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの上半分の画像を、チャンネル３００ａを介して受信する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの下半分の画像を、チャンネル３００ｂを介して受信する。なお、ここでは、上半分の画像と下半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送する場合を例に説明したが、これに限定されるものではない。例えば、左半分の画像と右半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して受信するようにしてもよい。この場合、ＣＰＵ２０１は、各々のフレームの左半分の画像を、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ａを介して受信する。また、ＣＰＵ２０１は、各々のフレームの右半分の画像を、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ｂを介して受信する。また、タイル状に分割された複数の画像の各々を、それぞれ異なるチャンネル３００ａ、３００ｂを介して受信するようにしてもよい。この後、ステップＳ９０８に遷移する。

ステップＳ９０８において、ＣＰＵ２０１は、チャンネル３００ａ、３００ｂを介してそれぞれ受信した分割画像を合成することによって得られる全体画像を、メモリ２１１に記録する。この後、ステップＳ９１０に遷移する。

ステップＳ９０９において、ＣＰＵ２０１は、単一のチャンネル３００を介して画像処理モジュール１００から画像を受信する。ＣＰＵ２０１は、受信した画像をメモリ２１１に記録する。この後、ステップＳ９１０に遷移する。

ステップＳ９１０において、ＣＰＵ２０１は、図６を用いて上述したステップＳ６１０と同様に、図２を用いて上述したような圧縮符号化処理を行い、圧縮符号化処理によって生成されたストリームデータをメモリ２１１に記録する。この後、ステップＳ９１１に遷移する。

ステップＳ９１１において、ＣＰＵ２０１は、図６を用いて上述したステップＳ６１１と同様に、外部ＩＦ制御部２１０を制御することによって、ストリームデータを画像処理モジュール１００ａに送信する。なお、ストリームデータが画像処理モジュール１００ａと画像処理モジュール１００ｂの両方に送信されるようにしてもよい。こうして、図９に示す処理が完了する。

なお、ステップＳ９０５からステップＳ９１１までの処理、ステップＳ９０７からステップＳ９１１までの処理、又は、ステップＳ９０９からステップＳ９１１までの処理が、繰り返し実行されるようにしてもよい。

このように、本実施形態によれば、閾値より大きい数のタイルに分割された画像が伝送される場合には、以下のような第１のモードで伝送が行われる。第１のモードでは、画像を構成する複数のタイルのうちの第１のタイルがチャンネル３００ａを介して伝送され、第１のタイルとは異なる第２のタイルがチャンネル３００ｂを介して伝送される。閾値より大きい数のタイルが伝送される場合に、このようにして伝送が行われるため、単位時間当たりのインターバル時間の割合が低減される。このため、大きい数のタイルに分割した画像の伝送が可能となる。一方、閾値より大きい数のタイルに分割された画像が伝送されない場合においては、以下のような第２のモードで伝送が行われる。第２のモードにおいて、画像のうちの第１の部分がチャンネル３００ａを介して伝送され、画像のうちの第１の部分とは異なる第２の部分がチャンネル３００ｂを介して伝送される。このように、本実施形態においても、伝送を良好に行い得る画像処理装置を提供することができる。

［第４実施形態］
第４実施形態による符号化装置、画像処理装置及び画像処理方法について図面を用いて説明する。図１乃至図９に示す第１乃至第３実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

本実施形態による画像処理装置は、単一の画像処理モジュール１００が符号化処理モジュール２００に接続されているものである。

本実施形態による画像処理装置に備えられている画像処理モジュール１００の構成は図１を用いて上述した第１実施形態による画像処理装置に備えられている画像処理モジュール１００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００の構成は図２を用いて上述した第１実施形態による画像処理装置１０に備えられている符号化処理モジュール２００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００によって行われる処理は、図９を用いて上述した第３実施形態による画像処理装置に備えられている符号化処理モジュール２００によって行われる処理と同様である。

本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例について図１０を用いて説明する。図１０は、本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、メモリ１０２に展開されたプログラムがＣＰＵ１０１によって実行されることによって、図１０に示すような処理が実現される。ここでは、図３（ｂ）に示すようなバス構成３０２又は図３（ｃ）に示すようなバス構成３０３である場合の動作を例として説明する。

ステップＳ１００１において、ＣＰＵ１０１は、画像を記録する際に用いられるパラメータである記録用パラメータを取得する。記録用パラメータは、上述したように、不揮発性メモリ１０３に予め記録されている。ＣＰＵ１０１は、上述したように、記録用パラメータを不揮発性メモリ１０３から読み出す。記録用パラメータは、具体的には、静止画像を記録する際の解像度等である。記録用パラメータは、操作部１０４を介してユーザによって予め設定される。この後、ステップＳ１００２に遷移する。

ステップＳ１００２において、ＣＰＵ１０１は、画像を分割することにより生成されるタイルの数を算出する。タイルの数は、例えば、画像の画素数をタイルのサイズで除算することによって算出し得る。ＣＰＵ１０１は、算出されたタイル数が所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ１０２に予め記録されている。タイル数が所定の閾値より大きい高い場合には（ステップＳ１００２においてＹＥＳ）、ステップＳ１００３に遷移する。タイル数が所定の閾値以下である場合には（ステップＳ１００２においてＮＯ）、ステップＳ１００６に遷移する。

ステップＳ１００３において、ＣＰＵ１０１は、図７を用いて上述したステップＳ７０３と同様に、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。ここでは、図３（ｂ）に示すような第１のバス構成３０２によってバスの接続を確立する場合を例に説明するが、これに限定されるものではない。この後、ステップＳ１００４に遷移する。

ステップＳ１００４において、ＣＰＵ１０１は、ステップＳ１００２において算出したタイル数を示す情報を、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に通知する。この後、ステップＳ１００５に遷移する。なお、ＣＰＵ１０１は、タイル数を示す情報の他に、画像の解像度を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。また、記録用パラメータの他に、ステップＳ１００３において確立されたバス構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。バス構成を示す情報は、上述したように、例えば、第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。

ステップＳ１００５において、ＣＰＵ１０１は、画像を複数に分割することによって、複数のタイルを生成する。当該タイルのサイズは、符号化処理モジュール２００によって行われる圧縮符号化におけるタイルのサイズと同等のサイズとする。ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、所定のタイルを符号化処理モジュール２００に送信する。ＣＰＵ１０１は、タイルの順番を示すタイル番号情報を、送信するタイルに対して付加し、タイル番号情報が付加されたタイルを符号化処理モジュール２００に送信する。ここでは、奇数番目のタイルがチャンネル３００ａを介して伝送され、偶数番目のタイルがチャンネル３００ｂを介して伝送される場合を例に説明する。ＣＰＵ１０１は、奇数番目のタイルと偶数番目のタイルとをメモリ１０２に一時的に記録する。ＣＰＵ１０１は、メモリ１０２から読み出した奇数番目のタイルを、外部ＩＦ制御部１１４を制御することによって、チャンネル３００ａを介して符号化処理モジュール２００に送信する。また、ＣＰＵ１０１は、メモリ１０２から読み出した偶数番目のタイルを、外部ＩＦ制御部１１４を制御することによって、チャンネル３００ｂを介して符号化処理モジュール２００に送信する。この後、ステップＳ１００９に遷移する。こうして、奇数番目のタイルと偶数番目のタイルとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ送信される。

ステップＳ１００６において、ＣＰＵ１０１は、図７に示すステップＳ７０６と同様に、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。ここでは、例えば図３（ｃ）に示すような第２のバス構成３０３によってバスの接続を確立する場合を例に説明するが、これに限定されるものではない。この後、ステップＳ１００７に遷移する。

ステップＳ１００７において、ＣＰＵ１０１は、ステップＳ１００４と同様に、ステップＳ１００２において算出したタイル数を示す情報を、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に通知する。この後、ステップＳ１００８に遷移する。なお、ＣＰＵ１０１は、タイル数を示す情報の他に、画像の解像度を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。また、記録用パラメータの他に、ステップＳ１００３において確立されたバス構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。この後、ステップＳ１００８に遷移する。

ステップＳ１００８において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、単一のチャンネル３００を介して画像データを送信する。ＣＰＵ１０１は、フレームの順番を示すフレーム番号情報を、送信するフレームに対して付加し、フレーム番号情報が付加されたフレームを符号化処理モジュール２００に送信する。この後、ステップＳ１００９に遷移する。

ステップＳ１００９において、ＣＰＵ１０１は、ステップＳ７０９と同様に、符号化処理モジュール２００によって符号化されたストリームデータを、外部ＩＦ制御部１１４を制御することによって受信する。この後、ステップＳ１０１０に遷移する。

ステップＳ１０１０において、ＣＰＵ１０１は、ステップＳ７１０と同様に、記録媒体制御部１１９を制御することによって、コンテナ化したストリームデータを記録媒体１２０に記録する。この後、ステップＳ１０１０に遷移する。こうして、図１０に示す処理が完了する。

なお、ステップＳ１００５からステップＳ１０１０までの処理、又は、ステップＳ１００８からステップＳ１０１０までの処理は、繰り返し実行されてもよい。

このように、本実施形態によれば、閾値より大きい数のタイルに分割された画像が伝送される場合には、以下のような第１のモードで伝送が行われる。第１のモードにおいては、画像を構成する複数のタイルのうちの第１のタイルがチャンネル３００ａを介して伝送され、第１のタイルとは異なる第２のタイルがチャンネル３００ｂを介して伝送される。閾値より大きい数のタイルに分割された画像が伝送される場合に、このようにして伝送が行われるため、単位時間当たりのインターバル時間の割合が低減される。このため、本実施形態によれば、大きい数のタイルに分割した画像の伝送が可能となる。一方、閾値より大きい数のタイルに分割された画像が伝送されない場合には、以下のような第２のモードで伝送が行われる。第２のモードでは、単一のチャンネル３００を介して画像が符号化処理モジュール２００に伝送される。このように、本実施形態においても、伝送を良好に行い得る画像処理装置を提供することができる。

［変形実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、第１実施形態では、２つの画像処理モジュール１００が符号化処理モジュール２００に接続されている場合を例に説明したが、これに限定されるものではない。例えば、３つ以上の画像処理モジュール１００が符号化処理モジュール２００に接続されていてもよい。例えば、画像処理モジュール１００の数が４つである場合において、フレーム数が閾値以上である場合には、以下のような伝送が行われる。（４ｎ＋１）番目（ｎは０以上の整数）のフレームは、第１のチャンネルを介して伝送される。（４ｎ＋２）番目のフレームは、第２のチャンネルを介して伝送される。（４ｎ＋３）番目のフレームは、第３のチャンネルを介して伝送される。（４ｎ＋４）番目のフレームは、第４のチャンネルを介して伝送される。

例えば、第３実施形態では、２つの画像処理モジュール１００が符号化処理モジュール２００に接続されている場合を例に説明したが、これに限定されるものではない。例えば、３つ以上の画像処理モジュール１００が符号化処理モジュール２００に接続されていてもよい。例えば、画像処理モジュール１００の数が４つである場合において、タイル数が閾値以上である場合には、以下のような伝送が行われる。（４ｎ＋１）番目（ｎは０以上の整数）のタイルは、第１のチャンネルを介して伝送される。（４ｎ＋２）番目のタイルは、第２のチャンネルを介して伝送される。（４ｎ＋３）番目のタイルは、第３のチャンネルを介して伝送される。（４ｎ＋４）番目のタイルは、第４のチャンネルを介して伝送される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ａ、１００ｂ 画像処理モジュール
１０１ ＣＰＵ
１０２ メモリ
１０３ 不揮発性メモリ
１０４ 操作部
１１１ レンズ
１１２ 撮像部
１１３ 画像処理部
１１４ 外部ＩＦ制御部
１１５ 表示制御部
１１６ 表示部
１１７ 通信制御部
１１８ 通信部
１１９ 記録媒体制御部
１２０ 記録媒体
１３０ 内部バス
２００ 符号化処理モジュール
２０１ ＣＰＵ
２０２ ブロックサイズ決定部
２０３ 予測符号化方法決定部
２０４ 予測符号化処理部
２０５ 直交変換・量子化部
２０６ 局所復号部
２０７ 符号量制御部
２０８ エントロピー符号化部
２０９ 多重化処理部
２１０ 外部ＩＦ制御部
２１１ メモリ

Claims (11)

1. 複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像が伝送される第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行う制御手段と、
   前記バスを介して伝送された画像を符号化する符号化手段と
   を備え、
   前記第２の場合は、閾値以下のフレームレートの動画像が伝送される場合であり、
   前記第２のモードは、前記動画像を構成する複数のフレームのうちの一のフレームの第１の部分が前記第１のチャンネルを介して伝送されるとともに、前記一のフレームのうちの前記第１の部分とは異なる第２の部分が前記第２のチャンネルを介して伝送されるモードであることを特徴とする画像処理装置。
2. 前記第１の場合において伝送されるフレームの解像度は、前記第２の場合において伝送されるフレームの解像度より低いことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のフレームは奇数番目のフレームであり、
   前記第２のフレームは偶数番目のフレームであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像が伝送される第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行う制御手段と、
   前記バスを介して伝送された画像を符号化する符号化手段と
   を備え、
   前記第２の場合は、連写撮影によって得られる画像を伝送する場合であり、
   前記第２のモードは、複数の前記画像のうちの第１の画像が前記第１のチャンネルを介して伝送されるとともに、前記複数の画像のうちの前記第１の画像とは異なる第２の画像が前記第２のチャンネルを介して伝送されるモードであることを特徴とする画像処理装置。
5. 前記第１のタイルは奇数番目のタイルであり、
   前記第２のタイルは偶数番目のタイルであることを特徴とする請求項４に記載の画像処理装置。
6. 画像処理を行う複数の画像処理手段を更に有し、
   前記第１のチャンネルは、前記複数の画像処理手段のうちの第１の画像処理手段と前記符号化手段との間に備えられ、
   前記第２のチャンネルは、前記第１の画像処理手段とは異なる第２の画像処理手段と前記符号化手段との間に備えられることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 画像処理を行う単一の画像処理手段を更に有し、
   前記第１のチャンネルと前記第２のチャンネルのいずれもが、前記単一の画像処理手段と前記符号化手段との間に備えられることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
8. 複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像を受信する第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して受信されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して受信される第１のモードで受信が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで受信が行われるように制御を行う制御手段と、
   前記バスを介して受信した画像を符号化する符号化手段と
   を備え、
   前記第２の場合は、閾値以下のフレームレートの動画像が受信される場合であり、
   前記第２のモードは、前記動画像を構成する複数のフレームのうちの一のフレームの第１の部分が前記第１のチャンネルを介して受信されるとともに、前記一のフレームのうちの前記第１の部分とは異なる第２の部分が前記第２のチャンネルを介して受信されるモードであることを特徴とする符号化装置。
9. 複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像を受信する第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して受信されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して受信される第１のモードで受信が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで受信が行われるように制御を行う制御手段と、
   前記バスを介して受信した画像を符号化する符号化手段と
   を備え、
   前記第２の場合は、連写撮影によって得られる画像を受信する場合であり、
   前記第２のモードは、複数の前記画像のうちの第１の画像が前記第１のチャンネルを介して受信されるとともに、前記複数の画像のうちの前記第１の画像とは異なる第２の画像が前記第２のチャンネルを介して受信されるモードであることを特徴とする符号化装置。
10. 複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像が伝送される第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御が行われ、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行うステップと、
    前記バスを介して伝送された画像を符号化するステップと
    を有し、
    前記第２の場合は、閾値以下のフレームレートの動画像が伝送される場合であり、
    前記第２のモードは、前記動画像を構成する複数のフレームのうちの一のフレームの第１の部分が前記第１のチャンネルを介して伝送されるとともに、前記一のフレームのうちの前記第１の部分とは異なる第２の部分が前記第２のチャンネルを介して伝送されるモードであることを特徴とする画像処理方法。
11. 複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像が伝送される第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行われ、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行うステップと、
    前記バスを介して伝送された画像を符号化するステップと
    を備え、
    前記第２の場合は、連写撮影によって得られる画像を伝送する場合であり、
    前記第２のモードは、複数の前記画像のうちの第１の画像が前記第１のチャンネルを介して伝送されるとともに、前記複数の画像のうちの前記第１の画像とは異なる第２の画像が前記第２のチャンネルを介して伝送されるモードであることを特徴とする画像処理方法。

Images