JP4798055B2 - 画像処理装置およびカメラシステム - Google Patents

Description

本発明は、デジタルカメラ等に適用可能な画像処理装置およびカメラシステムに関し、特に、画像メモリの管理技術に関するものである。

図１は、デジタルカメラ等に適用可能な、一般的な画像メモリ管理技術を含む画像信号処理装置の構成例を示すブロック図である。

図１の画像処理装置１００は、複数の画像処理部１０１−１〜１０１−ｍ（図１の例ではｍ＝４）、共有メモリとして用いられ一時的に画像を記録するための画像メモリ部（一時画像メモリ部という場合もある）１０２、画像メモリ部１０２へのアクセスに用いる画像バス１０３、圧縮、演算などのデータ操作および画像バス１０３へのアクセス用にデータ変換を行うための複数のポート部１０４−１〜１０４−４、各ポート部１０４−１〜１０４−４に対して画像データの配置、属性情報、および制御情報など各種設定等を行う処理装置（ＣＰＵ）１０５、ＣＰＵ１０５と各ポート部１０４−１〜１０４−４とのデータの授受を行うためのローカルバス１０６、および各画像処理部１０１−１〜１０１−４から対応するポート部１０４−１〜１０４−４に画像処理データを転送するための画像処理データバス１０７−１〜１０７−４を有している。
なお、ポート部１０４−１〜１０４−４は、リードポート(Read Port)部とライトポート(Write Port)部とを有する。

画像処理装置１００においては、ＣＰＵ１０５から各ポート部１０４−１〜１０４−４に画像メモリ部１０２上の画像データの配置情報およびポート部１０４−１〜１０４−４に対する制御信号を設定し、各ポート部１０４−１〜１０４−４に接続されている画像処理部１０１−１〜１０１−４と画像バス１０３に接続されている一時画像メモリ部１０２間のデータ転送を行うという構造をとっている。

図２は、図１の画像処理装置１００におけるリード（読み出し）およびライト（書き込み）処理の概要を示すフローチャートである。

画像処理装置１００においては、ＣＰＵ１０５から各ポート部１０４−１〜１０４−４に一時画像メモリ部１０２上の画像データの配置、属性情報およびポート部に対する制御情報を設定する。そして、画像処理部１０１−１〜１０１−４よりポート部１０４−１〜１０４−４に対してデータ制御信号を送り一時画像メモリ部１０２とのデータ転送を行う。
また、画像処理部１０１−１〜１０１−４において一時画像メモリ部１０２上の画像データの配置、属性情報、またはポート部１０４−１〜１０４−４の制御情報の変更が必要になった場合、ＣＰＵ１０５に対して割り込みを発生し、ポート部１０４−１〜１０４−４に設定されているアドレス、および制御信号を変更してからポート部１０４−１〜１０４−４に対してデータ制御信号の転送を行う。

そして、図２に示すように、ＣＰＵ１０５はリードポートであるか否かの判定を行い（ＳＴ１）、リードポートであると判定すると、ローカルバス１０６によりポート部１０４（−１〜−４）のリードポート部に画像メモリ部１０２へのリードアドレスを設定する（ＳＴ２）。
次に、リードポート部から画像バス１０３に対してリードトランザクションを実行する（ＳＴ３）。
リードトランザクションに伴う画像メモリ部１０２からのリードデータをリードポート部で受ける（ＳＴ４）。
次いで、リードポート部で受けたリードデータを対応する画像処理部１０１（−１〜−４）に出力する（ＳＴ５）。

ステップＳＴ１において、ＣＰＵ１０５は、リードポートではなくライトポートであると判定すると、ローカルバス１０６によりポート部１０４（−１〜−４）のライトポート部に画像メモリ部１０２へのライトアドレスを設定する（ＳＴ６）。
そして、対応する画像処理部１０１（−１〜−４）から画像メモリ部１０２に書き込むべきデータをライトポート部に出力する（ＳＴ７）。
ライトポート部から画像バス１０３に対してライトトランザクションを実行し、画像処理部１０１（−１〜−４）から受け取ったデータを画像メモリ部１０２に書き込む（ＳＴ８）。

また、画像処理装置におけるメモリ管理技術としては、種々提案されている（たとえば特許文献１，２参照）。
特許文献１には、複数のプロセスからの要求に応じて、物理アドレスをページテーブルにより論理アドレスにより変換し、メモリの使用効率を高めるようにした共有メモリ管理方式が開示されている。

また、特許文献２には、複数のプロセスを対象とし、仮想メモリをページ単位で管理しメモリの使用効率を向上させるメモリ管理方法が開示されている。
特開平７−９３２１０号公報 特開２００３−３１６６４６号公報

近年、一般的なデジタルスチルカメラへの要求仕様としてフレームレートの向上、すなわち画像処理の高速化、および複数種類の画像処理を同時に行うことが求められている。

ところが、上述した技術のように、一時画像メモリ部からデータを読み書きするための画像データの配置、属性情報の変更、およびポート部への制御情報の切り替えを処理装置（ＣＰＵ）から制御するメモリ管理装置では、複数種類の画像処理フローに対するメモリマップ切り替え、および一時画像メモリ部上のメモリ使用効率に大きな問題がある。
一般的なＣＰＵは、汎用的な処理を行うことが可能であるが、動作周波数に限りのあるデジタルスチルカメラのような高速なフロー制御が必要な機器において、処理性能が不足しがちであり、他の処理の影響により処理性能が変わるため最低性能を保証することが難しい。

すなわち、複数種類の画像処理を同一のシステムで行うと、画像データの配置、属性情報、またはポート部の制御情報を変更しなければならない回数が多くなる。
上述したシステムでは、その都度ＣＰＵに対して割り込みを発生しＣＰＵからローカルバスを用いてポート部の設定を変更しなければならない。これは、ハイフレームレートへの対応および複数種類の画像処理フローの混在により高速処理が求められているデジタルスチルカメラにおいて、複数のシステム動作に対するメモリマップの切り替えを高速に行うことができず、かつメモリ使用効率を悪くしてしまう要因となっている。

上記理由により、上記した技術では、一時画像メモリ部からデータを読み書きするための画像データの配置、属性情報を切り替える必要が生じた場合、ＣＰＵを介してアドレス管理を行っていると高速に切り替えることができず、処理速度およびメモリ使用効率を著しく低下させてしまうおそれがある。
これは複数種類の画像処理を同時に行うことが要求されるデジタルスチルカメラのような機器では致命的である。

本発明は、切り替えが必要な信号の高速な切り替え制御が可能で処理速度およびメモリ部の使用効率を向上することが可能な画像処理装置およびカメラシステを提供することにある。

本発明の第１の観点の画像処理装置は、複数の画像処理部と、画像データを記録する画像メモリ部と、上記各画像処理部と上記画像メモリ部間に接続され、供給される情報に応じて上記画像メモリ部にアクセスを行う複数のポート部と、上記画像メモリ部に画像データを記録するメモリ領域を管理するための管理情報が設定される少なくとも一つのテーブルを含み、当該テーブルに設定された管理情報を対応する上記ポート部に選択的に供給する複数のメモリマップテーブル部と、上記メモリマップテーブル部の上記テーブルに対して上記管理情報を設定する機能を含む処理装置と、を有する。

本発明の第２の観点のカメラシステムは、被写体の像を撮像し、画像データを出力する撮像デバイスと、上記画像データに所定の処理を行う画像処理装置と、を含み、上記画像処理装置は、複数の画像処理部と、画像データを記録する画像メモリ部と、上記各画像処理部と上記画像メモリ部間に接続され、供給される情報に応じて上記画像メモリ部にアクセスを行う複数のポート部と、上記画像メモリ部に画像データを記録するメモリ領域を管理するめの管理情報が設定される少なくとも一つのテーブルを含み、当該テーブルに設定された管理情報を対応する上記ポート部に選択的に供給する複数のメモリマップテーブル部と、上記メモリマップテーブル部の上記テーブルに対して上記管理情報を設定する機能を含む処理装置と、を有する。

好適には、対応する上記メモリマップテーブル部のテーブルに設定された管理情報の上記ポート部への供給を制御する複数のポート制御部を有する。

好適には、上記テーブルに設定される管理情報には、アドレス情報および上記ポート部に対する制御情報を含み、上記ポート制御部は、タイミング信号およびレジスタの設定データに応じて上記テーブルのアドレス情報と制御情報の組を選択するポインタを上記メモリマップテーブル部に出力し、上記メモリマップテーブル部は、上記ポート部からのポインタに応じた上記アドレス情報と制御情報の組を出力する。

好適には、上記一つのポート部に対して複数のポート制御部を有する。

好適には、上記テーブルに設定される管理情報には、アドレス情報および上記ポート部に対する制御情報を含み、上記ポート制御部は、タイミング信号およびレジスタの設定データに応じて上記テーブルのアドレス情報と制御情報の組を選択する複数のポインタを上記メモリマップテーブル部に出力し、上記メモリマップテーブル部は、動作モード信号により動的に上記ポート部からの複数のポインタを選択し、当該選択したポインタに応じた上記アドレス情報と制御情報の組を出力する。

好適には、画像データの配置情報、属性情報、および上記ポート部に対する制御情報を含む。

本発明によれば、メモリマップテーブル部が有するページテーブルを用いて画像メモリ部のメモリマップ切り替えが高速に行われる。

本発明によれば、切り替えが必要な信号の高速な切り替え制御が可能で処理速度およびメモリ部の使用効率を向上することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

＜第１実施形態＞
図３は、本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。

図３の画像処理装置２００は、複数の画像処理部２０１−１〜２０１−ｍ（図３の例ではｍ＝４）、共有メモリとして用いられ一時的に画像を記録するための画像メモリ部（メモリ部、一時画像メモリ部という場合もある）２０２、画像メモリ部２０２へのアクセスに用いる画像バス２０３、圧縮、演算などのデータ操作および画像バス２０３へのアクセス用にデータ変換を行うための複数のポート部２０４−１〜２０４−ｍ（図３の例ではｍ＝４）、画像メモリ部２０２からデータをリード、ライト（読み書き）するための画像データの配置、属性情報、および各ポート部２０４−１〜２０４−４に対する制御情報を保持しているページテーブルＰＴＢＬを備えたメモリマップテーブル部２０５−１〜２０５−ｍ（図３の例ではｍ＝４）、メモリマップテーブル部２０５−１〜２０５−４が備えているページテーブルＰＴＢＬに画像データの配置、属性情報、および制御情報などの各種設定等を行うためのＣＰＵ（処理装置）２０６、ＣＰＵ２０６と各メモリマップテーブル部２０５−１〜２０５−４とのデータの授受を行うためのローカルバス２０７、各画像処理部２０１−１〜２０１−４から対応するポート部２０４−１〜２０４−４に画像処理データを転送するための画像処理データバス２０８−１〜２０８−ｍ（図３の例ではｍ＝４）、並びに、画像バス２０３およびローカルバス２０７と各画像処理部２０１−〜２０１−４との信号転送を行うためのメインバス２０９を有している。
なお、ポート部２０４−１〜２０４−４は、リードポート(Read Port)部とライトポート(Write Port)部とを有する。

各メモリマップテーブル部２０５（−１〜−４）は、図３に示すように、画像メモリ部２０２からデータをリード、ライト（読み書き）するための画像データの配置、属性情報、および各ポート部２０４−１〜２０４−４に対する制御情報ＣＴＲＬを保持しているページテーブルＰＴＢＬと、ページテーブルＰＴＢＬの保持情報からインデックス信号ＩＤＸに応じて選択し対応するポート部２０４（−１〜−４）に出力するマルチプレクサＭＵＸ、およびインデックス信号ＩＤＸの情報が設定されるコントロールレジスタＣＲＥＧを有している。
コントロールレジスタＣＲＥＧには、ＣＰＵ２０６からローカルバス２０７を介してインデックス情報を設定することが可能であり、あるいは対応する画像処理部２０１（−１〜−４）から設定することも可能である。

付帯する画像処理の制御情報（信号）としては、たとえば画像サイズを付加することで、２次元の矩形データを１次元の連続データに変更が入出力ポート毎に制御できる。
また、画像フォーマット情報を付加することで、画素データのpack/unpackが入出力ポート毎に制御できる。
加工処理情報を付加することで、データの圧縮／伸長、折り返し処理などが入出力ポート毎に制御できる。
転送方法情報を付加することで、バストラフィックの制御が入出力ポート毎に制御できる。

本第１の実施形態では、ページテーブルＰＴＢＬを備えたメモリマップテーブル部２０５（−１〜−４）を設けることによって複数種類の画像処理フローに対するメモリマップの管理と一時画像メモリ部２０２のメモリ使用効率の向上を実現している。

ここで、ページテーブルを有していない場合と、有している場合のメモリ管理処理を比較して説明する。
図４は、ページテーブルを有していない場合のメモリ管理処理を説明するための図である。また、図５は、ページテーブルを有している場合のメモリ管理処理を説明するための図である。

［ページテーブルを有していない場合］
ページテーブルを持たない場合、図４に示すように、各ポート部２０４（−１〜−４）の制御情報はポート部それぞれに分散し、ソフトウェアからの制御では、システムの動作モードが切り替わる度に、タイミングを合わせて設定を変更する必要がある。
そのような制御を分散したソフトウェアで行うことは、特にリアルタイムシステムの制御が困難となるおそれがある。

［ページテーブルを持つ場合］
図５は、各ポート部に１つのページテーブルが接続されている場合を示している。
この場合、ページテーブルＰＴＢＬに予め設定された複数のアドレス情報ＡＤＲと制御情報ＣＴＲＬの組がコントロールレジスタＣＲＥＧによって選択され、ポート部２０４（−１〜−４）にアドレス情報ＡＤＲと制御情報ＣＴＲＬが送信される構造になっている。
ページテーブルＰＴＢＬは２つ以上のポート部に対しては、２つのコントロールレジスタＣＲＥＧを持つことで各ポート部に対して各々別々のアドレス情報と制御情報を配信する場合がある。
上記のようにポート部２０４（−１〜−４）がシステムの動作モードによって複数の画像データを出力する場合は、アドレス情報ＡＤＲと制御情報ＣＴＲＬをすばやく切り替える必要がある。また、上記に示すようなポート部とページテーブルの接続を複数持つ場合は、複数あるページテーブルをまとめて集中管理することが必要である。
そのような場合において、複数の画像処理部がリードライト（読み書き）する画像データのメモリマップ上の場所を瞬時に切り替えることができるようになる。

このような構成において、画像処理装置２００においては、ＣＰＵ２０６から各メモリマップテーブル部２０５−１〜２０５−４が備えているページテーブルＰＴＢＬに対して画像データの配置情報、および制御情報（信号）を設定する。また、たとえばＣＰＵ２０６（あるいは画像処理部２０１（−１〜−４））はページテーブルＰＴＢＬを選択するためのインデックス信号ＩＤＸをメモリマップテーブル部２０５（−１〜−４）のコントロールレジスタＣＲＥＧへ、データおよび制御信号をポート部２０４（−１〜−４）にそれぞれ転送する。
そして、画像処理部２０１（−１〜−４）とメモリマップテーブル部２０５（−１〜−４）より各種信号を受け取ったポート部２０４（−１〜−４）は、画像バス２０３に接続されている一時画像メモリ部とのデータ転送を行うという構造をとっている。
また、ページテーブルＰＴＢＬに保持されている異なる種類の画像処理を行う際には、ＣＰＵ２０６あるいは画像処理部２０１からのページテーブル選択用インデックス信号ＩＤＸを切り替えることにより、容易に切り替えを実現することが可能である。
これは、複数種類の画像処理フローに対するメモリマップの管理と、一時画像メモリ部のメモリ使用効率向上が可能な画像メモリ管理装置を実現している。

図６は、図３の画像処理装置２００におけるリード（読み出し）およびライト（書き込み）処理の概要を示すフローチャートである。
次に、図３の画像処理装置２００におけるリード（読み出し）およびライト（書き込み）処理について、図６に関連付けて説明する。

図６に示すように、ＣＰＵ２０６はリードポートであるか否かの判定を行い（ＳＴ１０１）、リードポートであると判定すると、ローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページアドレス、およびインデックスの初期設定を行う（ＳＴ１０２）。
次に、ページテーブルＰＴＢＬの設定変更の必要があるか否かの判定を行い（ＳＴ１０３）、変更が必要な場合はローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬにページアドレスを設定し（ＳＴ１０４）、ステップＳＴ１０５の処理に移行する。ステップＳＴ１０３でページテーブルＰＴＢＬの設定変更の必要がないと判定すると、ステップＳＴ１０４の処理を行わずに、ステップＳＴ１０５の処理に移行する。
ステップＳＴ１０５においては、インデックスの変更の必要があるか否かの判定を行い、変更が必要な場合にはローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬを選択するためのインデックスをコントロールレジスタＣＲＥＧに設定し（ＳＴ１０６）、ステップＳＴ１０７の処理に移行する。ステップＳＴ１０５でインデックスの変更の必要がないと判定すると、ステップＳＴ１０６の処理を行わずに、ステップＳＴ１０７の処理に移行する。
ステップＳＴ１０７においては、メモリマップテーブル部２０５（−１〜−４）でインデックスに応じて選択された画像メモリ部２０２へのリードアドレスを、対応するポート部２０４（−１〜−４）のリードポート部に設定する。
次に、リードポート部から画像バス２０３に対してリードトランザクションを実行する（ＳＴ１０８）。
リードトランザクションに伴う画像メモリ部２０２からのリードデータをリードポート部で受ける（ＳＴ１０９）。
次いで、リードポート部で受けたリードデータを対応する画像処理部２０１（−１〜−４）に出力する（ＳＴ１１０）。

ステップＳＴ１０１において、ＣＰＵ２０６は、リードポートではなくライトポートであると判定すると、ローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページアドレス、およびインデックスの初期設定を行う（ＳＴ１１１）。
次に、ページテーブルＰＴＢＬの設定変更の必要があるか否かの判定を行い（ＳＴ１１２）、変更が必要な場合はローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬにページアドレスを設定し（ＳＴ１１３）、ステップＳＴ１１４の処理に移行する。ステップＳＴ１１２でページテーブルＰＴＢＬの設定変更の必要がないと判定すると、ステップＳＴ１１３の処理を行わずに、ステップＳＴ１１４の処理に移行する。
ステップＳＴ１１４においては、インデックスの変更の必要があるか否かの判定を行い、変更が必要な場合にはローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬを選択するためのインデックスを設定し（ＳＴ１１５）、ステップＳＴ１１６の処理に移行する。ステップＳＴ１１４でインデックスの変更の必要がないと判定すると、ステップＳＴ１１５の処理を行わずに、ステップＳＴ１１６の処理に移行する。
ステップＳＴ１１６においては、メモリマップテーブル部２０５（−１〜−４）でインデックスに応じて選択された画像メモリ部２０２へのライトアドレスを、対応するポート部２０４（−１〜−４）のライトポート部に設定する。
そして、対応する画像処理部２０１（−１〜−４）から画像メモリ部２０２に書き込むべきデータをライトポート部に出力する（ＳＴ１１７）。
ライトポート部から画像バス２０３に対してライトトランザクションを実行し、画像処理部２０１（−１〜−４）から受け取ったデータを画像メモリ部２０２に書き込む（ＳＴ１１８）。

図７、図８、および図９は、以上のように制御される画像処理装置において、リード、ライトを繰り返して異なる種類の画像処理を行う場合のアドレスや制御情報、データの流れ、並びに画像メモリ部２０２のメモリ領域のメモリマップの例を示している。
図７は、第１の実施形態に係る画像処理装置全体でのアドレス、制御情報、データの全体の流れを示す図である。図８は、第１の実施形態に係る画像処理装置におけるデータの入力される構成要素をデータの流れるに沿って時系列的に示す図である。また、図９は、第１の実施形態に係るメモリ領域の例を示す図である。
なお、この例では、ＣＣＤやＣＭＯＳセンサ等の固体撮像素子からなるセンサ３１０による撮像画像データを出力デバイス、たとえば画像表示装置３２０に表示する場合を示している。

また、図７および図８においては、図３の画像処理部２０１−１を画像処理ブロックＡ、画像処理部２０１−２を画像処理ブロックＢ、画像処理部２０１−３を画像処理ブロックＣ、画像処理部２０１−４を画像処理ブロックＤとしてそれぞれ示している。
同様に、図３のメモリマップテーブル部２０５−１のページテーブルＰＴＢＬをページテーブルブロックＡ、メモリマップテーブル部２０５−２のページテーブルＰＴＢＬをページテーブルブロックＢ、メモリマップテーブル部２０５−３のページテーブルＰＴＢＬをページテーブルブロックＣ、メモリマップテーブル部２０５−４のページテーブルＰＴＢＬをページテーブルブロックＤとしてそれぞれ示している。
図３のポート部２０４−１をポートＡ、ポート部２０４−２をポートＢ、ポート部２０４−３をポートＣ、ポート部２０４−４をポートＤとしてそれぞれ示している。
また、図７において制御バス２１０は、図３のローカルバス２０７とメインバス２０９を含む。

このような構成において、たとえばＣＰＵ２０６が、各ページテーブルＰＴＢＬおよび画像処理部（ブロック）２０１−１〜２０１−４に対してアドレスおよび制御情報を設定する。
図６に関連付けて説明したように、対応するポート部２０４−１〜２０４−４のリードポート部かライトポート部を用いるかを判定後、ページテーブルＰＴＢＬのアドレスの初期化および変更等を行い、また、インデックスによるページテーブルＰＴＢＬのアドレスおよび制御情報の選択を行う。
対応するポート部２０４−１〜２０４−４に対して制御情報を設定する。
そして、画像処理部（ブロック）２０１−１〜２０１−４に対して制御情報を設定する。
なお、制御情報としては、画像サイズ情報、画像フォーマット情報、あるいは圧縮や伸長を行うかなどの画像処理情報等がある。

図７〜図９の例では、ポート部２０４−１はライトポート部が、ポート部２０４−２はリードポート部が、ポート部２０４−３はライトポート部が、ポート部２０４−４はリードポート部が用いられる。
このような制御が行われる画像処理装置２００における処理を時系列的に説明すると、まず、センサ３１０で撮像され、アナログからデジタルに変換された画像データが画像処理部２０１−１に入力される。画像処理部２０１−１では、設定された制御情報に応じてたとえば圧縮処理等が行われ、その画像データはポート部２０４−１のライトポート部のライトトランザクションに応じて、画像バス２０３を介し画像メモリ部２０２のメモリ領域１に記録される。
次に、画像メモリ部２０２のメモリ領域１に記録された被圧縮画像データは、ポート部２０４−２のリードポート部のリードトランザクションに応じてリードされ、画像処理部２０１−２に転送される。画像処理部２０１−２においては、リードデータの伸長処理（展開処理）やデコード処理が行われ、画像処理部２０１−３に転送される。
画像処理部２０１−３においては、画像データに対して圧縮信号処理して画像ソースが生成されるなどのエンコード処理が行われ、ポート部２０４−３のライトポート部のライトトランザクションに応じて、画像バス２０３を介し画像メモリ部２０２のメモリ領域２に記録される。
次に、画像メモリ部２０２のメモリ領域２に記録された被圧縮画像データは、ポート部２０４−４のリードポート部のリードトランザクションに応じてリードされ、画像処理部２０１−４に転送される。画像処理部２０１−４においては、リードデータの伸長処理（展開処理）やデコード処理、表示装置に対応した画像処理が行われ、画像表示装置３２０に転送される。

以上説明したように、本第１の実施形態によれば、メモリマップテーブル部が備えるページテーブルとそれに対応したページインデックスを用いていることにより、複数種類の画像処理フロー動作に対する一時画像メモリ部上のメモリマップを管理することができ、さらに一時画像メモリ部のメモリ使用効率を向上させることが可能になる。

＜第２実施形態＞
図１０は、本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。

本第２の実施形態の画像処理装置２００Ａが第１の実施形態の画像処理装置２００と異なる点は、各画像処理部２０１−１〜２０１−４とそれに対応するメモリマップテーブル部２０５−１〜２０５−４の間にポート制御部２１１−１〜２１１−ｍ（図１０の例ではｍ＝４）が付加されていることにある。
このように、ポート制御部２１１−１〜２１１−４を付加することによって、一時画像メモリ部２０２上に仮想的なフレームバッファを構成することが可能となり、さらに各ポート制御部２１１−１〜２１１−４を接続することによって一時画像メモリ部上のメモリマップを集中管理することにより高速なメモリマップの切り替えおよびメモリ使用効率を向上させることが可能となっている。

本第２の実施形態において、各画像処理部２０１−１〜２０１−４とそれに対応するメモリマップテーブル部２０５−１〜２０５−４の間にポート制御部２１１−１〜２１１−４を設けた理由を次のとおりである。

ポート制御部を持たない第１の実施形態の画像処理装置２００は、ＣＰＵ２０６から各メモリマップテーブル部２０５（−１〜−４）が備えているページテーブルＰＴＢＬに対して画像データの配置、属性情報、および制御信号を設定し、画像処理部はページテーブルを選択するためのインデックス信号をメモリマップテーブル部へ、データおよび制御信号をポート部にそれぞれ転送する。そして、画像処理部２０１（−１〜−４）とメモリマップテーブル部２０５（−１〜−４）より各種信号を受け取ったポート部２０４（−１〜−４）は、画像バス２０３に接続されている一時画像メモリ部２０２とのデータ転送を行うという構造をとっている。また、ページテーブルに保持されている異なる種類の画像に対する処理を行う際には、画像処理部またはＣＰＵからのページテーブル選択用インデックス信号を切り替えることにより容易に切り替えを実現することが可能な構造になっている。

ところで、近年、一般的なデジタルスチルカメラへの要求仕様としてフレームレートの向上、すなわち画像処理の高速化、および複数種類の画像処理を同時に行うことが求められている。しかし、図３の画像処理装置２００のように複数種類の画像処理フローに対する一時画像メモリ部２０２上のメモリマップ切り替え、および各々のポート部に対する制御を各画像処理部２０１（−１〜−４）毎に行っている画像処理装置では、メモリマップの変更領域が各画像処理部毎にわけておく必要があり、複数種類の画像処理フローに対応できるようにすればするほど一時画像メモリ部におけるメモリ使用効率は低下してしまうおそれがある。また、一時画像メモリ部２０２に対する画像データの配置、属性情報、もしくはポート部２０４（−１〜−４）に対する制御が切り替わる度に画像処理部２０１（−１〜−４）は切り替え信号を転送する必要がり、処理速度の低下につながるおそれがある。さらには、各画像処理部２０１（−１〜−４）が各々に一時画像メモリ部２０２上のメモリマップを切り替え、およびポート部２０４（−１〜−４）の制御を行うので全体の制御が難しくなるおそれがある。

そこで、本第２の実施形態においては、各画像処理部２０１（−１〜−４）とそれに対応するメモリマップテーブル部２０５（−１〜−４）の間にポート制御部２１１（−１〜−４）を付加することによって、一時画像メモリ部上に仮想的なフレームバッファを構成することが可能とし、さらに各ポート制御部を接続することによって一時画像メモリ部上のメモリマップを集中管理することにより高速なメモリマップの切り替えおよびメモリ使用効率向上を実現している。

各画像処理部２０１（−１〜−４）がポート制御部２１１（−１〜−４）に対して与える情報としては、インデックス情報の他に、画像データＩＤ、画像データ書き込み開始／終了信号、画像データ読み込み開始／終了信号等がある。

ここで、ポート制御部を一つだけ有している場合のメモリ管理処理ついて説明する。
図１１は、ポート制御部を一つ有している場合のメモリ管理処理を説明するための図である。

［ポート制御部を１つだけ持つ場合］
この場合、ポート制御部２１１はひとつのページテーブルＰＴＢＬに対して接続される。
ポート制御部２１１は、システムの動作を制御するタイミング信号ＴＭＧとコントロールレジスタＣＲＥＧ２によりページテーブルＰＴＢＬのアドレス情報ＡＤＲと制御情報ＣＴＲＬの組を選択するポインタＰＮＴＲを出力する制御装置として機能する。
ポート制御部２１１があることによって、ページテーブルＰＴＢＬからポート部に送信するアドレス情報ＡＤＲと制御情報ＣＴＲＬをソフトウェア制御の介在無く切り替えることができ、ソフトウェアによるシステム制御をより簡単にすることができる。
特に、メモリ上に複数のフレームバッファによるリングバッファを容易に構成することができる。複数の画像処理部（データ処理ブロック）を持ち、かつ外部メモリを共有するシステムにおいて、各画像処理部（データ処理ブロック）をパイプライン化して動作させる場合は、ダブルバッファのような２段のリングバッファを構成する必要があり、その制御をハードウェア処理でリアルタイムに行うことができる。
ソフトウェアによる制御はシステム動作の初期設定段階でフレームバッファの構成をページテーブルＰＴＢＬに設定し、ポート制御部２１１に対してはリングバッファのポインタＰＮＴＲをタイミング信号ＴＭＧに応じて変化させる命令をコントロールレジスタＣＲＥＧＴ２に設定するのみになる。

このような構成において、画像処理装置２００Ａにおいては、ＣＰＵ２０６から各メモリマップテーブル部２０５−１〜２０５−４が備えているページテーブルＰＴＢＬに対して画像データの配置情報、および制御信号を設定し、ポート制御部２１１−１〜２１１−４はページテーブルＰＴＢＬを選択するためのインデックス信号ＩＤＸをメモリマップテーブル部２０５（−１〜−４）に転送する。
そして、画像処理部２０１（−１〜−４）とメモリマップテーブル部２０５（−１〜−４）より各種信号を受け取ったポート部２０４（−１〜−４）は、画像バス２０３に接続されている一時画像メモリ部２０２とのデータ転送を行うという構造をとっている。
また、ポート制御部２１１（−１〜−４）によって各メモリマップテーブル部２０５（−１〜―４）が備えているページテーブルＰＴＢＬは、連動してインデックスを選択することにより、一時画像メモリ部２０２上のメモリマップを画像処理フローに応じて高速に切り替えることができ、各々の画像処理部２０１（−１〜−４）が連動してメモリマップの切り替えを行うことができるのでメモリ使用効率を上げることが可能である。
これは、高速なメモリマップの切り替えと一時画像メモリ部上に仮想的なフレームバッファを構成しており、さらにシステム動作制御部に同期して高速なフレームバッファ制御が可能な画像メモリ管理装置を実現している。

図１２は、図１０の画像処理装置２００Ａにおけるリード（読み出し）およびライト（書き込み）処理の概要を示すフローチャートである。
次に、図１０の画像処理装置２００Ａにおけるリード（読み出し）およびライト（書き込み）処理について、図１２に関連付けて説明する。

図１２に示すように、ＣＰＵ２０６はリードポートであるか否かの判定を行い（ＳＴ２０１）、リードポートであると判定すると、ローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページアドレス、およびインデックスの初期設定を行う（ＳＴ２０２）。
次に、ページテーブルＰＴＢＬの設定変更の必要があるか否かの判定を行い（ＳＴ２０３）、変更が必要な場合はローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬにページアドレスを設定し（ＳＴ２０４）、ステップＳＴ２０５の処理に移行する。ステップＳＴ２０３でページテーブルＰＴＢＬの設定変更の必要がないと判定すると、ステップＳＴ２０４の処理を行わずに、ステップＳ２０５の処理に移行する。
ステップＳＴ２０５においては、インデックスの変更の必要があるか否かの判定を行い、変更が必要な場合にはポート制御部２１１（−１〜−４）によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬを選択するためのインデックスをコントロールレジスタＣＲＥＧに設定し（ＳＴ２０６）、ステップＳＴ２０７の処理に移行する。ステップＳＴ２０５でインデックスの変更の必要がないと判定すると、ステップＳＴ２０６の処理を行わずに、ステップＳＴ２０７の処理に移行する。
ステップＳＴ２０７においては、メモリマップテーブル部２０５（−１〜−４）でインデックスに応じて選択された画像メモリ部２０２へのリードアドレスを、対応するポート部２０４（−１〜−４）のリードポート部に設定する。
次に、リードポート部から画像バス２０３に対してリードトランザクションを実行する（ＳＴ２０８）。
リードトランザクションに伴う画像メモリ部２０２からのリードデータをリードポート部で受ける（ＳＴ２０９）。
次いで、リードポート部で受けたリードデータを対応する画像処理部２０１（−１〜−４）に出力する（ＳＴ２１０）。

ステップＳＴ２０１において、ＣＰＵ２０６は、リードポートではなくライトポートであると判定すると、ローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページアドレス、およびインデックスの初期設定を行う（ＳＴ２１１）。
次に、ページテーブルＰＴＢＬの設定変更の必要があるか否かの判定を行い（ＳＴ２１２）、変更が必要な場合はローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬにページアドレスを設定し（ＳＴ２１３）、ステップＳＴ２１４の処理に移行する。ステップＳＴ２１２でページテーブルＰＴＢＬの設定変更の必要がないと判定すると、ステップＳＴ２１３の処理を行わずに、ステップＳＴ２１４の処理に移行する。
ステップＳＴ２１４においては、インデックスの変更の必要があるか否かの判定を行い、変更が必要な場合にはポート制御部２１１（−１〜−４）によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬを選択するためのインデックスを設定し（ＳＴ２１５）、ステップＳＴ２１６の処理に移行する。ステップＳＴ２１４でインデックスの変更の必要がないと判定すると、ステップＳＴ２１５の処理を行わずに、ステップＳＴ２１６の処理に移行する。
ステップＳＴ２１６においては、メモリマップテーブル部２０５（−１〜−４）でインデックスに応じて選択された画像メモリ部２０２へのライトアドレスを、対応するポート部２０４（−１〜−４）のライトポート部に設定する。
そして、対応する画像処理部２０１（−１〜−４）から画像メモリ部２０２に書き込むべきデータをライトポート部に出力する（ＳＴ２１７）。
ライトポート部から画像バス２０３に対してライトトランザクションを実行し、画像処理部２０１（−１〜−４）から受け取ったデータを画像メモリ部２０２に書き込む（ＳＴ２１８）。

図１３、図１４、および図１５は、以上のように制御される画像処理装置において、リード、ライトを繰り返して異なる種類の画像処理を行う場合のアドレスや制御情報、データの流れ、並びに画像メモリ部２０２のメモリ領域のメモリマップの例を示している。
図１３は、第２の実施形態に係る画像処理装置全体でのアドレス、制御情報、データの全体の流れを示す図である。図１４は、第２の実施形態に係る画像処理装置におけるデータの入力される構成要素をデータの流れるに沿って時系列的に示す図である。また、図１５は、第２の実施形態に係るメモリ領域の例を示す図である。
なお、この例においても、ＣＣＤやＣＭＯＳセンサ等の固体撮像素子からなるセンサ３１０による撮像画像データを出力デバイス、たとえば画像表示装置３２０に表示する場合を示している。

また、図１３および図１４においては、図１０の画像処理部２０１−１を画像処理ブロックＡ、画像処理部２０１−２を画像処理ブロックＢ、画像処理部２０１−３を画像処理ブロックＣ、画像処理部２０１−４を画像処理ブロックＤとしてそれぞれ示している。
同様に、図１０のメモリマップテーブル部２０５−１のページテーブルＰＴＢＬをページテーブルブロックＡ、メモリマップテーブル部２０５−２のページテーブルＰＴＢＬをページテーブルブロックＢ、メモリマップテーブル部２０５−３のページテーブルＰＴＢＬをページテーブルブロックＣ、メモリマップテーブル部２０５−４のページテーブルＰＴＢＬをページテーブルブロックＤとしてそれぞれ示している。
図１０のポート部２０４−１をポートＡ、ポート部２０４−２をポートＢ、ポート部２０４−３をポートＣ、ポート部２０４−４をポートＤとしてそれぞれ示している。
図１０のポート制御部２１１−１をポート制御部Ａ、ポート制御部２１１−２をポート制御部Ｂ、ポート制御部２１１−３をポート制御部Ｃ、ポート制御部２１１−４をポート制御部Ｄとしてそれぞれ示している。
また、図１３において制御バス２１０は、図１０のローカルバス２０７とメインバス２０９を含む。

このような構成において、たとえばＣＰＵ２０６が、各ページテーブルＰＴＢＬおよび画像処理部（ブロック）２０１−１〜２０１−４に対してアドレスおよび制御情報を設定する。
図１２に関連付けて説明したように、対応するポート部２０４−１〜２０４−４のリードポート部かライトポート部を用いるかを判定後、ページテーブルＰＴＢＬのアドレスの初期化および変更等を行い、また、インデックスによるページテーブルＰＴＢＬのアドレスおよび制御情報の選択を行う。
インデックスの変更が必要な場合にはポート制御部２１１（−１〜−４）によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬを選択するためのインデックスをコントロールレジスタＣＲＥＧに設定する。
対応するポート部２０４−１〜２０４−４に対して制御情報を設定する。
そして、画像処理部（ブロック）２０１−１〜２０１−４に対して制御情報を設定する。
なお、制御情報としては、画像サイズ情報、画像フォーマット情報、あるいは圧縮や伸長を行うかなどの画像処理情報等がある。

また、各画像処理部２０１（−１〜−４）がポート制御部２１１（−１〜−４）に対して、インデックス情報の他に、画像データＩＤ、画像データ書き込み開始／終了信号、画像データ読み込み開始／終了信号等を供給する。図１３〜図１５の例では、画像処理部２０１−１がポート制御部２１１−１に対して画像データＩＤや画像データ書き込み開始／終了信号を供給し、画像処理部２０１−２がポート制御部２１１−２に対して画像データＩＤや画像データ読み込み開始／終了信号を供給し、画像処理部２０１−３がポート制御部２１１−３に対して画像データＩＤや画像データ書き込み開始／終了信号を供給し、画像処理部２０１−４がポート制御部２１１−４に対して画像データＩＤや画像データ読み込み開始／終了信号を供給する。

図１３〜図１５の例では、ポート部２０４−１はライトポート部が、ポート部２０４−２はリードポート部が、ポート部２０４−３はライトポート部が、ポート部２０４−４はリードポート部が用いられる。
このような制御が行われる画像処理装置２００Ａにおける処理を時系列的に説明すると、まず、センサ３１０で撮像され、アナログからデジタルに変換された画像データが画像処理部２０１−１に入力される。画像処理部２０１−１では、設定された制御情報に応じてたとえば圧縮処理等が行われ、その画像データはポート部２０４−１のライトポート部のライトトランザクションに応じて、画像バス２０３を介し画像メモリ部２０２のメモリ領域１に記録される。
次に、画像メモリ部２０２のメモリ領域１に記録された被圧縮画像データは、ポート部２０４−２のリードポート部のリードトランザクションに応じてリードされ、画像処理部２０１−２に転送される。画像処理部２０１−２においては、リードデータの伸長処理（展開処理）やデコード処理が行われ、画像処理部２０１−３に転送される。
画像処理部２０１−３においては、画像データに対して圧縮信号処理して画像ソースが生成されるなどのエンコード処理が行われ、ポート部２０４−３のライトポート部のライトトランザクションに応じて、画像バス２０３を介し画像メモリ部２０２のメモリ領域２に記録される。
次に、画像メモリ部２０２のメモリ領域２に記録された被圧縮画像データは、ポート部２０４−４のリードポート部のリードトランザクションに応じてリードされ、画像処理部２０１−４に転送される。画像処理部２０１−４においては、リードデータの伸長処理（展開処理）やデコード処理、表示装置に対応した画像処理が行われ、画像表示装置３２０に転送される。

以上説明したように、本第２の実施形態によれば、各々のポート部に対するポート制御部を備えることにより、一時画像メモリ部上のメモリマップを高速に切り替えることが可能になり、さらには各々の画像処理フローに対して一時画像メモリ部情のメモリ使用効率をあげることが可能になる。

＜第３実施形態＞
図１６は、本発明の第３の実施形態に係る画像処理装置の構成例を示すブロック図である。

本第３の実施形態の画像処理装置２００Ｂが第２の実施形態の画像処理装置２００Ａと異なる点は、各メモリマップテーブル部２０５（−１〜−４）が備えているページテーブル選択用インデックス信号を管理し、各ポート部２０４（−１〜−４）に対応するためのポート制御部２１１Ｂを複数設けたことにある。
このように、各々のポート部に対するポート制御部を複数備えることにより、各々の画像処理部２０１（−１〜−４）をマルチ画像処理で行うことが可能になり、複数の異なる種類の画像処理フローに対する一時画像メモリ部上のメモリマップ管理を容易に行うことが可能になる。これによりシームレス動作など高速かつマルチ画像処理が要求される処理が容易に行うことが可能となっている。

本第３の実施形態において、ポート部に対するポート制御部を複数設けた理由は次のとおりである。

ポート部に対するポート制御部を一つだけ持つ第２の実施形態の画像処理装置２００Ａは、ＣＰＵ２０６から各メモリマップテーブル部２０５（−１〜−４）が備えているページテーブルＰＴＢＬに対して画像データの配置、属性情報、および制御信号を設定し、ポート制御部２１１（−１〜−４）はページテーブルＰＴＢＬを選択するためのインデックス信号をメモリマップテーブル部２０５（−１〜−４）に転送する。そして画像処理部２０１（−１〜−４）とメモリマップテーブル部２０５（−１〜−４）より各種信号を受け取ったポート部２０４（−１〜−４）は、画像バスに接続されている一時画像メモリ部２０２とのデータ転送を行うという構造をとっている。また、ポート制御部２１１（−１〜−４）によって各メモリマップテーブル部２０５（−１〜−４）が備えているページテーブルＰＴＢＬは、連動してインデックスを選択することにより、一時画像メモリ部上のメモリマップを処理する画像の種類に応じて高速に切り替えることができ、各々の画像処理部が連動してメモリマップの切り替えを行うことができるのでメモリ使用効率を上げることが可能な構造をとっている。

ところで、前述したように、近年、一般的なデジタルスチルカメラへの要求仕様としてフレームレートの向上、すなわち画像処理の高速化、および複数種類の画像処理を同時に行うという処理が求められている。しかし、図１０の画像処理装置２００Ａのように各々のポート部２０４（−１〜−４）と画像処理部２０１（−１〜−４）、およびメモリマップテーブル部２０５（−１〜−４）に対して一つのポート制御部２１１（−１〜−４）で一時画像メモリ部上のメモリマップを集中管理した場合、複数種類の画像処理フローを同時に処理するためのマルチ画像処理を行うことができず、単一画像処理で同様の処理を行う場合、著しく処理速度が落ちてしまい、さらに一時画像メモリ部上のメモリマップを管理することが難しくなるおそれがある。

そこで、本第３の実施形態においては、各々のポート部に対するポート制御部を複数備えることにより、各々の画像処理部２０１（−１〜−４）をマルチ画像処理で行うことが可能になり、複数の異なる種類の画像処理フローに対する一時画像メモリ部上のメモリマップ管理を容易に行うことを可能としている。これによりシームレス動作など高速かつマルチ画像処理が要求される処理が容易に行うことが可能となっている。

ここで、ポート制御部を複数有している場合のメモリ管理処理ついて説明する。
図１７は、ポート制御部を複数有している場合のメモリ管理処理を説明するための図である。

［ポート制御部を複数持つ場合］
ポート制御部が１つのページテーブルに対して複数接続される場合、図１７に示すように、一つのページテーブルＰＴＢＬに対して複数のポート制御部２１１ｐが複数ポインタＰＮＴＲを送信する。ページテーブルＰＴＢＬはシステムの動作モードを示す動作モード信号ＭＤにより動的にポインタＰＮＴＲを選択してページテーブルを引き、アドレス情報ＡＤＲと制御情報ＣＴＲＬの組を対応するポート部２０４（−１〜−４）に対して送信する。
このような構成を備えることで、メモリ上には複数のリングバッファを構成することができる。
たとえば、ある画像処理部（データ処理ブロック）が、カメラ信号処理において動画と静止画の画像処理を時分割で平行して行う場合は、処理がパイプライン化されたシステムでは、メモリ上に構成された２つのリングバッファから時分割で動画と静止画を読み出し、画像処理を行う必要がある。このような処理を行う場合は動画向けリングバッファを制御するためのポート制御部２１１ｐ０と静止画向けリングバッファを制御するためのポート制御部２１１ｐ１の２つのポート制御部を備えることでハードウェアによるシステム制御を実現することができる。
上記の場合も、ソフトウェアによる制御はシステム動作の初期設定段階でフレームバッファの構成をページテーブルに設定し、ポート制御部に対してはリングバッファのポインタＰＮＴＲをタイミング信号ＴＭＧに応じて変化させる命令をコントロールレジスタＣＲＥＧ２に設定するのみになる。

このような構成において、画像処理装置２００Ｂにおいては、ＣＰＵ２０６から各メモリマップテーブル部２０５（−１〜−４）が備えているページテーブルＰＴＢＬに対して画像データの配置情報、および制御信号を設定する。
複数存在するポート制御部２１１Ｂ（−１〜−４）は現在の画像処理部に応じたポート制御部２１１Ｂが選択され、そのポート制御部２１１からページテーブルＰＴＢＬを選択するためのインデックス信号ＩＤＸを対応するメモリマップテーブル部２０５（−１〜−４）に転送する。
そして、画像処理部２０１（−１〜−４）とメモリマップテーブル部２０５（−１〜−４）より各種信号を受け取ったポート部２０４（−１〜−４）は、画像バス２０３に接続されている一時画像メモリ部２０２とのデータ転送を行うという構造をとっている。
また、ポート制御部２１１Ｂ（−１〜−４）によって各メモリマップテーブル部２０５（−１〜−４）が備えているページテーブルＰＴＢＬは、連動してインデックスを選択することにより、一時画像メモリ部上のメモリマップを画像処理フローに応じて高速に切り替えることができ、各々の画像処理部２０１（−１〜−４）が連動してメモリマップの切り替えを行うことができるのでメモリ使用効率を上げることが可能である。
これは、高速なメモリマップの切り替えと一時画像メモリ部上に仮想的なフレームバッファを構成しており、システム動作制御部に同期して高速なフレームバッファ制御が可能な画像メモリ管理装置を実現している。
さらに，各々のポート部２０４（−１〜−４）に対して複数存在するポート制御部２１１Ｂ（−１〜−４）の切り替えを制御することにより複数種類の画像処理フローを同時に処理するマルチ画像処理を実現している。この複数のポート制御部を集中管理することによって一時画像メモリ部上のメモリマップを複数種類の画像処理フローに対応するメモリマップに高速に切り替えることが可能な画像管理装置を実現している。

本第３の実施形態では、ポート制御部が１つのページテーブルに対して複数接続される構成により、システム動作制御部に同期して高速なシステム制御の切り替えが可能な画像処理装置を実現している。

図１８は、図１６の画像処理装置２００Ｂにおけるリード（読み出し）およびライト（書き込み）処理の概要を示すフローチャートである。
次に、図１６の画像処理装置２００Ｂにおけるリード（読み出し）およびライト（書き込み）処理について、図１８に関連付けて説明する。

図１８に示すように、ＣＰＵ２０６はリードポートであるか否かの判定を行い（ＳＴ３０１）、リードポートであると判定すると、ローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページアドレス、およびインデックスの初期設定を行う（ＳＴ３０２）。
次に、ページテーブルＰＴＢＬの設定変更の必要があるか否かの判定を行い（ＳＴ３０３）、変更が必要な場合はローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬにページアドレスを設定し（ＳＴ３０４）、ステップＳＴ３０５の処理に移行する。ステップＳＴ３０３でページテーブルＰＴＢＬの設定変更の必要がないと判定すると、ステップＳＴ３２０４の処理を行わずに、ステップＳ３０５の処理に移行する。
ステップＳＴ３０５においては、ポートマルチスレッド切り替えの必要があるか否かの判定を行い、切り替えが必要な場合はメモリマップテーブル部２０５（−１〜−４）を管理するポート制御部を変更して（ＳＴ３０６）、ステップＳＴ３０７の処理に移行する。ステップＳＴ３０５でポートマルチスレッド切り替えの必要がないと判定すると、ステップＳＴ３０６の処理を行わずに、ステップＳＴ３０７の処理に移行する。
ステップＳＴ３０７においては、インデックスの変更の必要があるか否かの判定を行い、変更が必要な場合にはポート制御部２１１Ｂ（−１〜−４）によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬを選択するためのインデックスをコントロールレジスタＣＲＥＧに設定し（ＳＴ３０８）、ステップＳＴ３０９の処理に移行する。ステップＳＴ３０７でインデックスの変更の必要がないと判定すると、ステップＳＴ３０８の処理を行わずに、ステップＳＴ３０９の処理に移行する。
ステップＳＴ３０９においては、メモリマップテーブル部２０５（−１〜−４）でインデックスに応じて選択された画像メモリ部２０２へのリードアドレスを、対応するポート部２０４（−１〜−４）のリードポート部に設定する。
次に、リードポート部から画像バス２０３に対してリードトランザクションを実行する（ＳＴ３１０）。
リードトランザクションに伴う画像メモリ部２０２からのリードデータをリードポート部で受ける（ＳＴ３１１）。
次いで、リードポート部で受けたリードデータを対応する画像処理部２０１（−１〜−４）に出力する（ＳＴ３１２）。

ステップＳＴ３０１において、ＣＰＵ２０６は、リードポートではなくライトポートであると判定すると、ローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページアドレス、およびインデックスの初期設定を行う（ＳＴ３１３）。
次に、ページテーブルＰＴＢＬの設定変更の必要があるか否かの判定を行い（ＳＴ３１４）、変更が必要な場合はローカルバス２０７によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬにページアドレスを設定し（ＳＴ３１５）、ステップＳＴ３１６の処理に移行する。ステップＳＴ３１４でページテーブルＰＴＢＬの設定変更の必要がないと判定すると、ステップＳＴ３１５の処理を行わずに、ステップＳＴ３１６の処理に移行する。
ステップＳＴ３１６においては、ポートマルチスレッド切り替えの必要があるか否かの判定を行い、切り替えが必要な場合はメモリマップテーブル部２０５（−１〜−４）を管理するポート制御部を変更して（ＳＴ３１７）、ステップＳＴ３１８の処理に移行する。ステップＳＴ３１６でポートマルチスレッド切り替えの必要がないと判定すると、ステップＳＴ３１７の処理を行わずに、ステップＳＴ３１８の処理に移行する。
ステップＳＴ３１８においては、インデックスの変更の必要があるか否かの判定を行い、変更が必要な場合にはポート制御部２１１Ｂ（−１〜−４）によりメモリマップテーブル部２０５（−１〜−４）のページテーブルＰＴＢＬを選択するためのインデックスを設定し（ＳＴ３１９）、ステップＳＴ３２０の処理に移行する。ステップＳＴ３１８でインデックスの変更の必要がないと判定すると、ステップＳＴ３１９の処理を行わずに、ステップＳＴ３２０の処理に移行する。
ステップＳＴ３２０においては、メモリマップテーブル部２０５（−１〜−４）でインデックスに応じて選択された画像メモリ部２０２へのライトアドレスを、対応するポート部２０４（−１〜−４）のライトポート部に設定する。
そして、対応する画像処理部２０１（−１〜−４）から画像メモリ部２０２に書き込むべきデータをライトポート部に出力する（ＳＴ３２１）。
ライトポート部から画像バス２０３に対してライトトランザクションを実行し、画像処理部２０１（−１〜−４）から受け取ったデータを画像メモリ部２０２に書き込む（ＳＴ３２２）。

図１９、図２０、および図２１は、以上のように制御される画像処理装置において、リード、ライトを繰り返して異なる種類の画像処理を行う場合のアドレスや制御情報、データの流れ、並びに画像メモリ部２０２のメモリ領域のメモリマップの例を示している。
図１９は、第３の実施形態に係る画像処理装置全体でのアドレス、制御情報、データの全体の流れを示す図である。図２０は、第３の実施形態に係る画像処理装置におけるデータの入力される構成要素をデータの流れるに沿って時系列的に示す図である。また、図２１は、第３の実施形態に係るメモリ領域の例を示す図である。
なお、この例においても、ＣＣＤやＣＭＯＳセンサ等の固体撮像素子からなるセンサ３１０による撮像画像データを出力デバイス、たとえば画像表示装置３２０に表示する場合を示している。
ただし、ここでは、ｍ＝５として、画像処理部２０１−１〜２０１−５、ポート部２０４−１〜２０４−５、メモリマップテーブル部２０５−１〜２０５−５、ポート制御部２１１Ｂ−１〜２１１Ｂ−５を有する。そして、ポート制御部２１１Ｂ−３および２１１Ｂ−４が２つのポート制御部を含む構成となっている。

また、図１９および図２０においては、図１６の画像処理部２０１−１を画像処理ブロックＡ、画像処理部２０１−２を画像処理ブロックＢ、画像処理部２０１−３を画像処理ブロックＣ、画像処理部２０１−４を画像処理ブロックＤ、画像処理部２０１−５を画像処理ブロックＥとしてそれぞれ示している。
同様に、図１６のメモリマップテーブル部２０５−１のページテーブルＰＴＢＬをページテーブルブロックＡ、メモリマップテーブル部２０５−２のページテーブルＰＴＢＬをページテーブルブロックＢ、メモリマップテーブル部２０５−３のページテーブルＰＴＢＬをページテーブルブロックＣ、メモリマップテーブル部２０５−４のページテーブルＰＴＢＬをページテーブルブロックＤ、メモリマップテーブル部２０５−５のページテーブルＰＴＢＬをページテーブルブロックＥとしてそれぞれ示している。
図１６のポート部２０４−１をポートＡ、ポート部２０４−２をポートＢ、ポート部２０４−３をポートＣ、ポート部２０４−４をポートＤ、ポート部２０４−５をポートＥとしてそれぞれ示している。
図１６のポート制御部２１１Ｂ−１をポート制御部Ａ、ポート制御部２１１Ｂ−２をポート制御部Ｂ０，Ｂ１、ポート制御部２１１Ｂ−３をポート制御部Ｃ０，Ｃ１、ポート制御部２１１Ｂ−４をポート制御部Ｄ、ポート制御部２１１Ｂ−５をポート制御部Ｅとしてそれぞれ示している。
また、図１９において制御バス２１０は、図１６のローカルバス２０７とメインバス２０９を含む。

このような構成において、たとえばＣＰＵ２０６が、各ページテーブルＰＴＢＬおよび画像処理部（ブロック）２０１−１〜２０１−５に対してアドレスおよび制御情報を設定する。
図１８に関連付けて説明したように、対応するポート部２０４−１〜２０４−５のリードポート部かライトポート部を用いるかを判定後、ページテーブルＰＴＢＬのアドレスの初期化および変更等を行い、また、インデックスによるページテーブルＰＴＢＬのアドレスおよび制御情報の選択を行う。
インデックスの変更が必要な場合にはポート制御部２１１（−１〜−５）によりメモリマップテーブル部２０５（−１〜−５）のページテーブルＰＴＢＬを選択するためのインデックスをコントロールレジスタＣＲＥＧに設定する。
また、ポート制御部が複数存在するポート制御部２１１Ｂ−２，２１１Ｂ−３は現在の画像処理部２０１−２，２０１−３に応じたポート制御部が選択され対応するポート部２０４−１〜２０４−５に対して制御情報を設定する。
そして、画像処理部（ブロック）２０１−１〜２０１−５に対して制御情報を設定する。
なお、制御情報としては、画像サイズ情報、画像フォーマット情報、あるいは圧縮や伸長を行うかなどの画像処理情報等がある。

また、各画像処理部２０１（−１〜−４）がポート制御部２１１（−１〜−４）に対して、インデックス情報の他に、画像データＩＤ、画像データ書き込み開始／終了信号、画像データ読み込み開始／終了信号等を供給する。図１３〜図１５の例では、画像処理部２０１−１がポート制御部２１１Ｂ−１に対して画像データＩＤや画像データ書き込み開始／終了信号を供給し、画像処理部２０１−２がポート制御部２１１Ｂ−２に対して画像データＩＤや画像データ読み込み開始／終了信号を供給し、画像処理部２０１−３がポート制御部２１１−３に対して画像データＩＤや画像データ書き込み開始／終了信号を供給し、画像処理部２０１−４がポート制御部２１１Ｂ−４に対して画像データＩＤや画像データ読み込み開始／終了信号を供給する。

図１９〜図２１の例では、図２０にも示すように、ポート部２０４−１はライトポート部が、ポート部２０４−２はライトポート部が、ポート部２０４−３は２つのポート制御部により時分割にリードポート部が、ポート部２０４−４は２つのポート制御部により時分割にライトポート部、ポート部２０４−５はリードポート部が用いられる。
このような制御が行われる画像処理装置２００Ｂにおける処理を時系列的に説明すると、まず、センサ３１０で撮像され、アナログからデジタルに変換された画像データが画像処理部２０１−１および２０１−２に入力される。画像処理部２０１−１では、設定された制御情報に応じてたとえば圧縮処理等が行われ、その画像データはポート部２０４−１のライトポート部のライトトランザクションに応じて、画像バス２０３を介し画像メモリ部２０２のメモリ領域１に記録される。画像処理部２０１−２では、設定された制御情報に応じてたとえば圧縮処理等が行われ、その画像データはポート部２０４−２のライトポート部のライトトランザクションに応じて、画像バス２０３を介し画像メモリ部２０２のメモリ領域２に記録される。
次に、画像メモリ部２０２のメモリ領域１およびメモリ領域２に記録された被圧縮画像データは、ポート部２０４−３のリードポート部のリードトランザクションに応じてポート制御部２１１Ｂ−３０，２１１Ｂ−３１の制御に従って時分割にリードされ、画像処理部２０１−３に転送される。画像処理部２０１−３においては、リードデータの伸長処理（展開処理）やデコード処理が行われ、画像処理部２０１−４に転送される。
画像処理部２０１−４においては、画像データに対して圧縮信号処理して画像ソースが生成されるなどのエンコード処理が行われ、ポート制御部２１１Ｂ−４０，２１１Ｂ−４１の制御に従ったポート部２０４−４のライトポート部のライトトランザクションに応じて、画像バス２０３を介し画像メモリ部２０２のメモリ領域３およびメモリ領域４に時分割に記録される。
次に、画像メモリ部２０２のメモリ領域１およびメモリ領域２に記録された被圧縮画像データは、ポート部２０４−５のリードポート部のリードトランザクションに応じて表示する方のデータが選択的にリードされ、画像処理部２０１−５に転送される。画像処理部２０１−５においては、リードデータの伸長処理（展開処理）やデコード処理、表示装置に対応した画像処理が行われ、画像表示装置３２０に転送される。

以上説明したように、本第３の実施形態によれば、各々のポート部に対するポート制御部を複数備えることにより、各々の画像処理部をマルチ画像処理で行うことが可能になり、複数の異なる種類の画像処理フローに対する一時画像メモリ部上のメモリマップ管理を容易に行うことが可能になる。これによりシームレス動作など高速かつマルチ画像処理が要求される処理が容易に行うことが可能になる。

図２２は、本第３の実施形態に係る画像処理装置の好適な応用例を説明するための図である。

このシステムはメモリ上に静止画、動画、現像静止画、現像動画の４つリングバッファを構成し、動画と静止画の画像処理をパイプライン化し、かつ同時処理を可能とするものである。
画像センサから出力された画像データは画像処理部２０１−１により、動作モード信号ＭＤに応じて、動画の場合はポート部２０４−１にデータを転送し、静止画の場合はポート部２０４−２にデータを転送する。
ポート部２０４−１はタイミング回路２１２のタイミング信号ＴＭＧによりポート制御部２１１Ｂ−１によりページテーブルＰＴＢＬ１を通して動画の格納アドレス、サイズ、フォーマット情報を得て動画ダブルバッファに動画データを書き込む。このときポート制御部２１１Ｂ−１とページテーブルＰＴＢＬ１により動画むけダブルバッファへの書き込み処理が自動で制御されることになる。
ポート部２０４−２はタイミング回路２１２のタイミング信号ＴＭＧによりポート制御部２１１Ｂ−２によりページテーブルＰＴＢＬ２を通して静止画の格納アドレス、サイズ、フォーマット情報を得て静止画むけリングバッファに静止画データを書き込む。
このときポート制御部２１１Ｂ−２とページテーブルＰＴＢＬ２により静止画連写向けのリングバッファへの書き込み処理が自動で制御されることになる。
メモリ上に格納された動画・静止画データは画像処理部２０１−２により現像処理される。
ポート部２０４−３では動作モード信号に応じて動画・静止画データの部分を読み出し、現像処理を行った後、各部分画像をポート部２０４−４を通して、各々、現像動画ダブルバッファ、現像静止画ダブルバッファに書き込む。この処理を時分割で行うことで動画と静止画の並列処理を可能としている。
ここで、ポート制御部２１１Ｂ−１、ポート制御部２１１Ｂ−３１、ポート制御部２１１Ｂ−４０、ポート制御部２１１Ｂ−４１がそれぞれページテーブルＰＴＢＬ３とページテーブルＰＴＢＬ４を引き、ポート部２０４−３、ポート部２０４−４に対してアドレス情報と制御情報を送信することで動画・静止画のパイプライン化と同時処理を可能にしている、
ページテーブルＰＴＢＬ３には動画・静止画の読み出し画像に関する情報が格納され、ページテーブルＰＴＢＬ４には画像処理部２０１−２が出力する現像画像に関する情報が格納される。
このように、ポート制御部とページテーブルを備えることで、動画・静止画の画像処理をパイプライン化することで高速化し、かつ同時処理を可能にするシステムをハードウェアによる制御で実現することができる。

このような特徴的な構成を有する本第１〜第３の実施形態に係る画像処理装置は、デジタルカメラやビデオカメラ等に適用することができる。

図２３は、本発明の実施形態に係る画像処理装置が適用されるカメラシステムの構成の一例を示す図である。

本カメラシステム３００は、図２３に示すように、画像センサとして撮像デバイス３１０と、表示装置３２０、撮像デバイス３１０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ３３０と、撮像デバイス３１０を駆動する駆動回路(ＤＲＶ)３４０と、撮像デバイス３１０の出力信号を処理する信号処理回路(ＰＲＣ)３５０と、信号処理回路３５０からのデジタル信号を処理する画像処理装置３６０（ＩＭＰ）と、を有する。
画像処理装置３６０には、上述した画像処理装置２００，２００Ａ，２００Ｂが採用される。

駆動回路３４０は、垂直ＣＣＤ、水平ＣＣＤ等を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス３１０を駆動する。

また、信号処理回路３５０は、撮像デバイス３１０の出力信号に対してＣＤＳ(Correlated Double Sampling;相関二重サンプリング)やＡ（アナログ）／Ｄ（デジタル）変換などの信号処理を施す。
信号処理回路３５０で処理された画像信号は、画像処理装置３６０に転送され、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、画像処理装置３６０で処理された画像信号を液晶ディスプレイ等からなる表示装置３２０に動画あるいは静止画として映し出される。

上述したように、デジタルスチルカメラ等の撮像装置において、画像処理装置を搭載することで、高精度で、高速なカメラが実現できる。

デジタルカメラ等に適用可能な、一般的な画像メモリ管理技術を含む画像信号処理装置の構成例を示すブロック図である。 図１の画像処理装置におけるリード（読み出し）およびライト（書き込み）処理の概要を示すフローチャートである。 本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 ページテーブルを有していない場合のメモリ管理処理を説明するための図である。 ページテーブルを有している場合のメモリ管理処理を説明するための図である。 図３の画像処理装置におけるリード（読み出し）およびライト（書き込み）処理の概要を示すフローチャートである。 第１の実施形態に係る画像処理装置全体でのアドレス、制御情報、データの全体の流れを示す図である。 第１の実施形態に係る画像処理装置におけるデータの入力される構成要素をデータの流れるに沿って時系列的に示す図である。 第１の実施形態に係るメモリ領域の例を示す図である。 本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。 ポート制御部を一つ有している場合のメモリ管理処理を説明するための図である。 図１０の画像処理装置におけるリード（読み出し）およびライト（書き込み）処理の概要を示すフローチャートである。 第２の実施形態に係る画像処理装置全体でのアドレス、制御情報、データの全体の流れを示す図である。 第２の実施形態に係る画像処理装置におけるデータの入力される構成要素をデータの流れるに沿って時系列的に示す図である。 第２の実施形態に係るメモリ領域の例を示す図である。 本発明の第３の実施形態に係る画像処理装置の構成例を示すブロック図である。 ポート制御部を複数有している場合のメモリ管理処理を説明するための図である。 図１６の画像処理装置２００Ｂにおけるリード（読み出し）およびライト（書き込み）処理の概要を示すフローチャートである。 第３の実施形態に係る画像処理装置全体でのアドレス、制御情報、データの全体の流れを示す図である。 第３の実施形態に係る画像処理装置におけるデータの入力される構成要素をデータの流れるに沿って時系列的に示す図である。 第３の実施形態に係るメモリ領域の例を示す図である。 本第３の実施形態に係る画像処理装置の好適な応用例を説明するための図である。 本発明の実施形態に係る画像処理装置が適用されるカメラシステムの構成の一例を示す図である。

符号の説明

２００，２００Ａ，２００Ｂ・・・画像処理装置、２０１−１〜２０１−ｍ（たとえばｍ＝４）・・・画像処理部、２０２・・・画像メモリ部、２０３・・・画像バス、２０４−１〜２０４−ｍ・・・ポート部，２０５−１〜２０５−ｍ・・・メモリマップテーブル部、２０６・・・ＣＰＵ（処理装置）、２０７・・・ローカルバス、２０８−１〜２０８−ｍ・・・画像処理データバス、２０９・・・メインバス、２１１−１〜２１１−ｍ・・・ポート制御部。

Claims (11)

1. 複数の画像処理部と、
   画像データを記録する画像メモリ部と、
   上記各画像処理部と上記画像メモリ部間に接続され、供給される情報に応じて上記画像メモリ部にアクセスを行う複数のポート部と、
   上記画像メモリ部に画像データを記録するメモリ領域を管理するための管理情報が設定される少なくとも一つのテーブルを含み、当該テーブルに設定された管理情報を対応する上記ポート部に選択的に供給する複数のメモリマップテーブル部と、
   上記メモリマップテーブル部の上記テーブルに対して上記管理情報を設定する機能を含む処理装置と
   を有する画像処理装置。
2. 対応する上記メモリマップテーブル部のテーブルに設定された管理情報の上記ポート部への供給を制御する複数のポート制御部を有する
   請求項１記載の画像処理装置。
3. 上記テーブルに設定される管理情報には、
   アドレス情報および上記ポート部に対する制御情報を含み、
   上記ポート制御部は、
   タイミング信号およびレジスタの設定データに応じて上記テーブルのアドレス情報と制御情報の組を選択するポインタを上記メモリマップテーブル部に出力し、
   上記メモリマップテーブル部は、
   上記ポート部からのポインタに応じた上記アドレス情報と制御情報の組を出力する
   請求項２記載の画像処理装置。
4. 上記一つのポート部に対して複数のポート制御部を有する
   請求項２記載の画像処理装置。
5. 上記テーブルに設定される管理情報には、
   アドレス情報および上記ポート部に対する制御情報を含み、
   上記ポート制御部は、
   タイミング信号およびレジスタの設定データに応じて上記テーブルのアドレス情報と制御情報の組を選択する複数のポインタを上記メモリマップテーブル部に出力し、
   上記メモリマップテーブル部は、
   動作モード信号により動的に上記ポート部からの複数のポインタを選択し、当該選択したポインタに応じた上記アドレス情報と制御情報の組を出力する
   請求項４記載の画像処理装置。
6. 上記テーブルに設定される管理情報には、
   画像データの配置情報、属性情報、および上記ポート部に対する制御情報を含む
   請求項１から５のいずれか一に記載の画像処理装置。
7. 被写体の像を撮像し、画像データを出力する撮像デバイスと、
   上記画像データに所定の処理を行う画像処理装置と、を含み、
   上記画像処理装置は、
   複数の画像処理部と、
   画像データを記録する画像メモリ部と、
   上記各画像処理部と上記画像メモリ部間に接続され、供給される情報に応じて上記画像メモリ部にアクセスを行う複数のポート部と、
   上記画像メモリ部に画像データを記録するメモリ領域を管理するめの管理情報が設定される少なくとも一つのテーブルを含み、当該テーブルに設定された管理情報を対応する上記ポート部に選択的に供給する複数のメモリマップテーブル部と、
   上記メモリマップテーブル部の上記テーブルに対して上記管理情報を設定する機能を含む処理装置と、を有する
   カメラシステム。
8. 対応する上記メモリマップテーブル部のテーブルに設定された管理情報の上記ポート部への供給を制御する複数のポート制御部を有する
   請求項７記載のカメラシステム。
9. 上記テーブルに設定される管理情報には、
   アドレス情報および上記ポート部に対する制御情報を含み、
   上記ポート制御部は、
   タイミング信号およびレジスタの設定データに応じて上記テーブルのアドレス情報と制御情報の組を選択するポインタを上記メモリマップテーブル部に出力し、
   上記メモリマップテーブル部は、
   上記ポート部からのポインタに応じた上記アドレス情報と制御情報の組を出力する
   請求項８記載のカメラシステム。
10. 上記一つのポート部に対して複数のポート制御部を有する
    請求項９記載のカメラシステム。
11. 上記テーブルに設定される管理情報には、
    アドレス情報および上記ポート部に対する制御情報を含み、
    上記ポート制御部は、
    タイミング信号およびレジスタの設定データに応じて上記テーブルのアドレス情報と制御情報の組を選択する複数のポインタを上記メモリマップテーブル部に出力し、
    上記メモリマップテーブル部は、
    動作モード信号により動的に上記ポート部からの複数のポインタを選択し、当該選択したポインタに応じた上記アドレス情報と制御情報の組を出力する
    請求項１０記載のカメラシステム。

Images