JP5412240B2 - 画像処理用半導体装置および画像処理装置 - Google Patents

Description

本発明は、撮像装置などからの画像を処理する画像処理用半導体装置および画像処理装置に関し、特に、画像データの処理を行う画像処理ハードウェアにより、汎用演算機を使用することなく、撮像装置の入力に同期した画像処理ハードウェアの起動および設定を行う画像処理用半導体装置および画像処理装置に関するものである。

近年、複数の映像入力装置を搭載した車載システムが広まりつつある。例えば、自動車の前後左右に１つずつカメラを設置し、周辺の環境全てを映像でユーザーに提示することで安全性を高めるものである。

このようなシステムにおいては、使用者に対してより良い画像を表示するため、疑似的な視点から見た画像（例えば、車両の上部から俯瞰したような映像）を生成することがある。この際、それぞれの入力画像に対して疑似的な視点から見た画像になるように変換処理しなければならないが、システムを安価にするために、処理のための装置を１つにすることがある。処理のための設定は画像入力によって異なるため、１つの変換装置で複数の処理を行う必要がある。

例えば、特開２００９−８１４９６号公報（特許文献１）に見られるように、複数の歪み補正用のパラメータを保持し、ＣＰＵで状況に応じて補正装置の設定を書き換えることで、複数の変換処理は実現されている。

また、特開平８−２３７５１９号公報（特許文献２）では、輝度補正のためのテーブルが複数用意され、状況に応じてハードウェア的に輝度補正のテーブルを切り替えることで複数の変換を実現している。

特開２００９−８１４９６号公報 特開平８−２３７５１９号公報

自動車に搭載するような画像処理装置では、障害物検知の様にリアルタイム性が求められるものがある。これは検知遅れが発生することで事故に繋がる危険があるからである。

また、このような画像処理装置では複数のアプリケーションを動かすことが求められる。複数のアプリケーションを動かすと、アプリケーション間の通信や割り込みなどで発生する処理時間のオーバーヘッドが発生するが、これはリアルタイム性に悪影響を及ぼすためできるだけ抑えたい。

しかしながら、特許文献１に見られるように、設定を毎回ＣＰＵで切り替えていると、映像入力のたびにＣＰＵに対して割り込みが入り、ＣＰＵはその時に動かしている処理を退避し復帰しなければならない。その分、割り込みの入った処理に遅延が発生し、リアルタイム性に悪影響を及ぼす。

また、特許文献２では、ハードウェア的に処理を切り替えるために、特許文献１の様な問題は起こらない。しかし、映像入力と補正処理のためのハードウェアが間にメモリなどの記憶媒体を仲介しない構成になっているため、補正処理のためのハードウェアが別の用途に使えないという問題がある。

そこで、本発明の目的は、汎用的に用いることのできる画像処理ハードウェアで、ＣＰＵの介在なしに映像入力に同期して画像処理を行うことができる画像処理装置を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。

すなわち、代表的なものの概要は、汎用的な処理を行うＣＰＵと、映像を取得する映像入力手段で取得された画像データを処理する画像処理手段と、画像処理手段の処理内容を決定する設定手段と、画像処理手段に対して設定および起動を行う順序を示す命令リストに基づいて、映像入力手段からの画像データの入力に同期して、ＣＰＵの介在なしに画像処理手段に対して設定および起動を行う命令書き込み手段とを備えたものである。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下の通りである。

すなわち、代表的なものによって得られる効果は、汎用的に用いることのできる画像処理ハードウェアで、ＣＰＵの介在なしに画像データの入力に同期して画像処理を開始することができる。

本発明の一実施の形態に係る画像処理装置の基本構成を示す構成図である。 本発明の一実施の形態に係る画像処理装置の命令書き込み手段の構成を示す図である。 本発明の一実施の形態に係る画像処理装置で使用される命令リストに記述される命令の一部を示す図である。 本発明の一実施の形態に係る画像処理装置の具体的な使用例を説明する説明図である。 本発明の一実施の形態に係る画像処理装置の具体的な使用例での画像処理例を示す図である。 図４に示す使用例における画像処理装置の詳細構成を示す構成図である。 本発明の一実施の形態に係る画像処理装置の比較例としての処理の流れを示す図である。 本発明の一実施の形態に係る画像処理装置の処理の流れを示す図である。 本発明の一実施の形態に係る画像処理装置および比較例で使用される命令リストの一例を示す図である。 本発明の一実施の形態に係る画像処理装置の具体的な他の使用例を説明する説明図である。 図１０に示す使用例における画像処理装置の詳細構成を示す構成図である。 図１１に示す画像処理装置の同期映像入力に対して画像処理を行う際の処理の流れを説明する図である。 図１２に示す処理で使用される命令リストの一例を示す図である。 図１１に示す画像処理装置の非同期映像入力に対して画像処理を行う際の処理の流れを説明する図である。 図１４に示す処理で使用される命令リストの一例を示す図である。 本発明の一実施の形態に係る画像処理装置において非同期映像入力を扱う場合の命令書き込み手段の構成を示す図である。 図１６を拡張した命令書き込み手段の構成を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

図１〜図３により、本発明の一実施の形態に係る画像処理装置の基本構成について説明する。図１は本発明の一実施の形態に係る画像処理装置の基本構成を示す構成図、図２は本発明の一実施の形態に係る画像処理装置の命令書き込み手段の構成を示す図、図３は本発明の一実施の形態に係る画像処理装置で使用される命令リストに記述される命令の一部を示す図である。

図１において、画像処理装置１００は、記憶手段である記憶媒体１０２、画像処理手段１０３、ＣＰＵ１０６、命令書き込み手段１０７から構成され、ビデオカメラなどの映像入力手段１０１が接続されている。画像処理手段１０３は、画像処理の種類や起動を指定する設定手段１０４を備えている。記憶媒体１０２には、画像データ群１０８、命令リスト１０５が格納されている。

画像処理装置１００の記憶媒体１０２、画像処理手段１０３、ＣＰＵ１０６、および命令書き込み手段１０７は半導体装置上に形成され、画像処理用半導体装置である半導体チップとして構成されている。

なお、画像処理装置１００として、記憶媒体１０２、画像処理手段１０３、ＣＰＵ１０６、および命令書き込み手段１０７の全てが１つの半導体チップとして形成されてもよいし、複数の半導体チップの集まりとして構成されてもよい。

画像処理装置１００は、映像入力手段１０１から取得された映像データを記録媒体１０２内の画像データ群１０８に格納する。画像処理手段１０３は、設定手段１０４に設定された情報に基づいて、画像処理を実行する。この設定手段１０４への書き込みは、ＣＰＵ１０６や、命令書き込み手段１０７を介して行われる。

命令書き込み手段１０７による設定手段１０４への書き込みは、記憶媒体１０２内の命令リスト１０５を自律的に解釈しＣＰＵ１０６を介さずに行われ、命令リスト１０５の解釈・実行は、ＣＰＵ１０６からの起動命令や、映像入力手段１０１からの映像取り込み終了同期信号等をトリガーとして開始される。

但し、他にも命令書き込み手段１０７や命令リスト１０５を画像処理手段１０３内に持つ構成などが考えられる。

図２において、命令書き込み手段１０７は、内部レジスタ１７０１、命令リスト指定手段１７０３、同期信号保持手段１７０４、命令読み込み部１７０６、命令解釈部１７０７、命令実行部１７０８から構成され、内部レジスタ１７０１は、プログラムカウンタ１７０２および複数のレジスタ１７０５を有している。

命令書き込み手段１０７は、命令リスト指定手段１７０３で記憶媒体１０２上のメモリアドレス等によって指定された命令リスト１０５を記憶媒体１０２から読み出し、指定された命令リストに記述された命令を逐次的に解釈、実行する（命令読み込み部１７０６、命令解釈部１７０７、命令実行部１７０８）。

また、解釈実行する命令はプログラムカウンタ１７０２によって指定される。また、同期信号保持手段１７０４は、外部からの同期信号を管理している。

命令書き込み手段１０７は、機能をレジスタ書き込みや読み出しに限ることでＣＰＵ１０６などの汎用演算機に比べて簡易な構成を実現している。

図３に命令リスト１０５に記述される命令の一部を示す。

図３の命令リスト１０５に記述される命令において、ＭＯＶＥ命令は書き込み先の設定手段１０４や記憶媒体１０２の番地と書き込み内容を指定する命令であり、ＬＯＡＤ命令は任意の設定手段１０４や記憶媒体１０２の保持する値を命令書き込み手段１０７内の内部レジスタ１７０１に書き込む命令である。

ＳＹＮＣ命令は映像入力手段１０１などからの映像取り込み終了の同期信号や画像処理手段１０３からの画像処理終了の同期信号などが来るまで処理を待機させる命令である。どの手段との同期を取るかは複数指定できるものとする。

ＥＸＥ命令は画像処理手段１０３を起動する命令であり、ＪＵＭＰ命令はプログラムカウンタ１７０２に指定した値を上書きする命令である。ＴＲＡＰ命令はＣＰＵ１０６に対して割り込みをかける命令である。

ＥＮＤ命令は命令リストの終了を示す命令である。ＳＥＮＤ命令は他の手段に対して同期信号を送る命令であり、例えば複数の画像処理手段１０３が存在する時などに、その手段間の通信手段として使う。

次に、図４および図５により、本発明の一実施の形態に係る画像処理装置の具体的な使用例について説明する。図４は本発明の一実施の形態に係る画像処理装置の具体的な使用例を説明する説明図、図５は本発明の一実施の形態に係る画像処理装置の具体的な使用例での画像処理例を示す図である。

図４においては、自動車が映像入力手段１０１を搭載し、それから得られた映像を処理して映像出力手段２００に表示する画像処理装置１００を想定している。

映像入力手段１０１が、図４の視点２０１の位置に設置されていたとすると取得できる映像は視点２０１からの映像になる。例えば、図５の３００に示す映像が、その映像にあたる。しかし、使用者に直感的にわかりやすい映像を提示するために、図４の仮想視点２０２で示すような仮想的な視点から見たような映像を、画像処理手段１０３を使って変換して取得することが考えられる。

例えば、図５の３０１に示す映像が、その映像にあたる。以下では一例として画像中の自車に対する接近物２０３を認識する処理を挙げ、画像処理手段１０３が視点の変換処理を、ＣＰＵ１０６が変換後の画像を処理し接近物の認識を担当することを考える。

図６により、図４に示す使用例における画像処理装置の詳細構成について説明する。図６は、図４に示す使用例における画像処理装置の詳細構成を示す構成図である。

図６において、画像処理装置１００は、図１に示す画像処理装置１００に対して、画像処理手段１０３内の設定手段１０４と、記憶媒体１０２に格納されるデータを細分化したものであり、設定手段１０４は、入力元画像データを指定する入力画像データ指定手段４０５、出力先の画像データを指定する出力画像データ指定手段４０６、使用する変換マップを記憶媒体１０２上のメモリアドレス等によって指定する変換マップ指定手段４０７を有し、記憶媒体１０２は、画像データ４０１〜４０４、命令リスト１０５、変換マップ４００を格納している。

図６に示す構成では視点変換のパラメータを保持した変換マップ４００を記録媒体１０２に保持する。画像処理手段１０３はこの変換マップ４００に従って画像を変換する。

また、映像入力フレームの奇数フレームと偶数フレームで書き込み先の画像データを切り替えることを想定し、変換後もそれぞれ別の画像データに書き込むことを考える。具体的には奇数フレームが入力されると、まず、画像データ４０１に書き込まれ、次に、画像処理手段１０３によって変換された結果が画像データ４０２に書き込まれる。

偶数フレームが入力されると、まず、画像データ４０３に書き込まれ、次に、画像処理手段１０３によって変換された結果が画像データ４０４に書き込まれる。

以下、本実施の形態では、変換マップ４００と命令リスト１０５を別個のものとして書くが、変換マップ４００を命令リスト１０５の中に組み込んだ構成も考えられる。その場合、変換マップ指定手段４０７は不要である。

また、以下では、一例として画像処理手段１０３を、変換マップ４００を用いた画像変換のために用いるが、これは例えば画像変換に限らず、コントラスト調整や色補正など、他の画像入力後に行うような処理でも構わない。加えて、複数の処理をまとめて行ってもかまわず、命令リストの形を取ることでよりフレキシブルな処理を可能とする。

次に、図７〜図９により、本発明の一実施の形態に係る画像処理装置の画像処理手段の設定を変えながら視点変換画像を生成する時の処理の流れについて説明する。図７は本発明の一実施の形態に係る画像処理装置の比較例としての処理の流れを示す図であり、従来技術での映像入力手段１０１からの映像終了の同期信号をＣＰＵ１０６が割り込みとして受け取り、さらにＣＰＵ１０６が命令書き込み手段１０７を起動する場合の処理を示している。図８は本発明の一実施の形態に係る画像処理装置の処理の流れを示す図であり、映像入力手段１０１からの映像終了の同期信号を命令書き込み手段１０７が受け取り、自律的に処理する場合の処理を示している。図９は本発明の一実施の形態に係る画像処理装置および比較例で使用される命令リストの一例を示す図である。

図９の７０１および７０２に示す命令リストにより、図７に示す処理が実行される。まず、映像入力手段１０１による映像取り込みが完了すると（ステップ５０１）、映像入力手段１０１からＣＰＵ１０６に割り込みが入る（ステップ５０２）。

ＣＰＵ１０６は命令リスト７０１を、命令書き込み手段１０７の命令リスト指定手段１７０３に指定し、命令書き込み手段１０７を起動する（ステップ５０３）。命令書き込み手段１０７は命令リスト７０１を読み込み、解釈しながら実行する。

具体的には、最初に命令リスト７０１のＭＯＶＥ命令に示すように入力画像データ４０１の指定、出力画像データ４０２の指定、変換マップ４００の指定をそれぞれ、入力画像データ指定手段４０５、出力画像データ指定手段４０６、変換マップ指定手段４０７で行う。

次のＥＸＥ命令で画像処理手段１０３を起動し（ステップ５０４）、ＳＹＮＣ命令（ＳＹＮＣ １００）で画像処理手段１０３からの終了信号を待って（ステップ５０５）、ＣＰＵ１０６に割り込みをかけ（ステップ５０６）、ＥＮＤで一連の動作を終了する。

ステップ５０６での終了割り込みがＣＰＵ１０６に入ると、次にＣＰＵ１０６は、例えば、画像処理手段１０３で処理された、画像データに基づいた認識処理などを開始する。

ここで、認識処理中に次の映像取り込みが終了し（ステップ５０７）、ＣＰＵ１０６に再び割り込みが入った時（ステップ５０８）のことを考える。

この際、ＣＰＵ１０６は認識処理を行っているため、一旦処理を中止し復帰に必要な情報を待機させた後に、命令リスト７０２を、命令書き込み手段１０７の命令リスト指定手段１７０３に指定し（ステップ５０９）中断させた処理を復帰する（ステップ５１０）。

以上の処理を繰り返し行うことで、映像入力手段１０１からの画像データの画像処理を行う。

このように、従来技術のように映像入力手段１０１の終了による割り込み信号をＣＰＵ１０６が受け取ると、その割り込みを受け取った最中にＣＰＵ１０６が実行中であればその処理をＣＰＵ１０６は中断せねばならず、その中断した処理は遅延を発生してしまう。

これに対して、本実施の形態では、図９の７０３に示す命令リストにより、図８に示す処理が実行される。

図８に示す処理の場合は、最初の映像取り込みが終わるより先にＣＰＵ１０６によって命令リスト７０３を、命令書き込み手段１０７の命令リスト指定手段１７０３に指定し命令書き込み手段を起動しておく（ステップ６００）。

初めに画像処理手段１０３の設定手段１０４への書き込み命令に進む（ＭＯＶＥ）。入力画像データ、出力画像データ、変換マップなどをそれぞれ設定手段１０４に設定した後、次のＳＹＮＣ命令（ＳＹＮＣ １０１）で映像入力が終了したことを示す同期信号が来るまでその処理を待機する。

そして、映像入力手段１０１による映像取り込みが完了すると（ステップ６０１）、命令書き込み手段１０７がその映像取り込み終了の同期信号を受け取り（ステップ６０２）、ＳＹＮＣ命令の次のＥＸＥ命令により画像処理手段１０３を起動する（ステップ６０３）。

次のＳＹＮＣ命令（ＳＹＮＣ １００）で画像処理手段１０３からの終了信号を待ってＴＲＡＰでＣＰＵ１０６に割り込みをかける（ステップ６０４）。ステップ６０４による終了割り込みがＣＰＵ１０６に入ると、次にＣＰＵ１０６は、例えば、画像処理手段１０３で処理された、画像データに基づいた認識処理などを開始する。

ここで、ＣＰＵ１０６による認識処理中に次の映像取り込みが終了した時（ステップ６０５）のことを考えると、終了の同期信号が、命令書き込み手段１０７の同期信号保持手段１７０４に入り（ステップ６０６）、ＳＹＮＣによる待ち命令が解除され、次の命令を解釈し、再び画像処理手段１０３を起動し、同様の処理を繰り返す。

この時、ＣＰＵ１０６に対して映像入力終了による割り込みは入らない。すなわち命令書き込み手段１０７に映像入力の同期信号を取り扱うことのできる機能を付加することで、ＣＰＵ１０６は認識処理を中断することが無く、したがって認識処理の遅延も発生しない。

次に、図１０により、本発明の一実施の形態に係る画像処理装置の具体的な他の使用例について説明する。図１０は本発明の一実施の形態に係る画像処理装置の具体的な他の使用例を説明する説明図である。

図１０においては、映像入力手段（８０１〜８０４）を４つ持っており、自動車の前後左右につけられている。例えば、図５の３０１に示すような俯瞰的な画像を提供しようとすると、これら４つの映像入力手段（８０１〜８０４）に対して行う視点変換の処理や画像処理手段への設定はそれぞれ異なる。つまりそれぞれの映像入力に対して個別の変換マップと命令リストを持つ必要がある。

図１１により、図１０に示す使用例における画像処理装置の詳細構成について説明する。図１１は、図１０に示す使用例における画像処理装置の詳細構成を示す構成図である。

図１１は図１の構成を拡張し複数の映像入力に対応したものである。

図１１において、映像入力手段（８０１〜８０４）を４つ備え、それぞれの映像入力に対して個別の命令リスト（９０１〜９０４）および変換マップ（９０５〜９０８）を持っている。

また、それぞれの映像入力は画像データ群１０８中のいずれかの画像データに書き込みを行い、終了後に命令書き込み手段１０７に伝達する。つまり命令書き込み手段１０７は４つの映像入力手段（８０１〜８０４）からの同期信号を受け取り、その状態を解釈・保持する。

図１１に示す構成を用いて、図１０に示す映像入力手段（８０１〜８０４）からの映像入力の処理を実現するにはいくつかの方法がある。

以下、図１２および図１３を用いて、映像入力が固定したタイミングで入ってくる例を説明し、図１４〜図１６を用いて映像入力が不定期に入ってくる例について説明する。図１２は、図１１に示す画像処理装置の同期映像入力に対して画像処理を行う際の処理の流れを説明する図、図１３は、図１２に示す処理で使用される命令リストの一例を示す図、図１４は、図１１に示す画像処理装置の非同期映像入力に対して画像処理を行う際の処理の流れを説明する図、図１５は、図１４に示す処理で使用される命令リストの一例を示す図、図１６は非同期映像入力を扱う場合の命令書き込み手段の構成を示す図である。

まず、図１２は４つの映像入力が固定したタイミングで入る場合である。例えば、映像入力手段（８０１〜８０４）からの画像データ入力が、映像入力１、２、３、４の順番で全て同じ周期で入る場合が考えられる。この場合は、図１１に示す４つの命令リスト（９０１〜９０４）を統合して順番に処理させる。

この命令リストの例を図１３の命令リスト１１００に示す。

まず、命令書き込み手段１１０には、命令リスト１１００が指定され、命令書き込み手段１１０が起動している（ステップ１０００）。

そして、図１３の１１０１が画像処理の設定と、映像入力手段１（８０１）からの同期信号を受け取って起動を行い、以下、図１３の１１０２が映像入力手段２（８０２）から、図１３の１１０３が映像入力手段３（８０３）から、図１３の１１０４が映像入力手段４（８０４）からの同期信号によって画像処理の設定と起動を順次行う（ステップ１００１〜１００４）。

この場合も命令リスト１１００と命令書き込み手段１１０を要することでＣＰＵ１０６の介在なしに映像取得後に変換を行うことができる。

次に、図１４は４つの映像入力が不定期に入る場合の動作を示す。例えば、４つのカメラが入力の同期が取れていない、またはカメラによってフレームレートが違う場合などが考えられる。

この場合は、例えば映像入力終了の同期信号が入ってきた順番に変換処理を行う。順番に処理を行うために命令書き込み手段１１０内の同期信号保持手段１７０４と命令リスト指定手段１７０３は例えば図１６の構成をとる。

図１６において、各命令リストの記憶媒体中の先頭アドレスを保持する命令リスト指定管理手段を４つ備える（１４０１〜１４０４）。任意の映像入力手段から同期信号１４０５が同期信号保持手段１７０４に入ると、同期信号保持手段１７０４は一旦その信号の受け入れをキュー構造を持つ待機手段１４０６に入れて同期信号を待機する。

この時、同期信号はどの映像入力から入って来たものかを区別できるようにしておく。待機手段１４０６の先頭は待機フラグ１４０７が立った後、待機フラグ１４０７をクリアしてその映像入力に対応した命令リスト指定保持手段から命令リストの開始アドレスを読み出し、次処理命令リスト指定手段１４１６に書き込む。

待機フラグ１４０７が立っていなければ立つまで上記の処理を待つ。また、この時、同期フラグ１４１１〜１４１４の中で対応したフラグを立てる。但し、同期フラグ１４１５は画像処理手段１０３からの終了同期信号に従って立つフラグである。命令リストのＳＹＮＣ命令はこのフラグを見て、待機状態を解除する。

この構成を用いて、図１０に示す映像入力手段（８０１〜８０４）からの映像処理を実現するために、まず、図１５の１３００に示すようなダミーの命令リストを用意し、初期化の時点では命令リスト指定手段１７０３にこの命令リストを指定し、命令書き込み手段１０７を起動する。

命令リスト１３００の「ＳＹＮＣ ＡＮＹ−ＶｉｄｅｏＩＮ」は４つの映像入力手段からいずれかの同期信号を受け取ると待ち状態が解除される命令である。つまり、いずれかの映像入力が入るまで命令書き込み手段１０７は待機状態にある。なお、この時の待機フラグ１４０７は立っている。

それぞれの映像入力に対応した命令リストは図１５の１３０１に示した構造を取る。１３０２が各映像入力で異なる命令であり、それ以下の命令１３０３は映像入力によらず同じである。ＪＵＭＰ ＆１４１１は次処理命令リスト指定手段１４１６が示すアドレスにプログラムカウンタを指定する命令である。

図１４に、図１５の命令リストにおける処理の流れを示す。命令リスト１３００により初期化された後（ステップ１２００）、ＳＹＮＣ ＡＮＹ−ＶｉｄｅｏＩＮで命令書き込み手段１１０は待機状態に入り、同期信号保持手段１７０４は映像入力の同期信号を待つ。

まず、映像入力手段４（８０４）による同期信号が入る（ステップ１２０１）。キューの中に入った同期信号は待機フラグ１４０７が立っている状態なので、一旦待機フラグ１４０７を０に戻して次処理命令リスト指定手段１４１６に命令リスト指定管理手段で管理されている映像入力手段４（８０４）用の命令リストの先頭アドレスを命令リスト指定管理手段１４０４から読み込み書き込む。

次に、同期フラグ１４１４を立て、命令書き込み手段１１０の待機状態が解除され、映像入力手段４（８０４）用の命令リストが実行される。待機フラグ１４０７が命令リスト１３０１の「ＭＯＶＥ １ １４０７」でたった後、ＥＸＥ命令で画像処理手段１０３に起動がかかり（ステップ１２０２）、「ＳＹＮＣ １０４」で画像処理の終了を待つ待機状態に入る。

画像処理（ステップ１２０３）が終了して命令リストが再び実行され、ＳＹＮＣ ＡＮＹ−ＶｉｄｅｏＩＮで映像入力の同期信号を待つ。

その後、それぞれ映像入力手段２（８０２）、映像入力手段１（８０１）、映像入力手段４（８０４）、映像入力手段３（８０３）から、立て続けに同期信号が送られてくる（ステップ１２０４、ステップ１２０５、ステップ１２０６、ステップ１２０７）。ステップ１２０４で最初に送られてきた同期信号は、ステップ１２０１と同等の処理が行われ、画像処理手段１０３を起動する（ステップ１２０８）。

この間、そのほかの信号は待機手段１４０６に蓄積される。画像処理（ステップ１２０９）が終了すると、順次ステップ１２０５、ステップ１２０６、ステップ１２０７に対応する処理が行われる。

このような構成を取ることで、映像入力が不定期に入る場合であっても、それに応じた画像処理手段による処理をＣＰＵ１０６の介在なしに行うことができる。なお、図１６では待機手段１４０６として単純なキュー構造を採用したが、例えば、映像入力に優先度を持たせ、優先度の高い同期信号があればそれをキューの先頭に持ってくるような待機手段１４０６でも構わない。

なお、命令リスト指定管理手段（１４０１〜１４０４）が無くとも、命令リストを１つにして、入って来た同期信号が何かを命令リストのＣＭＰ命令などで判断しＢＬＮ命令で条件分岐させて命令を選ぶという構成も考えられる。

以上の説明では画像処理手段１０３を映像入力直後の変換処理のみに使うことを仮定していたが、実際には図１０に示したような使用例において、認識処理中の処理にも使うことが考えられる。つまり直後の変換処理とそれ以外の汎用処理が共存しなければならない。そのために、同期信号保持手段に図１６に示したように便宜上、汎用処理用の同期フラグを持たせ、映像入力手段からの同期信号と同様に待機手段に入れることで汎用処理と変換処理の共存を実現する。

図１６を拡張したものを図１７に示す。

図１７は、図１６を拡張した命令書き込み手段の構成を示す図である。

図１７において、待機手段１４０６にはＣＰＵ１０６で目的の汎用処理と同定できる汎用処理同定信号１５００を入力し、命令リスト指定管理手段には汎用処理用の命令リスト指定管理手段１５０１を新たに設ける。また、汎用処理用の同期フラグ１５０２を設ける。

図１５で示したＳＹＮＣ命令は映像入力手段に対応する同期フラグか、汎用処理に対応した同期フラグが立てば待ち状態を解除するようにする。汎用処理が複数ある場合は命令リスト指定管理手段の数を汎用処理の数だけ増やすか、リスト構造を取って汎用処理内で使いまわす構成などが考えられる。

待機手段１４０６の待機リストが、同期信号を同定する情報と命令リストを指定できる情報の両方を持つことも考えられる。また、命令リスト指定管理手段が無くとも、命令リストを１つにして、入って来た同期信号が何かを命令リストの比較命令などで判断し条件分岐させて命令を選ぶという構成も考えられる。

また、同じ役割で複数の画像処理手段１０３がある場合、もしくは別の役割を持つ複数の画像処理手段１０３がある場合、画像処理手段１０３間での同期も必要になる。

図３に示した通り、命令リストの中に同期信号送信の命令を備えるため、この命令を使って他の画像処理手段１０３と処理の同期を行う。例えば、図６に示す構成の画像処理手段１０３がＡとＢで２つある場合、Ａの命令書き込み手段がＳＹＮＣ命令でＢの同期信号を待っているとすると、Ｂの画像処理手段１０３がＳＥＮＤ命令を発行すればＡの命令書き込み手段１０７は待ち状態を解除して処理を進める。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、撮像装置などからの画像を処理する画像処理装置に関し、記憶媒体を介して画像データの処理を行う画像処理ハードウェアおよび汎用演算機を用いて、処理を行う装置に広く適用可能である。

１００…画像処理装置、１０１…映像入力手段、１０２…記憶媒体、１０３…画像処理手段、１０４…設定手段、１０５…命令リスト、１０６…ＣＰＵ、１０７…命令書き込み手段、１０８…画像データ群、４００…変換マップ、４０１〜４０４…画像データ、４０５…入力画像データ指定手段、４０６…出力画像データ指定手段、４０７…変換マップ指定手段、８０１〜８０４…映像入力手段、９０１〜９０４…命令リスト、９０５〜９０８…変換マップ、１４０１〜１４０４、１５０１…命令リスト指定管理手段、１４０５…同期信号、１４０６…待機手段、１４０７…待機フラグ、１４１１〜１４１５、１５０２…同期フラグ、１４１６…次処理命令リスト指定手段、１７０１…内部レジスタ、１７０２…プログラムカウンタ、１７０３…命令リスト指定手段、１７０４…同期信号保持手段、１７０５…レジスタ、１７０６…命令読み込み部、１７０７…命令解釈部、１７０８…命令実行部。

Claims (6)

1. 汎用的な処理を行うＣＰＵと、
   映像を取得する映像入力手段で取得された画像データを処理する画像処理手段と、
   前記画像処理手段の処理内容を決定する設定手段と、
   前記画像処理手段に対して設定および起動を行う順序を示す命令リストに基づいて、前記映像入力手段からの画像データの入力に同期して、前記ＣＰＵの介在なしに前記画像処理手段に対して設定および起動を行う命令書き込み手段とを備え、
   前記命令リストは、前記映像入力手段からの同期信号待ちの命令を含み、
   前記命令書き込み手段は、前記命令リストの前記同期信号待ちの命令に基づいて、前記映像入力手段からの映像入力が終了したことを示す同期信号が入力された後に、前記画像処理手段を起動させ、前記画像処理手段からの終了信号に基づいて、前記ＣＰＵに割り込みをかけることを特徴とする画像処理用半導体装置。
2. 請求項１に記載の画像処理用半導体装置において、
   前記命令書き込み手段は、複数の前記映像入力手段からの同期信号の受付を管理し、ある一定の順番に従って、それぞれの前記映像入力手段に対応した前記命令リストに基づいて、前記ＣＰＵの介在なしに前記画像処理手段の設定および起動を行うことを特徴とする画像処理用半導体装置。
3. 請求項２に記載の画像処理用半導体装置において、
   前記命令書き込み手段は、映像入力以外の信号の受付を管理し、ある一定の順番に従って、前記映像入力以外の信号をトリガーとして動く前記命令リストに基づいて、前記画像処理手段の設定および起動を行うことを特徴とする画像処理用半導体装置。
4. 映像を取得する映像入力手段で取得された画像データを記憶する記憶手段と、
   汎用的な処理を行うＣＰＵと、
   前記記憶手段に記憶された画像データを処理する画像処理手段と、
   前記画像処理手段の処理内容を決定する設定手段と、
   前記画像処理手段に対して設定および起動を行う順序を示す命令リストと、
   前記命令リストに基づいて、前記映像入力手段からの画像データの入力に同期して、前記ＣＰＵの介在なしに前記画像処理手段に対して設定および起動を行う命令書き込み手段とを備え、
   前記命令リストは、前記映像入力手段からの同期信号待ちの命令を含み、
   前記命令書き込み手段は、前記命令リストの前記同期信号待ちの命令に基づいて、前記映像入力手段からの映像入力が終了したことを示す同期信号が入力された後に、前記画像処理手段を起動させ、前記画像処理手段からの終了信号に基づいて、前記ＣＰＵに割り込みをかけることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記記憶手段は、複数の前記映像入力手段で取得された画像データを記憶し、
   前記命令書き込み手段は、複数の前記映像入力手段からの同期信号の受付を管理し、ある一定の順番に従って、それぞれの前記映像入力手段に対応した前記命令リストに基づいて、前記ＣＰＵの介在なしに前記画像処理手段の設定および起動を行うことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記記憶手段は、前記映像入力手段に対応した前記命令リストの他に、映像入力以外の信号をトリガーとして動く命令リストを記憶し、
   前記命令書き込み手段は、さらに、前記映像入力以外からの信号の受付を管理し、ある一定の順番に従って、前記映像入力以外の信号をトリガーとして動く前記命令リストに基づいて、前記ＣＰＵの介在なしに前記画像処理手段の設定および起動を行うことを特徴とする画像処理装置。

Images