JP5901952B2 - 画像処理装置およびそれを備える画像表示端末 - Google Patents

Description

本発明は画像処理に関し、より特定的には、画像処理のための複数のハードウェアを有する画像処理装置に関する。

画像処理に関し、たとえば、特開２０１０−２６８４１１号公報（特許文献１）は、「複数の画像処理回路の専用メモリを互いに共用することで、一部の画像処理回路が動作しない場合でも、他の動作中の画像処理回路が使用できるような技術」を開示している（段落００１８）。特開２００８−００３７０８号公報（特許文献２）は、「プロセッサで画像処理を行う場合の低電力化技術」を開示している（段落００１４）。

特開平８−１２５８１８号公報（特許文献３）は、「ファクシミリ装置などにおいて必要とされる２値化された後の画像処理、即ち、圧縮処理、伸長処理、画像変換処理、符号変換処理、画像データのＤＭＡ転送処理などを処理途中のデータを外部に出力することなく装置内部で高速に実行し、更にホストプロセッサの処理負荷を低減する画像処理装置」を開示している（段落００１５）。

特開２０１０−２６８４１１号公報 特開２００８−００３７０８号公報 特開平８−１２５８１８号公報

従来、画像処理ハードウェアを複数使って、順次画像処理を行なわせる場合、（１）ＲＡＭ（Random Access Memory）上に1面分の画像データを用意⇒1つの画像処理用のハードウェアを起動⇒結果をＲＡＭ上に1面分保存、という処理を、処理ごとに行なう必要がある。あるいは、（２）画像処理用のハードウェアを縦列接続し、入力側から画像を入力し、出力側から画像を取り出す、という手法しかなかった。

前者の場合、画像処理を行なうたびに、テンポラリのフレームバッファが複数必要となり、多数の画像処理を施す場合、大量のＲＡＭが必要となる。後者の場合、各ハードウェアを物理的に接続する必要があり、この場合、接続されるハードウェア間のインターフェイスを合わせる必要がある。特に、各ハードウェアが同じドットクロック、同じＨブランク、同じＶブランク、同じフレームレートを共有する必要があるため、それぞれの画像処理用のハードウェアの遅い方のインターフェイスに合わせる必要がある。そのため、処理速度が低下する場合もあった。また、必要に応じて画像処理の順序を交換したり、ある画像処理の有無を選択したり、柔軟に処理を変更するのが困難であった。

そこで、画像処理に用いられるメモリの増加を抑制することが必要とされ、さらに、画像処理用の複数のハードウェアを容易にインターフェイス接続するための技術や、コンテンツの種類その他必要に応じて画像処理の順序の変更や、画像処理の有無の選択等、画像処理の内容を容易に変更するための技術が必要とされている。

本発明は、上述のような問題点を解決するためになされたものであって、その目的は、画像処理のためのメモリの増加が抑制される端末を提供することである。他の目的は、画像処理用の複数のハードウェアが容易にインターフェイス接続できる端末を提供することである。さらに他の目的は、画像処理の内容を容易に変更できる端末を提供することである。

一実施の形態に従う画像処理装置は、メモリと、メモリに接続されたバスラインと、バスラインに接続された複数の画像処理ユニットを備える。複数の画像処理ユニットの各々は、画像処理回路と、画像処理回路のタイミングを規定するタイミングジェネレータと、メモリからデータを読み出すためのリードポインタと、メモリにデータを書き込むためのライトポインタとを含む。画像処理ユニットによるメモリへのアクセスモードは、ＦＩＦＯ（First In First Out）モードを含む。ＦＩＦＯモードにおいて、予め定められた矩形領域がメモリに確保される。複数の画像処理ユニットのうちの第１の画像処理ユニットのライトポインタと、複数の画像処理ユニットのうちの第２の画像処理ユニットのリードポインタとは、矩形領域にリング状にアクセスすることにより、ＦＩＦＯ領域を形成する。

好ましくは、アクセスモードは、フレームモードをさらに含む。フレームモードにおいて、画像処理ユニットは、メモリに確保される矩形領域に書き込まれるデータに基づく画像を一つの画像として読み出すように構成されている。

好ましくは、各画像処理ユニットは、信号の入力ソースを切り換えるためのセレクタと、セレクタからの出力と、当該画像処理ユニットのライトポインタの値とを比較するための比較器とをさらに含む。ＦＩＦＯ領域においてデータが書き込まれた領域として、第１の画像処理ユニットのライトポインタの値と、第２の画像処理ユニットのリードポインタの値とによって定まる領域が、予め設定されたサイズを上回る場合に、第２の画像処理ユニットのリードポインタは、ＦＩＦＯ領域に格納されているデータを読み出すように構成されている。

好ましくは、各画像処理ユニットは、信号の入力ソースを切り換えるためのセレクタと、セレクタからの出力と、当該画像処理ユニットのライトポインタの値とを比較するための比較器とをさらに含む。第１の画像処理ユニットのライトポインタの値と、第２の画像処理ユニットのリードポインタの値とによって定まるＦＩＦＯ領域の中の空白領域が、予め設定されたサイズを上回る場合に、第１の画像処理ユニットのライトポインタは空白領域にデータを書き込むように構成されている。

他の実施の形態に従うと、上記のいずれかに記載の画像処理装置を備える画像表示端末が提供される。

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解され、この発明に関する次の詳細な説明から明らかとなるであろう。

端末１０のハードウェア構成を表わすブロック図である。 画像処理装置１００の構成を概念的に表わすブロック図である。 仮想ＦＩＦＯ領域２００に対するデータの書き込みおよびデータの読み出しを概念的に表わす図である。 複数の画像処理単位が含まれる画像処理装置１００の構成を表わす図である。 画像処理装置１００におけるデータの書き込みと読み出しが行なわれる場合におけるタイミングチャートである。 本実施の形態に係る技術思想が適用された画像処理装置５００の構成を表わすブロック図である。 画像処理装置５００を有する端末１０が、二次元の画像を三次元でＬＣＤ２４に表示する場合に実現される構成を表わすブロック図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［技術思想］
まず、本発明の実施の形態に係る技術思想について説明する。本実施の形態においては、以下の点が考慮される。

（１）各画像処理回路の画像入出力インターフェース部には、共通のバスマスタが接続される。バスマスタには、アクセスモードとして、ＦＩＦＯ（First-in，First-out）モードとフレームモードとを有する。これにより、新たな画像処理回路を用いることなく既存の画像処理回路を利用することができる。

（２）ＦＩＦＯモードでは、ライトポインタおよびリードポインタが、メモリ上の矩形領域をリング状にアクセスして、仮想的にＦＩＦＯ領域を形成する。これにより、必要なメモリ容量が低減されるのでメモリについてのコストを削減できる。また、相互に接続されている画像処理回路その他の処理ブロック前後の各処理ブロックのクロック速度、Ｈ／Ｖ（水平／垂直）ブランク、レイテンシ等が吸収され、各ブロック間の制約が吸収され、拡大・縮小等の速度差のある処理も間に挟むこともできる。

（３）フレームモードでは、メモリ上の矩形領域が１つの画像として読出回路によってアクセスされる。以下、このようなアクセスをラスタアクセスともいう。これにより、ダブルバッファ、トリプルバッファのように複数フレーム分のバッファを用いた構成も可能になる。非同期に生成される画像に対する処理や、回転を伴う画像処理であっても、ティアリングを発生させることなく画像の表示処理が実行できる。また、処理フレームレートの異なる処理間に（たとえば、画像処理回路その他の画像処理単位間に）フレームをおくことにより、最適な処理速度で動作させることができるため、省電力化が図れる。

（４）一方、各バスマスタ間では、それぞれのリードポインタおよびライトポインタは、互いを監視し合えるように、バスマスタ同士の接続を変更できる。たとえば、バスマスタが４つ用いられる場合、１番目のバスマスタと２番目のバスマスタと３番目のバスマスタと４番目のバスマスタが接続されている構成を、１番目と３番目のバスマスタが接続される構成に変更できる。これにより、必要に応じて画像処理の順序を交換したり、ある画像処理の有無を選択したり、柔軟に処理を変更することができる。

（５）すべてのバスマスタは、同一メモリに接続される。それぞれのバスマスタがアクセスするアドレス、画像横幅、領域の縦幅等を任意に設定できる。これにより、画像処理接続の変更をしても、1つのメモリを効率よく活用する事ができる。

各バスマスタは、ローカルタイミングジェネレータ（Local Timing Generator：ＬＴＧ）と読出ダイレクトメモリアクセス回路（リードDMA、ＬＡＹ回路ともいう。）と書込ダイレクトメモリアクセス回路（ライトDMA、ＷＲＣ回路ともいう。）と、ポインタ比較器とを備える。当該バスマスタは、予め設定された矩形領域としての動作タイミング信号を他のサブブロックに与える。ＬＡＹ回路は、ＬＴＧからのタイミング信号に間に合うようにメモリからデータを読み出して、読み出したデータを画像処理回路へ供給する。その時、ライン方向のカウンタ（リードポインタ：RPともいう。）を設定された矩形領域の中でリング状に移動する。ＷＲＣ回路は、画像処理回路から出力されるデータをメモリへ格納する。この時、ライン方向のカウンタ（ライトポインタ：ＷＰともいう。）は、設定された矩形領域の中でリング状に移動する。

画像処理単位（画像処理回路＋バスマスタ）は、他の画像処理単位のカウンタRPとカウンタＷＰを参照するように、選択的に接続可能である。比較器は、当該画像処理単位の前段の画像処理単位におけるカウンタＷＰと当該画像処理単位のカウンタＲＰとを比較する。これらのカウンタの差が、設定値（ＲＤＩＳＴ：読み出し間隔）より小さくなれば、ＬＴＧのライン繰り上げ動作を止める。

一方、比較器は、当該画像処理単位の後段の画像処理単位におけるカウンタＲＰと当該画像処理単位のＷＰとを比較する。これらのカウンタの差が、設定値（ＷＤＩＳＴ）より小さくなれば、ＬＴＧのライン繰り上げ動作を止める。

このような構成により、前後の画像処理単位の間に、仮想的にＦＩＦＯ領域が形成される。データが、ＲＤＩＳＴライン以上に溜まっていれば、ＬＡＹ回路は、読出動作を行なう。予め定められたＷＤＩＳＴライン以上の空きがあれば、ＷＲＣ回路は、書込動作を行なう。読出側および書込側のいずれかが条件を満たさない時、当該画像処理単位は、動作を一時的に止め、前後の画像処理単位の処理を待ち、互いに連携して動作（描画、３次元表示処理等）を進めることができる。

ＲＤＩＳＴの監視およびＷＤＩＳＴの監視は、それぞれＯＮ／ＯＦＦ（監視を実行または停止）することができる。もし読出側に１面分の画像データが既に存在する場合には、ＲＤＩＳＴの監視をＯＦＦにすることにより、読出側の処理を待つことなく処理できる。また、書込側に処理後の１面の画像を保存したい場合には、ＷＤＩＳＴの監視をＯＦＦすることにより書込側の処理を待つことなく、１面の画像を保存するための処理が実行できる。

また、他の局面において、レイヤ合成等を行なうための、複数のＬＡＹ回路と１つのＷＲＣ回路とを有する画像処理単位や、２次元用の画像データから３次元用の画像データに変換する処理等を行なうための、１つのＬＡＹ回路と複数のＷＲＣ回路とを有する画像処理単位や、画像をメモリへ入力するための、ＬＡＹ回路を持たず１つ以上のＷＲＣ回路を有する画像処理単位や、画像を表示装置へ出力するための、１つ以上のＬＡＹ回路を有しＷＲＣを持たない画像処理単位も構成可能である。

［ハードウェア構成］
図１を参照して、本発明の実施の形態に係る端末１０について説明する。図１は、端末１０のハードウェア構成を表わすブロック図である。ある局面において、端末１０は、画像を表示する機能を有する携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレット型コンピュータ等として実現されるがこれらに限られない。少なくとも画像を表示可能な端末であればよい。

端末１０は、アンテナ１１，１４，１６と、通信部１２と、ベースバンド部１３と、無線通信部１５と、チューナ２６と、ＣＰＵ（Central Processing Unit）２１と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、フラッシュメモリ１８と、キー１９と、センサ２０と、カメラセンサ２２と、カメラＩＳＰ（Image Signal Processor）２３と、ＬＣＤ（Liquid Crystal Display）２４と、ＬＣＤコントローラ２５を備える。

アンテナ１１と通信部１２とベースバンド部１３とは、通信事業者によって提供される通信回線を用いて通信する。

アンテナ１４と無線通信部１５とは、無線ＬＡＮ（Local Area Network）、Bluetooth(登録商標)その他の通信機能を実現する。他の局面において、端末１０は、複数のＧＰＳ（Global Positioning System）衛星の各々から送信される信号を受信して位置情報を算出するための回路を有してもよい。

アンテナ１６とチューナ２６とは、ワンセグ放送その他のデジタルテレビ放送、または、ラジオ放送を受信し、選局によって取得された信号をＣＰＵ２１に送信する。

ＳＤＲＡＭ１７は、ＣＰＵ２１によって生成されたデータ、ＣＰＵ２１に与えられたデータを保持する。

フラッシュメモリ１８は、ＣＰＵ２１によって生成されたデータ、ＣＰＵ２１に対して与えられたデータ、端末１０の製造者によって入力されたデータ等を保持する。

キー１９は、端末１０の使用者によって端末１０に与えられる操作を受け付ける。当該操作は、電話着信への応答のための操作、電話を発信するための操作、メールを作成または閲覧するための操作、撮影指示、画像を表示するための操作、２次元で表示されている画像をＬＣＤ２４に３次元で表示させるための操作等を含むが、これらに限られない。キー１９は、ＬＣＤ２４に表示されるソフトウェアキー、ボタンその他のハードウェアキーのいずれであってもよい。

センサ２０は、端末１０の状態を検知し、その検知結果をＣＰＵ２１に送出する。ある局面において、センサ２０は、加速度センサ、照度センサ、ジャイロセンサ等として実現される。

ＣＰＵ２１は、端末１０の製造者によってＲＯＭ（図示しない）に予めインストールされたプログラム、または、端末１０の使用者によってフラッシュメモリ１８にインストールされたプログラムを実行することにより、端末１０に与えられるトリガーに基づいて、端末１０の動作を制御する。当該トリガーは、使用者によって与えられる操作、電話の着信、メールの着信、センサ２０からの出力等を含む。

カメラセンサ２２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）その他のイメージセンサによって実現される。カメラセンサ２２の出力は、カメラＩＳＰ（Image Signal Processor）２３に入力される。

カメラＩＳＰ２３は、カメラセンサ２２によって出力された信号に対して画像処理を実行し、処理後の信号を、ＣＰＵ２１に送出する。

ＬＣＤ（Liquid Crystal Display）２４は、ある局面において、２次元画像または３次元画像を表示できるモニタとして実現される。３次元画像の表示は、たとえば視差バリアの形成によって実現されるが、他の形式であってもよい。

ＬＣＤコントローラ２５は、ＣＰＵ２１から送られる信号に基づいて、ＬＣＤ２４に画像を表示する。

図２を参照して、本実施の形態に係る画像処理装置１００の構成について説明する。図２は、画像処理装置１００の構成を概念的に表わすブロック図である。たとえば、画像処理装置１００は、ＬＣＤコントローラ２５内部で実現される。

画像処理装置１００は、入力インターフェイス（ＩＦ）１１０と、キャプチャ回路１２０と、バス１３０と、メモリ１４０と、セレクタ１５０，１５２，１５４，１５６と、ＬＴＧ（Local Timing Generator）１６０，１６２，１６４と、ＰＴＧ（Post Timing Generator）１６８と、出力インターフェイス（ＩＦ）１７０とを備える。

入力インターフェイス１１０とキャプチャ回路１２０とは接続されている。キャプチャ回路１２０と、ＬＴＧ１６０，１６２，１６４，１６６と、ＰＴＧ１６８と、メモリ１４０とは、それぞれバス１３０に接続されている。

入力インターフェイス１１０から出力される信号は、キャプチャ回路１２０に入力される。当該信号は、シリアルインターフェイスまたはパラレルインターフェイスを介して入力される信号を含む。具体的には、当該信号は、画像を表示するためのデータ等を含む。

キャプチャ回路１２０は、入力信号を画像フレームとして取り込み、入力同期トリガ（Ｖｓｙｎｃ）を出力する。入力同期トリガは、セレクタ１５０，１５２，１５４，１５６に送られる。

ＰＴＧ１６８は、出力同期トリガ（Ｖｓｙｎｃ）を出力する。出力同期トリガは、セレクタ１５０，１５２，１５４，１５６に送られる。

セレクタ１５０は、入力同期トリガまたは出力同期トリガを選択的にＬＴＧ１６０に出力される。セレクタ１５２は、入力同期トリガまたは出力同期トリガを選択的にＬＴＧ１６２に出力する。セレクタ１５４は、入力同期トリガまたは出力同期トリガを選択的にＬＴＧ１６４に出力する。セレクタ１５６は、入力同期トリガまたは出力同期トリガを選択的にＬＴＧ１６６に出力する。

ＰＴＧ１６８は、出力タイミングデータを出力インターフェイス１７０に対して出力する。出力されるデータは、たとえば、二次元の画像を表示するためのデータ、三次元の画像を表示するためのデータなどを含む。

図３を参照して、本実施の形態に係る仮想ＦＩＦＯ領域について説明する。図３は、仮想ＦＩＦＯ領域２００に対するデータの書き込みおよびデータの読み出しを概念的に表わす図である。

ある局面において、仮想ＦＩＦＯ領域２００は、メモリ１４０の一部に確保される。仮想ＦＩＦＯ領域２００は、幅ＨＷ（Horizontal Width）×アドレス長ＶＷ（Vertical Width）を有する矩形領域として規定される。この矩形領域は、ポインタによってリング状にアクセスされるように規定される。

図３（Ａ）を参照して、仮想ＦＩＦＯ領域２００の初期状態において、データの書き込みのためのライトポインタ（書き込みポインタ：ＷＰ）２２０は、ベースアドレス２１０からデータを書き込む。リードポインタ（読み出しポインタ：ＲＰ）２３０は、ライトポインタ２２０によって書き込まれたデータを順次読み出す。

ライトポインタ２２０は、仮想ＦＩＦＯ領域２００の最後に到達すると、ベースアドレス２１０に戻り、再びベースアドレス２１０からデータを書き込む。一方、リードポインタ２３０も同様に、仮想ＦＩＦＯ領域２００の終点まで到達すると、ベースアドレス２１０に戻り、ベースアドレス２１０からライトポインタ２２０によって書き込まれたデータを読み出す。

図３（Ｂ）は、仮想ＦＩＦＯ領域２００においてデータの読み出しを止める場合の条件を表わす図である。ある局面において、ライトポインタ２２０は、図３（Ｂ）に示される位置までデータを書き込んでいるとする。リードポインタ２３０は、読み出し間隔（ＲＤＩＳＴ）２４０を確保した状態でデータを読み出す。ＲＤＩＳＴ２４０は、たとえば、ライトポインタ２２０が示すアドレスと、リードポインタ２３０が示すアドレスとの差と比較される。ライトポインタ２２０とリードポインタ２３０との間の間隔がＲＤＩＳＴ２４０を下回る場合には、リードポインタ２３０は、それ以上データの読み出しを行なわない。ライトポインタ２２０がデータの書き込みを続けて、データの書き込みが完了された位置とデータの読み出しが完了した位置との距離がＲＤＩＳＴ２４０以上になると、リードポインタ２３０は、再びデータの読み出しを開始する。

図３（Ｃ）は、ライトポインタ２２０によるデータの書き込みを止める場合の条件を説明するための図である。

ある局面において、ライトポインタ２２０は、アドレス２５１にある。領域２５０は、データが書き込まれていない空白の領域である。リードポインタ２３０がアドレス２５２にあり、アドレス２５２とアドレス２５１との間隔２６０が、予め設定された書き込み距離（ＷＤＩＳＴ）２６０より小さくなると、ライトポインタ２２０は、アドレス２５１に留まり、領域２５０に対するデータの書き込みを停止する。すなわち、ライトポインタ２２０は、領域２５０のサイズが一定以上維持されるように、データの書き込み速度を調整する。その間に、リードポインタ２３０がアドレス２５２より先に進んでデータの読み出しを継続する。間隔２６０がＷＤＩＳＴ２６０以上になると、ライトポインタ２２０は、領域２５０に対してデータの書き込みを再開する。

図４を参照して、本実施の形態に係る画像処理装置１００の構成についてさらに説明する。図４は、複数の画像処理単位が含まれる画像処理装置１００の構成を表わす図である。画像処理装置１００は、画像処理単位４１０，４３０，４５０を備える。画像処理単位４１０，４３０，４５０は、それぞれメモリバス４７０を介してメモリ４８０に接続されている。メモリ４８０は、たとえば、ＳＤＲＡＭとして実現される。

画像処理単位４１０は、バスマスタ４１２と、画像処理回路４１１とを含む。バスマスタ４１２は、セレクタ４１３，４１４と、データを読み出すためのＬＡＹ回路４１５と、リードポインタ４１６と、セレクタ４１７と、データをメモリに書き込むためのダイレクト・メモリ・アクセス回路として機能するＷＲＣ回路４１９と、ライトポインタ４１８と、比較器４２０，４２１と、ＬＴＧ４２２とを含む。

セレクタ４１３は、複数の信号の入力を受け付けて、そのうちのいずれかを選択的に比較器４２０に出力する。比較器４２０には、リードポインタ４１６からの出力がさらに入力される。比較器４２０は、セレクタ４１３からの出力と、リードポインタ４１６からの出力とを比較して、比較の結果（たとえばリードポインタのアドレス値とライトポインタのアドレス値との差が予め設定されたＲＤＩＳＴまたはＷＤＩＳＴ以上になるか否か）をＬＴＧ４２２に出力する。

ＬＡＹ回路４１５は、メモリバス４７０からのデータの入力を受け付けて、セレクタ４１７に出力する。セレクタ４１７は、ＬＡＹ回路４１５からの出力を含む複数の信号の入力を受け付けて、そのうちのいずれかを選択的に画像処理回路４１１に出力する。

セレクタ４１４は、画像処理単位４３０からの出力その他複数の信号の入力を受け付けて、そのうちのいずれかの信号を選択的に比較器４２１に出力する。比較器４２１は、さらに、ライトポインタ４１８からの出力を受け付ける。比較器４２１は、セレクタ４１４からの出力と、ライトポインタ４１８からの出力とを比較して、その比較の結果をＬＴＧ４２２に出力する。ＬＴＧ４２２は、画像処理回路４１１の動作に必要なタイミング信号Ｖｓｙｎｃ，Ｈｓｙｎｃ等を出力するが、比較器４２０，４２１からの出力に基づいて次のライン単位の処理を継続するか否かを判断し、必要に応じて次のライン単位の処理をするためのタイミング信号の出力を停止する。

画像処理回路４１１は、セレクタ４１７から出力される画像データに対して予め構成された画像処理を実行し、処理後のデータをＷＲＣ回路４１９に出力する。ＷＲＣ回路４１９は、メモリ４８０に確保された仮想ＦＩＦＯ領域４８１にリング状にアクセスするように、ライトポインタ４１８によって示されるアドレスに従ってデータを書き込む。

画像処理単位４３０は、画像処理回路４３１と、バスマスタ４３２とを備える。バスマスタ４３２は、セレクタ４３３，４３４，４３７と、ＬＡＹ回路４３５と、リードポインタ４３６と、ライトポインタ４３８と、ＷＲＣ回路４３９と、比較器４４０，４４１と、ＬＴＧ４４２とを備える。

セレクタ４３３は、画像処理単位４１０から出力される信号を含む複数の信号の入力を受け付けて、いずれかの信号を選択的に比較器４４０に出力する。セレクタ４３４は、画像処理単位４５０から出力される信号を含む複数の信号の入力を受け付けて、いずれかの信号を選択的に比較器４４１に出力する。セレクタ４３７は、ＬＡＹ回路４３５から出力される信号を含む複数の信号の入力を受け付けて、いずれかの信号を選択的に画像処理回路４３１に出力する。

比較器４４０は、セレクタ４３３から出力される信号とリードポインタ４３６から出力される信号とを比較して、その比較の結果をＬＴＧ４４２に出力する。比較の結果は、たとえば、仮想ＦＩＦＯ領域４８１におけるライトポインタ４１８のアドレス値とリードポインタ４３６のアドレス値との差が予め設定されたＲＤＩＳＴ以上否かを含む。

リードポインタ４３６は、仮想ＦＩＦＯ領域４８１にアクセスしてＬＡＹ回路４３５に対して書き込まれているデータを読み出させる。

比較器４４１が、セレクタ４３４から出力される信号とライトポインタ４３８から出力される信号とを比較して、その比較の結果をＬＴＧ４４２に出力する。当該比較の結果は、たとえば、仮想ＦＩＦＯ領域４８２においてライトポインタ４３８とリードポインタ４５６によって示される各アドレス値の差が、データの書き込みを制御するための閾値として予め設定されたＷＤＩＳＴ以上か否かを含む。

ＬＴＧ４４２は、比較器４４０からの出力および比較器４４１からの出力に基づいて同期信号を生成し、その信号を画像処理回路４３１に対して与える。

画像処理回路４３１は、セレクタ４３７から出力される信号に基づいて予め設定された画像処理を実行し、当該処理によって生成された信号をＷＲＣ回路４３９に対して出力する。ＷＲＣ回路４３９は、ライトポインタ４３８によって示されるアドレス値に従って、画像処理回路４３１から出力されるデータを、リング状にアクセスされるように設定された仮想ＦＩＦＯ領域４８２に書き込む。

画像処理単位４５０は、画像処理回路４５１と、バスマスタ４５２とを備える。バスマスタ４５２は、セレクタ４５３，４５４，４５７と、ＬＡＹ回路４５５と、リードポインタ４５６と、ライトポインタ４５８と、ＷＲＣ回路４５９と、比較器４６０，４６１と、ＬＹＧ４６２とを含む。

セレクタ４５３は、画像処理単位４３０から出力される信号を含む複数の信号の入力を受け付けて、いずれかの信号を選択的に比較器４６０に対して出力する。比較器４６０は、さらに、リードポインタ４５６から出力される信号を受け付ける。比較器４６０は、セレクタ４５３から出力される信号と、リードポインタ４５６から出力される信号とを比較して、その比較の結果をＬＴＧ４６２に出力する。当該比較の結果は、たとえば、仮想ＦＩＦＯ領域４８２においてリードポインタ４５６によって示されるアドレス値とライトポインタ４３８によって示されるアドレス値との差が予め設定されたＲＤＩＳＴ以上か否かを含む。

セレクタ４５４は、画像処理単位４５０に対して与えられる複数の信号の入力を受け付けて、いずれかの信号を選択的に比較器４６１に出力する。比較器４６１は、さらにライトポインタ４５８から出力される信号を受け付ける。

比較器４６１は、セレクタ４５４から出力される信号と、ライトポインタ４５８から出力される信号とを比較し、比較の結果をＬＴＧ４６２に出力する。当該比較の結果は、たとえば、ライトポインタ４５８によって特定されるアドレス値と、セレクタ４５４に対して入力される信号についてその信号によって特定される他の画像処理単位のリードポインタのアドレス値との差が予め設定されたＷＤＩＳＴ以上か否かを含む。

セレクタ４５７は、ＬＡＹ回路４５５から出力される信号を含む複数の信号の入力を受け付けて、いずれかの信号を選択的に画像処理回路４５１に出力する。

ＬＡＹ回路４５５は、リードポインタ４５６によって特定されるアドレスに基づいて、仮想ＦＩＦＯ領域４８２に格納されているデータを読み出し、読み出したデータをセレクタ４５７に送信する。

画像処理回路４５１は、セレクタ４５７から出力される信号に対して予め設定された画像処理を実行し、処理後の信号をＷＲＣ回路４５９に対して出力する。ＷＲＣ回路４５９は、ライトポインタ４５８によって示されるアドレスに従って、画像処理回路４５１から出力されるデータをメモリ４８０に確保された領域に書き込む。

図５を参照して、本実施の形態に係る画像処理装置１００におけるデータの書き込みおよび読み出しの同期について説明する。図５は、画像処理装置１００におけるデータの書き込みと読み出しが行なわれる場合におけるタイミングチャートである。

図５（Ａ）に示されるように、ＬＴＧは、入力同期トリガ（Ｖｓｙｎｃ）を発生する。入力同期トリガ（Ｖｓｙｎｃ）は、たとえば、１フレームの同期信号である。

図５（Ｂ）を参照して、ＬＴＧは、水平方向の出力同期トリガ（Ｈｓｙｎｃ）を出力する。出力同期トリガ（Ｈｓｙｎｃ）は、たとえば、１ラインの同期信号であり、リードポインタとライトポインタとの比較の結果に基づいて生成される。ポインタの比較のタイミングは、タイミング３１０，３１１，３１２，３１３，３１４，３１５，３１６，３１７，３１８，３１９として設定される。これらポインタ比較タイミングにて、リードポインタと前段のライトポインタとの差がＲＤＩＳＴより小さい、あるいはライトポインタと後段のリードポインタとの差がＷＤＩＳＴより小さい時、ＬＴＧを一時停止する。

図５（Ｃ）を参照して、ＬＴＧデータイネーブル信号は、ＬＡＹ回路からのデータ入力期間を示している。

図５（Ｄ）を参照して、データを読み出すためのＬＡＹ回路（たとえば、ＬＡＹ回路３５）は、図４（Ｃ）に示されるデータイネーブル信号に応答して、バッファ領域（たとえば、仮想ＦＩＦＯ領域４８１）に格納されているデータ３２０を時刻ｔ（１０）から時刻ｔ（１１）まで読み出し、また、時刻ｔ（１２）から時刻ｔ（１３）までデータ３２１を読み出し、読み出した各データを画像処理回路へ入力する。

図５（Ｅ）に示されるように、データを書き込むためのＷＲＣ回路（たとえば、ＷＲＣ回路４３９）は、ポインタ（たとえば、ライトポインタ４３８）に従って、画像処理回路から出力されるデータを、たとえばバッファ領域（たとえば、仮想ＦＩＦＯ領域４８２）に、データ３３０，３３１として書き込む。

図６を参照して、本実施の形態に係る画像処理装置についてさらに説明する。図６は、本実施の形態に係る技術思想が適用された画像処理装置５００の構成を表わすブロック図である。図６に示される例は、画像処理装置５００を備える端末１０が、ＬＣＤ２４に２次元の画像を表示する場合に相当する。

画像処理装置５００は、メモリ４８０と、画像を取り込むためのキャプチャインターフェイス回路（ＣＡＰ）５０１と、データを読み出すためのＬＡＹ回路５１１，５１２と、セレクタ５１３と、ＬＴＧ５１４と、画像処理回路５１５,５２５，５４５，５５８と、データを読み出すためのＬＡＹ回路５２１，５２２と、セレクタ５２３と、ＬＴＧ５２４と、データを読み出すためのＬＡＹ回路５４１，５４２と、ＬＴＧ５４４と、データを読み出すためのＬＡＹ回路５５１，５５２と、セレクタ５５３，５５４，５５５と、ＬＴＧ５５６と、セレクタ５５７と、データを読み出すためのＬＡＹ回路５６２とを備える。これらの各構成要素は、メモリバス（図示しない）を介してメモリ４８０に接続されている。

キャプチャインターフェイス回路５０１から出力される信号は、メモリ４８０に確保されたフレーム領域４８１に格納される。フレーム領域４８１に格納されたデータは、ＬＡＹ回路５１２によって読み出され、セレクタ５１３を介して画像処理回路５１５に入力される。

画像処理回路５１５は、予め規定された画像処理を実行し、処理後のデータを仮想ＦＩＦＯ領域４８２に書き込む。仮想ＦＩＦＯ領域４８２に書き込まれたデータは、ＬＡＹ回路５６１によって読み出されて、セレクタ５６３を介して、ＰＴＧ５７０に入力される。

図７を参照して、他の局面における画像処理装置５００の動作について説明する。図７は、画像処理装置５００を有する端末１０が、二次元の画像を三次元でＬＣＤ２４に表示する場合に実現される構成を表わすブロック図である。

キャプチャインターフェイス回路５０１から出力されるデータは、仮想ＦＩＦＯ領域６１０と、フレーム領域６５０にそれぞれ書き込まれる。

仮想ＦＩＦＯ領域６１０に書き込まれたデータは、ＬＴＧ５１４によって出力される信号に基づいてＬＡＹ回路５１１によって読み出され、セレクタ５１３に対して出力される。セレクタ５１３は、そのデータを画像処理回路５１５に送出する。画像処理回路５１５は、予め構成された画像処理を実行し、書き込み回路を介してデータを仮想ＦＩＦＯ領域６２０に出力する。

仮想ＦＩＦＯ領域６２０に書き込まれたデータは、ＬＴＧ５２４によって出力される信号に基づいてＬＡＹ回路５２２によって読み出されて、セレクタ５２３に対して出力される。セレクタ５２３は、そのデータを画像処理回路５２５に対して出力する。画像処理回路５２５は、予め定められた画像処理（たとえば、左目用の画像データと右目用の画像データとを生成するための処理）を実行する。画像処理回路５２５は、ＬＴＧ５２４によって出力される信号に基づいて、処理後のデータを左目用の画像データおよび右目用の画像データとして、書き込み回路を介して仮想ＦＩＦＯ領域６３０に書き込む。

仮想ＦＩＦＯ領域６３０に書き込まれた左目用の画像データおよび右目用の画像データは、それぞれ、ＬＡＹ回路５４１，５４２によって読み出されて、画像処理回路５４５に入力される。このときの読み出しのタイミングは、ＬＴＧ５４４からの同期信号に基づいて規定される。

画像処理回路５４５は、予め規定された画像処理を実行し、処理後のデータを左目用の画像デー（Ｌ）および右目用の画像データ（Ｒ）として、フレームバッファ領域６４０にそれぞれ書き込む。左目用のデータ（Ｌ）は、ＬＡＹ回路５１２によって読み出されて、セレクタ５５３に入力される。また、右目用のデータ（Ｒ）は、ＬＡＹ回路５５１によって読み出されて、セレクタ５５４に入力される。セレクタ５５３から出力される信号と、セレクタ５５４から出力される信号とは、それぞれ画像処理回路５５８に入力される。領域６５０に書き込まれたデータは、ＬＡＹ回路５５２によって読み出されて、セレクタ５５５に送られる。セレクタ５５５は、そのデータを画像処理回路５５８に入力する。

画像処理回路５５８は、セレクタ５５３，５５４，５５５から出力される各信号に対して予め規定された画像合成処理を実行し、画像合成によって得られるデータをセレクタ５５７に対して出力する。

セレクタ５５７は、画像処理回路５５８から出力されるデータを送出し、書き込み回路は、そのデータをリングバッファ領域６６０に書き込む。ＬＡＹ回路５６２は、リングバッファ領域６６０に書き込まれたデータを読み出し、その読み出したデータをセレクタ５６３に対して出力する。このとき出力されるデータは、画像処理装置５００を備える端末が表示する三次元用の画像６７０に相当する。さらに、セレクタ５６３には、ＬＡＹ回路５６１から出力されるデータが入力され得る。セレクタ５６３は、ＬＡＹ回路５６２から送られたデータをＰＴＧ５７０に送出する。その後、端末１０は、画像をＬＣＤ２４に表示する。

以上のようにして、本実施の形態に係る端末１０によると、共通のメモリに接続された複数の画像処理単位を有しており、画像処理の内容（２次元表示、２次元表示から３次元表示への変換、縦方向または横方向の表示等）に応じて、画像処理単位の接続を変更できるように構成されている。このようにすると、画像処理のためのメモリの増加が抑制され得る。また、画像処理用の複数のハードウェアが容易にインターフェイス接続できる。さらに他の局面において、画像処理の内容を容易に変更することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 端末、１１，１４，１６ アンテナ、１２ 通信部、１３ ベースバンド部、１５ 無線通信部、１７ ＲＡＭ、１８ フラッシュメモリ、１９ キー、２０ センサ、２２ カメラセンサ、２５ コントローラ、２６ チューナ、１００，５００ 画像処理装置、１１０ 入力インターフェイス、１２０ キャプチャ回路、１３０ バス、１４０，４８０ メモリ、１５０，１５２，１５４，１５６，４１３，４１４，４１７，４３３，４３４，４３７，４５３，４５４，４５７，５１３，５２３，５５３，５５４，５５５，５５７，５６３ セレクタ、１７０ 出力インターフェイス、２００，２５０，４８１，４８２，６１０，６２０，６３０，６５０ 領域、２１０ ベースアドレス、２２０，４１８，４３８，４５８ ライトポインタ、２３０，４１６，４３６，４５６ リードポインタ、２５１，２５２ アドレス、２６０ 間隔、４１０，４３０，４５０ 画像処理単位、４１１，４３１，４５１，５１５，５２５，５４５，５５８ 画像処理回路、４２０，４２１,４４０，４４１，４６０，４６１ 比較器、４７０ メモリバス、５０１ キャプチャインターフェイス回路、６４０ フレームバッファ、６６０ リングバッファ領域。

Claims (4)

1. 画像処理装置であって、
   メモリと、
   前記メモリに接続されたバスラインと、
   前記バスラインに接続された複数の画像処理ユニットを備え、
   前記複数の画像処理ユニットの各々は、
   画像処理回路と
   画像処理回路のタイミングを規定するタイミングジェネレータと、
   前記メモリからデータを読み出すためのリードポインタと、
   前記メモリにデータを書き込むためのライトポインタと、
   前記画像処理ユニットによる前記メモリへのアクセスモードは、ＦＩＦＯ（First In First Out）モードを含み、
   前記ＦＩＦＯモードにおいて、
   予め定められた矩形領域が前記メモリに確保され、
   前記複数の画像処理ユニットのうちの第１の画像処理ユニットの前記ライトポインタと、前記複数の画像処理ユニットのうちの第２の画像処理ユニットの前記リードポインタとは、前記矩形領域にリング状にアクセスすることにより、ＦＩＦＯ領域を形成し、
   各前記画像処理ユニットは、
   当該画像処理ユニットに入力される前記ライトポインタの値と、当該画像処理ユニットの前記リードポインタの値とを比較するための比較器とをさらに含み、
   前記第２の画像処理ユニットの前記比較器は、自身に入力される前記第１の画像処理ユニットの前記ライトポインタの値と、前記第２の画像処理ユニットの前記リードポインタの値とを比較するように構成されており、
   前記第２の画像処理ユニットの前記比較器による比較の結果、前記第１の画像処理ユニットの前記ライトポインタの値と、前記第２の画像処理ユニットの前記リードポインタの値との差が、予め設定された設定値より小さい場合に、前記タイミングジェネレータのライン繰り上げ動作を停止し、
   前記ＦＩＦＯ領域においてデータが書き込まれた領域として、前記第１の画像処理ユニットの前記ライトポインタの値と、前記第２の画像処理ユニットの前記リードポインタの値とによって定まる領域が、予め設定されたサイズを上回る場合に、前記第２の画像処理ユニットのリードポインタは、前記ＦＩＦＯ領域に格納されているデータを読み出すように構成されている、画像処理装置。
2. 画像処理装置であって、
   メモリと、
   前記メモリに接続されたバスラインと、
   前記バスラインに接続された複数の画像処理ユニットを備え、
   前記複数の画像処理ユニットの各々は、
   画像処理回路と
   画像処理回路のタイミングを規定するタイミングジェネレータと、
   前記メモリからデータを読み出すためのリードポインタと、
   前記メモリにデータを書き込むためのライトポインタと、
   前記画像処理ユニットによる前記メモリへのアクセスモードは、ＦＩＦＯ（First In First Out）モードを含み、
   前記ＦＩＦＯモードにおいて、
   予め定められた矩形領域が前記メモリに確保され、
   前記複数の画像処理ユニットのうちの第１の画像処理ユニットの前記ライトポインタと、前記複数の画像処理ユニットのうちの第２の画像処理ユニットの前記リードポインタとは、前記矩形領域にリング状にアクセスすることにより、ＦＩＦＯ領域を形成し、
   各前記画像処理ユニットは、
   当該画像処理ユニットに入力される前記リードポインタの値と、当該画像処理ユニットの前記ライトポインタの値とを比較するための比較器とをさらに含み、
   前記第１の画像処理ユニットの前記比較器は、自身に入力される前記第２の画像処理ユニットの前記リードポインタの値と、前記第１の画像処理ユニットの前記ライトポインタの値とを比較するように構成されており、
   前記第１の画像処理ユニットの前記比較器による比較の結果、前記第２の画像処理ユニットの前記リードポインタの値と、前記第１の画像処理ユニットの前記ライトポインタの値との差が、予め設定された設定値より小さい場合に、前記タイミングジェネレータのライン繰り上げ動作を停止し、
   前記第１の画像処理ユニットの前記ライトポインタの値と、前記第２の画像処理ユニットの前記リードポインタの値とによって定まる前記ＦＩＦＯ領域の中の空白領域が、予め設定されたサイズを上回る場合に、前記第１の画像処理ユニットのライトポインタは前記空白領域にデータを書き込むように構成されている、画像処理装置。
3. 前記アクセスモードは、フレームモードをさらに含み、
   前記フレームモードにおいて、前記画像処理ユニットは、前記メモリに確保される矩形領域に書き込まれるデータに基づく画像を一つの画像として読み出すように構成されている、請求項１に記載の画像処理装置。
4. 請求項１から３のいずれかに記載の画像処理装置を備える、画像表示端末。

Images