JP6205980B2 - 画像転送装置及び画像転送方法 - Google Patents

Description

本発明は、画像転送装置及び画像転送方法に関する。

従来から、ビデオカメラなどの撮像装置から取得した画像データに画像処理を施して、ＰＣ（Personal Computer）などの外部装置にＤＭＡ（Direct Memory Access）転送するコミュニケーション端末などの画像転送装置が知られている。

例えば特許文献１には、映像データのＤＭＡ転送時に際して、転送元（フレームバッファの）メモリアドレスを転送側（ＤＭＡコントローラ）で計算するとともに、計算するメモリアドレスのインクリメント用の信号周期をＮ倍することにより、ＤＭＡ転送のデータレートを維持しつつ、転送対象の画像データに拡大処理や縮小処理などの画像処理を施す技術が開示されている。

しかしながら、上述したような従来技術では、フレームバッファに記憶された画像データの画素値を左上から右の順で読み出すことになるため、複数ラインに跨る画素値を参照するような画像処理（例えば、バイリニア法を用いた画像処理）を行うことができず、画質の低下が避けられない。

なお、フレームバッファから読み出した画像データに画像処理を施して再度フレームバッファに書き込んだ上で、フレームバッファから画像処理後の画像データを読み出し、ＤＭＡ転送するようにすれば、複数ラインに跨る画素値を参照するような画像処理を行うことも可能であるが、この場合、ＤＭＡ転送に遅延が生じてしまう。

本発明は、上記事情に鑑みてなされたものであり、複数ラインに跨る画素データに基づく画像処理を実行してもＤＭＡ転送の遅延を抑えることができる画像転送装置及び画像転送方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる画像転送装置は、複数ラインに跨る画素データの読出要求を行う読出要求部と、画像データを記憶し、前記読出要求に基づいて、前記画像データを構成する前記複数ラインに跨る画素データを読み出す第１バッファと、読み出された前記複数ラインに跨る画素データに基づく画像処理を行い、１ライン分に縮小された画素データを生成して転送する画像処理部と、前記転送された１ライン分に縮小された画素データを記憶する第２バッファと、ＤＭＡ（Direct Memory Access）転送に用いられる単位データ量のデータの転送を要求する単位データ転送要求を行い、転送された前記単位データ量のデータを外部へＤＭＡ転送するＤＭＡ制御部と、前記ＤＭＡ制御部からの前記単位データ転送要求に基づいて、前記第２バッファから、ＤＭＡ転送に用いられる前記単位データ量のデータを当該ＤＭＡ制御部に転送するデータ制御部と、を備える。

本発明によれば、複数ラインに跨る画素データに基づく画像処理を実行してもＤＭＡ転送の遅延を抑えることができるという効果を奏する。

図１は、本実施形態の画像転送装置の構成の一例を示すブロック図である。 図２は、本実施形態のフレームバッファのデータ読み出し方法の一例の説明図である。 図３は、本実施形態の画像転送装置で実行される画像転送処理の一例を示すシーケンス図である。 図４は、変形例の画像転送装置の構成の一例を示すブロック図である。

以下、添付図面を参照しながら、本発明にかかる画像転送装置及び画像転送方法の実施形態を詳細に説明する。

図１は、本実施形態の画像転送装置１００の構成の一例を示すブロック図である。図１に示すように、画像転送装置１００は、撮像装置３００と、書込コントローラ３０１と、フレームバッファ３０２（第１バッファの一例）と、ＤＭＡ（Direct Memory Access）コントローラ３０３（ＤＭＡ制御部の一例）と、データコントローラ３０４（データ制御部の一例）と、読出コントローラ３０５（読出要求部の一例）と、画像処理部３０６とを、備える。

撮像装置３００は、画像データを撮像し、書込コントローラ３０１へ順次転送する。撮像装置３００は、画像データを撮像可能な装置であればよく、例えば、ビデオカメラなどが挙げられる。画像データは、静止画であっても動画（映像）であってもよい。

書込コントローラ３０１は、撮像装置３００から転送された画像データを順次フレームバッファ３０２に書き込む。

ＤＭＡコントローラ３０３は、ＤＭＡ転送に用いられる単位データ量のデータの転送を要求する単位データ転送要求をデータコントローラ３０４に行う。またＤＭＡコントローラ３０３は、単位データ転送要求に基づいてデータコントローラ３０４から転送された単位データ量のデータを外部（例えば、ＰＣ（Personal Computer）のビデオメモリ）へＤＭＡ転送する。

なお本実施形態では、ＤＭＡ転送に用いられる単位データ量はＤＭＡ転送パケットサイズであり、単位データ量のデータはパケットであるものとするが、これに限定されるものではない。

データコントローラ３０４は、画像処理部３０６から転送された画像処理後の画素データを記憶するラインバッファ３０４Ａ（第２バッファの一例）を有し、ラインバッファ３０４Ａから、ＤＭＡ転送に用いられる単位データ量のデータをＤＭＡコントローラ３０３に転送する。具体的には、データコントローラ３０４は、ＤＭＡコントローラ３０３からの単位データ転送要求に基づいて、ラインバッファ３０４Ａから、パケットをＤＭＡコントローラ３０３に転送する。

なお本実施形態では、画像処理部３０６から転送された画像処理後の画素データが、１ライン分の画素データであるラインデータである場合を例に取り説明するが、これに限定されるものではない。また本実施形態では、ラインバッファ３０４Ａは、ＦＩＦＯ（First-In First-Out）方式のバッファであり、複数ライン分のラインデータ（例えば、２ライン分のラインデータ）を記憶可能とするが、これに限定されるものではない。

またデータコントローラ３０４は、ラインデータの転送を要求するラインデータ転送要求を読出コントローラ３０５に行う。そしてデータコントローラ３０４は、ラインデータ転送要求に基づいて画像処理部３０６から転送されたラインデータをラインバッファ３０４Ａに記憶する。なおデータコントローラ３０４は、ラインバッファ３０４Ａがラインデータを記憶可能な場合、即ちラインバッファ３０４Ａの記憶領域に１ライン分のラインデータのデータ量の空きがある場合に、ラインデータ転送要求を読出コントローラ３０５に行う。

読出コントローラ３０５は、フレームバッファ３０２に記憶されている画像データを構成する複数ラインに跨る画素データの読出要求をフレームバッファ３０２に行う。具体的には、読出コントローラ３０５は、データコントローラ３０４からのラインデータ転送要求に基づいて、画像処理部３０６がラインデータを生成するために必要な複数ラインに跨る画素データの読出要求をフレームバッファ３０２に行う。例えば、読出コントローラ３０５は、フレームバッファ３０２に記憶されている画像データを構成する複数の画素データのうちラインデータの生成に必要な複数ラインに跨る画素データのメモリアドレスを計算し、計算したメモリアドレスに基づいて、当該画素データの読出要求をフレームバッファ３０２に行う。

フレームバッファ３０２は、読出コントローラ３０５からの読出要求に基づいて、複数ラインに跨る画素データを読み出す。

画像処理部３０６は、フレームバッファ３０２により読み出された複数ラインに跨る画素データに基づく画像処理を行い、画像処理後の画素データをデータコントローラ３０４に転送する。本実施形態では、画像処理部３０６は、前述のとおり、画像処理後の画素データとして１ライン分のラインデータを生成し、データコントローラ３０４に転送する。

ここで、複数ラインに跨る画素データとしては、例えば、隣接する２ライン以上のラインデータが挙げられ、画像処理部３０６が行う画像処理としては、画像縮小処理やエッジ強調処理などが挙げられる。

例えば、画像処理部３０６が、複数ラインに跨る画素データに基づく画像処理として、３ライン分のラインデータに基づく画像縮小処理を行って、１ライン分に縮小されたラインデータを生成するとする。この場合、読出コントローラ３０５が画像縮小処理に必要な隣接する３ライン分のラインデータの読出要求をフレームバッファ３０２に行い、フレームバッファ３０２が３ライン分のラインデータを読み出すと、画像処理部３０６が、３ライン分のラインデータに基づく画像縮小処理を行って、１ライン分に縮小されたラインデータを生成し、データコントローラ３０４に転送する。

この場合、画像処理関連の遅延としてフレームバッファ３０２からの読込時間による３ライン程度の遅延が発生するが、ＤＭＡ転送に関する遅延は、ＤＭＡ転送レートが十分であれば１ライン未満であり、複数ラインに跨る画素データに基づく画質劣化の少ない画像縮小処理を実行してもＤＭＡ転送の遅延を抑えることができる。

また例えば、画像処理部３０６が、複数ラインに跨る画素データに基づく画像処理として、５ライン分のラインデータに基づくエッジ強調処理を行って、１ライン分に縮小されたラインデータを生成するとする。この場合、読出コントローラ３０５がエッジ強調処理に必要な隣接する５ライン分のラインデータの読出要求をフレームバッファ３０２に行い、フレームバッファ３０２が５ライン分のラインデータを読み出すと、画像処理部３０６が、５ライン分のラインデータに基づくエッジ強調処理を行って、１ライン分に縮小されたラインデータを生成し、データコントローラ３０４に転送する。

この場合、画像処理関連の遅延としてフレームバッファ３０２からの読込時間による５ライン程度の遅延が発生するが、ＤＭＡ転送に関する遅延は、ＤＭＡ転送レートが十分であれば１ライン未満であり、複数ラインに跨る画素データに基づく鮮明なエッジ強調処理を実行してもＤＭＡ転送の遅延を抑えることができる。

また、複数ラインに跨る画素データとしては、例えば、１のラインデータと、当該１のラインデータに隣接する他のラインデータを構成する一部の画素データと、が挙げられる。例えば、読出コントローラ３０５が画像処理に必要な１のラインデータと当該１のラインデータに隣接する他のラインデータを構成する一部の画素データの読出要求をフレームバッファ３０２に行い、図２に示すように、フレームバッファ３０２が当該１のラインデータと当該他のラインデータを構成する一部の画素データとを読み出すと、画像処理部３０６が、当該１のラインデータと当該他のラインデータを構成する一部の画素データとに基づく画像処理を行って、１ライン分に縮小されたラインデータを生成し、データコントローラ３０４に転送する。

この場合、画像処理関連の遅延としてフレームバッファ３０２からの読込時間による１ライン強程度の遅延が発生するが、ＤＭＡ転送に関する遅延は、ＤＭＡ転送レートが十分であれば１ライン未満であり、複数ラインに跨る画素データに基づく画像処理を実行してもＤＭＡ転送の遅延を抑えることができる。

図３は、本実施形態の画像転送装置１００で実行される画像転送処理の一例を示すシーケンス図である。

まず、データコントローラ３０４は、ラインバッファ３０４Ａがラインデータを記憶可能な場合、即ちラインバッファ３０４Ａの記憶領域に１ライン分のラインデータのデータ量の空きがある場合に、ラインデータ転送要求を読出コントローラ３０５に行う（ステップＳ１０１）。

続いて、読出コントローラ３０５は、データコントローラ３０４からのラインデータ転送要求に基づいて、画像処理部３０６がラインデータを生成するために必要な隣接する２ライン以上のラインデータの読出要求をフレームバッファ３０２に行う（ステップＳ１０２）。

続いて、フレームバッファ３０２は、読出コントローラ３０５からの読出要求に基づいて、隣接する２ライン以上のラインデータを読み出す（ステップＳ１０３）。

続いて、画像処理部３０６は、フレームバッファ３０２により読み出された隣接する２ライン以上のラインデータに基づく画像処理を行って、１ライン分のラインデータを生成し、データコントローラ３０４に転送する（ステップＳ１０４）。

そしてデータコントローラ３０４は、ラインデータ転送要求に基づいて画像処理部３０６から転送されたラインデータをラインバッファ３０４Ａに記憶する。

以降、フレームバッファ３０２に記憶されている画像データを構成する全てのラインデータを処理するまで、ステップＳ１０１〜ステップＳ１０４の処理が繰り返される。

続いて、ＤＭＡコントローラ３０３は、パケットの転送を要求するパケット（単位データ）転送要求をデータコントローラ３０４に行う（ステップＳ１０５）。

続いて、データコントローラ３０４は、ＤＭＡコントローラ３０３からのパケット転送要求に基づいて、ラインバッファ３０４Ａから、パケットをＤＭＡコントローラ３０３に転送する（ステップＳ１０６）。

そしてＤＭＡコントローラ３０３は、パケット転送要求に基づいてデータコントローラ３０４から転送されたパケットを外部へＤＭＡ転送する。

以上のように本実施形態によれば、複数ラインに跨る画素データに基づく画像処理とＤＭＡ転送とを並列して実行できるため、複数ラインに跨る画素データに基づく画像処理を実行してもＤＭＡ転送の遅延を抑えることができる。

特に本実施形態によれば、フレームバッファから読み出した画像データに画像処理を施して再度フレームバッファに書き込む必要がないため、ＤＭＡ転送の遅延を数ライン程度に抑えることもできる。なお、フレームバッファから読み出した画像データに画像処理を施して再度フレームバッファに書き込んだ上で、フレームバッファから画像処理後の画像データを読み出し、ＤＭＡ転送する場合には、最大、フレームバッファのライン数分の遅延（例えば、フルＨＤ（１０８０ｐ）であれば、１０８０ライン分の遅延）が生じてしまう。

（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。

図４は、変形例の画像転送装置６００の構成の一例を示すブロック図である。図４に示すように、変形例の画像転送装置６００は、フレームバッファ７０２Ａ〜７０２Ｅ、読出コントローラ７０５、及び画像処理部７０６が本実施形態と相違する。なお、本実施形態と同様の名称・符号を付した構成要素については、本実施形態と同様の機能を有するため、その説明を省略する。

読出コントローラ７０５は、データコントローラ３０４からのラインデータ転送要求に基づいて、画像処理部７０６がラインデータを生成するために必要な２ライン以上のラインデータを構成する各ラインデータの読出要求をフレームバッファ７０２Ａ〜７０２Ｅそれぞれに行う。

フレームバッファ７０２Ａ〜７０２Ｅは、それぞれ、フレームの異なる画像データを記憶する。そしてフレームバッファ７０２Ａ〜７０２Ｅは、読出コントローラ７０５からの読出要求に基づいて、２ライン以上のラインデータを構成する各ラインデータを読み出す。つまり、フレームバッファ７０２Ａ〜７０２Ｅが、それぞれ、対応する１ライン分のラインデータを読み出すことで、２ライン以上のラインデータが読み出される。

画像処理部７０６は、フレームバッファ７０２Ａ〜７０２Ｅにより読み出された２ライン以上のラインデータに基づく画像処理を行ってラインデータを生成する。これにより、画像処理部７０６は、フレーム間の画像処理を行うことができる。

この場合、画像処理関連の遅延としてフレームバッファ７０２Ａ〜７０２Ｅからの読込時間による１ライン強の遅延が発生するが、ＤＭＡ転送に関する遅延は、ＤＭＡ転送レートが十分であれば１ライン未満であり、複数ラインに跨る画素データに基づく画像処理を実行してもＤＭＡ転送の遅延を抑えることができる。

１００、６００ 画像転送装置
３００ 撮像装置
３０１ 書込コントローラ
３０２、７０２Ａ〜７０２Ｅ フレームバッファ
３０３ ＤＭＡコントローラ
３０４ データコントローラ
３０４Ａ ラインバッファ
３０５、７０５ 読出コントローラ
３０６、７０６ 画像処理部

特許第３８９４１７３号公報

Claims (9)

1. 複数ラインに跨る画素データの読出要求を行う読出要求部と、
   画像データを記憶し、前記読出要求に基づいて、前記画像データを構成する前記複数ラインに跨る画素データを読み出す第１バッファと、
   読み出された前記複数ラインに跨る画素データに基づく画像処理を行い、１ライン分に縮小された画素データを生成して転送する画像処理部と、
   前記転送された１ライン分に縮小された画素データを記憶する第２バッファと、
   ＤＭＡ（Direct Memory Access）転送に用いられる単位データ量のデータの転送を要求する単位データ転送要求を行い、転送された前記単位データ量のデータを外部へＤＭＡ転送するＤＭＡ制御部と、
   前記ＤＭＡ制御部からの前記単位データ転送要求に基づいて、前記第２バッファから、ＤＭＡ転送に用いられる前記単位データ量のデータを当該ＤＭＡ制御部に転送するデータ制御部と、
   を備える画像転送装置。
2. 前記読出要求部は、１ライン分の画素データであるラインデータの転送を要求するラインデータ転送要求に基づいて、前記ラインデータの生成に必要な前記複数ラインに跨る画素データの前記読出要求を行い、
   前記画像処理部は、読み出された前記複数ラインに跨る画素データに基づく画像処理を行って前記ラインデータを生成して、転送し、
   前記データ制御部は、前記第２バッファを有し、前記ラインデータ転送要求を行うとともに、当該ラインデータ転送要求に基づいて転送された前記ラインデータを前記第２バッファに記憶し、前記単位データ量のデータの転送を要求する単位データ転送要求に基づいて、前記第２バッファから前記単位データ量のデータを転送し、
   前記ＤＭＡ制御部は、前記単位データ転送要求を行うとともに、当該単位データ転送要求に基づいて転送された前記単位データ量のデータを外部へＤＭＡ転送する請求項１に記載の画像転送装置。
3. 前記データ制御部は、前記第２バッファが前記ラインデータを記憶可能な場合に、前記ラインデータ転送要求を行う請求項２に記載の画像転送装置。
4. 前記複数ラインに跨る画素データは、隣接する２ライン以上のラインデータである請求項２又は３に記載の画像転送装置。
5. 前記複数ラインに跨る画素データは、１のラインデータと、当該１のラインデータに隣接する他のラインデータを構成する一部の画素データと、である請求項１に記載の画像転送装置。
6. 前記画像処理は、画像縮小処理である請求項１〜５のいずれか１つに記載の画像転送装置。
7. 前記画像処理は、エッジ強調処理である請求項１〜５のいずれか１つに記載の画像転送装置。
8. 前記第１バッファを２以上備え、
   前記２以上の第１バッファは、それぞれ、フレームの異なる画像データを記憶し、
   前記複数ラインに跨る画素データは、２ライン以上のラインデータであり、
   前記読出要求部は、前記２ライン以上のラインデータを構成する各ラインデータの読出要求を前記２以上の第１バッファそれぞれに行い、
   前記２以上の第１バッファは、前記読出要求に基づいて、前記２ライン以上のラインデータを構成する各ラインデータを読み出し、
   前記画像処理部は、前記２以上の第１バッファにより読み出された前記２ライン以上のラインデータに基づく画像処理を行って前記ラインデータを生成する請求項２に記載の画像転送装置。
9. 複数ラインに跨る画素データの読出要求を行う読出要求ステップと、
   前記読出要求に基づいて、画像データを記憶する第１バッファから前記画像データを構成する前記複数ラインに跨る画素データを読み出す読出ステップと、
   読み出された前記複数ラインに跨る画素データに基づく画像処理を行い、１ライン分に縮小された画素データを生成して転送する画像処理ステップと、
   前記転送された１ライン分に縮小された画素データを第２バッファに記憶する書込ステップと、
   ＤＭＡ（Direct Memory Access）転送に用いられる単位データ量のデータの転送を要求する単位データ転送要求を行い、転送された前記単位データ量のデータを外部へＤＭＡ転送するＤＭＡ転送ステップと、
   前記単位データ転送要求に基づいて、前記第２バッファから、ＤＭＡ転送に用いられる前記単位データ量のデータを転送する単位データ転送ステップと、
   を含む画像転送方法。

Images