JP3810699B2 - Resolution conversion device and imaging device - Google Patents

Description

【００４５】
各縦サイズ変換部ＶＲ０ないしＶＲ２は、最大１ライン分の画素データを出力することから、最大１倍の解像度変換を行う機能を有するものであり、縮小処理のみ行うことができる。
【００４６】
横変換制御部２１２は、横サイズ変換部ＨＲ０ないしＨＲ２に対して、横変換率β（横方向の拡大・縮小率）を示す信号を出力する。なお、図示を省略しているが、横変換制御部２１２は、論理回路ＬＣ０ないしＬＣ２に対して転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に相当する信号を出力しており、各論理回路ＬＣ０ないしＬＣ２は、当該信号として論理レベル"０"が入力された場合には、記憶している画素データの出力を行わない。
【００４７】
各横サイズ変換部ＨＲ０ないしＨＲ２は、横変換率βに基づいて各縦サイズ変換部ＶＲ０ないしＶＲ２から入力される補間画素データを、それぞれ横方向にサイズ変換して、ＲＰＵ・ＤＭＡチャンネルコントローラ２２の各論理回路ＬＣ０ないしＬＣ２に対し、横サイズ変換後の画素データを出力する。
【００４８】
以上が本実施の形態における解像度変換装置の構成および機能である。図３は、本実施の形態における解像度変換処理部２１により原画像データ３０が縦方向に３倍に変換される様子を示す図である。
【００４９】
図３では、原画像データ３０の水平方向１ライン分の画素データをそれぞれ原画像ＯＬ０、原画像ＯＬ１、…とし、拡大画像データ４０の水平方向１ライン分の画素データ（変換画素データ）をそれぞれ拡大画像ＥＬ０、拡大画像ＥＬ１、…として示している。また、図３の原画像データ３０と拡大画像データ４０との間の点線は、各拡大画像ＥＬ０、拡大画像ＥＬ１、…が、どの原画像ＯＬ０、原画像ＯＬ１、…から生成されるかを示している。例えば、拡大画像ＥＬ５は、原画像ＯＬ１およびＯＬ２から生成される。また、図３における画像データの組ＴＰ１、ＴＰ２、…は、同一のタイミングで主メモリ１３に転送される画素データの組を示している。例えば、ＴＰ２に含まれる拡大画像ＥＬ３ないしＥＬ５は、同一のタイミングで主メモリ１３に転送される。
【００５０】
さらに、説明を簡単にするために、図３に示す例においては、横変換率βを１（等倍）として示しているが、もちろんこれに限られるものではない。以下、図２、および図３に示す例を用いて解像度変換装置の動作を説明する。
【００５１】
まず、解像度変換処理部２１における処理に先立って、ＲＰＵ１２がＤＭＡコントローラ１４に対してＤＭＡ要求を行う。ＤＭＡコントローラ１４は、ＣＰＵ１５からメモリ・バス１６の使用権を獲得するとともに、各ＤＭＡチャンネルＣＨ０ないしＣＨ２が、主メモリ１３に画素データを転送する場合における主メモリ１３上の開始アドレスＳＡＤＤ０ないしＳＡＤＤ２、終了アドレスＥＡＤＤ０ないしＥＡＤＤ２、およびオフセット値ＬＯＦＦ０ないしＬＯＦＦ２を取得する（図１参照）。また、各論理回路ＬＣ０ないしＬＣ２に対してそれぞれＤＭＡチャンネルＣＨ０ないしＣＨ２を割り当て、かかる状態で、ＲＰＵ１２に対してデータ出力を許可する旨の許可信号を発行する。
【００５２】
次に、解像度変換処理部２１に、空間フィルタ・コアリング処理部２０から原画像ＯＬ０が入力されると、当該原画像ＯＬ０はラインメモリ２１１に読み込まれる。この間、縦変換制御部２１０は、すべての転送許可信号の論理レベルを"０"として出力する。したがって、論理回路ＬＣ０ないしＬＣ２は画素データの出力を行わず、主メモリ１３に画素データが転送されることはない。
【００５３】
このように、縦変換制御部２１０が論理回路ＬＣ０ないしＬＣ１に転送許可信号を出力することにより、不要な画素データが出力されることがなく、効率的な転送を行うことができる。
【００５４】
続いて、原画像ＯＬ１が入力されると、当該原画像ＯＬ１は、ラインメモリ２１１に入力され記憶されるとともに、各縦サイズ変換部ＶＲ０ないしＶＲ２にも入力される。また、ラインメモリ２１１に記憶されていた原画像ＯＬ０も各縦サイズ変換部ＶＲ０ないしＶＲ２に入力される。
【００５５】
さらに、縦変換制御部２１０が、生成すべき拡大画像データ４０におけるライン（拡大画像ＥＬ０ないしＥＬ２）を判定し、当該ライン（拡大画像ＥＬ０ないしＥＬ２）を生成するための補間画素データを生成する縦サイズ変換部ＶＲ０ないしＶＲ２をそれぞれ選択する。
【００５６】
ここで、縦変換制御部２１０が生成する画素データに基づいて縦サイズ変換部ＶＲ０ないしＶＲ２を選択する手法について説明する。解像度変換装置では、指定される縦変換率αにかかわらず、拡大画像データ４０の水平方向の各ラインデータは、それぞれ出力されるＤＭＡチャンネルが予め固定されている（詳細は後述するが、各ＤＭＡチャンネルＣＨ０ないしＣＨ２が使用するオフセット値を所定の値に固定するためである。）。すなわち、拡大画像ＥＬ０，ＥＬ１，ＥＬ２，ＥＬ３，ＥＬ４，…を転送するＤＭＡチャンネルは、それぞれＣＨ０，ＣＨ１，ＣＨ２，ＣＨ０，ＣＨ１，…と、巡回的に予め固定されている。これにより、例えば、拡大画像ＥＬ０，ＥＬ３，ＥＬ６，…は、常にＤＭＡチャンネルＣＨ０から出力されることとなる。
【００５７】
縦変換制御部２１０は、あるタイミングにおいて、解像度変換処理部２１に入力される原画像データ３０（例えば、原画像ＯＬ１）と縦変換率αとに基づいて、拡大画像データ４０の何番目のラインに相当する画素データを生成するか（例においては、拡大画像ＥＬ０ないしＥＬ２）を判断し、それらのラインごとに予め定められているＤＭＡチャンネルＣＨ０ないしＣＨ２を選択する。例えば、拡大画像ＥＬ２については、前述の固定状態からＤＭＡチャンネルＣＨ２が選択される。
【００５８】
ＤＭＡチャンネルが選択されれば、縦サイズ変換部ＶＲ０ないしＶＲ２のうちのいずれが、当該画素データを生成するかが決定される。例えば、ＤＭＡチャンネルＣＨ２により転送される画素データは縦サイズ変換部ＶＲ２により生成される補間画素データに基づいて生成される。
【００５９】
このように、生成される拡大画像データ４０の各ラインデータごとに、出力するＤＭＡチャンネルが予め巡回的に固定されていることにより、縦変換制御部２１０における縦サイズ変換部ＶＲ０ないしＶＲ２の選択を容易に行うことができる。
【００６０】
動作の説明に戻って、生成すべき拡大画像ＥＬ０ないしＥＬ２と、それを生成するための補間画素データを生成する各縦サイズ変換部ＶＲ０ないしＶＲ２が選択されると、縦変換制御部２１０はそれぞれの縦サイズ変換部ＶＲ０ないしＶＲ２が数１を実行する際に利用する重みＷ０ないしＷ２をそれぞれ算出して、各縦サイズ変換部ＶＲ０ないしＶＲ２に出力する。
【００６１】
各縦サイズ変換部ＶＲ０ないしＶＲ２は、各入力値（原画像ＯＬ０、原画像ＯＬ１および重みＷ）に基づいて数１に示す演算を実行する。これにより、縦サイズ変換部ＶＲ０により拡大画像ＥＬ０となる補間画素データ、縦サイズ変換部ＶＲ１により拡大画像ＥＬ１となる補間画素データ、縦サイズ変換部ＶＲ２により拡大画像ＥＬ２となる補間画素データがそれぞれ生成され、各横サイズ変換部ＨＲ０ないしＨＲ２に出力される。
【００６２】
次に、各縦サイズ変換部ＶＲ０ないしＶＲ２において生成された補間画素データは、横変換制御部２１２から入力される横変換率βに基づいて、各横サイズ変換部ＨＲ０ないしＨＲ２により水平方向のサイズ変換処理を施され変換画素データとなり、論理回路ＬＣ０ないしＬＣ２にそれぞれ出力されて、各論理回路ＬＣ０ないしＬＣ２のＦＩＦＯメモリ回路（図示せず）に記憶される。
【００６３】
縦変換制御部２１０は、生成された拡大画像ＥＬ０ないしＥＬ２を、拡大画像データ４０として主メモリ１３に転送するために、各転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に論理レベル"１"をセットする。各論理回路ＬＣ０ないしＬＣ２は、縦変換制御部２１０からの各転送許可信号に基づいて、記憶した拡大画像ＥＬ０ないしＥＬ２を出力する。
【００６４】
各ＤＭＡチャンネルＣＨ０ないしＣＨ２は、開始アドレスＳＡＤＤ０ないしＳＡＤＤ２および終了アドレスＥＡＤＤ０ないしＥＡＤＤ２を参照しつつ、協調して主メモリ１３上の書込みアドレスをライン単位で順次生成し、当該書き込みアドレスに基づいて、各論理回路ＬＣ０ないしＬＣ２から出力された拡大画像ＥＬ０ないしＥＬ２を主メモリ１３に転送する。また、各ＤＭＡチャンネルＣＨ０ないしＣＨ２は、１ライン分の画素データの転送を終了すると、当該画素データの転送を終了した時点のアドレスにオフセット値ＬＯＦＦ０ないしＬＯＦＦ２を加算することにより、次の画素データの転送を開始する際の開始アドレスＳＡＤＤ０ないしＳＡＤＤ２を生成する。
【００６５】
この処理について、ＤＭＡチャンネルＣＨ０により拡大画像ＥＬ０とＥＬ３とを転送する場合を例に説明すると、拡大画像ＥＬ０とＥＬ３とは、拡大画像データ４０において連続するデータではない。したがって、拡大画像ＥＬ０の転送を終了したＤＭＡチャンネルＣＨ０は、次に転送する拡大画像ＥＬ３の開始アドレスＳＡＤＤ０として、拡大画像ＥＬ０の転送を終了した時点のアドレスを連続して用いることができない（当該アドレスにはＤＭＡチャンネルＣＨ１により転送された拡大画像ＥＬ１が書き込まれる。）。
【００６６】
そこで、ＤＭＡチャンネルＣＨ０は、前述のようにオフセット値ＬＯＦＦ０を加算することにより、オフセットジャンプを行い、次に転送する拡大画像ＥＬ３が拡大画像ＥＬ２と連続したアドレスに転送されるように開始アドレスＳＡＤＤ０を変換する必要がある。
【００６７】
ここで、本実施の形態における解像度変換装置では、各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２が所定の値（２ライン分のオフセット値）に固定（指定）されている。これにより、各ＤＭＡチャンネルＣＨ０ないしＣＨ２は、１ライン分の画素データを転送する度に、２ライン分のオフセットジャンプを行うことにより、他の２つのＤＭＡチャンネルにより転送された画素データが書き込まれているアドレスを飛び越えることができ、次に転送する画素データを適切なアドレスに転送することができる。なお、各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２を２ライン分のオフセット値に固定すると、各ＤＭＡチャンネルＣＨ０ないしＣＨ２は拡大画像データ４０の３ラインデータごとの画素データを転送しなければならない。したがって、前述のように、拡大画像データ４０の各ラインデータごとに転送するＤＭＡチャンネルを予め定めておく必要がある。
【００６８】
このように、解像度変換装置は、各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２を所定の値（２ライン分のオフセット値）に固定することにより、例えば、各タイミングごとに各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２を算出して指定しなおす必要がなく、制御を容易にすることができる。
【００６９】
以後、同様にして、原画像データ３０の１ライン分の画素データが入力される度に、拡大画像データ４０の３ライン分の画素データがそれぞれ生成され、主メモリ１３に転送されることにより、解像度変換装置は、原画像を３倍に拡大する処理を行うことができる。
【００７０】
このように、垂直方向には縮小機能しか有しない各縦サイズ変換部ＶＲ０ないしＶＲ２を複数個（本実施の形態では３個）用いることにより、垂直方向に複数ライン分の補間画素データを同時に生成することができる。したがって、ハードウェアとして実現が容易な縮小処理を実行する回路により、垂直方向に拡大された拡大画像データ４０を生成することができることから、簡易構成且つ低コストの解像度変換装置を実現することができる。
【００７１】
図４および図５は、解像度変換処理部２１が、原画像データ３０をそれぞれ２．５倍、５／３倍に拡大する例を示す図である。
【００７２】
図４において、原画像ＯＬ１が入力されると、図３に示す例と同様に拡大画像ＥＬ０ないしＥＬ２がそれぞれ生成され、各ＤＭＡチャンネルＣＨ０ないしＣＨ２によって主メモリ１３に転送される。
【００７３】
しかし、原画像ＯＬ２が入力された場合には、生成すべき画素データは拡大画像ＥＬ３およびＥＬ４であることから、縦変換制御部２１０は、重みＷ０およびＷ１のみを算出して、それぞれ縦サイズ変換部ＶＲ０およびＶＲ１に出力するとともに、転送許可信号ＴＲＥＮ０およびＴＲＥＮ１にのみ論理レベル"１"をセットして、転送許可信号ＴＲＥＮ２には論理レベル"０"をセットする。そのため、論理回路ＬＣ２は、ＤＭＡ要求を行わず、論理回路ＬＣ０およびＬＣ１に記憶される画素データ（拡大画像ＥＬ３およびＥＬ４）のみ主メモリ１３に転送される。
【００７４】
次に、原画像ＯＬ３が入力された場合には、縦サイズ変換部ＶＲ２および横サイズ変換部ＨＲ２により拡大画像ＥＬ５、縦サイズ変換部ＶＲ０および横サイズ変換部ＨＲ０により拡大画像ＥＬ６、縦サイズ変換部ＶＲ１および横サイズ変換部ＨＲ１により拡大画像ＥＬ７がそれぞれ生成され、縦変換制御部２１０が転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２の論理レベルに"１"をセットすることにより、各ＤＭＡチャンネルＣＨ０ないしＣＨ２によって主メモリ１３に転送される。
【００７５】
以後、同様に処理が繰り返され、原画像データ３０の２ライン分の画素データが入力される度に、拡大画像データ４０の５ライン分の画素データがそれそれ生成され、主メモリ１３に転送されることにより、解像度変換装置は原画像を２．５倍に拡大する処理を行うことができる。
【００７６】
また、図５において、原画像ＯＬ１が入力されると、拡大画像ＥＬ０およびＥＬ１が生成される。そこで、縦変換制御部２１０が、転送許可信号ＴＲＥＮ０およびＴＲＥＮ１にのみ論理レベル"１"をセットし、転送許可信号ＴＲＥＮ２には論理レベル"０"をセットすることにより、拡大画像ＥＬ０およびＥＬ１が主メモリ１３に転送される。
【００７７】
次に、原画像ＯＬ２が入力されると、拡大画像ＥＬ２およびＥＬ３が生成され、縦変換制御部２１０が、転送許可信号ＴＲＥＮ２およびＴＲＥＮ０にのみ論理レベル"１"をセットし、転送許可信号ＴＲＥＮ１には論理レベル"０"をセットすることにより、拡大画像ＥＬ２およびＥＬ３が主メモリ１３に転送される。
【００７８】
さらに、原画像ＯＬ３が入力されると、拡大画像ＥＬ４が生成され、縦変換制御部２１０が、転送許可信号ＴＲＥＮ１にのみ論理レベル"１"をセットし、転送許可信号ＴＲＥＮ０およびＴＲＥＮ２には論理レベル"０"をセットすることにより、拡大画像ＥＬ４が主メモリ１３に転送される。
【００７９】
以後、同様に処理が繰り返され、原画像データ３０の３ライン分の画素データが入力されるたびに、拡大画像データ４０の５ライン分の画素データがそれぞれ生成され、主メモリ１３に転送されることにより、解像度変換装置は原画像を５／３倍に拡大する処理を行うことができる。
【００８０】
以上により、本実施の形態における解像度変換装置を組み込んだデジタル・カメラでは、解像度変換処理部２１が画像信号を垂直方向に解像度変換された変換画素データを生成し、ＤＭＡコントローラ１４が、ＲＰＵ１２の論理回路ＬＣ０ないしＬＣ２から同時に出力される変換画素データを主メモリ１３に１つの画像データとして転送することにより、各論理回路ＬＣ０ないしＬＣ２は、入力ライン１ラインに対して、最大１ライン以下の出力に抑えることができるので、拡大後の画素データを一旦格納するラインメモリなどを使用することなく処理することができる。したがって、高速で大容量の画像信号のデータ転送と、リアルタイムな画像サイズの拡大処理とを同時に実行するとともに、簡易構成且つ低コストの解像度変換装置を実現することができる。
【００８１】
また、その場合、縦サイズ変換部ＶＲ０ないしＶＲ２から出力される補間画素データは、縦変換制御部２１０からの重みに基づいて計算されており（バイリニア法）、単に縦方向に複写された画素データによって拡大画像を生成する場合に比べて高品質な（画像のなめらかさの低下が抑えられた）拡大画像を生成することができる。
【００８２】
また、縮小処理を行う回路（縦サイズ変換部ＶＲ０ないしＶＲ２）を複数個用いることによって、垂直方向に拡大された拡大画像データ４０を生成することにより、さらに、簡易構成且つ低コストの解像度変換装置を実現することができる。
【００８３】
なお、解像度変換処理部２１による原画像データ３０の縦変換率αは、図３ないし図５に示すものに限定されるものではなく、最大３倍の任意の拡大を行うことができる。また、本実施の形態においては、アナログ信号処理部１１からの画像データを原画像データとして解像度変換装置に入力する例を説明したが、解像度変換装置に入力する原画像データは、これに限られるものではない。例えば、主メモリ１３に記憶されている画像データを原画像データとして入力することも可能である。以下、他の実施の形態においても同様である。
【００８４】
＜２． 第２の実施の形態＞
第１の実施の形態における解像度変換装置では、指定される縦変換率αにかかわらず、各ＤＭＡチャンネルが参照するオフセット値ＬＯＦＦ０ないしＬＯＦＦ２を２ライン分のオフセット値に固定していたが、そのような方式に限られるものではない。
【００８５】
例えば、ＤＭＡコントローラ１４が、各タイミングごとに各オフセット値ＬＯＦＦ０およびＬＯＦＦ２を算出して変更することにより、各ＤＭＡチャンネルＣＨ０およびＣＨ２のオフセットジャンプを制御する機能を有していてもよい。
【００８６】
図６は、このような原理に基づいて構成した第２の実施の形態における解像度変換装置において、原画像データ３０を５／３倍に拡大処理する例を示した図である。本実施の形態における解像度変換装置は、同時に出力される拡大画像データ４０のラインデータの数に応じて、ＤＭＡチャンネルＣＨ０から順次優先的にＤＭＡチャンネルを選択する。
【００８７】
図６に示すように、拡大画像データ４０のラインデータが２つずつ転送される場合には、各ＤＭＡチャンネルＣＨ０およびＣＨ１により転送される画素データは、主メモリ１３上で交互に書き込む必要があるため、各ＤＭＡチャンネルＣＨ０およびＣＨ１が１ライン分のオフセットジャンプを行うように、ＤＭＡコントローラ１４がオフセット値ＬＯＦＦ０およびＬＯＦＦ１をセットする。
【００８８】
図６に示す拡大画像ＥＬ４が転送される場合のように、１ラインのみの転送が行われた場合は、ＤＭＡチャンネルＣＨ０は、自らが転送した拡大画像ＥＬ４に連続したアドレスに次に転送する拡大画像ＥＬ５を転送する必要がある。また、ＤＭＡチャンネルＣＨ１のＳＡＤＤ１は、拡大画像ＥＬ３の転送が終了した時点で、拡大画像ＥＬ５を転送すべきアドレスとなっているため、さらに、１ライン分のオフセットジャンプを行う必要がある。
【００８９】
そこで、１ラインのみの転送が行われた場合は、ＤＭＡコントローラ１４は、オフセット値ＬＯＦＦ０を０に、オフセット値ＬＯＦＦ１を１ライン分のオフセット値にそれぞれ変更する。
【００９０】
以上により、本実施の形態における解像度変換装置においても、処理するデータごとにオフセット値を変更することによって、第１の実施の形態と同様の種々の効果を得ることができる。また、拡大画像データ４０の各ラインデータを出力する各タイミングごとに、ＤＭＡチャンネルを自由に選択することができるため、第１の実施の形態のように固定する場合に比べて、柔軟な制御を行うことができる。なお、各タイミングごとの各オフセット値ＬＯＦＦ０ないしＬＯＦＦ２の計算は、ＣＰＵ１５が行ってＤＭＡコントローラ１４に受け渡すようにしてもよいし、各ＤＭＡチャンネルＣＨ０ないしＣＨ２が行ってもよい。
【００９１】
＜３． 第３の実施の形態＞
上記実施の形態における解像度変換装置では、縦変換制御部２１０が各縦サイズ変換部ＶＲ０ないしＶＲ２を一括して制御していたが、本発明はこのような構成に限られるものではない。例えば、各縦サイズ変換部ＶＲ０ないしＶＲ２を制御するための構成を個別に設けて、それぞれが協調して１つの画像データを作成する協調モードと、独立に動作して複数の画像データを作成する独立モードとを切り替えるようにしてもよい。
【００９２】
図７は、このような原理に基づいて構成した本実施の形態における解像度変換装置の解像度変換処理部２１の構成を示すとともに、協調モードにより拡大画像データ４０が作成される様子を示す図である。なお、上記実施の形態とほぼ同様の構成については、適宜同じ符号を用いている。
【００９３】
本実施の形態における解像度変換処理部２１は、縦変換制御部２１０ａないし２１０ｃと、横変換制御部２１２ａないし２１２ｃと、転送制御部ＴＣ０ないしＴＣ２とを備える。
【００９４】
各縦変換制御部２１０ａないし２１０ｃは、それぞれ縦サイズ変換部ＶＲ０ないしＶＲ２で用いられる重みＷ０ないしＷ２を算出して制御するとともに、それぞれ転送制御部ＴＣ０ないしＴＣ２に対して、画素データの転送を行うか否かを示す信号を出力する。なお、当該信号とは、論理レベル"０"または"１"で表される信号であって、各縦変換制御部２１０ａないし２１０ｃは、各縦サイズ変換部ＶＲ０ないしＶＲ２において画素データが生成される場合は、当該信号に論理レベル"１"をセットして出力し、それ以外の場合は論理レベル"０"をセットして出力する。すなわち、当該信号はライン単位で判断され、切り替えられる。
【００９５】
また、各縦変換制御部２１０ａないし２１０ｃには、協調モードによる処理を行うか、独立モードによる処理を行うかの選択信号が入力され（図示せず）、当該選択信号に基づいて、それぞれが協調モードと独立モードとの切り替えを行う。すなわち、縦変換制御部２１０ａないし２１０ｃは、本発明におけるセレクターに相当する機能をも有している。
【００９６】
各横変換制御部２１２ａないし２１２ｃは、それぞれ横サイズ変換部ＨＲ０ないしＨＲ２に対して横変換率β０ないしβ２を出力するとともに、それぞれ転送制御部ＴＣ０ないしＴＣ２に対して、画素データの転送を行うか否かを示す信号を出力する。なお、当該信号とは、論理レベル"０"または"１"で表される信号であって、各横変換制御部２１２ａないし２１２ｃは、各横サイズ変換部ＨＲ０ないしＨＲ２において画素データが生成される場合は、当該信号に論理レベル"１"をセットして出力し、縮小処理などにおいて画素データを間引く場合は論理レベル"０"をセットして出力する。すなわち、当該信号は画素単位で判断され、切り替えられる。
【００９７】
各転送制御部ＴＣ０ないしＴＣ２は、それぞれ縦変換制御部２１０ａないし２１０ｃおよび横変換制御部２１２ａないし２１２ｃから画素データの転送を指示する信号を受け取り、論理回路ＬＣ０ないしＬＣ２に対して転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２を出力する。各転送制御部ＴＣ０ないしＴＣ２は、それぞれ縦変換制御部２１０ａないし２１０ｃおよび横変換制御部２１２ａないし２１２ｃから入力される信号がいずれも論理レベル"１"にセットされている場合にのみ転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に論理レベル"１"をセットして出力する。すなわち、縦変換制御部２１０ａおよび横変換制御部２１２ａからの信号のうち、いずれか一方の信号に論理レベル"０"がセットされている場合は、転送制御部ＴＣ０は転送許可信号ＴＲＥＮ０に論理レベル"０"をセットして論理回路ＬＣ０に出力する。
【００９８】
また、各縦変換制御部２１０ａないし２１０ｃには、協調モードによる処理を行うか、独立モードによる処理を行うかの選択信号が入力され（図示せず）、当該選択信号に基づいて、それぞれが協調モードと独立モードとの切り替えを行う。
【００９９】
以上の構成を備える解像度変換装置においても、図７に示すように、協調モードによる処理を実行することにより、上記実施の形態と同様の処理を実行することができるため、原画像データ３０から拡大画像データ４０を生成することができる。
【０１００】
図８は、本実施の形態における解像度変換装置における独立モードにより、複数の画像データが作成される様子を示した図である。本実施の形態における解像度変換装置は、独立モードが選択されると、各ＤＭＡチャンネルＣＨ０ないしＣＨ２によって転送される画素データを、同じ画像データとして扱わず、それぞれ主メモリ１３上の別のアドレスに転送することにより、別個の画像データとして生成する。ここでは、独立モードによって、主画像データ５０、アフタービュー画像データ６０、およびサムネール画像データ７０を生成する場合について説明するが、主画像データ５０とアフタービュー画像データ６０、または、主画像データ５０とサムネール画像データ７０の組み合わせが選択されてもよい。
【０１０１】
縦変換制御部２１０ａおよび横変換制御部２１２ａには、それぞれ主画像データ５０を生成するために必要な縦変換率α０および横変換率β０を入力すれば、縦サイズ変換部ＶＲ０および横サイズ変換部ＨＲ０によって、順次主画像データ５０のラインデータが生成され、論理回路ＬＣ０に記憶される。
【０１０２】
また、縦変換制御部２１０ｂおよび横変換制御部２１２ｂには、それぞれアフタービュー画像データ６０を生成するために必要な縦変換率α１および横変換率β１を入力すれば、縦サイズ変換部ＶＲ１および横サイズ変換部ＨＲ１によって、順次アフタービュー画像データ６０のラインデータが生成され、論理回路ＬＣ１に記憶される。
【０１０３】
同様に、縦変換制御部２１０ｃおよび横変換制御部２１２ｃには、それぞれサムネール画像データ７０を生成するために必要な縦変換率α２および横変換率β２を入力すれば、縦サイズ変換部ＶＲ２および横サイズ変換部ＨＲ２によって、順次サムネール画像データ７０のラインデータが生成され、論理回路ＬＣ２に記憶される。
【０１０４】
なお、本実施の形態における解像度変換装置が独立モードで動作する場合は、各縦サイズ変換部ＶＲ０ないしＶＲ２に割り当てられるＤＭＡチャンネルは１つであるため、１ライン以上の画素データを同時に出力することはできないため、各縦変換率α０ないしα１は、すべて１以下の値でなければならない。
【０１０５】
次に、各論理回路ＬＣ０ないしＬＣ２が、各転送制御部ＴＣ０ないしＴＣ２からの転送許可信号ＴＲＥＮ０ないしＴＲＥＮ２に応じて画素データを出力し、各ＤＭＡチャンネルＣＨ０ないしＣＨ２が主メモリ１３上に当該画素データを転送する。各ＤＭＡチャンネルＣＨ０ないしＣＨ２は、それぞれ１ライン分の画素データの転送が終了した場合であってもオフセットジャンプを行わず、次に出力する画素データも主メモリ１３上の連続したアドレスに転送する。
【０１０６】
このようにして、各ＤＭＡチャンネルＣＨ０ないしＣＨ２により転送された画素データによって、それぞれ主画像データ５０、アフタービュー画像データ６０、およびサムネール画像データ７０が作成される。
【０１０７】
以上により、第３の実施の形態における解像度変換装置においても、協調モードを選択することにより、上記実施の形態と同様に、最大３倍に拡大した拡大画像データ４０を得ることができるため、種々の効果を得ることができる。また、各縦サイズ変換部ＶＲ０ないしＶＲ２および各横サイズ変換部ＨＲ０ないしＨＲ２を制御するための構成をそれぞれ個別に設け、それらを独立に動作させることにより、例えば、目的に応じて解像度変換された複数の画像データを、別途構成を設けることなく作成することができる。
【０１０８】
＜４． 第４の実施の形態＞
上記実施の形態における解像度変換装置では、原画像をバイリニア法により拡大するとして説明したが、画像を拡大する手法としては前述のようにバイキュービック法も周知であり、これを用いることも可能である。
【０１０９】
図９は、このような原理に基づいて構成した第４の実施の形態における解像度変換装置の構成を示した図である。
【０１１０】
本実施の形態における解像度変換装置の空間フィルタ・コアリング処理部２０ａでは、３次補間部２４を備える点が上記実施の形態と異なっている。なお、上記実施の形態における解像度変換装置では図示を省略していたが、空間フィルタ・コアリング処理部２０ａは、上記の実施の形態における空間フィルタ・コアリング処理部２０と同様に、画像信号中の５×５画素程度の領域に空間フィルタリング処理を行うため、１ライン分の画素データを記憶することができるラインメモリ２３を５つ備えている（図９ではそのうちの３ライン分を示す。）。
【０１１１】
３次補間部２４は、一旦ラインメモリ２３に記憶される画素データに基づいてバイキュービック法を用いることにより、空間フィルタ・コアリング処理部２０ａに入力される原画像データ３０を拡大処理し、解像度変換処理部２１に出力する。
【０１１２】
ここで３次補間部２４において実行される周知の手法、４×４バイキュービック法について簡単に説明すると、まず、注目画素との画素間の距離Ｄが１未満の画素についての重みＷ３と、距離Ｄが２未満の画素についての重みＷ４とをそれぞれ数２および数３により求める。距離Ｄが２以上の画素に対する重みは０とする。
【０１１３】
【数２】

【０１１４】
【数３】

【０１１５】
次に、注目画素に隣接する１６画素の画素値に、それぞれ求めた重みＷ３およびＷ４を用いて重み付けを行うことにより補間を行う。すなわち、４×４バイキュービック法を行うためには、３ライン分の画素データを記憶することが必要となる。バイキュービック法により拡大処理された拡大画像は、バイリニア法により拡大された拡大画像に比べて画像のなめらかさの低下が抑えられ、高品質な画像となる。
【０１１６】
本実施の形態における解像度変換装置の動作について説明する。図９に示すように、アナログ信号処理部１１から原画像データ３０が入力される場合には、空間フィルタ・コアリング処理部２０ａは、空間フィルタリング処理を行うためにラインメモリ２３を使用するため、バイキュービック法による拡大処理を行うことはできない。したがって、リアルタイムに原画像データ３０を拡大処理する場合は、上記実施の形態と同様に、解像度変換処理部２１によりバイリニア法による拡大処理が行われる。
【０１１７】
図１０は、本実施の形態における解像度変換装置が、バイキュービック法による拡大処理を行う例を示した図である。
【０１１８】
本実施の形態における解像度変換装置では、バイキュービック法による拡大処理が選択されると、主メモリ１３上に記憶されている原画像データ３０が空間フィルタ・コアリング処理部２０ａに入力される。なお、その場合、ここで示す例のように原画像データ３０の一部分（原画像データ３０ａ）が選択されてもよい。
【０１１９】
３次補間部２４は、ラインメモリ２３を使用しつつ、前述のバイキュービック法によって原画像データ３０ａを拡大した拡大画像データ４０ａを生成し、解像度変換処理部２１に出力する。
【０１２０】
解像度変換処理部２１は、入力された拡大画像データ４０ａに対して、上記実施の形態において原画像データ３０に対して行った処理と同様の処理を行って、主メモリ１３に転送する。
【０１２１】
図１０に示す例では、縦サイズ変換部ＶＲ０および横サイズ変換部ＨＲ０により拡大画像データ４０ａのラインデータからそれぞれ主画像データ５０のラインデータが生成され、ＤＭＡチャンネルＣＨ０によって主メモリ１３に転送されることにより、主メモリ１３上に原画像データ３０ａがバイキュービック法により拡大された主画像データ５０が作成される。
【０１２２】
また、縦サイズ変換部ＶＲ１および横サイズ変換部ＨＲ１により拡大画像データ４０ａのラインデータからそれぞれアフタービュー画像データ６０のラインデータが生成され、ＤＭＡチャンネルＣＨ１によって主メモリ１３に転送されることにより、主メモリ１３上にアフタービュー画像データ６０が作成される。
【０１２３】
さらに、縦サイズ変換部ＶＲ２および横サイズ変換部ＨＲ２により拡大画像データ４０ａのラインデータからそれぞれサムネール画像データ７０のラインデータが生成され、ＤＭＡチャンネルＣＨ２によって主メモリ１３に転送されることにより、主メモリ１３上にサムネール画像データ７０が作成される。
【０１２４】
以上により、第４の実施の形態における解像度変換装置においても、バイリニア法による拡大処理を行うことができるため、上記実施の形態と同様に種々の効果を得ることができる。
【０１２５】
また、ポスト処理でのバイキュービック法による拡大処理を行うことができるため、より高品質な拡大画像データ４０を生成することができる。
【０１２６】
また、バイキュービック法により拡大処理を行う頻度は非常に少なく、当該拡大処理を行うための専用の回路を設けた場合、ほとんどのケースでは無駄な回路が動作することで、消費電力が増大するが、本実施の形態における解像度変換装置では、通常は拡大処理以外に使用されるラインメモリ２３をバイキュービック法による拡大処理に利用することで、簡易構成且つ低コストの解像度変換装置を実現することができる。
【０１２７】
なお、図１０に示す例では、解像度変換処理部２１が第３の実施の形態における独立モードによる処理を行う例を示しているが、解像度変換処理部２１で行われる処理はこれに限られるものではない。
【０１２８】
＜５． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１２９】
例えば、上記実施の形態では、３個のＤＭＡチャンネルＣＨ０ないしＣＨ２を用いて画像データの解像度を縦方向に最大３倍に拡大していたが、本発明ではこれに限らず、ｎ個のＤＭＡチャンネルＣＨ０，ＣＨ１，…，ＣＨｎ（ｎ：２以上の整数）を使用して画像データの解像度を垂直画素方向に最大ｎ倍に拡大することも可能である。かかる場合は、縦サイズ変換部、横サイズ変換部、論理回路をそれぞれｎ個ずつ設け、主メモリ１３との間のデータ転送にそれぞれＤＭＡチャンネルＣＨ０，…，ＣＨｎを割り当てればよい。
【０１３０】
また、独立モードにおいて作成される画像データの数は、３つに限定されるものではない。例えば、ＤＭＡチャンネルＣＨ０およびＣＨ１が協調して原画像データ３０を２倍に拡大した拡大画像データ４０を生成しつつ、ＤＭＡチャンネルＣＨ２がサムネール画像データ７０を生成するなどしてもよい。
【０１３１】
【発明の効果】
以上の如く、本発明の請求項１ないし４に係る解像度変換装置によれば、解像度変換手段により生成された前記変換画素データのうち、隣接する縦方向に並んだ変換画素データを同時出力可能な少なくとも３以上のデータ出力手段を備え、解像度変換手段が、画像信号を垂直方向に縮小した縮小画像を構成する縮小画素データを変換画素データとして生成する少なくとも３個の独立した縮小手段を有しており、拡大画像を生成する場合において、制御手段は、３以上のデータ出力手段から同時に出力される変換画素データをメモリに１つの画像を構成する画素データとして転送することにより、元画像を垂直方向に拡大した拡大画像を変換画像として記憶させ、一方、拡大画像を生成しない場合において、制御手段は、３以上のデータ出力手段により同時に出力される変換画素データの組み合わせとして、本画像を構成する画素データとアフタービューを構成する画素データとの組み合わせ、または、本画像を構成する画素データとサムネールを構成する画素データとの組み合わせ、または、本画像を構成する画素データ、アフタービューを構成する画素データおよびサムネールを構成する画素データの組み合わせのうちから１つを選択して切り替えるため、目的に応じた解像度の画像データをリアルタイムに作成することができる。
【０１３７】
請求項２によれば、解像度変換手段が、３ラインの画素データを使用して変換画像データを生成する場合には、少なくとも３本のラインメモリを使用してポスト処理を行うため、ラインメモリを他の画像処理と共有することにより、簡易構成且つ低コストの解像度変換装置を実現することができる。
【０１３８】
請求項３によれば、データ転送手段は、画像処理部から出力される変換画素データの転送制御を行う複数のＤＭＡチャンネルを有するＤＭＡコントローラであるため、画像処理部からメモリへのデータ転送と画像拡大処理とをリアルタイムに効率よく実行できる。
【０１３９】
請求項４に係るデジタル・カメラによれば、撮像した画像信号を一旦、メモリに格納させること無く、リアルタイムにその画像サイズを拡大してメモリに記憶させることが可能である。
【図面の簡単な説明】
【図１】第１の実施の形態における解像度変換装置の主要部の構成を示す概略図である。
【図２】解像度変換処理部およびＲＰＵ・ＤＭＡチャンネルコントローラの構成を示す図である。
【図３】第１の実施の形態における解像度変換装置が、原画像データを３倍に拡大する例を示す図である。
【図４】第１の実施の形態における解像度変換装置が、原画像データを２．５倍に拡大する例を示す図である。
【図５】第１の実施の形態における解像度変換装置が、原画像データを５／３倍に拡大する例を示す図である。
【図６】第２の実施の形態における解像度変換装置において、原画像データを５／３倍に拡大する例を示した図である。
【図７】第３の実施の形態における解像度変換装置の解像度変換処理部の構成を示すとともに、協調モードにより拡大画像データが作成される様子を示す図である。
【図８】第３の実施の形態における解像度変換装置における独立モードにより、複数の画像データが作成される様子を示した図である。
【図９】第４の実施の形態における解像度変換装置の構成を示した図である。
【図１０】第４の実施の形態における解像度変換装置が、バイキュービック法による拡大処理を行う例を示した図である。
【図１１】デジタル・カメラに内蔵される従来の画像処理回路の主要部を示す概略図である。
【図１２】ポスト処理を用いて画像データを垂直画素方向に２倍に拡大する従来のＲＰＵの回路構成例を示す概略図である。
【符号の説明】
１０ 撮像素子
１１ アナログ信号処理部
１２ ＲＰＵ
１３ 主メモリ
１４ ＤＭＡコントローラ
２０，２０ａ 空間フィルタ・コアリング処理部
２１ 解像度変換処理部
２１０，２１０ａ，２１０ｂ，２１０ｃ 縦変換制御部
２１１，２３ ラインメモリ
２１２，２１２ａ，２１２ｂ，２１２ｃ 横変換制御部
２２ ＲＰＵ・ＤＭＡチャンネルコントローラ
２４ ３次補間部
３０，３０ａ 原画像データ
４０，１１７ 拡大画像データ
５０ 主画像データ
６０ アフタービュー画像データ
７０ サムネール画像データ
ＣＨ０，ＣＨ１，ＣＨ２ ＤＭＡチャンネル
ＨＲ０，ＨＲ１，ＨＲ２ 横サイズ変換部
ＬＣ０，ＬＣ１，ＬＣ２ 論理回路
ＬＯＦＦ０，ＬＯＦＦ１，ＬＯＦＦ２ オフセット値
ＴＣ０，ＴＣ１，ＴＣ２ 転送制御部
ＴＲＥＮ０，ＴＲＥＮ１，ＴＲＥＮ２ 転送許可信号
ＶＲ０，ＶＲ１，ＶＲ２ 縦サイズ変換部
Ｖｏｕｔ 補間画素データ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a resolution conversion apparatus that changes an image size of an image signal by digital processing.
[0002]
[Prior art]
In general, in imaging devices such as digital video cameras and digital still cameras, light that has passed through an optical system composed of lens groups and prisms is detected by an imaging sensor such as a CCD sensor or a CMOS sensor and photoelectrically converted into an image signal. Is done. The image signal is A / D converted into a digital signal (original image data), and then subjected to various image processing such as pixel interpolation, color space conversion, edge enhancement, and resolution conversion. Thereafter, a liquid crystal display (EVF: Displayed on the electronic viewfinder). The imaging device compresses and encodes image data that has undergone image processing using a method such as JPEG (Joint Photographic Experts Group), Motion JPEG, or MPEG (Moving Picture Experts Group), and then writes it to a memory card such as a non-volatile memory. Or output to an external device such as a personal computer via an interface.
[0003]
In order to change the display magnification of the image displayed on the viewfinder on the EVF, there are a method of physically changing the focal length of the optical system without changing the imaging position and a method of converting the resolution of the image data by digital image processing. is there. As an image enlargement method by digital image processing, an internal division interpolation method (bilinear method) for calculating a weighted average value of a plurality of pixel data of image data, pixel data in an image, and a sinc function (sin (x) / A cubic folding interpolation method (bicubic method) for calculating a folding calculation value with x; x is a variable is known.
[0004]
[Problems to be solved by the invention]
However, the enlargement process for enlarging the image data in real time using hardware has a problem that the hardware configuration is likely to be complex and costly higher than the reduction process for reducing the image data in real time. is there. This problem will be described in detail below with reference to FIGS.
[0005]
FIG. 11 is a schematic diagram showing a main part of a conventional image processing circuit built in a digital camera. The image processing circuit shown in FIG. 11 includes a CCD image pickup device 100, an analog signal processing unit 101, an RPU (real time processing unit) 102, a memory bus 103, a main memory 104, and a CPU (central processing unit) 105. Yes. The RPU 102, the main memory 104, and the CPU 105 are connected to the memory bus 103.
[0006]
The RPU 102 is an integrated circuit having a plurality of functional blocks 107 to 111, specifically, a pixel unit processing unit 107 that processes input image data in units of pixels, and pixel interpolation that performs pixel interpolation processing and gamma correction processing. A gamma processing unit 108, a color space conversion / color suppression processing unit 109 that performs color space conversion processing and color suppression (chroma suppress) processing, and a spatial filter core that performs spatial filtering processing and coring processing The ring processing unit 110 includes a resolution conversion processing unit 111 that reduces the size of input image data within a range of 1.0 to 1/128 times. The function blocks 107 to 111 are connected in multiple stages and can operate independently of each other, execute processing on input data in parallel and pass the execution result to the next function block.
[0007]
The operation of the image processing circuit having the above configuration is as follows. Incident light from the subject passes through an optical system (not shown) such as a lens and is received by the CCD image sensor 100. The CCD image sensor 100 photoelectrically converts incident light, generates an analog image signal, and outputs the analog image signal to the analog signal processing unit 101. The analog signal processing unit 101 sequentially performs CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, and A / D conversion processing on the input analog image signal. The obtained digital image signal (original image data) 200 is output to the RPU 102.
[0008]
The original image data 200 output from the analog signal processing unit 101 can be selectively input to either the pixel unit processing unit 107 or the pixel interpolation / gamma processing unit 108. After the original image data 200 is sequentially processed by the functional blocks 107 to 110, the pixel data 202 output from the spatial filter / coring processing unit 110 is stored in a buffer area on the main memory 104 via the memory bus 103. The main image data 112 is configured by being transferred to and stored in the main image data 112. In many digital still cameras, a main image is generated and a low-resolution thumbnail image for the heading is also generated. The thumbnail images are often helped when editing and organizing the main image. The resolution conversion processing unit 111 outputs pixel data 203 so as to reduce the size of the image data input from the spatial filter / coring processing unit 110, and the pixel data 203 is transmitted to the main memory 104 via the memory bus 103. The thumbnail image data 113 is formed by being transferred and stored in the upper buffer area.
[0009]
Further, in post-processing (post-processing), the pixel data 201 stored in the main memory 104 can be read out and transferred again to the RPU 102 via the memory bus 103 for image processing.
[0010]
The functional blocks 107 to 111 of the RPU 102 execute image processing based on a pixel clock (not shown) supplied from the outside. When the resolution conversion processing unit 111 executes an image size reduction process, the resolution conversion processing unit 111 may output one pixel data during a period in which a plurality of pixel data is input. For example, when the image data is reduced by a factor of 1/2 in the horizontal pixel direction, one pixel data may be output during the input period of two pixel data in each horizontal line. Further, when the image data is reduced by a factor of 1/2 in the vertical pixel direction, the pixel data for one line may be output during the input period of the pixel data for two lines. However, when the image size is enlarged n times (n: an integer of 2 or more), it is necessary to interpolate and output n pixel data during the input period of one pixel data. Therefore, if the resolution conversion processing unit 111 is to be provided with a function for enlarging the size of the image data, a processing speed using a clock faster than the pixel clock that regulates the overall processing speed of the RPU 102 is required. There arises a problem that the circuit configuration becomes complicated and the circuit scale increases. One method for avoiding this problem is post processing.
[0011]
FIG. 12 is a schematic diagram showing a circuit configuration example of the RPU 102 that enlarges the image data twice in the vertical pixel direction by using the post processing. Although not explicitly shown in FIG. 12, the original image data 200 is processed in the functional blocks 107 to 110 of the RPU 102 in sequence, and then becomes main image data 112 in the same manner as the operation of the circuit shown in FIG. The data is transferred to the main memory 104 via the bus 103 and stored. When the partial image data 112 a in the main image data 112 is enlarged, the pixel data 204 of the partial image data 112 a is read from the main memory 104 and transferred to the RPU 102 via the memory bus 103. Next, the pixel data 204 passes through the function blocks 107 to 111 of the RPU 102, and then the pixel data 205 and 206 whose resolution is converted according to the enlargement ratio from the resolution conversion processing unit 111 are respectively “0” of the selector 115. It is output to the side terminal and the line memory (FIFO memory) 118. The resolution conversion processing unit 111 has a function of converting the size of input image data within a range of 2.0 times to 1/128 times. In the case of this example, since the image size is doubled, the resolution conversion processing unit 111 outputs two pieces of pixel data 205 and 206 of two upper and lower lines in one cycle of the pixel clock.
[0012]
The line memory 118 has a capacity for storing pixel data for one horizontal line. The selector 115 selects the pixel data 205 to be input to the “0” terminal while the logic level of the selection signal supplied from the timing controller (not shown) is “0”, and the logic level of the selection signal In the period of “1”, the pixel data 206 input to the “1” terminal is selected and output. The logic level of the selection signal is switched from “0” to “1” or “1” to “0” and output every time pixel data for one horizontal line is output from the resolution conversion processing unit 111. The pixel data is addressed line-sequentially according to the enlargement ratio and transferred to the main memory 104. Note that the supply of the pixel clock to each of the functional blocks 107 to 111 is interrupted while the logic level of the selection signal is “1”. Thereby, in the case of this example, the enlarged image data 117 obtained by enlarging the image size up to twice in the vertical pixel direction can be stored in the buffer area of the main memory 104.
[0013]
However, in the circuit shown in FIG. 12, it is necessary to incorporate one line memory 118 in the RPU 102 in order to enlarge the image size up to twice. In general, when the image size is enlarged n times (n: an integer greater than or equal to 2) in the vertical pixel direction, the resolution conversion processing unit 111 has a resolution conversion function of n times at the maximum and n-1 lines. There is a problem that a memory is required, and this line memory causes an increase in circuit scale and cost.
[0014]
An object of the present invention in view of the above-described problems is to provide a resolution converter with a simple configuration and low cost that can enlarge an image size in high quality in real time.
[0015]
[Means for Solving the Problems]
  In order to solve the above-mentioned problems, the invention of claim 1 is a resolution conversion apparatus for storing in real time a converted image obtained by converting the resolution of an original image expressed by the image signal based on an image signal input in real time. A memory that stores a converted image, an image processing unit that outputs converted pixel data constituting the converted image while performing image processing on the image signal, and converted pixel data output from the image processing unit Data transfer means for storing the converted image on the memory by transferring the image to the memoryAndA resolution conversion unit that generates conversion pixel data obtained by converting the resolution of the image signal in the vertical direction; and the conversion pixel data generated by the resolution conversion unit in the adjacent vertical direction. It is possible to output the converted pixel data side by side at least3 or moreData output means, and the resolution conversion means3 or moreControl means for controlling the data output means, and the resolution conversion means generates at least reduced pixel data constituting a reduced image obtained by reducing the image signal in the vertical direction as converted pixel data.ThreeHave independent reduction means,In the case of generating an enlarged image, the control unit transfers the converted pixel data simultaneously output from the three or more data output units to the memory as pixel data constituting one image, thereby the original image. In the case where the enlarged image obtained by enlarging the image in the vertical direction is stored as a converted image, and the enlarged image is not generated, the control unit is configured as a combination of converted pixel data output simultaneously by the three or more data output units. Combination of pixel data constituting an image and pixel data constituting an after view, or combination of pixel data constituting an image and pixel data constituting a thumbnail, or pixel data constituting an image and after view The combination of the pixel data making up the thumbnail and the pixel data making up the thumbnail Switched by selecting one from theIt is characterized by that.
[0021]
  Also,Claim 2The invention ofClaim 1In the resolution conversion apparatus according to the invention, the image processing unit includes image processing means for performing image processing such as edge enhancement on the image signal with at least three line memories, and the resolution conversion means However, when the converted image data is generated using pixel data for three lines, post processing is performed using the at least three line memories.
[0022]
  Also,Claim 3The invention of claim 1Or 2In the resolution conversion apparatus according to the invention, the data transfer means is a DMA controller having a plurality of DMA (direct memory access) channels for performing transfer control of the converted pixel data output from the image processing unit. It is characterized by being.
[0023]
  Also,Claim 4The present invention is an imaging device that captures an image of a subject as digital image data, receiving an incident light transmitted through an optical system, and generating and outputting an analog image signal by photoelectric conversion, and the analog image signal A signal processing unit for converting to a digital image signal and generating digital image data, and 1 to3The resolution conversion device according to any one ofAndAnd the digital image data generated by the signal processing unit is input to the resolution converter.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
[0025]
<1. First Embodiment>
FIG. 1 is a schematic diagram illustrating a configuration of a main part of the resolution conversion apparatus according to the first embodiment. This resolution conversion apparatus includes an RPU (Real Time Processing Unit) 12 that performs image processing on input image data in real time, a main memory 13 including SDRAM (Synchronous Dynamic Random Access Memory), and a DMA controller 14. And a CPU 15. These RPU 12, main memory 13, DMA controller 14, and CPU 15 are all connected to a memory bus 16.
[0026]
This resolution converter is incorporated in a digital camera. The digital camera includes an optical system (not shown) including a lens group, a CCD image sensor 10 that photoelectrically converts incident light transmitted through the optical system to generate and output an analog image signal, and the CCD image sensor. An analog signal processing unit 11 that sequentially performs CDS processing, AGC processing, and A / D conversion processing on an analog image signal input from 10 to generate a digital image signal (original image data 30) and outputs the digital image signal to the RPU 12. ing.
[0027]
  In FIG. 1, the original image data 30 is transferred from the analog signal processing unit 11 to the RPU.12However, the present invention is not limited to this. For example, the image data stored in the main memory 13 is read out as the original image data 30 in the post-processing, and the memory bus 16 is used. It is also possible to transfer the image data to the RPU 12 and perform image processing.
[0028]
The DMA controller 14 arbitrates a plurality of DMA channels CH0, CH1, CH2,... That control data transfer via the memory bus 16 and an execution order between the DMA channels CH0, CH1, CH2,. And a hardware function for directly transferring data between the RPU 12 and the main memory 13 through the memory bus 16 without using the CPU 15.
[0029]
When receiving a DMA request from the RPU 12, the DMA controller 14 requests the CPU 15 to release the right to use the memory bus 16. When the CPU 15 can release the memory bus 16, it issues a permission signal for using the memory bus 16 to the DMA controller 14. Upon receiving this permission signal, the DMA controller 14 places the memory bus 16 in a high impedance state. In this state, each DMA channel CH0 to CH2 generates an access destination address (write address) on the main memory 13, whereby transfer data output from the logic circuits LC0 to LC2 of the RPU 12 is transferred to the memory bus 16 And transferred to the main memory 13. After the data transfer is completed, the RPU 12 returns the right to use the memory bus 16 to the CPU 15.
[0030]
The RPU 12 is an integrated circuit having a plurality of functional blocks 17, 18, 19, 20, 21, and 22 that perform image processing, and mainly corresponds to an image processing unit in the present invention. Each of the functional blocks 17 to 22 of the RPU 12 can operate independently of each other, and has a pipeline function that can execute processing on input data in parallel and pass the execution result to the next functional block.
[0031]
Further, the RPU 12 makes a DMA request corresponding to the usage right request for each of the DMA channels CH0 to CH2 to the DMA controller 14. Further, when a permission signal for the DMA request is received from the DMA controller 14, the pixel data stored in the logic circuits LC0 to LC2 is output as appropriate.
[0032]
In the present embodiment, a pixel unit processing unit 17, a pixel interpolation / gamma processing unit 18, a color space conversion / color suppression processing unit 19, a spatial filter / coring processing unit 20, a resolution conversion processing unit 21, and an RPU / DMA channel Although the functional block of the controller 22 is shown, it is not limited to these.
[0033]
The outline of the processing contents of each functional block 17 to 22 is as follows. The pixel unit processing unit 17 is a functional block that processes the original image data 30 input from the analog signal processing unit 11 in units of pixels. Specifically, the pixel unit processing unit 17 averages the input original image data 30 over a plurality of frames or fields, and a shading correction process that corrects light and dark unevenness in the image. It can be performed.
[0034]
The pixel interpolation / gamma processing unit 18 is a functional block that performs pixel interpolation processing for interpolating an insufficient color component for each pixel with reference to surrounding pixels and gamma correction processing for correcting gamma characteristics of an image. is there. The single-chip CCD image sensor 10 such as the Bayer method can obtain only a single color component for each pixel, and therefore pixel interpolation processing is performed so that each pixel has a plurality of color components with reference to peripheral pixels of the pixel to be processed. Made. For example, in the primary color single-plate CCD image sensor 10, each pixel has only one of R (red), G (green), and B (blue) color components. Using the color components, interpolation processing is executed so that each pixel has three color components of R, G, and B.
[0035]
The color space conversion / color suppression processing unit 19 executes a color space conversion process for converting the color space of the image, and a color suppression process for suppressing color development in a bright part and a dark part in an image in which white balance is likely to go wrong. It is a functional block. In the color space conversion process, for example, a process of converting a primary color RGB color space into a YCbCr color space or a YUV color space composed of one luminance component and two color difference components is executed.
[0036]
In addition, the spatial filter / coring processing unit 20 performs a functional block that performs spatial filtering processing using a spatial filter (weight mask) and nonlinear processing (coring processing) that mainly suppresses high frequency components of an image signal. It is. In the spatial filtering process, a line memory (not shown) that stores pixel data for five lines is provided, and a space having a coefficient value corresponding to each pixel in a local region of 5 × 5 pixels in the image signal. A product-sum operation is performed in which a filter is applied and each coefficient value is weighted (multiplied) and added to each pixel data. By appropriately setting the coefficient value, it is possible to emphasize lines and edge portions in the image and remove noise.
[0037]
In addition, the resolution conversion processing unit 21 performs a process of converting the resolution of the image signal, that is, a process of reducing the image size to reduce the number of pixels and a process of increasing the image size to increase the number of pixels. Function block.
[0038]
FIG. 2 is a diagram showing the configuration of the resolution conversion processing unit 21 and the RPU / DMA channel controller 22. The resolution conversion processing unit 21 includes a vertical conversion control unit 210, a line memory 211, vertical size conversion units VR0 to VR2, a horizontal conversion control unit 212, and horizontal size conversion units HR0 to HR2.
[0039]
The RPU / DMA channel controller 22 includes logic circuits LC0 to LC2, and each logic circuit LC0 to LC2 includes pixel data from the resolution conversion processing unit 21 (pixel data from the horizontal size conversion units HR0 to HR2). ), And the stored pixel data is output in response to transfer permission signals TREN0 to TREN2 indicating whether or not the stored pixel data is to be output to the main memory 13. That is, the logic circuits LC0 to LC2 mainly correspond to the data output means in the present invention. The transfer permission signals TREN0 to TREN2 are signals represented by the logic level “0” or “1”, and the logic circuits LC0 to LC1 have the logic level “1” as the transfer permission signals TREN0 to TREN2. The stored pixel data is output only when is input.
[0040]
The vertical conversion control unit 210 determines pixel data to be generated at each timing based on the vertical conversion rate α of the original image specified by an operator or the like. Also, each of the vertical size converters VR0 to VR2 calculates weights W0 to W2 necessary for generating the pixel data by using the bilinear method, and signals indicating the weights are transmitted to the vertical size converters VR0 to VR2. The vertical size converters VR0 to VR2 are controlled by outputting the signals respectively. Further, transfer permission signals TREN0 to TREN2 are output to the logic circuits LC0 to LC2 of the RPU / DMA channel controller 22, respectively.
[0041]
The line memory 211 is a FIFO memory that stores the pixel data input from the spatial filter / coring processing unit 20 for one line, and sequentially outputs the stored pixel data to each of the vertical size conversion units VR0 to VR2. That is, since the resolution conversion processing unit 21 includes the line memory 211, two pixel data arranged in the vertical direction in the original image are simultaneously input to the vertical size conversion units VR0 to VR2.
[0042]
The vertical size conversion units VR0 to VR2 are weights W0 to W2 input from the vertical conversion control unit 210, pixel data input from the line memory 211, and pixel data input from the spatial filter / coring processing unit 20, respectively. Based on the above, by using the bilinear method, pixel data for one line is generated and output to the horizontal size conversion units HR0 to HR2.
[0043]
Specifically, when the pixel data input from the line memory 211 is Vin0 and the pixel data input from the spatial filter / coring processing unit 20 is Vin1, the output interpolated pixel data Vout is obtained by Equation 1. It is done.
[0044]
[Expression 1]

[0045]
Each of the vertical size converters VR0 to VR2 outputs pixel data for a maximum of one line, and thus has a function of performing resolution conversion at a maximum of 1 time, and can perform only a reduction process.
[0046]
The horizontal conversion control unit 212 outputs a signal indicating a horizontal conversion rate β (horizontal enlargement / reduction rate) to the horizontal size conversion units HR0 to HR2. Although not shown, the horizontal conversion control unit 212 outputs signals corresponding to the transfer permission signals TREN0 to TREN2 to the logic circuits LC0 to LC2, and the logic circuits LC0 to LC2 When the logic level “0” is input as a signal, the stored pixel data is not output.
[0047]
Each of the horizontal size conversion units HR0 to HR2 converts the interpolated pixel data input from each of the vertical size conversion units VR0 to VR2 in the horizontal direction based on the horizontal conversion rate β, so that the RPU / DMA channel controller 22 The pixel data after the horizontal size conversion is output to each of the logic circuits LC0 to LC2.
[0048]
The above is the configuration and function of the resolution conversion apparatus according to the present embodiment. FIG. 3 is a diagram illustrating a state in which the original image data 30 is converted three times in the vertical direction by the resolution conversion processing unit 21 in the present embodiment.
[0049]
In FIG. 3, the pixel data for one horizontal line of the original image data 30 is the original image OL0, the original image OL1,..., And the pixel data (converted pixel data) for one horizontal line of the enlarged image data 40 is respectively. It is shown as an enlarged image EL0, an enlarged image EL1,. Also, the dotted lines between the original image data 30 and the enlarged image data 40 in FIG. 3 indicate from which original image OL0, original image OL1,... Each enlarged image EL0, enlarged image EL1,. ing. For example, the enlarged image EL5 is generated from the original images OL1 and OL2. Also, image data sets TP1, TP2,... In FIG. 3 indicate pixel data sets transferred to the main memory 13 at the same timing. For example, the enlarged images EL3 to EL5 included in TP2 are transferred to the main memory 13 at the same timing.
[0050]
Further, in order to simplify the explanation, in the example shown in FIG. 3, the horizontal conversion rate β is shown as 1 (equal magnification), but it is of course not limited to this. Hereinafter, the operation of the resolution conversion apparatus will be described with reference to the examples shown in FIGS.
[0051]
First, prior to processing in the resolution conversion processing unit 21, the RPU 12 makes a DMA request to the DMA controller 14. The DMA controller 14 obtains the right to use the memory bus 16 from the CPU 15, and also starts the start addresses SADD 0 to SADD 2 on the main memory 13 when each DMA channel CH 0 to CH 2 transfers pixel data to the main memory 13. Addresses EADD0 to EADD2 and offset values LOFF0 to LOFF2 are acquired (see FIG. 1). Also, DMA channels CH0 to CH2 are assigned to the logic circuits LC0 to LC2, respectively, and in this state, a permission signal is issued to permit data output to the RPU 12.
[0052]
Next, when the original image OL0 is input from the spatial filter / coring processor 20 to the resolution conversion processor 21, the original image OL0 is read into the line memory 211. During this time, the vertical conversion control unit 210 outputs the logical levels of all transfer permission signals as “0”. Therefore, the logic circuits LC0 to LC2 do not output pixel data, and the pixel data is not transferred to the main memory 13.
[0053]
As described above, when the vertical conversion control unit 210 outputs the transfer permission signal to the logic circuits LC0 to LC1, unnecessary pixel data is not output and efficient transfer can be performed.
[0054]
Subsequently, when the original image OL1 is input, the original image OL1 is input and stored in the line memory 211 and is also input to the vertical size conversion units VR0 to VR2. Further, the original image OL0 stored in the line memory 211 is also input to each of the vertical size conversion units VR0 to VR2.
[0055]
Further, the vertical conversion control unit 210 determines lines (enlarged images EL0 to EL2) in the enlarged image data 40 to be generated, and generates interpolation pixel data for generating the lines (enlarged images EL0 to EL2). The size converters VR0 to VR2 are selected.
[0056]
Here, a method of selecting the vertical size conversion units VR0 to VR2 based on the pixel data generated by the vertical conversion control unit 210 will be described. In the resolution conversion apparatus, regardless of the designated vertical conversion rate α, the output DMA channel is fixed in advance for each line data in the horizontal direction of the enlarged image data 40 (details will be described later, but each DMA data will be described later). This is to fix the offset value used by the channels CH0 to CH2 to a predetermined value.) That is, the DMA channels for transferring the enlarged images EL0, EL1, EL2, EL3, EL4,... Are cyclically fixed in advance as CH0, CH1, CH2, CH0, CH1,. Accordingly, for example, the enlarged images EL0, EL3, EL6,... Are always output from the DMA channel CH0.
[0057]
The vertical conversion control unit 210, based on the original image data 30 (for example, the original image OL1) and the vertical conversion rate α input to the resolution conversion processing unit 21 at a certain timing, (In the example, the enlarged images EL0 to EL2) are determined, and DMA channels CH0 to CH2 predetermined for each line are selected. For example, for the enlarged image EL2, the DMA channel CH2 is selected from the above-described fixed state.
[0058]
If the DMA channel is selected, it is determined which of the vertical size converters VR0 to VR2 generates the pixel data. For example, the pixel data transferred by the DMA channel CH2 is generated based on the interpolated pixel data generated by the vertical size converter VR2.
[0059]
As described above, the output DMA channel is cyclically fixed in advance for each line data of the enlarged image data 40 to be generated, so that the vertical size conversion units VR0 to VR2 are selected in the vertical conversion control unit 210. It can be done easily.
[0060]
Returning to the description of the operation, when the enlarged images EL0 to EL2 to be generated and the vertical size converters VR0 to VR2 for generating the interpolation pixel data for generating the enlarged images EL0 to EL2 are selected, the vertical conversion control unit 210 respectively The vertical size converters VR0 to VR2 calculate the weights W0 to W2 used when executing Formula 1, and output the weights to the vertical size converters VR0 to VR2.
[0061]
Each of the vertical size converters VR0 to VR2 performs the calculation shown in Equation 1 based on each input value (original image OL0, original image OL1, and weight W). As a result, the interpolated pixel data that becomes the enlarged image EL0 is generated by the vertical size converter VR0, the interpolated pixel data that becomes the enlarged image EL1 by the vertical size converter VR1, and the interpolated pixel data that becomes the enlarged image EL2 by the vertical size converter VR2. And output to each horizontal size converter HR0 to HR2.
[0062]
Next, the interpolated pixel data generated in each of the vertical size conversion units VR0 to VR2 is subjected to horizontal size conversion by the horizontal size conversion units HR0 to HR2 based on the horizontal conversion rate β input from the horizontal conversion control unit 212. The converted pixel data is converted and output to the logic circuits LC0 to LC2 and stored in the FIFO memory circuits (not shown) of the logic circuits LC0 to LC2.
[0063]
The vertical conversion control unit 210 sets the logical level “1” to each transfer permission signal TREN0 to TREN2 in order to transfer the generated enlarged images EL0 to EL2 to the main memory 13 as the enlarged image data 40. Each of the logic circuits LC0 to LC2 outputs the stored enlarged images EL0 to EL2 based on each transfer permission signal from the vertical conversion control unit 210.
[0064]
Each DMA channel CH0 to CH2 sequentially generates a write address on the main memory 13 in line units while referring to the start address SADD0 to SADD2 and the end address EADD0 to EADD2, and based on the write address, The enlarged images EL0 to EL2 output from the logic circuits LC0 to LC2 are transferred to the main memory 13. In addition, when the transfer of pixel data for one line is finished, each DMA channel CH0 to CH2 adds the offset values LOFF0 to LOFF2 to the address at the time when the transfer of the pixel data is finished, thereby the next pixel data. Start addresses SADD0 to SADD2 are generated when the transfer is started.
[0065]
This process will be described by taking an example in which the enlarged images EL0 and EL3 are transferred by the DMA channel CH0. The enlarged images EL0 and EL3 are not continuous data in the enlarged image data 40. Therefore, the DMA channel CH0 that has completed the transfer of the enlarged image EL0 cannot continuously use the address at the time when the transfer of the enlarged image EL0 is completed as the start address SADD0 of the next enlarged image EL3 to be transferred (the address concerned). The enlarged image EL1 transferred by the DMA channel CH1 is written in ().
[0066]
Therefore, the DMA channel CH0 performs an offset jump by adding the offset value LOFF0 as described above, and sets the start address SADD0 so that the enlarged image EL3 to be transferred next is transferred to an address continuous with the enlarged image EL2. Need to convert.
[0067]
Here, in the resolution conversion apparatus according to the present embodiment, each of the offset values LOFF0 to LOFF2 is fixed (designated) to a predetermined value (offset value for two lines). As a result, each DMA channel CH0 to CH2 writes the pixel data transferred by the other two DMA channels by performing an offset jump for two lines each time pixel data for one line is transferred. It is possible to jump over the existing address and transfer the pixel data to be transferred next to an appropriate address. If each offset value LOFF0 to LOFF2 is fixed to an offset value for two lines, each DMA channel CH0 to CH2 must transfer pixel data for every three line data of the enlarged image data 40. Therefore, as described above, it is necessary to determine in advance a DMA channel to be transferred for each line data of the enlarged image data 40.
[0068]
In this way, the resolution conversion apparatus calculates and specifies each offset value LOFF0 to LOFF2 at each timing, for example, by fixing each offset value LOFF0 to LOFF2 to a predetermined value (offset value for two lines). There is no need to rework and control can be facilitated.
[0069]
Thereafter, similarly, every time pixel data for one line of the original image data 30 is input, pixel data for three lines of the enlarged image data 40 are respectively generated and transferred to the main memory 13. The resolution conversion apparatus can perform a process of enlarging the original image three times.
[0070]
In this way, by using a plurality (three in this embodiment) of vertical size converters VR0 to VR2 each having only a reduction function in the vertical direction, interpolated pixel data for a plurality of lines is generated simultaneously in the vertical direction. can do. Accordingly, since the enlarged image data 40 enlarged in the vertical direction can be generated by a circuit that executes a reduction process that is easy to implement as hardware, a resolution converter with a simple configuration and low cost can be realized. .
[0071]
4 and 5 are diagrams illustrating examples in which the resolution conversion processing unit 21 enlarges the original image data 30 to 2.5 times and 5/3 times, respectively.
[0072]
In FIG. 4, when the original image OL1 is input, enlarged images EL0 to EL2 are respectively generated as in the example shown in FIG. 3, and transferred to the main memory 13 through the respective DMA channels CH0 to CH2.
[0073]
However, when the original image OL2 is input, the pixel data to be generated is the enlarged images EL3 and EL4. Therefore, the vertical conversion control unit 210 calculates only the weights W0 and W1 and performs vertical size conversion respectively. In addition to outputting to the parts VR0 and VR1, only the transfer permission signals TREN0 and TREN1 are set to the logic level “1”, and the transfer permission signal TREN2 is set to the logic level “0”. Therefore, the logic circuit LC2 does not make a DMA request, and only the pixel data (enlarged images EL3 and EL4) stored in the logic circuits LC0 and LC1 are transferred to the main memory 13.
[0074]
Next, when the original image OL3 is input, the enlarged image EL5 is obtained by the vertical size converter VR2 and the horizontal size converter HR2, and the enlarged image EL6 is obtained by the vertical size converter VR0 and the horizontal size converter HR0. The enlarged image EL7 is generated by the VR1 and the horizontal size conversion unit HR1, respectively, and the vertical conversion control unit 210 sets “1” to the logical level of the transfer permission signals TREN0 to TREN2, so that each DMA channel CH0 to CH2 uses the main memory. 13 is transferred.
[0075]
Thereafter, the processing is repeated in the same manner, and each time two lines of pixel data of the original image data 30 are input, five lines of pixel data of the enlarged image data 40 are generated and transferred to the main memory 13. As a result, the resolution conversion apparatus can perform processing for enlarging the original image by a factor of 2.5.
[0076]
In FIG. 5, when the original image OL1 is input, enlarged images EL0 and EL1 are generated. Therefore, the vertical conversion control unit 210 sets the logical level “1” only to the transfer permission signals TREN0 and TREN1, and sets the logical level “0” to the transfer permission signal TREN2, so that the enlarged images EL0 and EL1 are the main ones. It is transferred to the memory 13.
[0077]
Next, when the original image OL2 is input, enlarged images EL2 and EL3 are generated, and the vertical conversion control unit 210 sets the logical level “1” only to the transfer permission signals TREN2 and TREN0, and sets the transfer permission signal TREN1. Sets the logic level “0”, whereby the enlarged images EL 2 and EL 3 are transferred to the main memory 13.
[0078]
Further, when the original image OL3 is input, an enlarged image EL4 is generated, and the vertical conversion control unit 210 sets a logical level “1” only to the transfer permission signal TREN1, and the transfer permission signals TREN0 and TREN2 have a logic level. By setting “0”, the enlarged image EL4 is transferred to the main memory 13.
[0079]
Thereafter, the processing is repeated in the same manner, and each time pixel data for three lines of original image data 30 is input, pixel data for five lines of enlarged image data 40 is generated and transferred to the main memory 13. Thus, the resolution conversion apparatus can perform a process of enlarging the original image 5/3 times.
[0080]
As described above, in the digital camera incorporating the resolution conversion apparatus according to this embodiment, the resolution conversion processing unit 21 generates converted pixel data obtained by converting the resolution of the image signal in the vertical direction, and the DMA controller 14 performs the logic of the RPU 12. By transferring the converted pixel data simultaneously output from the circuits LC0 to LC2 to the main memory 13 as one image data, each of the logic circuits LC0 to LC2 outputs a maximum of one line or less with respect to one input line. Therefore, it is possible to process without using a line memory that temporarily stores the enlarged pixel data. Therefore, it is possible to simultaneously execute data transfer of a high-speed and large-capacity image signal and real-time image size enlargement processing, and realize a resolution converter with a simple configuration and low cost.
[0081]
In this case, the interpolated pixel data output from the vertical size conversion units VR0 to VR2 is calculated based on the weight from the vertical conversion control unit 210 (bilinear method), and is simply pixel data copied in the vertical direction. Therefore, it is possible to generate a high-quality enlarged image (a reduction in the smoothness of the image is suppressed) compared to a case where an enlarged image is generated.
[0082]
Further, by using a plurality of circuits (vertical size conversion units VR0 to VR2) for performing reduction processing, the enlarged image data 40 enlarged in the vertical direction is generated, thereby further reducing the resolution with a simple configuration and low cost. Can be realized.
[0083]
Note that the vertical conversion rate α of the original image data 30 by the resolution conversion processing unit 21 is not limited to that shown in FIGS. 3 to 5 and can be arbitrarily enlarged up to three times. In this embodiment, the example in which the image data from the analog signal processing unit 11 is input to the resolution conversion apparatus as original image data has been described. However, the original image data to be input to the resolution conversion apparatus is limited to this. It is not a thing. For example, it is possible to input image data stored in the main memory 13 as original image data. The same applies to other embodiments below.
[0084]
<2. Second Embodiment>
In the resolution conversion apparatus according to the first embodiment, the offset values LOFF0 to LOFF2 referred to by each DMA channel are fixed to the offset values for two lines regardless of the designated vertical conversion rate α. It is not limited to a simple method.
[0085]
For example, the DMA controller 14 may have a function of controlling the offset jumps of the DMA channels CH0 and CH2 by calculating and changing the offset values LOFF0 and LOFF2 at each timing.
[0086]
FIG. 6 is a diagram showing an example in which the original image data 30 is enlarged 5/3 times in the resolution conversion apparatus according to the second embodiment configured based on such a principle. The resolution conversion apparatus according to the present embodiment sequentially selects DMA channels sequentially from the DMA channel CH0 according to the number of line data of the enlarged image data 40 output simultaneously.
[0087]
As shown in FIG. 6, when the line data of the enlarged image data 40 is transferred two by two, the pixel data transferred by each of the DMA channels CH0 and CH1 needs to be written alternately on the main memory 13. Therefore, the DMA controller 14 sets the offset values LOFF0 and LOFF1 so that each DMA channel CH0 and CH1 performs an offset jump for one line.
[0088]
When only one line is transferred as in the case where the enlarged image EL4 shown in FIG. 6 is transferred, the DMA channel CH0 enlarges the next transfer to an address continuous to the enlarged image EL4 transferred by itself. The image EL5 needs to be transferred. Further, SADD1 of the DMA channel CH1 has an address to which the enlarged image EL5 is to be transferred when the transfer of the enlarged image EL3 is completed. Therefore, it is necessary to further perform an offset jump for one line.
[0089]
Therefore, when only one line is transferred, the DMA controller 14 changes the offset value LOFF0 to 0 and the offset value LOFF1 to an offset value for one line.
[0090]
As described above, also in the resolution conversion apparatus according to the present embodiment, various effects similar to those of the first embodiment can be obtained by changing the offset value for each piece of data to be processed. In addition, since the DMA channel can be freely selected at each timing of outputting each line data of the enlarged image data 40, flexible control can be performed compared to the case of fixing as in the first embodiment. It can be carried out. The calculation of the offset values LOFF0 to LOFF2 at each timing may be performed by the CPU 15 and transferred to the DMA controller 14, or may be performed by the DMA channels CH0 to CH2.
[0091]
<3. Third Embodiment>
In the resolution conversion apparatus according to the above embodiment, the vertical conversion control unit 210 controls the vertical size conversion units VR0 to VR2 all at once, but the present invention is not limited to such a configuration. For example, a configuration for controlling each of the vertical size converters VR0 to VR2 is individually provided, and each of them cooperates to create one image data in cooperation with each other, and operates independently to create a plurality of image data. You may make it switch between independent modes.
[0092]
FIG. 7 is a diagram illustrating a configuration of the resolution conversion processing unit 21 of the resolution conversion apparatus according to the present embodiment configured based on such a principle, and a state in which the enlarged image data 40 is created in the cooperative mode. . In addition, about the structure substantially the same as the said embodiment, the same code | symbol is used suitably.
[0093]
The resolution conversion processing unit 21 in the present embodiment includes vertical conversion control units 210a to 210c, horizontal conversion control units 212a to 212c, and transfer control units TC0 to TC2.
[0094]
Each vertical conversion control unit 210a to 210c calculates and controls the weights W0 to W2 used by the vertical size conversion units VR0 to VR2, respectively, and transfers pixel data to the transfer control units TC0 to TC2, respectively. A signal indicating whether or not is output. The signal is a signal represented by a logical level “0” or “1”, and the vertical conversion control units 210a to 210c generate pixel data in the vertical size conversion units VR0 to VR2. In this case, the logic level “1” is set to the signal and output. In other cases, the logic level “0” is set and output. That is, the signal is determined and switched on a line basis.
[0095]
Each vertical conversion control unit 210a to 210c is input with a selection signal (not shown) for performing the process in the cooperative mode or the process in the independent mode. Switch between mode and independent mode. That is, the vertical conversion control units 210a to 210c also have a function corresponding to the selector in the present invention.
[0096]
Whether the horizontal conversion control units 212a to 212c output the horizontal conversion rates β0 to β2 to the horizontal size conversion units HR0 to HR2, respectively, and transfer pixel data to the transfer control units TC0 to TC2, respectively. A signal indicating whether or not is output. Note that the signal is a signal represented by a logic level “0” or “1”, and the horizontal conversion control units 212a to 212c generate pixel data in the horizontal size conversion units HR0 to HR2. In this case, the logic level “1” is set and output for the signal, and when the pixel data is thinned out in the reduction process, the logic level “0” is set and output. That is, the signal is determined and switched on a pixel basis.
[0097]
The transfer control units TC0 to TC2 receive signals instructing transfer of pixel data from the vertical conversion control units 210a to 210c and the horizontal conversion control units 212a to 212c, respectively, and transfer transfer signals TREN0 to TREN0 to the logic circuits LC0 to LC2. Output TREN2. The transfer control units TC0 to TC2 transfer the transfer permission signal TREN0 only when the signals input from the vertical conversion control units 210a to 210c and the horizontal conversion control units 212a to 212c are all set to the logic level "1". Or, the logic level “1” is set to TREN2 and output. That is, when the logic level “0” is set to one of the signals from the vertical conversion control unit 210a and the horizontal conversion control unit 212a, the transfer control unit TC0 sets the logical level to the transfer permission signal TREN0. “0” is set and output to the logic circuit LC0.
[0098]
  Each vertical conversion control unit 210a to 210c is input with a selection signal (not shown) for performing the process in the cooperative mode or the process in the independent mode. Switch between mode and independent mode.
[0099]
Also in the resolution conversion apparatus having the above configuration, as shown in FIG. 7, processing similar to that in the above-described embodiment can be executed by executing processing in the cooperative mode. Image data 40 can be generated.
[0100]
FIG. 8 is a diagram showing a state in which a plurality of image data is created by the independent mode in the resolution conversion apparatus according to the present embodiment. When the independent mode is selected, the resolution conversion apparatus according to the present embodiment does not treat pixel data transferred by each of the DMA channels CH0 to CH2 as the same image data, but transfers them to different addresses on the main memory 13, respectively. By doing so, it generates as separate image data. Here, a case where the main image data 50, the after-view image data 60, and the thumbnail image data 70 are generated in the independent mode will be described. However, the main image data 50 and the after-view image data 60 or the main image data 50 A combination of thumbnail image data 70 may be selected.
[0101]
If the vertical conversion rate α0 and the horizontal conversion rate β0 necessary for generating the main image data 50 are input to the vertical conversion control unit 210a and the horizontal conversion control unit 212a, the vertical size conversion unit VR0 and the horizontal size conversion unit, respectively. The line data of the main image data 50 is sequentially generated by HR0 and stored in the logic circuit LC0.
[0102]
Further, if the vertical conversion rate α1 and the horizontal conversion rate β1 necessary for generating the after-view image data 60 are input to the vertical conversion control unit 210b and the horizontal conversion control unit 212b, respectively, the vertical size conversion unit VR1 and the horizontal conversion control unit The line data of the after-view image data 60 is sequentially generated by the size conversion unit HR1 and stored in the logic circuit LC1.
[0103]
Similarly, if the vertical conversion rate α2 and the horizontal conversion rate β2 necessary for generating the thumbnail image data 70 are input to the vertical conversion control unit 210c and the horizontal conversion control unit 212c, respectively, the vertical size conversion unit VR2 and the horizontal conversion control unit The line data of the thumbnail image data 70 is sequentially generated by the size conversion unit HR2 and stored in the logic circuit LC2.
[0104]
When the resolution conversion apparatus according to the present embodiment operates in the independent mode, since there is one DMA channel assigned to each vertical size conversion unit VR0 or VR2, pixel data of one line or more is output simultaneously. Therefore, the vertical conversion rates α0 to α1 must all be 1 or less.
[0105]
Next, each of the logic circuits LC0 to LC2 outputs pixel data in response to the transfer permission signals TREN0 to TREN2 from the transfer control units TC0 to TC2, and each of the DMA channels CH0 to CH2 has the pixel data on the main memory 13. Forward. Each of the DMA channels CH0 to CH2 does not perform an offset jump even when the transfer of pixel data for one line is completed, and transfers pixel data to be output next to consecutive addresses on the main memory 13.
[0106]
In this way, the main image data 50, the after-view image data 60, and the thumbnail image data 70 are created by the pixel data transferred through the DMA channels CH0 to CH2, respectively.
[0107]
As described above, also in the resolution conversion apparatus according to the third embodiment, by selecting the cooperative mode, it is possible to obtain the enlarged image data 40 enlarged up to three times as in the above-described embodiment. The effect of can be obtained. In addition, a configuration for controlling each of the vertical size converters VR0 to VR2 and each of the horizontal size converters HR0 to HR2 is individually provided, and the resolution is converted according to the purpose, for example, by operating them independently. A plurality of image data can be created without providing a separate configuration.
[0108]
<4. Fourth Embodiment>
In the resolution conversion apparatus in the above embodiment, the original image has been described as being enlarged by the bilinear method. However, as described above, the bicubic method is also known as a method for enlarging the image, and this can also be used. .
[0109]
FIG. 9 is a diagram showing a configuration of a resolution conversion apparatus according to the fourth embodiment configured based on such a principle.
[0110]
The spatial filter / coring processing unit 20a of the resolution conversion apparatus according to the present embodiment is different from the above-described embodiment in that a cubic interpolation unit 24 is provided. Although not shown in the resolution conversion apparatus in the above embodiment, the spatial filter / coring processing unit 20a is similar to the spatial filter / coring processing unit 20 in the above embodiment in the image signal. In order to perform spatial filtering processing on an area of about 5 × 5 pixels, five line memories 23 that can store pixel data for one line are provided (three lines are shown in FIG. 9). .
[0111]
The tertiary interpolation unit 24 uses the bicubic method based on the pixel data temporarily stored in the line memory 23 to enlarge the original image data 30 input to the spatial filter / coring processing unit 20a, and The data is output to the conversion processing unit 21.
[0112]
Here, the well-known method executed by the cubic interpolation unit 24 and the 4 × 4 bicubic method will be briefly described. First, a weight W3 for a pixel whose distance D to the pixel of interest is less than 1, and a distance The weights W4 for the pixels with D less than 2 are obtained by Equation 2 and Equation 3, respectively. The weight for a pixel having a distance D of 2 or more is 0.
[0113]
[Expression 2]

[0114]
[Equation 3]

[0115]
Next, interpolation is performed by weighting the pixel values of 16 pixels adjacent to the target pixel using the obtained weights W3 and W4, respectively. That is, in order to perform the 4 × 4 bicubic method, it is necessary to store pixel data for three lines. A magnified image that has been magnified by the bicubic method can be reduced in smoothness compared to a magnified image that has been magnified by the bilinear method, resulting in a high-quality image.
[0116]
The operation of the resolution conversion apparatus in this embodiment will be described. As shown in FIG. 9, when the original image data 30 is input from the analog signal processing unit 11, the spatial filter / coring processing unit 20a uses the line memory 23 to perform the spatial filtering process. The enlargement process by the bicubic method cannot be performed. Therefore, when enlargement processing is performed on the original image data 30 in real time, enlargement processing by the bilinear method is performed by the resolution conversion processing unit 21 as in the above embodiment.
[0117]
FIG. 10 is a diagram illustrating an example in which the resolution conversion apparatus according to the present embodiment performs enlargement processing by the bicubic method.
[0118]
In the resolution conversion apparatus according to the present embodiment, when enlargement processing by the bicubic method is selected, original image data 30 stored in the main memory 13 is input to the spatial filter / coring processing unit 20a. In this case, a part of the original image data 30 (original image data 30a) may be selected as in the example shown here.
[0119]
The tertiary interpolation unit 24 generates enlarged image data 40 a obtained by enlarging the original image data 30 a by the above-described bicubic method while using the line memory 23, and outputs it to the resolution conversion processing unit 21.
[0120]
The resolution conversion processing unit 21 performs the same process as the process performed on the original image data 30 in the above-described embodiment on the input enlarged image data 40a, and transfers it to the main memory 13.
[0121]
In the example shown in FIG. 10, the line data of the main image data 50 is generated from the line data of the enlarged image data 40a by the vertical size conversion unit VR0 and the horizontal size conversion unit HR0 and transferred to the main memory 13 by the DMA channel CH0. As a result, the main image data 50 in which the original image data 30a is enlarged by the bicubic method is created on the main memory 13.
[0122]
Further, the line data of the after-view image data 60 is generated from the line data of the enlarged image data 40a by the vertical size conversion unit VR1 and the horizontal size conversion unit HR1, respectively, and transferred to the main memory 13 by the DMA channel CH1. After-view image data 60 is created on the memory 13.
[0123]
Further, the line data of the thumbnail image data 70 is generated from the line data of the enlarged image data 40a by the vertical size conversion unit VR2 and the horizontal size conversion unit HR2, respectively, and transferred to the main memory 13 by the DMA channel CH2, whereby the main memory Thumbnail image data 70 is created on 13.
[0124]
As described above, also in the resolution conversion apparatus according to the fourth embodiment, enlargement processing by the bilinear method can be performed, and thus various effects can be obtained as in the above embodiment.
[0125]
Moreover, since enlargement processing by the bicubic method in post processing can be performed, higher-quality enlarged image data 40 can be generated.
[0126]
In addition, the frequency of performing the enlargement process by the bicubic method is very low, and when a dedicated circuit for performing the enlargement process is provided, in most cases, a wasteful circuit operates and power consumption increases. In the resolution conversion apparatus according to the present embodiment, it is possible to realize a resolution converter with a simple configuration and a low cost by using the line memory 23 that is normally used for the enlargement process by the bicubic method. it can.
[0127]
In the example illustrated in FIG. 10, the resolution conversion processing unit 21 performs the processing in the independent mode in the third embodiment, but the processing performed in the resolution conversion processing unit 21 is limited to this. is not.
[0128]
<5. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
[0129]
For example, in the above embodiment, the resolution of the image data is expanded up to three times in the vertical direction using the three DMA channels CH0 to CH2. However, the present invention is not limited to this, and n DMA channels are used. CH0, CH1,..., CHn (n: integer greater than or equal to 2) can be used to increase the resolution of the image data up to n times in the vertical pixel direction. In such a case, each of n vertical size conversion units, horizontal size conversion units, and logic circuits may be provided, and DMA channels CH0,..., CHn may be allocated to data transfer with the main memory 13, respectively.
[0130]
Further, the number of image data created in the independent mode is not limited to three. For example, DMA channel CH2 may generate thumbnail image data 70 while DMA channels CH0 and CH1 cooperate to generate enlarged image data 40 obtained by magnifying original image data 30 twice.
[0131]
【The invention's effect】
  As described above, claims 1 to 3 of the present invention.4According to the resolution conversion device according to the invention, at least the conversion pixel data arranged in the adjacent vertical direction among the conversion pixel data generated by the resolution conversion means can be simultaneously output.3 or moreData output means, and the resolution conversion means generates at least reduced pixel data constituting the reduced image obtained by reducing the image signal in the vertical direction as converted pixel data.ThreeHave independent reduction means,When generating an enlarged image, the control means enlarges the original image in the vertical direction by transferring the converted pixel data simultaneously output from three or more data output means to the memory as pixel data constituting one image. When the enlarged image is stored as a converted image and no enlarged image is generated, the control means, as a combination of converted pixel data simultaneously output by three or more data output means, and the pixel data constituting the main image Combination of pixel data constituting the after view, or pixel data constituting the main image and pixel data constituting the thumbnail, or pixel data constituting the main image, pixel data constituting the after view and thumbnail Select one of the pixel data combinations that make up and switch Therefore, it is possible to create the image data of resolution corresponding to the purpose in real time.
[0137]
  Claim 2According to the present invention, when the resolution conversion means generates converted image data using pixel data of three lines, post processing is performed using at least three line memories. By sharing the processing, it is possible to realize a resolution converter with a simple configuration and low cost.
[0138]
  Claim 3Since the data transfer means is a DMA controller having a plurality of DMA channels for performing transfer control of the converted pixel data output from the image processing unit, data transfer from the image processing unit to the memory, image enlargement processing, Can be executed efficiently in real time.
[0139]
  Claim 4With the digital camera according to the above, it is possible to enlarge the image size in real time and store it in the memory without temporarily storing the captured image signal in the memory.
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating a configuration of a main part of a resolution conversion apparatus according to a first embodiment.
FIG. 2 is a diagram illustrating a configuration of a resolution conversion processing unit and an RPU / DMA channel controller.
FIG. 3 is a diagram illustrating an example in which the resolution conversion apparatus according to the first embodiment enlarges original image data three times.
FIG. 4 is a diagram illustrating an example in which the resolution conversion apparatus according to the first embodiment enlarges original image data by a factor of 2.5.
FIG. 5 is a diagram illustrating an example in which the resolution conversion apparatus according to the first embodiment enlarges original image data by 5/3 times.
FIG. 6 is a diagram showing an example of enlarging original image data by 5/3 times in the resolution conversion apparatus according to the second embodiment.
FIG. 7 is a diagram illustrating a configuration of a resolution conversion processing unit of a resolution conversion apparatus according to a third embodiment and a state in which enlarged image data is created in a cooperative mode.
FIG. 8 is a diagram showing a state in which a plurality of image data is created by an independent mode in the resolution conversion apparatus according to the third embodiment.
FIG. 9 is a diagram illustrating a configuration of a resolution conversion apparatus according to a fourth embodiment.
FIG. 10 is a diagram illustrating an example in which a resolution conversion apparatus according to a fourth embodiment performs enlargement processing by a bicubic method.
FIG. 11 is a schematic diagram showing a main part of a conventional image processing circuit built in a digital camera.
FIG. 12 is a schematic diagram showing an example of a circuit configuration of a conventional RPU that enlarges image data twice in the vertical pixel direction using post processing.
[Explanation of symbols]
10 Image sensor
11 Analog signal processor
12 RPU
13 Main memory
14 DMA controller
20, 20a Spatial filter and coring processing unit
21 Resolution conversion processor
210, 210a, 210b, 210c Vertical conversion control unit
211, 23 line memory
212, 212a, 212b, 212c Horizontal conversion control unit
22 RPU / DMA channel controller
24 cubic interpolation unit
30, 30a Original image data
40,117 Enlarged image data
50 Main image data
60 After-view image data
70 Thumbnail image data
CH0, CH1, CH2 DMA channels
HR0, HR1, HR2 horizontal size converter
LC0, LC1, LC2 logic circuit
LOFF0, LOFF1, LOFF2 offset value
TC0, TC1, TC2 Transfer control unit
TREN0, TREN1, TREN2 Transfer enable signal
VR0, VR1, VR2 vertical size converter
Vout interpolation pixel data

Claims (4)

A resolution conversion device that stores in real time a converted image obtained by converting the resolution of an original image represented by the image signal based on an image signal input in real time,
A memory for storing the converted image;
An image processing unit that outputs converted pixel data constituting a converted image while performing image processing on the image signal;
Data transfer means for storing the converted image on the memory by transferring the converted pixel data output from the image processing unit to the memory;
With
The image processing unit
Resolution conversion means for generating converted pixel data obtained by converting the resolution of the image signal in the vertical direction;
Among the converted pixel data generated by the resolution converting means, at least three or more data output means capable of simultaneously outputting the converted pixel data arranged in the adjacent vertical direction;
Control means for controlling the resolution conversion means and the three or more data output means;
Have
The resolution conversion means includes at least three independent reduction means for generating reduced pixel data constituting a reduced image obtained by reducing the image signal in the vertical direction as converted pixel data;
When generating an enlarged image,
The control means transfers the converted pixel data output simultaneously from the three or more data output means to the memory as pixel data constituting one image, thereby enlarging the original image in the vertical direction. Is stored as a converted image,
On the other hand, when the enlarged image is not generated,
The control means constitutes a combination of pixel data constituting the main image and pixel data constituting the after view, or a main image as a combination of converted pixel data output simultaneously by the three or more data output means. Select and switch one of a combination of pixel data and pixel data constituting a thumbnail, or a combination of pixel data constituting an image, pixel data constituting an after view, and pixel data constituting a thumbnail. A resolution converter characterized by the above. The resolution conversion apparatus according to claim 1,
The image processing unit
Image processing means for performing image processing such as contour enhancement on the image signal with at least three line memories;
When the resolution conversion unit generates the converted image data using pixel data for three lines , the resolution conversion apparatus performs post processing using the at least three line memories. . The resolution conversion apparatus according to claim 1 or 2,
The resolution conversion apparatus , wherein the data transfer means is a DMA controller having a plurality of DMA (direct memory access) channels for performing transfer control of the converted pixel data output from the image processing unit . An imaging device that captures an image of a subject as digital image data,
An image sensor that receives incident light transmitted through the optical system, generates an analog image signal by photoelectric conversion, and
A signal processing unit that converts the analog image signal into a digital image signal to generate digital image data;
A resolution conversion device according to any one of claims 1 to 3,
With
An imaging apparatus, wherein the digital image data generated by the signal processing unit is input to the resolution conversion apparatus .

Images