JP6723113B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関する。

近年、撮像素子の多画素化や動画像の高フレームレート化などに伴って単位秒あたりのデータ量が増大し、撮像素子から出力される画像データを処理する画像処理回路の処理負荷が増大している。撮像素子から出力される画像データには、被写体像が結像する有効領域の画素信号に加えて、有効領域の周辺に配置された、常に遮光された複数列及び複数行の光学的黒領域（オプティカルブラック：ＯＢ）の画素信号が含まれる。画像処理回路は、ＯＢ領域の画素信号を用いて、有効領域の画素信号に乗ったノイズ成分を低減するための補正処理を行ったうえで、有効領域の画像信号に対し他の所定の画像処理を施す。

撮像素子のデータ量の増大によって１つの画像処理回路では処理しきれなくなる場合があるため、複数の画像処理回路を用いることによって各画像処理回路の処理負荷を軽減するための構成が提案されている（特許文献１）。特許文献１は、撮像部から出力される画像データを２つの画像処理回路（撮像処理部）に入力して分担する画像領域を抽出し、抽出したＯＢ領域及び有効領域の信号を用いて補正処理を行う技術を開示している。

特開２０１５−５３６４５号公報

しかしながら、特許文献１に開示された技術は、２つの撮像処理部に対し、撮像部から出力される画像データの全体を一旦それぞれの撮像処理部に入力し、それぞれの撮像処理部で処理対象の領域を抽出して処理を行う。このため、各撮像処理部に対して大容量の動画データを高速に入力するための構成が必要となり低コスト化が困難である。加えて、特許文献１の構成では、各撮像処理部は画像全体を入力しながら処理しなければならず、処理負荷の低減や処理の高速化が十分に行えない場合がある。

本発明は、上述の問題点に鑑みてなされたものである。すなわち、複数の画像処理回路を用いる場合に、各画像処理回路の処理負荷を軽減し高速に画像データを処理することが可能な画像処理装置を提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、垂直遮光領域と遮光されていない有効領域とを含む撮像素子を有する撮像手段と、撮像手段と接続された第１の画像処理回路と、第１の画像処理回路と接続された第２の画像処理回路とを備え、第１の画像処理回路は画像データを撮像手段から受信し、撮像手段から受信した画像データの１フレームの有効領域の一部である第１の領域の画像データに対して、１フレームの垂直遮光領域の画像データを用いて所定の画像処理を施し、第１の画像処理回路は、１フレームの有効領域のうち、第１の領域とは少なくとも一部が異なり、かつ、垂直遮光領域と連続した一部を第２の領域として設定し、垂直遮光領域の画像データと、所定の画像処理が施されていない未処理の第２の領域の画像データとを、連続して第２の画像処理回路に送信し、第２の画像処理回路は、第１の画像処理回路から送信された、１フレームの垂直遮光領域の画像データと未処理の第２の領域の画像データとを受信し、受信した垂直遮光領域の画像データを用いて、受信した第２の領域の画像データに所定の画像処理を施すことを特徴とする。

本発明によれば、複数の画像処理回路を用いる場合に、各画像処理回路の処理負荷を軽減し高速に画像データを処理することができる。

第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。 第１の実施形態に係る画像処理回路の機能構成例を説明するためのブロック図である。 第１の実施形態に係る画像データの転送タイミングの例を模式的に示す図である。 第１の実施形態に係る各画像処理回路で処理される画像を説明するための図である。 第１の実施形態とは異なる画像データの転送タイミングの例を模式的に示す図である。 第１の実施形態に係る更なる画像データの転送タイミングの例を模式的に示す図である。 第２の実施形態に係る画像処理回路の機能構成例を説明するためのブロック図である。 第２の実施形態に係る画像データの転送タイミングの例を模式的に示す図である。 第１及び第２の実施形態に係る撮像素子の受光面の画素配置を説明するための図である。

（第１の実施形態）
以下、例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、複数の画像処理回路を備える任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、複数の処理ユニットで画像処理が可能な任意の機器にも適用可能である。これらの機器には、例えばパーソナルコンピューター、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載カメラ、データセンタで動作するサーバ機器などが含まれてよい。また、以下の例では、画像データを複数の画像処理回路で分担して処理する例を説明するが、複数の装置や複数の仮想マシンの間で画像データを分担して処理する場合に適用してもよい。

（デジタルカメラ１００の構成）
図１は、本実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示している。撮像部１０１は、レンズ、絞りなどの撮影光学系やＣＭＯＳセンサなどの撮像素子、撮像素子からの画像信号をデジタル信号に変換するＡＤ変換器、これらの構成を駆動するための駆動部などを含む。撮像部１０１は、撮影光学系を通過した被写体光学像を撮像素子によって光電変換し、得られた画像信号をデジタル信号である画像データに変換する。撮像部１０１は、撮像素子が所定のフレームレートで１フレームごとの画像信号（以下、単にフレームともいう）を出力することで動画データを出力する。出力された動画データの全てのフレームは、マスタ画像処理回路１０２に入力される。

マスタ画像処理回路１０２は、撮像部１０１からの各フレームうち、下側の一部の領域（下側領域）を処理し、他の領域を処理すること無くスレーブ画像処理回路１０３に送る。また、後述のように、マスタ画像処理回路１０２は、撮像部１０１からの各フレームうち、上側の一部の領域（上側領域）を処理すること無くスレーブ画像処理回路１０３に送る。スレーブ画像処理回路１０３は、マスタ画像処理回路１０２から送出された、各フレームの上側の領域を処理する。また、スレーブ画像処理回路１０３は、マスタ画像処理回路１０２からの処理済みの下側領域のデータを受けとり、スレーブ画像処理回路１０３が処理した領域と共に１フレーム全体の画像データを生成する。スレーブ画像処理回路１０３は、生成した画像データを記録媒体１０７に記録すると共に、表示装置１０８に送る。

操作部１０４は、電源スイッチや記録開始、停止、その他各種の操作スイッチ等を備え、ユーザからの指示をマスタ画像処理回路１０２に送出する。メモリ１０５、１０６は、ＤＲＡＭ等の揮発性メモリを含み、それぞれマスタ画像処理回路１０２、スレーブ画像処理回路１０３に接続される。なお、本実施形態では、マスタ画像処理回路１０２とスレーブ画像処理回路１０３はそれぞれ一つの画像処理用の集積回路（ＩＣ）として構成される場合を例に説明するが、汎用的なプロセッサやソフトウェアによって実現されてもよい。また、メモリ１０５、１０６はそれぞれ、マスタ画像処理回路１０２とスレーブ画像処理回路１０３とは別のＩＣとして構成される。

記録媒体１０７は、例えばメモリカードやハードディスク等を含み、撮像部１０１を介して撮影された画像データや動画データを記録する。撮影された画像データや映像データを記録できるものであれば着脱可能に構成されてもよい。表示装置１０８は、例えばＬＣＤやＯＬＥＤのパネルで構成されるモニタを含み、撮影された画像データ又は映像データ若しくは記録媒体１０７に格納されているこれらのデータを表示する。

（撮像部１０１の撮像素子の構成）
次に、撮像部１０１における撮像素子について説明する。図９は、撮像部１０１の撮像素子における受光部９００を示している。受光部９００は、ベイヤー状に２次元に配置された複数の受光素子を有する（なおベイヤー配列はカラーフィルタの配列であるが、ここでは便宜的に受光素子の配列とみなす）。各受光素子はそれぞれ１つの画素に対応する。また、受光部の一部の領域は被写体光が遮断（遮光）される遮光領域となる。遮光領域の画素の出力は、光を受光しない場合に画素信号に重畳するノイズ成分による信号のオフセットを表す（このため遮光領域の画素は基準画素などともいわれる）。受光部９００は、図９に示すように、遮光されていない領域である有効領域９０１、垂直の遮光領域９０２、水平の遮光領域９０３を含む。垂直の遮光領域９０２は、例えば受光部９００の上部領域に、上端部から一定の幅で設けられる。幅９０４は、垂直の遮光領域９０２の上端部からの幅を表す。また、水平の遮光領域９０３は、例えば受光部９００の左側の領域に、左端部から一定の幅で設けられている。幅９０５は水平の遮光領域の左端部からの幅を表す。

画像データは受光素子の上端の主走査ラインを先頭として、主走査ラインの端部から画素単位で順次ラスタ走査の要領で出力される。本実施形態では、有効領域の画素数を、水平４０９６画素×垂直２１６０画素とする。また、垂直の遮光領域の幅９０４をｎ画素、水平の遮光領域の幅９０５をｍ画素とする。また、撮像部１０１は、６０フレーム枚秒（ｆｐｓ）の動画データを出力する。なお、垂直の遮光領域９０２（垂直遮光領域）の画素に対応する画像データをＶＯＢ（ＶｅｒｔｉｃａｌＯｐｔｉｃａｌＢｌａｃｋ）のデータ、水平の遮光領域９０３（水平遮光領域）の画素に対応する画像データをＨＯＢ（ＨｏｒｉｚｏｎｔａｌＯｐｔｉｃａｌＢｌａｃｋ）のデータともいう。また、撮像部１０１からの画像データはベイヤー配列の状態で出力され、画像処理が施されていない状態である。そのため、撮像部１０１からの画像データはＲＡＷ画像データとも呼ぶ。

（マスタ画像処理回路１０２及びスレーブ画像処理回路１０３の構成）
次に、図２を参照して、デジタルカメラ１００に含まれるマスタ画像処理回路１０２及びスレーブ画像処理回路１０３の機能構成例について説明する。マスタ画像処理回路１０２は、通信部２１０、プリ処理部２１１、ＯＢ補正部２１２、画像処理部２１４、符号化部２１７、制御部２１９、不図示のメモリコントローラを含む。一方、スレーブ画像処理回路１０３は、通信部２２０、プリ処理部２２１、ＯＢ補正部２２２、画像処理部２２４、符号化部２２７、記録制御部２３０、表示制御部２３１、制御部２２９、不図示のメモリコントローラを含む。なお、マスタ画像処理回路１０２とスレーブ画像処理回路１０３とは同じ構成であっても良い。また、図２では、信号の流れを把握し易くするために、メモリ１０５、１０６がそれぞれマスタ画像処理回路１０２、スレーブ画像処理回路１０３のブロック内に記載されているが、図１のように各メモリは各画像処理回路に接続される。

マスタ画像処理回路１０２の通信部２１０は、撮像部１０１から出力されたＯＢ領域を含む動画データの各フレームを取得する。そして、通信部２１０は、各フレームの有効領域のうち、上側の一部の領域のデータをスレーブ画像処理回路１０３に送信する。また、通信部２１０は撮像部１０１から受信した各フレームの有効領域のうち、スレーブ画像処理回路１０３に送信される、下側の一部以外の画像データはスレーブ画像処理回路１０３に送信しない。一方で、通信部２１０は、撮像部１０１から受信した画像データの各フレームについて、１フレーム全体の画像データをプリ処理部２１１に送信する。更に、通信部２１０は、後述する表示用画像２１５、ストリーム画像２１８をメモリ１０５から読み出してスレーブ画像処理回路１０３に転送する。

ここで、本実施形態において各処理回路で処理される画像の領域の例を、図４（ａ）を参照して説明する。図４（ａ）の左図における４０１は、撮像部１０１から出力される動画データの１フレームを示している。４０１に示すように、撮像部１０１からの各フレームは、有効領域、垂直の遮光領域（ＶＯＢ）、水平の遮光領域（ＨＯＢ）を含む。

また、４０２はマスタ画像処理回路１０２が処理する画像データ（点線で囲まれた部分）を示している。マスタ画像処理回路１０２は、ＶＯＢ領域と、下側の有効領域及び下側の有効領域の各ラインに対応するＨＯＢのデータを処理する。なお、上側の有効領域および各ラインに対応するＨＯＢのデータは、マスタ画像処理回路１０２で処理しないため、メモリ１０５には記憶されない。

４０３は、マスタ画像処理回路１０２からスレーブ画像処理回路１０３に転送される未処理の画像データ（点線で囲まれた部分）を表している。スレーブ画像処理回路１０３に転送されるデータは、上側の有効領域の画像データ、上側の有効領域の各ラインに対応するＨＯＢおよびＶＯＢのデータである。ここで、本実施形態では、上側領域と下側領域の境界部分の一部が重複するように、各画像処理回路が処理する領域が設定される。この理由は、上側領域と下側領域の境界部分を各画像処理回路１０２、１０３において現像処理した際に同じ結果が得られるようにするためである。更に、本実施形態では、マスタ画像処理回路１０２とスレーブ画像処理回路１０３が処理する有効領域の画素数が同じ画素数になるように、上側領域と下側領域が設定される。例えば、撮像部１０１から出力される画像データの有効領域は、水平４０９６画素×垂直２１６０画素であるので、上側領域と下側領域がそれぞれ、水平４０９６画素×垂直１０８０＋α画素となるように設定する。この重複する領域の画素数αは、現像処理のために使用される画素数に対応している。このようにスレーブ画像処理回路１０３が処理する領域を設定することにより、１フレームのＶＯＢ、および上側の有効領域の画像データとＨＯＢをマスタ画像処理回路１０２からスレーブ画像処理回路１０３にまとめて転送することができる。このため、スレーブ画像処理回路１０３はＨＤ、ＶＤを使用して、１フレームの未処理の画像データを受けとる場合と同様の制御により画像を受け取ることが可能となる。なお、現像処理した際に同じ結果が得られることを考慮しない場合には、上側領域と下側領域とが重複する領域を持たないように設定することも可能である。この場合には、１フレームの有効領域は、上下に半分ずつ分割され、分割された上側領域と下側領域とが設定される。

再び図２を参照する。プリ処理部２１１は、通信部２１０から送られた１フレームの画像データのうち、マスタ画像処理回路１０２において処理する領域（図４（ａ）に示した４０２）を取り出す。すなわち、本実施形態の例では、プリ処理部２１１はＶＯＢと下側の領域の画像データを取り出す。また、プリ処理部２１１は取り出した画像データに対して傷画素の補正等の補正処理を行う。このように、プリ処理部２１１はマスタ画像処理回路１０２で処理しない上側の有効領域の画像データを出力しない。そのため、これ以降も、上側の有効領域の画像データは処理されず、また、メモリ１０５にも記憶されないように制御されることになる。

ＯＢ補正部２１２は、ＯＢ領域を用いて画像補正を行う。例えばＶＯＢやＨＯＢを利用して撮像部１０１の暗電流等によって生じる固定パターンのノイズを低減させて信号の黒レベルを補正する。ＯＢ補正部２１２は、補正後の画像を中間画像２１３としてメモリ１０５に出力する。なお、プリ処理部２１１以降の処理を行うブロックは、１フレームの略半分の画像データを処理する。そのため、マスタ画像処理回路１０２、スレーブ画像処理回路１０３は、それぞれ、撮像部１０１からの動画データの１フレームの略半分の画素数のデータを６０ｆｐｓでリアルタイムに処理する能力を有すればよい。また、プリ処理部２１１よりも前の処理を行う構成は、撮像部１０１からの動画データの１フレーム全てを６０ｆｐｓでリアルタイムに処理する能力を必要とする。

画像処理部２１４は現像処理、幾何変形、リサイズ、ノイズリダクションなど画像に対して各種適切な処理を施す。例えば、画像処理部２１４は、表示装置１０８の表示画面のサイズ（画素数）に応じて、入力された画像データの画素数を変換する。本実施形態では、表示装置１０８の表示画面のサイズが、入力された画像データのサイズよりも小さい構成としている。そのため、画像処理部２１４は、入力された画像データの画面サイズを縮小することにより、表示用の画像データを生成する。その後、画像処理部２１４は表示用画像２１５と記録用画像２１６をメモリ１０５に出力する。符号化部２１７は記録用画像２１６をメモリ１０５から読み出して画像圧縮処理を施す。圧縮方式はＨ．２６４など既知の方式を用いればよい。符号化部２１７は圧縮されたストリーム画像２１８をメモリ１０５に出力する。

制御部２１９は、例えばＣＰＵあるいはＭＰＵ、ＲＯＭ、ＲＡＭ等を含み、不揮発性の記録媒体であるＲＯＭに格納されたプログラムを揮発性の記録媒体であるＲＡＭに展開、実行することによりマスタ画像処理回路１０２の各部の動作を制御する。なお、図２では、図の視認性を確保する観点から、制御部２１９とマスタ画像処理回路１０２の他のブロックとの接続を図示していないが、制御部２１９とこれらのブロックとは接続されて制御信号及び必要なデータの送受信がなされる。また、マスタ画像処理回路１０２の制御部２１９は、撮像部１０１や操作部１０４等の他のブロックとも制御信号等の送受信が可能であり、プログラムを実行することにより、これらのブロックの動作を制御してデジタルカメラ１００全体の動作を制御する。

スレーブ画像処理回路１０３は、マスタ画像処理回路１０２から転送されたフレームの上側領域の画像データに対して、基本的にマスタ画像処理回路１０２と同様な処理を施す。通信部２２０は転送されたＶＯＢのデータと上側領域の未処理の画像データをプリ処理部２２１に送る。また、通信部２２０は、後述のように、マスタ画像処理回路１０２から転送された、下側領域の表示用画像２１５とストリーム画像２１８を取り出してメモリ１０６に記憶する。プリ処理部２２１はマスタ画像処理回路１０２のプリ処理部２２１と同様の処理を行う。ただし、通信部２２０から転送される画像データは、ＶＯＢと上側領域の画像データだけなので、プリ処理部２２１は、通信部２２０から転送されるＶＯＢのデータと上側領域の画像データを全て処理してＯＢ補正部２２２に転送する。ＯＢ補正部２２２は、上側領域の画像データにＯＢ補正を行った結果を中間画像２２３としてメモリ１０６に記憶する。画像処理部２２４は入力された上側領域の画像データに各種処理を施して、表示用画像２２５、記録用画像２２６としてメモリ１０６に記憶させる。符号化部２２７は記録用画像２２６を圧縮し、ストリーム画像２２８としてメモリ１０６に記憶させる。

記録制御部２３０は、符号化部２２７により圧縮されたストリーム画像２２８と、マスタ画像処理回路１０２から転送されたストリーム画像２１８とを順次読み出し、記録媒体１０７に記録する。表示制御部２３１は、画像処理部２２４により処理された表示用画像２２５とマスタ画像処理回路１０２から転送された表示用画像２１５とを順次読み出して表示装置１０８に画像を表示する。なお、本実施形態においては、マスタ画像処理回路１０２から転送されたストリーム画像２１８及び表示用画像２１５は、一旦メモリ１０６に書き込まれ、メモリ１０６を介して処理がなされる。しかし、メモリ１０６を介さずに記録制御部２３０、表示制御部２３１に直接転送されてもよい。

（画像処理回路間における画像データの転送処理）
次に、図３を参照して、マスタ画像処理回路１０２からスレーブ画像処理回路１０３へ画像データを転送する転送処理について説明する。図３では、横軸は時間軸ｔを表し、３０１はフレームの期間毎に現れる垂直同期信号ＶＤの立ち上がり及び立下りのタイミングを示している。３０２は撮像部１０１からの画像データの出力タイミングを表している。ＶＯＢ、上側領域、下側領域の順に撮像部１０１からマスタ画像処理回路１０２に出力される。なお、ＨＯＢ期間については省略するが、実際はライン毎にＨＯＢが存在する。３０３は、マスタ画像処理回路１０２からスレーブ画像処理回路１０３へのデータの転送タイミングを表す。

３１１は、撮像部１０１からの画像データのＶＯＢと上側領域が転送されるタイミングを示している。ＶＯＢの画像データと上側領域の画像データとはひとまとまりに転送される。即ち、ＶＯＢの画像データと上側領域の画像データの間には他の画像データが転送されず、ＶＯＢの画像データと上側領域の画像データは隙間なく連続して転送される。３１２は割り込み信号である。通信部２１０は、１フレームにおけるＶＯＢと上側領域の画像データの転送が完了すると、割り込み信号３０３を制御部２１９に送り、１フレームのＶＯＢと上側領域の画像データの転送の完了を通知する。３１３は１フレームの画像データの期間における、撮像部１０１からの画像データを転送していない隙間時間を示している。マスタ画像処理回路１０２が下側領域の画像データを撮像部１０１から受けとる期間と、ＶＤ３０１のブランキング期間とを合わせた期間が、まとまった（最大化された）隙間時間３１３になる。マスタ画像処理回路１０２はＶＯＢと上側領域のデータを隙間なく連続して転送するため、撮像部１０１からの未処理の画像データをスレーブ画像処理回路１０２に転送するための期間以外の、まとまった転送期間を確保することができる。

本実施形態における転送との比較のために、本実施形態と反対にマスタ画像処理回路１０２が上側領域を処理する場合の画像分割の処理と転送効率について説明する。図４（ｂ）は、本実施形態と反対にマスタ画像処理回路１０２が上側領域を処理する場合の画像データを示している。マスタ画像処理回路１０２は、４０４に示す様に、上側領域と各ラインのＨＯＢ、ＶＯＢのデータを処理する。一方、マスタ画像処理回路１０２は、ＶＯＢ、及び下側領域と各ラインのＨＯＢをスレーブ画像処理回路１０３に転送する。この場合、ＶＯＢのデータと下側領域のデータとは時間的に離れて撮像部１０１から受信されるため、以下に示すような異なるタイミングで転送される。

図５は、本実施形態と反対にマスタ画像処理回路１０２が上側領域を処理する場合の画像の転送タイミングを示している。通信部２１０はＶＯＢの転送５０１が完了すると、制御部２１９に割り込み信号５０２を送信して、ＶＯＢの転送の完了を通知する。撮像部１０１からは、ＶＯＢに引き続いて上側領域の画像データが出力されるが、上側領域の画像データはスレーブ画像処理回路１０３では処理しない。そのため、撮像部１０１から上側領域の画像データが受信されている期間はスレーブ画像処理回路１０３に対して画像データは転送されず、この期間が隙間時間５０３となる。その後、撮像部１０１から下側領域の画像データが出力されると、通信部２１０は、ＶＯＢを送信した後に発生する隙間時間５０３の後に、下側領域の転送５０４を行い、その後下側領域の転送の完了を制御部２１９に通知する割り込み信号５０５を送信する。図５に示すように、マスタ画像処理回路１０２がＶＯＢと下側領域とをスレーブ画像処理回路１０３に転送しようとする場合、転送期間が分断されてしまう。また、この場合、スレーブ画像処理回路１０３は、ＶＤ信号を使用して下側領域の画像データを受信することができない。そのため、通信部２１０は、スレーブ画像処理回路１０３が下側領域の画像データを受信するための同期信号を生成し、スレーブ画像処理回路１０３に送信する必要がある。

上述のとおり、（本実施形態のように）撮像部１０１からの各フレームのうちＶＯＢと上側の一部の領域とをスレーブ画像処理回路１０３に転送することにより、まとまった転送期間を確保することができる。このようにすれば、割り込み回数や転送におけるコマンドのオーバーヘッドが少なくなるため、システム負荷を軽減し、転送効率を向上させることができる。

図６は、本実施形態における撮像部１０１からの画像データの転送の隙間時間を用いて、表示用の画像データと圧縮されたストリームデータを転送する場合のタイミングを示している。前述のように、表示用の画像データ２１５は撮像部１０１からの画像データの画面サイズよりも小さいため、撮像部１０１からの画像データよりもデータ量が少ない。また、記録用のストリームデータ２１８は圧縮処理されているため、やはり、撮像部１０１からの画像データよりもデータ量が少ない。そのため、通信部２１０は、スレーブ画像処理回路１０３に対してＶＯＢと上側領域の画像データを転送が完了してから、次のフレームのＶＯＢと上側領域の画像データを転送するまでの隙間期間に、表示用画像データ２１５と記録用ストリームデータ２１８を転送する。通信部２１０は、６０１によって示される期間に表示用画像２１５を転送し、表示用画像２１５の転送が完了すると、割り込み信号６０２により転送の完了を制御部２１９に通知する。次に６０３によって示される期間には、通信部２１０は、同様にストリーム画像２１８を転送し、ストリーム画像２１８の転送が完了すると、割り込み信号６０４により転送の完了を制御部２１９に通知する。

なお、本実施形態では、ＶＯＢとＨＯＢがそれぞれ画像の上と左の領域に存在する場合を例に説明したが、ＶＯＢやＨＯＢの位置はこれらの位置に限定されず、例えばＶＯＢが画像の下の領域に、ＨＯＢが画像の右の領域に存在している場合でも構わない。ＶＯＢが下にある場合はＶＯＢと下半分をスレーブ画像処理回路１０３に転送するようにすれば、上述した本実施形態と同様の効果が期待できる。

また、本実施形態では、マスタ画像処理回路１０２とスレーブ画像処理回路１０３との２個の画像処理回路を有する構成において、有効領域における上側と下側の一部の領域を各画像処理回路がそれぞれ処理する例を説明した。しかし、本実施形態は、３個以上の画像処理回路を用いて画像処理を行う場合にも適用可能である。この場合、少なくとも一部の領域が異なるように、１フレームの有効領域から３個以上の処理領域を設定し、各画像処理回路が異なる処理領域を処理する構成とする。例えば、３個の画像処理回路を直列に接続した場合は、１番目の（最上流側の）画像処理回路が撮像部からの画像データを受け取る。そして、この１番目の画像処理回路が１フレームの有効領域から、少なくとも一部が異なる、上側領域、中間領域、下側領域を設定し、ＶＯＢと、上側領域及び中間領域の画像データとを、まとめて２番目の画像処理回路に送信する。また、１番目の画像処理回路は、有効領域の下側の領域とＶＯＢとを処理する。２番目の画像処理回路は、受信したＶＯＢと上側領域及び中間領域のうちの最も下側の領域である中間領域とＶＯＢとを処理する。また、２番目の画像処理回路は、受信した有効領域のうちの最も上側の領域である上側領域とＶＯＢの画像データをまとめて３番目の画像処理回路に送信する。そして、３番目の画像処理回路は、ＶＯＢと上側領域の画像データを処理する。また、１番目の画像処理回路は、自分が処理した表示用画像と記録用のストリームデータとを、前述のように、２番目の画像処理回路に対する未処理の画像データを転送していない隙間の期間に２番目の画像処理回路に送信する。２番目の画像処理回路は、１番目の画像処理回路から受信した、下側領域の処理済みの画像データと、自分が処理した中間領域の表示用画像と記録用のストリームデータとを、前述のように、３番目の画像処理回路に対する未処理の画像データを転送していない隙間の期間に３番目の画像処理回路に送信する。このようにすれば、３個以上の画像処理回路を用いた分散処理を実現することができ、各画像処理回路の処理負荷を減らしながら、まとまった転送期間を多く確保することができる。

また、本実施形態では、上側領域と下側領域の画素数が同じになるように設定した。しかし、上側領域と下側領域の画素数が異なる画素数となるように設定してもよい。例えば、上側領域と下側領域の画素数が所定の比率（例えば３対７）になるように設定する。上側領域と下側領域の画素数を３対７に設定する場合、マスタ画像処理回路１０２は、例えば下側７の比率の領域とＶＯＢとを処理し、一方、上側３の比率の領域とＶＯＢとを含むデータをスレーブ画像処理回路１０３にまとめて送信する。すなわち上述した例と同様、ＶＯＢ領域と時間的に連続する有効領域の一部をスレーブ画像処理回路１０３に転送し、マスタ画像処理回路１０２はＶＯＢと残りの有効領域を処理するようにすればよい。このようにすれば、画像処理回路の間で（性能や役割等に応じて）負荷の分担を調節することができるとともに、まとまった転送期間を多く確保することができる。

以上説明したように本実施形態では、複数の画像処理回路を直列に接続（すなわちマスタ画像処理回路に画像データを入力し、スレーブ画像処理回路が分担する画像データをマスタ画像処理回路から入力）し処理を分担する構成とした。このようにすることで、各処理回路に対して撮像部から各画像処理回路に高速に画像データを転送する必要がない。また、本実施形態では、上流側であるマスタ画像処理回路１０２からスレーブ画像処理回路１０３に対して、時間的に連続するひとまとまりとなるデータ（すなわちＶＯＢと上側有効領域）を転送するようにした。このようにすることで、通信部２１０は、ＶＯＢと上側有効領域の画像データをスレーブ画像処理回路１０３に転送した後、次のフレームのＶＯＢと上側有効領域の画像データを転送するまでの間、まとまった転送期間を確保することができる。さらに、通信部２１０は、ＶＯＢと上側有効領域の画像データの転送が完了するまでは割り込み信号を制御部２１９に対して発行しないので、割り込み信号等の発生を抑制してシステムの負荷を低減することができる。そのため、転送効率が上がってシステムのパフォーマンスが向上する。換言すれば、複数の画像処理回路を用いる場合に、各画像処理回路の処理負荷を軽減し高速に画像データを処理することができるようになる。

（第２の実施形態）
次に第２の実施形態について説明する。第２の実施形態は、マスタ画像処理回路１０２が縮小画像を生成してスレーブ画像処理回路１０３へ転送し、各画像処理回路が当該縮小画像に基づいて画像処理を行う点が実施形態１と異なる。しかし、第２の実施形態に係るデジタルカメラ１００の構成は、これらの構成の差異を除き、図１及び図２に示した第１の実施形態に係るデジタルカメラ１００の構成と同様である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図７は、本実施形態に係るデジタルカメラ１００を構成する、マスタ画像処理回路１０２及びスレーブ画像処理回路１０３の機能構成例を示している。マスタ画像処理回路１０２のプリ処理部２１１は、ＯＢ補正部２１２に対しては第１の実施形態と同様に、下側領域の画像データだけを出力する。一方、プリ処理部２１１は、縮小処理部７１１に対しては、各フレームについて、１フレーム全体の画像データを送る。縮小処理部７１１は、各フレームについて、１フレーム全体の縮小画像を生成し、縮小画像７１２としてメモリ１０５に記憶する。評価値算出部７１３は、縮小画像７１２をメモリ１０５から読み出して、縮小画像７１２に対する評価値を算出し、画像処理部２１４に評価値及び縮小画像７１２を出力する。また、本実施形態では、通信部２１０と２２０とは別に、通信部７１４と７２４を備える構成とした。そして、この通信部７１４と７１５からなる通信路により、表示用画像２１５とストリーム画像２１８とを送受信する。

通信部２１０は、第１の実施形態と同様、撮像部１０１からの画像データの各フレームのうち、ＶＯＢと上側の有効領域の画像データをスレーブ画像処理回路１０３に送信する。また、通信部２１０は、撮像部１０１からの画像データの各フレームのうち、下側領域（すなわち上側領域とした部分以外）の画像データはスレーブ画像処理回路１０３に送信しない。更に、通信部２１０は、縮小画像７１２をメモリ１０５から読み出してスレーブ画像処理回路１０３の通信部２２０に転送する。通信部２２０は、受信した縮小画像を評価値算出部７２３に出力する。評価値は、スレーブ画像処理回路１０３においても評価値算出部７２３により算出され、画像処理部２２４に出力される。

評価値算出部７１３及び７２３が算出する評価値は、例えば画像処理部２１４及び画像処理部２２４が現像処理を実行する際に用いる低帯域の画像情報などを指す。例えば、画像処理部２１４は、低帯域の画像情報で表される当該評価値を用いてデジタル覆い焼きなど既知の画像処理を行う。デジタル覆い焼きを行う場合、評価値算出部７１３は、縮小画像７１２をゲイン情報に変換し、入力された画像データと同じ等倍サイズに拡大する。画像処理部２１４、２２４は、等倍サイズに拡大したゲイン情報を用いて、中間画像に対するゲイン処理を行うことによって、被写体の低輝度領域を持ち上げる覆い焼き効果を出すことができる。なお、評価値算出部７１３が算出する評価値はこの限りではなく、画像の動きベクトル量検出、被写体検出など、画角全体を用いて算出する評価値とすることも可能である。

また、マスタ画像処理回路１０２が撮像部１０１から受信した画像データの各フレームの画像を縮小して、スレーブ画像処理回路１０３に縮小した画像を転送する理由は以下の通りである。一般に、低帯域情報を取得するためには広範囲の画像データが必要になる。分割した画像をマスタ画像処理回路１０２とスレーブ画像処理回路１０３とに入力して低帯域情報を取得しようとする場合、撮像画像領域をオーバーラップさせるようにした画像を双方の画像処理回路に入力し処理させなければならない。オーバーラップさせた領域の分だけ画像処理回路の処理量が増加するため、スループットの低減やバス帯域の圧迫につながり処理パフォーマンスが低下してしまう。例えば、縮小処理部７１１における縮小率が１／２５６であり、評価値算出部７１３において垂直方向５タップのフィルタ処理を行う場合、垂直方向のオーバーラップ量は２５６×２＝５１２ラインとなってしまう。このため、入力する画像データに対する処理量増大によって画像処理回路のパフォーマンスが低下する原因となる。他方、上述したようにマスタ画像処理回路１０２が１フレームの画像を縮小し、縮小後の画像をスレーブ画像処理回路１０３に転送することによって、撮像した画像をオーバーラップさせて処理することを防ぎ、パフォーマンスの低下を抑えることができる。

次に、図８を参照して、本実施形態に係る画像データと縮小画像７１２の転送タイミングについて説明する。図８は、図３と同様に、マスタ画像処理回路１０２の通信部２１０からスレーブ画像処理回路１０３の通信部２２０へデータを転送するタイミングを示している。また、図３と同様に、横軸は時間軸ｔ、３０１は垂直同期信号ＶＤ、３０２は撮像部１０１から出力される画像データを示している。なお、通信部７１４と７２４との間で送受信される表示用画像２１５とストリーム画像２１８については図示していないが、３０１に示すＶＤのタイミングと同期してスレーブ画像処理回路１０３に送信されてよい。すなわち、表示用画像２１５とストリーム画像２１８は、通信部２１０と通信部２２０とで構成される伝送路とは異なる、通信部７１４と通信部７２４とで構成される別の伝送路を介して送信されてよい。

８０１は、縮小処理部７１１が画像を縮小するタイミングを示す。縮小処理部７１１は、縮小処理において撮像部１０１から出力された各フレームの画像データをメモリ１０５に記憶することなくダイレクトに処理する。そのため、縮小処理部７１１は、撮像部１０１からの画像データの出力タイミングと同じタイミングで処理することができる。８０２は、スレーブ画像処理回路１０３へ画像データと縮小画像を転送するタイミングを示す。第１の実施形態と同様、通信部２１０は、まずＶＯＢおよびフレームの上側領域を転送し、当該上側領域等の転送の完了を示す割り込み３１２を制御部２１９に通知する。次に、通信部２１０は縮小画像７１２をスレーブ画像処理回路１０３に転送し、縮小画像の転送の完了を示す割り込み８０３を制御部２１９に通知する。

図８に示すように、本実施形態では、撮像部１０１からの画像データの出力中に、縮小画像７１２が出力中のフレームと同じフレームを縮小する。そのため、縮小処理と縮小画像７１２の転送は同じタイミングで行われる。このとき、通信部２１０は、縮小処理された画素情報を次のフレームを待たずに順次転送していく必要がある。縮小処理部７１１及び通信部２１０による、メモリ１０５への縮小画像７１２の読み書きのアクセスは、上記機能を実現するように動作する。すなわち、縮小処理部７１１により当該フレームの縮小画像のデータがメモリ１０５に書き込まれた後、通信部２１０が読み出しを行うように制御される。なお、このような動作に限らず、メモリ１０５を介さずに縮小処理部７１１の出力を通信部２１０に直接送っても構わない。

なお、本実施形態とは異なり、スレーブ画像処理回路１０３にＶＯＢと下側領域の画像データを転送しようとした場合、ＶＯＢの画像データの転送タイミングと下側領域の画像データの転送タイミングの間が短く、縮小画像の転送するタイミングと重なって転送できない可能性がある。すなわち、縮小画像を転送するタイミングが下側領域の画像データを転送した後になり（転送タイミングが遅くなり）、結果他の処理タイミングの遅延につながる恐れがある。一方、上述した本実施形態では、上側領域の画像データの転送後の長い隙間期間に縮小画像を転送することができるため、上述したタイミングの遅延を回避することができるのである。

以上説明したように本実施形態では、複数の画像処理回路を直列に接続し処理を分担する構成において、上流側の処理回路であるマスタ画像処理回路１０２から、スレーブ画像処理回路１０３に対して、ＶＯＢと上側領域のデータをひとまとまりで転送する。これにより、通信部２１０はまとまった転送期間を確保することができる。そして、ＶＯＢ及び上側領域のデータをスレーブ画像処理回路１０３に転送するフレームのタイミングと同じフレームのタイミングで当該フレームの縮小画像を転送するようにした。このようにすることで、複数の画像処理回路において覆い焼き等の所定の画像処理を分担して実行する場合に、それぞれの画像処理回路に重複した画像データを入力する必要が無くなり、各画像処理回路における処理負担を低減することができる。そして、低帯域の情報を使用するために画像全体の縮小画像を転送する場合にも、回路間の転送のタイミング遅延を最小限に抑えることができる。すなわち、低帯域の情報を使用した画像処理を行う場合、転送効率を上げることによってシステムの負荷を低減することができるほか、縮小画像を用いた画像処理によりシステムのパフォーマンスを更に向上させることができる。換言すれば、複数の画像処理回路を用いる場合に、各画像処理回路の処理負荷を軽減し高速に画像データを処理することができるようになる。

（その他の実施形態）
上述した実施形態では、撮像部１０１から出力された１フレームの画像データをマスタとなる画像処理回路に入力し、その後マスタ画像処理回路とスレーブ画像処理回路とで画像処理を分担して実行する例を説明した。しかし、撮像部１０１を例えば外部装置から画像データを取得可能な通信機能を有するブロックに置き換えて、当該通信可能なブロックから画像データを取得するようにしてもよい。このとき、各画像処理回路を別々の処理装置に置き換えて、別々の装置内の通信部２１０と通信部２２０とが上述した実施形態を実現するように装置間で画像データを通信してもよい。また、各画像処理回路を、プログラムによって実現される別々の仮想マシンに置き換えて、別々の仮想マシンによって実現される通信部２１０と通信部２２０とが上述した実施形態を実現するように仮想マシンの間で画像データを送受信してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…マスタ画像処理回路、１０３…スレーブ画像処理回路、２１０…通信部、２１２…ＯＢ補正部、２１４…画像処理部、２１９…制御部、２２０…通信部、２２２…ＯＢ補正部、２２４…画像処理部、２２９…制御部

Claims (13)

1. 垂直遮光領域と遮光されていない有効領域とを含む撮像素子を有する撮像手段と、
   前記撮像手段と接続された第１の画像処理回路と、
   前記第１の画像処理回路と接続された第２の画像処理回路とを備え、
   前記第１の画像処理回路は画像データを前記撮像手段から受信し、前記撮像手段から受信した画像データの１フレームの前記有効領域の一部である第１の領域の画像データに対して、前記１フレームの前記垂直遮光領域の画像データを用いて所定の画像処理を施し、
   前記第１の画像処理回路は、前記１フレームの前記有効領域のうち、前記第１の領域とは少なくとも一部が異なり、かつ、前記垂直遮光領域と連続した一部を第２の領域として設定し、前記垂直遮光領域の画像データと、前記所定の画像処理が施されていない未処理の前記第２の領域の画像データとを、連続して前記第２の画像処理回路に送信し、
   前記第２の画像処理回路は、前記第１の画像処理回路から送信された、前記１フレームの前記垂直遮光領域の画像データと前記未処理の前記第２の領域の画像データとを受信し、前記受信した前記垂直遮光領域の画像データを用いて、前記受信した前記第２の領域の画像データに前記所定の画像処理を施すことを特徴とする画像処理装置。
2. 前記撮像手段は、１フレームにおいて前記垂直遮光領域の画像データの後に前記有効領域の画像データを出力し、
   前記第１の画像処理回路は、前記１フレームの前記有効領域のうちの上側の一部を前記第２の領域として設定し、前記１フレームの前記有効領域のうちの下側の一部を前記第１の領域として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像素子は水平遮光領域を有し、
   前記第１の画像処理回路は、前記下側の一部および前記下側の一部に対応した前記水平遮光領域を前記第１の領域として設定し、前記上側の一部および前記上側の一部に対応した前記水平遮光領域を前記第２の領域として設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の画像処理回路は、前記有効領域のうち、前記第１の領域以外の画像データに対しては前記所定の画像処理を行わず、
   前記第１の画像処理回路は、前記有効領域のうち、前記第２の領域として設定された部分以外の未処理の画像データを前記第２の画像処理回路に送信しないことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記垂直遮光領域の画像データと前記未処理の前記第２の領域の画像データとを所定の伝送路を介して前記第２の画像処理回路に送信し、前記垂直遮光領域の画像データと前記未処理の前記第２の領域の画像データとを送信していない期間に、前記第１の画像処理回路により前記所定の画像処理が施された前記第１の領域の画像データを、前記所定の伝送路を介して前記第２の画像処理回路に送信することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記第１の画像処理回路は、前記有効領域のうち、前記垂直遮光領域と連続していない部分を前記第１の領域として設定することを特徴とする請求項１に記載の画像処理装置。
7. 前記所定の画像処理は、前記垂直遮光領域の画像データを用いて前記有効領域の画像データを補正する処理を含むことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 前記撮像手段は動画データを出力し、
   前記第１の画像処理回路は前記撮像手段から出力された前記動画データを受信し、前記動画データの複数のフレームにおける前記第１の領域に前記所定の画像処理を施し、
   前記第１の画像処理回路は、前記動画データの複数のフレームの前記垂直遮光領域の画像データと前記第２の領域の画像データを前記第２の画像処理回路に送信することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第１の画像処理回路は一つの集積回路であり、前記第２の画像処理回路は前記第１の画像処理回路とは異なる一つの集積回路であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第１の画像処理回路に接続された第１のメモリと、
    前記第２の画像処理回路に接続された第２のメモリと、を更に備え、
    前記第１の画像処理回路は、前記撮像手段から受信した画像データのうち前記第２の領域の画像データを前記第１のメモリに記憶せずに前記第２の画像処理回路に送信することを特徴とすることを特徴とする請求項９に記載の画像処理装置。
11. 前記第２の画像処理回路に接続された表示手段を更に備え、
    前記第１の画像処理回路は、前記第１の画像処理回路により前記所定の画像処理が施された前記第１の領域の画像データを、前記第２の画像処理回路に送信し、
    前記第２の画像処理回路は、前記第１の画像処理回路から送信された前記所定の画像処理が施された前記第１の領域の画像データと、前記第２の画像処理回路により前記所定の画像処理が施された前記第２の領域の画像データと、を用いて１フレームの表示用の画像データを生成し、前記表示用の画像データを前記表示手段に表示することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記第２の画像処理回路は、前記撮像手段から画像データを受信するために前記撮像手段と接続されていないことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 垂直遮光領域と遮光されていない有効領域とを含む撮像素子を有する撮像手段と、
    前記撮像手段と接続された第１の画像処理回路と、
    前記第１の画像処理回路と接続された第２の画像処理回路と、
    前記第１の画像処理回路は、画像データを前記撮像手段から受信し、前記撮像手段から受信した画像データの１フレームの前記有効領域の一部である第１の領域の画像データに対して、前記１フレームの前記垂直遮光領域の画像データを用いて所定の画像処理を施し、
    前記第１の画像処理回路は、前記１フレームの前記垂直遮光領域の画像データと、前記１フレームの前記有効領域のうち前記第１の領域とは少なくとも一部が異なる第２の領域の、前記所定の画像処理が施されていない未処理の画像データと、を前記第２の画像処理回路に送信し、
    前記第２の画像処理回路は、前記第１の画像処理回路から送信された、前記１フレームの前記垂直遮光領域の画像データと前記未処理の前記第２の領域の画像データとを受信し、前記受信した前記垂直遮光領域の画像データを用いて、前記受信した前記未処理の前記第２の領域の画像データに前記所定の画像処理を施すことを特徴とする画像処理装置。

Images