JP6667349B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本発明は符号化ＲＡＷ動画像データの画像処理技術に関するものである。

近年、デジタルカメラなどの画像処理装置においては、撮像素子の画素数が多くなり、また、取り扱う動画像のフレームレートも高くなっている。そのため、画像処理装置において処理されるデータ量が増大している。そこで、特許文献１には、複数の画像処理プロセッサにより分担して画像処理を行う構成が提案されている。具多的には、複数の画像処理プロセッサを互いに接続し、画像の領域を左右に分割し、各々の画像処理プロセッサで、分割した領域の分担し処理するものである。

特開２０１１−４３６５８号公報

画像処理プロセッサで処理を行う場合、メモリにアクセスしながら処理を行うのが一般的である。しかしながら、特許文献１に開示されている技術では、２つの画像処理プロセッサで処理された左右の画像は、最終的に１つの画像とするため、いずれか一方の画像処理プロセッサに集めて表示する必要がある。そのため、それぞれの画像処理プロセッサのメモリバス帯域が不均等となり、片側の画像処理プロセッサの処理が間に合わずに再生表示においてコマ落ち、もしくは本来表示すべきフレームが表示できず、直前のフレームを表示する可能性がある。

本発明は上記課題に鑑みなされたものである。そして、本発明は、特に符号化されたＲＡＷ動画像データの再生を複数の画像処理回路により実現する場合の、そのうちのいずれかメモリアクセスの帯域の不足に起因する、画像の欠落を抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
符号化ＲＡＷ動画像データを再生する画像処理装置であって、
動画像のフレームの一部分の処理を担当する複数の画像処理回路を有し、
前記複数の画像処理回路それぞれは、
ワークメモリとして利用するローカルメモリと、
前記ローカルメモリを利用し、ＲＡＷ画像データの現像処理を含む画像処理を行う画像処理部と、
他の画像処理回路と通信する通信部と
を有し、
前記複数の画像処理回路のうちの１つである第１の画像処理回路は、
符号化ＲＡＷ動画像データを復号し、復号後のＲＡＷ動画像データのフレームを、当該第１の画像処理回路が有するローカルメモリに格納する復号部と、
復号して得られた前記フレーム内の、前記複数の画像処理回路それぞれが担当する領域を決定する領域決定部と、
該領域決定部で決定されたそれぞれの領域のＲＡＷ画像データを、前記通信部を介して前記複数の画像処理回路それぞれに送信する送信部と
を有し、
前記領域決定部は、前記第１の画像処理回路が担当する、前記フレーム内の領域のサイズを、他の画像処理回路が担当する領域のサイズよりも小さくすることを特徴とする。

本発明によれば、複数の画像処理回路により符号化されたＲＡＷ動画像データ画像を再生する場合に、メモリ帯域不足となる画像処理回路の発生を抑制し、もって正常な動画の再生が可能になる。

第１の実施形態における撮像装置内の画像処理装置のブロック構成図。 第１の実施形態における画像処理部の構成をデータ転送部との接続関係を示す図。 第１の実施形態におけるデータの流れを示す図である。 第１の実施形態における分割判定処理を示すフローチャート。 第１の実施形態における領域サイズの決定処理を示すフローチャート。 第２の実施形態におけるメモリ制御部のブロック図。 第２の実施形態における領域サイズの決定処理を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、実施形態における画像処理装置は、撮像装置の一部として説明する。また撮像装置をデジタルカメラとして説明するが、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等の撮像装置を採用することも可能である。そして、実施形態における画像処理装置は、記録媒体に記録された符号ＲＡＷ動画像データを読み出して再生表示する例を説明する。そして、画像処理装置は、複数の画像処理回路を有し、各画像処理回路が動画像のフレームの一部分の処理を担当する例を説明する。

［第１の実施形態］
図１は第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。実施形態における画像処理装置は、独立して動作可能な２つの画像処理回路１００、１１７を備える。画像処理回路１００はマスタの回路として機能し、画像処理回路１１７はスレーブの回路として機能する。なお、画像処理回路１００と１１７で共通する構成要素は、同一参照番号を付加する。ただし、マスタとして機能する画像処理回路１００の構成要素の参照番号には添え字“ｍ”を付加し、スレーブとして機能する画像処理回路１７７の構成要素の参照番号には添え字“ｓ”を付加した。

画像処理回路１００は、デコード部（復号部）１０１、画像処理部１０２ｍ、通信部１０４ｍ、データ転送部１０５ｍ、メモリ制御部１０８ｍ、記録媒体制御部１１０、不揮発メモリ制御部１１２ｍ、システム制御部１１４ｍを有する。また、画像処理部１００は、各部を接続するためのシステムバス１０６ｍ、データバス１０７ｍを有する。

また、画像処理回路１１７は、画像処理部１０２ｓ、表示制御部１０３、通信部１０４ｓ、データ転送部１０５ｓ、メモリ制御部１０８ｓ、不揮発メモリ制御部１１２ｓ、システム制御部１１４ｓを有する。そして、画像処理回路１１７は、各部を接続するためのシステムバス１０６ｓ、データバス１０７ｓを有する。

また、画像処理回路１００の各部は、一つの集積回路（ＩＣ）チップとして構成される。同様に、画像処理回路１１７の各ブロックは一つの集積回路（ＩＣ）チップとして構成される。なお、画像処理回路１００と画像処理回路１１７を全く同じチップで実現しても構わない。更に、画像処理回路１００、１１７は、不図示の撮像素子からのアナログ信号をデジタル信号に変換するＡＤ変換器、画素補正、黒レベル補正、シェーディング補正、傷補正などの処理を行う撮像処理部を有しても良い。また、画像処理回路１００、１１７は、画像データを公知の圧縮方式に従って圧縮符号化する符号化部を有しても良い。

まず、画像処理回路１００の構成とその機能を説明する。

デコード部１０１は、記録媒体１１１より読み出された、符号化ＲＡＷ動画像データの伸長（復号）処理を行い、復号後のＲＡＷ動画像データの各フレーム（ＲＡＷ画像フレームデータ）を生成する。ＲＡＷ画像フレームデータとは、撮像素子から出力されたＲ、Ｇ、ＢのＢａｙｅｒ配列の各色成分データを現像処理せずに、所定の符号化方式により符号化されたデータである。記録媒体１１１には、このよう符号化ＲＡＷ動画像データが記録されている。

画像処理部１０２ｍは、図２に示すように、現像処理部２００、巡回ＮＲ（ノイズ除去）部２０１、幾何変形部２０２、並びに、その他の不図示の倍率色収差補正、拡縮といったリサイズなどの複数の処理部から構成される。現像処理部２００、巡回ＮＲ部２０１、幾何変形部２０２は、それぞれの処理結果を、ワークメモリとしてのメモリ１０９に一時的に格納する。そして、画像処理部１０２ｍは、画像データに対して適切な画像処理を施すブロックである。また、画像処理部１０２ｍは、データ転送部１０５ｍと接続されている。

現像処理部２００は、データ転送部１０５ｍと接続される。そして、現像処理部２００は、データ転送部１０５を介して画像データを入力して、デモザイク処理、ガンマ補正や輝度・色生成などの処理を行い、処理した画像データをデータ転送部１０５または直接巡回ＮＲ２０１またはその両方へ出力する。

巡回ＮＲ部２０１は、データ転送部１０５ｍ、現像処理部２００、及び、幾何変形部２０２と接続される。そして、巡回ＮＲ部２０１は、現像処理部２００または幾何変形部２０２からの画像データと、データ転送部１０５ｍから巡回ＮＲ２０１で処理済みの１フレーム前の画像データとを入力して、フレーム間のＮＲ処理(ノイズ除去処理）を行う。そして、巡回ＮＲ部２０１は、ＮＲ処理後の画像データをデータ転送部１０５ｍへ出力する。なお、画像データの入力はデータ転送部１０５ｍから２画像分のデータを同時に入力して、フレーム間のＮＲ処理を行ってもよい。

幾何変形部２０２は、データ転送部１０５ｍと接続される。そして、幾何変形部２０２ｍは、データ転送部１０５ｍから画像データを入力して、幾何変形処理、例えば光学レンズの歪みを除去する歪補正などの処理を行い、処理後の画像データをデータ転送部１０５ｍまたは直接巡回ＮＲ部２０１またはその両方へ出力する。

通信部１０４ｍは、メモリ１０９ｍに格納された画像データを画像処理回路１１７に送信する。

データ転送部１０５ｍは、メモリ１０９ｍや記憶媒体１１１への読み込み、書き込みといったデータ転送を行う複数のＤｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓコントローラで構成される。

システムバス１０６ｍは、システム制御部（ＣＰＵ）１１４ｍと、デコード部１０１、画像処理部１０２ｍ、通信部１０４ｍ、データ転送部１０５ｍ、メモリ制御部１０８ｍ、記録媒体制御部１１０、不揮発メモリ制御部１１２と接続される。主用途は、システム制御部１１４ｍから各処理ブロックを制御する時に使用するバスである。

データバス１０７ｍは、データ転送部１０５ｍ、メモリ制御部１０８ｍ、記録媒体制御部１１０と接続される。主用途は、画像データなどの読み込み、書き込み時に使用するバスである。

メモリ制御部１０８ｍは、システム制御部１１４ｍ或いはデータ転送部１０５ｍからの指示に応じて、メモリ１０９ｍにデータを書き込んだり、メモリ１０９ｍからデータを読み出したりする。メモリ１０９ｍは、所定枚数の静止画像や所定時間の動画像、音声等のデータやシステム制御部１１４ｍの動作用の定数、プログラム等を格納するのに十分な記憶容量を備える記憶装置であり、ＤＲＡＭなどから構成される。

記録媒体制御部１１０は、システム制御部１１４ｍからの指示に応じて、記録媒体１１１にデータを書き込んだり、記録媒体１１１からデータを読み出したりする。記録媒体１１１は、圧縮された静止画や動画データを記録するメモリカードなどの半導体メモリである。記録媒体１１１は、不図示の装着、排出機構により画像処理装置に対して容易に装着、排出が可能である。

不揮発メモリ制御部１１２ｍは、システム制御部１１４ｍからの指示に応じて、不揮発メモリ１１３ｍにデータを書き込んだり、不揮発メモリ１１３ｍからデータを読み出したりする。不揮発メモリ１１３ｍは、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられ、システム制御部１１４ｍの動作用の定数、プログラム等が記憶される。

システム制御部１１４ｍは、画像処理装置の動作制御を司るマイクロコンピュータなどで構成され、画像処理装置を構成する各機能ブロックに対して様々な指示や、各種の制御処理を実行する。システム制御部１１４ｍは、システムバス１０６ｍを介して接続されたデコード部１０１、画像処理部１０２ｍ、通信部１０４ｍ、データ転送部１０５ｍを制御する。更に、システム制御部１１４ｍは、不図示の撮像処理部や圧縮伸長部、メモリ制御部１０８ｍ、記録媒体制御部１１０、不揮発性メモリ制御部１１２ｍ、操作部１１６、不図示の撮像素子などの制御も行う。システム制御部１１４ｍにおけるＣＰＵは、前述した不揮発メモリ１１３ｍに記録されたプログラムを実行することで、本第１実施形態の各処理を実現する。また、システム制御部１１４ｍは分割処理部１１５を含む。

この分割処理部１１５は、記録媒体１１１から読み出された処理対象の動画のＲＡＷ画像データの各フレームを画像処理回路１００と１１７に分けて処理させるために、各画像処理回路が処理すべき領域決定を行う。具体的には、各フレームにおける画像データの分割数や分割サイズ（領域サイズ）を算出する。分割処理部１１５の詳細な説明は、図４を用いて後述する。また、画像データのデータ量によっては一方の画像処理回路のみで処理することもある。

操作部１１６は、ユーザーにより操作されるスイッチやボタン等を含み、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦ等の操作に使用される。

以上、画像処理回路１００について説明した。画像処理回路１１７において、同じ参照番号を持つものは、基本的に画像処理回路１００の対応する処理部と同様の機能を有する。よって以下では、画像処理回路１１７における、画像処理回路１００と異なる点と注意したい点を説明する。

画像処理部１０２ｓは、画像処理部１０２ｍと同様に図２の構成で、データ転送部１０５ｓと接続されている。通信部１０４ｓは、画像処理回路１００から転送されてきた画像データを受信し、データ転送部１０５ｓに供給する。データ転送部１０５ｓは、通信部１０４ｓを介して受信した画像データの、メモリ１０９ｓ、画像処理部１０２ｓ、或いは、表示制御部１０３のいずれかへの転送を行う。また、データ転送部１０５ｓは、メモリ１０９ｓ、画像処理部１０２ｓ、表示制御部１０３間のデータ転送も行う。表示制御部１０３は、メモリ１０９ｓ、並びに、メモリ１０９ｍに格納された画像データを、表示部１１８に出力して、動画として表示を行う。

システム制御部１１４ｓは、マイクロコンピュータなどで構成され、画像処理回路１１７内の各機能ブロックに対して様々な指示や、各種の制御処理を実行する。システム制御部１１４ｓは、システムバス１０６ｓを介して接続された画像処理部１０２ｓ、通信部１０４ｓ、データ転送部１０５ｓ、メモリ制御部１０８ｓ、不揮発性メモリ制御部１１２ｓを制御する。システム制御部１１４ｓにおけるＣＰＵは、前述した不揮発メモリ１１３ｓに記録されたプログラムを実行することで、画像処理回路１１７の各処理を実現する。

次に、実施形態における圧縮ＲＡＷ動画像データの再生処理を説明する。この再生指示は、ユーザが操作部１１６から行うものである。

図３は、実施形態における圧縮ＲＡＷ動画像データの再生する際のデータの流れを示す図である。

操作部１１６の操作により、圧縮ＲＡＷ動画データの再生指示を受け付けると、システム制御部１１４ｍは、記録媒体制御部１１０、データ転送部１０５ｍ、デコード部１０１を制御する。この結果、記録媒体制御部１１０は、記録媒体１１１から圧縮ＲＡＷ動画データ３０１を読み出し、データ転送部１０５ｍを介してデコード部１０１に送る。デコード部１０１は、圧縮ＲＡＷ動画データ３００に対して伸長（復号）処理を行い、伸長後の１フレーム分のＲＡＷデータ３０２を作成し、データ転送部１０５ｍ、メモリ制御部１０８ｍを介してメモリ１０９ｍに記憶する。なお、この処理を、システム制御部１１４からの停止指示があるまで繰り返す。記録媒体制御部１１０、データ転送部１０５ｍ、デコード部１０１は、システム制御部１１４から停止指示があるまで、上記処理を繰り返す。

次にシステム制御部１１４ｍの分割処理部１１５は、伸長後のＲＡＷデータ３０２を画像処理回路１００、１１７でそれぞれで分担して処理させるために、１フレームのＲＡＷ画像データ３０１を、互いに重複する領域を持つ上下の２つの領域に分割する。具体的には、ＲＡＷ画像データがＮラインで構成されているとき、第１ラインから第Ｍラインで構成される上ＲＡＷ画像データ、第Ｍ−Ｌラインから第Ｎラインまでの下ＲＡＷ画像データに分ける。ここで、上ＲＡＷ画像データと下ＲＡＷ画像データの重複する幅Ｌは、画像処理部１０２ｍ、１０２ｓ内の現像処理部２００、巡回ＮＲ部２０１、幾何変形部２０２で用いられるフィルタ処理において使用する画素の最大サイズに依存する。例えば、巡回ＮＲ部２０１が用いるフィルタ処理において仕様する画素が、水平９画素×垂直９画素であった場合には、着目画素位置を中心とし、そこから上下左右について４画素までの範囲を使用してフィルタ処理を行うことになる。それ故、Ｌ＝４となる。そして、Ｍの位置を決定するのが、分割処理部１１５である。なお、実施形態では、上記のように、１フレームを上下に分割する例で説明するが、重複する領域を確保しつつ左右に分割しても構わない。

実施形態では、画像処理回路１００が下ＲＡＷ画像データを処理し、画像処理回路１１７が上ＲＡＷ画像データを処理する。

そのため、メモリ１０９ｍに格納されたＲＡＷ画像データにおける下ＲＡＷ画像データ３０４は、データ転送部１０５ｍを介して画像処理部１０２ｍに供給される。画像処理部１０２ｍの現像処理部２００は、この下ＲＡＷ画像データを受信し、現像処理（デモザイク処理を含む）が行い、ＹＵＶ色空間を表す下ＹＵＶ画像データを生成する。下ＹＵＶ画像データは、データ転送部１０５ｍ、メモリ制御部１０８ｍを介してメモリ１０９ｍに一旦格納される。そして、メモリ制御部１０８ｍ、データ転送部１０５ｍを介して、現フレームの下ＹＵＶ画像データ、並びに、前フレームの下ＹＵＶ画像データが画像処理部１０２ｍに供給される。画像処理部１０２ｍの幾何変形部２０２は、必要に応じて現フレームの下ＹＵＶ画像データについて幾何変形処理を行う。また画像処理部１０２ｍの巡回ＮＲ部２０１は、現フレームの下ＹＵＶ画像データ、並びに、前フレームの下ＹＵＶ画像データに基づく、フレーム間のＮＲ処理を行う。この幾何変形、ＮＲ処理後の画像データは補正画像データとして、データ転送部１０５ｍ、メモリ制御部１０８ｍを介して、メモリ１０９ｍに格納される。そして、メモリ制御部１０８ｍ、データ転送部１０５ｍ、通信部１０４ｍを介して、下補正画像データが画像処理回路１１７に転送される。

一方、メモリ１０９ｍに格納されたＲＡＷ画像データにおける上ＲＡＷ画像データ３０３は、データ転送部１０５ｍ、通信部１０４ｍを介して、画像処理回路１１７に転送される。

画像処理回路１１７における通信部１０４ｓは、システム制御部１１４ｓの制御の下、この上ＲＡＷ画像データを受信し、データ転送部１０５ｓ、メモリ制御部１０８ｓを介して一旦メモリ１０９ｓに格納する。そして、メモリ制御部１０８ｓ、データ転送部１０５ｓを介して、上ＲＡＷ画像データが画像処理部１０２ｓに供給され、現像処理が行われ、上ＹＵＶ画像データ３０７が生成される。生成された上ＹＵＶ画像データ３０７は、データ転送部１０５ｓ、メモリ制御部１０８ｓを介して、メモリ１０９ｓに一旦格納される。そして、メモリ制御部１０８ｓ、データ転送部１０５ｓを介して、現フレームの上ＹＵＶ画像データ、並びに、前フレームの上ＹＵＶ画像データが画像処理部１０２ｓに供給される。画像処理部１０２ｓの幾何変形部２０２は、必要に応じて現フレームの上ＹＵＶ画像データについて幾何変形処理を行う。また、画像処理部１０２ｓの巡回ＮＲ部２０１は、現フレームの上ＹＵＶ画像データ、並びに、前フレームの上ＹＵＶ画像データに基づく、フレーム間のＮＲ処理を行う。この幾何変形、ＮＲ処理後の画像データは上補正画像データとして、データ転送部１０５ｓ、メモリ制御部１０８ｓを介して、メモリ１０９ｓに格納される。このとき、メモリ１０９ｓには、画像処理回路１００から転送されてきた下補正画像データが格納される。つまり１フレームの完成された画像データはメモリ１０９ｓに格納されていることになる。そのため、表示制御部１０３は、メモリ制御部１０８ｓ、データ転送部１０５ｓを介して、メモリ１０９ｓに格納された１フレーム分の補正後の画像データを取得し、表示部１１８に出力し、表示を行う。

次に、画像処理回路１００のシステム制御部１１４ｍにおける分割処理部１１５による分割処理を説明する。

前述のように、分割処理部１１５は、デコード後のＲＡＷ動画データの各フレームについて、画像処理回路１００と１１７がそれぞれ処理するサイズを決定する。換言すれば、分割処理部１１５は、先に説明した「Ｍ」を決定する。

本実施形態では、画像処理回路１００が処理する画素数が、画像処理回路１１７が処理する画素数よりも、所定の画素数だけ少なくなるように、画像処理回路１００と１１７がそれぞれ処理する部分を決定する。

例えば、１フレームを上下に分け、下側の一部を画像処理回路１００が処理し、上側の一部を画像処理回路１１７が処理する。このとき、画像処理回路１００が処理する部分の垂直画素数（ライン数）を、画像処理回路１１７が処理する部分よりもｎ画素（ｎライン）少なくする。

また、１フレームを左右に分け、左側の部分を画像処理回路１００が処理し、右側の部分を画像処理回路１１７が処理する場合には、画像処理回路１００が処理する部分の水平画素数を、画像処理回路１１７が処理するそれよりもｍ画素少なくする。

上記のようにする理由は、画像処理回路１００は、デコード部１０１を搭載し、デコード部１０１がメモリ１０９ｍにアクセスするので、その分、画像処理回路１１７よりもメモリ１０９に対して単位時間当たりに読み書きするデータ量が多い。そのため、１フレームを均等に分割し、マスタ側、スレーブ側でそれぞれ画像処理部１０２による処理を行った場合、マスタ側がメモリ帯域を消費してしまい、１枚の正常なフレームを生成することができなくなる可能性がある。

かかる点、本実施形態の場合、マスタとして機能する画像処理回路１００が担当するＲＡＷ画像データにおける画素数を、画像処理回路１１７が処理する画素数よりも、所定の画素数だけ少なくした。この結果、画像処理回路１００の画像処理部１０２ｍがメモリ１０９ｍに対して読み書きするデータ量が、画像処理回路１１７の画像処理部１０２ｓがメモリ１０９ｓに対して読み書きするデータ量よりも少なくなる。そのため、マスタ側においてメモリアクセスの帯域の消費に起因する、動画像の欠落の発生を抑制できる。

なお、本実施形態では、再生されるＲＡＷ動画データの１フレーム当たりの画素数及びフレームレートが予め決められているものしている。そのため、マスタ側でメモリアクセスできなくならないように、画像処理回路１００と１１７が処理する画素数を予め決めておく構成とする。

次に、記録媒体１１１から再生されるＲＡＷ動画データの１フレームのサイズ（水平、垂直方向の画素数）やフレームレートが決まっていない場合の処理について説明する。例えば、本実施形態が適用する撮像装置が、複数の解像度モードを有する場合、或いは、記録媒体１１１が他の撮像装置で利用され、他の撮像装置で撮像したＲＡＷ動画像データが記録媒体１１１に格納されている場合と考えるとわかりやすい。

この場合、再生されるＲＡＷ動画データの画素数やフレームレートに応じて、各画像処理回路１００、１１７が処理する部分を決める。

図４は、画像処理回路１００のシステム制御部１１４ｍにおける分割処理部１１５による分割処理を説明するフローチャートである。分割処理部１１５は、再生されるＲＡＷ動画データのヘッダ等の付加情報から、１フレームのサイズを検出する（Ｓ４０１）。次に、分割処理部１１５は、検出したサイズが閾値よりも小さいか否かを判定する（Ｓ４０２）。サイズが閾値より小さい場合には、画像処理回路１００のみで十分に対処できると判断し、分割処理部１１５は分割無しとして処理を終了する（Ｓ４０３）。また、１フレームのサイズが閾値以上の場合、分割後の各画面のサイズ（画素数）を決定する（Ｓ４０４）。

Ｓ４０４において、１画面を分割しないと判断した場合は、システム制御部１１４ｍは、デコード部によりデコードされた各フレームのＲＡＷ画像データを画像処理回路１１７に送ることなく、全てのフレームを画像処理部１０２ｍに送る。また、システム制御部１１４ｍは、通信部１０４ｍを介して、システム制御部１１４ｓに対して、各フレームを分割せずに処理することを知らせる。画像処理部１０２ｍは、全てのフレームの処理を行い、各フレームの補正画像データを生成して、データ転送部１０５ｍを介してメモリ１０９に記憶する。システム制御部１１４ｍは、データ転送部１０５ｍを制御して、メモリ１０９ｍに記憶された各フレームの補正画像データを通信部１０４ｍにより画像処理回路１１７に送る。画像処理回路１１７の通信部１０４ｓは、各フレームの補正画像データを受け取り、データ転送部１０５ｓによりメモリ１０９ｓに一旦記憶する。システム制御部１１４ｓは、メモリ１０９ｓから各フレームの補正画像データを読み出し、表示制御部１０３を介して表示部１１８に送る。

なお、Ｓ４０４において、１画面を分割しないと判断した場合、デコード部１０１からの各フレームを画像処理回路１１７に送り、画像処理回路１１７の画像処理部１０２ｓにより処理を行って表示部１１８に表示する構成としてもよい。

ここでは、１フレームを上下に分割して処理するため、マスタ側で処理するサイズを
水平画素数×｛（垂直ライン数／２−Ｒ）＋Ｌ｝
として求める。そして、スレーブ側で処理するサイズを
水平画素数×｛（垂直ライン数／２＋Ｒ）＋Ｌ｝
として求める。ここで、Ｒは分割後の画素数（ライン数）を決定する値であり、Ｌは、画像処理部１０２ｍ、１０２ｓにて利用されるフィルタの最大サイズに依存する値（既知）である。

なお、１フレームを左右に分割する場合は、マスタ側（画像処理回路１００）で処理するサイズを
｛（水平画素数−Ｒ）＋Ｌ｝×垂直ライン数／２
として求め、スレーブ側（画像処理回路１１７）で処理するサイズを
｛（水平画素数＋Ｒ）＋Ｌ｝×垂直ライン数／２
として求める。

なお、上下分割か左右分割は予め決めておいても良いし、システム制御部１１４が再生されるＲＡＷ動画データの撮影時における装置の向きを判定して、変更してもよい。

次に、分割後の画素数（領域サイズ）を決定する際の、前記の“Ｒ”の算出処理について図５のフローチャートを用いて説明する。図５の処理も分割処理部１１５により行われる。

まず、分割処理部１１５は変数Ｒを“０”で初期化する（Ｓ５０１）。次に、分割処理部１１５は、単位時間（１秒）あたりにおける各処理におけるデータ量Ｄｋ（単位バイト）を次式（１）より算出する（Ｓ５０２）。
Ｄｋ＝１処理単位でのメモリ１０９ｍ、１０９Ｓ内のアクセスされる画素数×１画素のビット数／８×フレームレート …（１）
ここで、ｋは、単位時間（１秒）あたりに同時にメモリ１０９へ読み書きする分の添え字を意味し、ｋ＝４の場合は、メモリ１０９への読み込みまたは書き込みの合計が４処理あることを意味する。例えば、現像処理部２００が処理するためにメモリ１０９へ読み込みと書き込み発生で２、幾何変形２０２が処理するためにメモリ１０９への読み込みと書き込みが発生で２、合計でメモリ１０９へのアクセスが４処理であることを意味する。

次に、分割処理部１１５は、画像処理回路１００のメモリ１０９ｍへの総データ量ＤＭを数式（２）より算出し、画像処理回路１１７のメモリ１０９ｓへの総データ量ＤＳを数式（３）より算出する（Ｓ５０３）。なお、画像処理回路１００にはデコード部１０１が存在するので、メモリ１０９ｍに対する読み書きを行う処理部は、画像処理回路１１７のそれより多くなる点に注意されたい。
ＤＭ＝Ｄ１＋Ｄ２＋・・・＋Ｄｋ …（２）
ＤＳ＝Ｄ１＋Ｄ２＋・・・＋Ｄｋ …（３）
そして、分割処理部１１５は、ＤＭからＤＳを引いた値が閾値よりも小さいか否かを判別する（Ｓ５０４）。ＤＭからＤＳを引いた値が閾値よりも小さい場合、分割処理部１１５は、その時点の変数Ｒの値を保持して処理を終える。また、閾値以上の場合、分割処理部１１５は、変数Ｒの値を調整してＳ５０２に戻る（Ｓ５０５）。例えば、画像を上下分割の場合、分割処理部１１５は変数Ｒに１０ラインを示す１０を加算する。また、画像を左右分割の場合、分割処理部１１５は、変数Ｒに、分割する水平位置に対する増加画素数２０を示す２０を加算する。

また別の算出方法として、以下の連立方程式からｃを算出してもよい。

((処理１の画素数− ｃ)× ｂｉｔ/ｐｉｘ/８×ｆ)＋((処理２の処理画素数−ｃ)×ｂｉｔ/ｐｉｘ/８×ｆ)＋・・・＋ＲＡＷデコード部の処理データ量 ＝((処理１の処理画素数+ｃ) ×ｂｉｔ/ｐｉｘ/８ ×ｆ)＋((処理２の処理画素数＋ｃ)×ｂｉｔ/ｐｉｘ/８ ×ｆ)
ここで、処理１、処理２、…は、画像処理部で処理する単位の処理を示し、例えば処理１は現像処理部２００、処理２は巡回ＮＲ部２０１で行う処理のことを示す。ｂｉｔ/ｐｉｘは、処理対象の画像データの１画素のｂｉｔ数を意味する。ｆはフレームレートを意味する。そして、ｃは、各処理の処理画素数に対しての画素数調整となるので、ｃの値から上下分割時は、水平画素数で割った値（小数点以下切り捨てまたは切り上げ）をＲとし、左右分割時は垂直ライン数で割った値（小数点以下切り捨てまたは切り上げ）をＲとする。

以上、分割処理の説明をしたが、逸脱しない範囲において本実施形態以外の別の方法を用いてもよい。

以上説明したように、本実施形態によれば、マスタ側とスレーブ側で処理するデータ量が均一となるように、各処理回路により処理する部分を決定する。そのため、バス帯域が均一となり、表示される画面が欠落することを防ぐことができる。また、１フレームを分割して処理することで、連続した２フレームの画像データを用いたＮＲ処理を可能とし、効果的にノイズを低減することが可能となる。

以上、第１の実施形態に基づき具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。

また、画像処理部１０２によるフィルタ処理において、上下に分割された各領域の垂直方向に重複する領域が不要である場合には、重複する領域を含まないように、本実施形態によれば、マスタ側とスレーブ側で処理するデータ量が均一となるように、各処理回路により処理する部分を決定する。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、ここでは、前述した第１の実施形態と異なる部分のみを説明し、同一の部分については、同一の符号を付すなどして詳細な説明を省略する。

図６は、メモリ制御部１０８ｍのブロック構成図である。同図に示すように、メモリ制御部１０８ｍはデータ量監視部６００を含んでいる。このデータ量監視部６００は、メモリ１０９ｍへの書き込みと読み込みデータ量を監視して、一定時間内のデータ量を保持する機能を有する。画像処理回路１１７におけるメモリ制御部１０８ｓも図６と同様、メモリ１０９ｓへの書き込みと読出のデータ量を監視するデータ量監視部を有する。

本第２の実施形態における分割処理部１１５の分割処理は図４に示すフロー図と同じであるため説明は省略する。以下では、分割後の画素数を決定する際の、前記の“Ｒ”の算出処理について図７のフローチャートを用いて説明する。なお、
まず、分割処理部１１５は、変数Ｒを初期値“０”として設定する（Ｓ７０１）。そして、分割処理部１１５は、マスタである側画像処理回路１００のデータ量監視部６００より、データ量ＤＭを取得する（Ｓ７０２）。また、分割処理部１１５は、スレーブ側画像処理回路１１７のデータ量監視部６００よりデータ量ＤＳを取得するように通信部１０４ｍを介してシステム制御部１１４ｓへ要求を行い、スレーブ側画像処理回路１１７のデータ量ＤＳを取得する（Ｓ７０３）。

次に、分割処理部１１５は、ＤＭからＤＳを引いた値が閾値よりも小さいか否かを判別する（Ｓ７０４）。ＤＭからＤＳを引いた値が閾値よりも小さい場合は、分割処理部１１５は、その時点の変数Ｒを保持して処理を終える。また、ＤＭからＤＳを引いた値が閾値より小さくない場合、分割処理部１１５は、変数Ｒを調整し、Ｓ７０２に戻る。この調整は、第１の実施形態と同じでよい。

なお、本第２の実施形態において、分割処理部１１５は、ＲＡＷ動画像データの最初のフレームについては当分割する。そして、その最初のフレームについて図７の処理を実行して、当分割した際の各画像処理回路が有するメモリに対する読み書きのデータ量を検出し、Ｒを決定する。２フレーム以降は、決定した変数Ｒに従って、フレーム分割を行い、画像処理回路１００、１１７による分担処理を行うものとする。なお、最初のフレームは非表示とし、Ｒを決定し、その後で、最初のフレームから再生処理を行っても構わない。

［他の実施形態］
上記第１、第２の実施形態では、画像処理回路の数を２つとする例を説明した。しかし２以上の複数であれば、その数に特に制限はない。例えばＲＡＷ動画像データを再生するためのｎ（ｎ≧２）個の画像処理回路Ｃ₁，Ｃ₂，…Ｃ_nを有するとする。そして、画像処理回路Ｃ₁がＲＡＷ動画像のデコード部を有するとする。この場合、画像処理回路Ｃ₁が、それ以外の画像処理回路Ｃ₂乃至Ｃ_nよりも、デコード部によるローカルメモリに読み書きのアクセスが多い。そこで、画像処理回路Ｃ₁におけるローカルメモリのアクセスの多い分を、画像処理回路Ｃ₂乃至Ｃ_nで分担すればよい。つまり、画像処理回路Ｃ₁の画像処理部が行うフレーム内の対象領域のサイズが、他の画像処理回路Ｃ₂乃至Ｃ_nより小さくする。

例えば、第１の実施形態に適用し、フレームを上下方向にｎ分割する場合を考察する。この場合、マスタとして機能する画像処理回路Ｃ₁が担当する領域は、
水平画素数×｛（垂直ライン数／ｎ−Ｒ）＋Ｌ｝
と定義できる。一方、マスタ以外のスレーブの画像処理回路Ｃ₂乃至Ｃ_n-1それぞれが担当する領域は、
水平画素数×｛（垂直ライン数／ｎ＋Ｒ／ｎ）＋２×Ｌ｝
と定義できる。そして、最後の画像処理回路Ｃnが担当する領域は、
水平画素数×｛（垂直ライン数／ｎ＋Ｒ／ｎ）＋Ｌ｝
と定義できる。

画像処理回路Ｃ2乃至Ｃn-1が担当する領域のサイズに「２×Ｌ」が含まれる理由は、これらの領域の上端と下端の両方に、フィルタ処理のための重複領域が存在するためである。画像処理回路の数が十分に多い場合には、Ｃ₂乃至Ｃ_nは同じサイズとみなしても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態におけるシステム制御部１１４ｍ、１１４ｓの処理を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そそして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００、１１７…画像処理回路、１１１…記録媒体、１１２ｍ、１１２ｓ…画像処理部、１０３…表示制御部、１０４ｍ、１０４ｓ…通信部、１０５ｍ、１０５ｓ…データ転送部、１０８ｍ、１０８ｓ…メモリ制御部、１０９ｍ、１０９ｓ…メモリ、１１０…記憶媒体制御部、１１１…記録媒体、１１２ｍ、１１２ｓ…不揮発メモリ制御部、１１３ｍ、１１３ｓ…不揮発性メモリ、１１４ｍ、１１４ｓ…システム制御部、１１５…分割処理部

Claims (10)

1. 複数の画像処理回路と、
   前記複数の画像処理回路にそれぞれ接続された複数のメモリとを有し、
   前記複数の画像処理回路それぞれは、
   前記メモリを利用し、ＲＡＷ動画像データの現像処理を含む画像処理を行う画像処理部と、
   通信部と
   を有し、
   前記複数の画像処理回路のうちの１つである第１の画像処理回路は、
   符号化されたＲＡＷ動画像データを復号し、復号されたＲＡＷ動画像データを、前記第１の画像処理回路に接続されたメモリに格納する復号部と、
   前記復号部により復号された前記ＲＡＷ動画像データの１フレーム内の一部の領域を前記複数の画像処理回路がそれぞれ処理するように、前記複数の画像処理回路が処理する前記領域を決定する領域決定部と、
   前記領域決定部により決定された、前記第１の画像処理回路以外の他の画像処理回路が処理する領域の前記ＲＡＷ動画像データを、前記通信部により前記他の画像処理回路に送信する送信部と
   を有し、
   前記領域決定部は、前記第１の画像処理回路が処理する、前記１フレーム内の領域のサイズを、前記他の画像処理回路が処理する領域のサイズよりも小さくし、
   前記第１の画像処理回路における前記画像処理部は、前記領域決定部により前記第１の画像処理回路が処理する領域として決定された領域の前記ＲＡＷ動画像データを処理することを特徴とする画像処理装置。
2. 前記画像処理部が行う処理は、現像処理、ノイズ除去処理、幾何変形処理を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ除去処理は、複数のフレームの画像データを用いた処理であることを特徴とする請求項２に記載の画像処理装置。
4. 前記領域決定部は、
   前記第１の画像処理回路が前記第１の画像処理回路に接続された前記メモリに対して単位時間に読み書きを行う画素数、及び、前記他の画像処理回路が前記他の画像処理回路に接続されたメモリに対して単位時間に読み書きを行う画素数を算出する算出部を有し、
   当該算出部による算出に基づき、各画像処理回路が処理する領域のサイズを決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像処理回路それぞれは、それぞれの前記画像処理回路に接続された前記メモリに対する、単位時間当たりの読み書きするデータ量を監視する監視部を有し、
   前記領域決定部は、前記通信部を介して、各画像処理回路の監視部が検出した単位時間当たりの読み書きデータ量から、各画像処理回路が担当する領域のサイズを決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記複数の画像処理回路のうち第２の画像処理回路は、表示装置に画像を出力する表示制御部を有し、
   当該表示制御部は、前記第２の画像処理回路が処理した画像データ、並びに、前記通信部を介して前記第２の画像処理回路以外の画像処理回路で処理された領域の画像データから１フレームの表示のための画像データを取得して前記表示装置に出力する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記複数の画像処理回路それぞれは、前記メモリに対するデータの転送を制御するメモリ制御部、前記画像処理部、前記通信部を制御するためのプロセッサ、及び、当該プロセッサが実行するプログラムを格納した不揮発性メモリを更に有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記複数の画像処理回路はそれぞれ、一つの半導体集積回路として構成されることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 第１の画像処理回路と、
   前記第１の画像処理回路に接続された第１のメモリと、
   第２の画像処理回路と、
   前記第２の画像処理回路に接続された第２のメモリとを有し、
   前記第１の画像処理回路は、
   符号化されたＲＡＷ動画像データを復号し、復号されたＲＡＷ動画像データを、前記第１のメモリに格納する復号部と、
   前記第１のメモリを用いて、前記復号部により復号されたＲＡＷ動画像データに対し、前記ＲＡＷ動画像データの現像処理を含む所定の画像処理を施し、第１の動画像データを生成する第１の画像処理部と、
   前記第２の画像処理回路と通信を行う第１の通信部と、
   前記復号部により復号された前記ＲＡＷ動画像データの１フレーム内の一部の領域を前記第１の画像処理回路と前記第２の画像処理回路がそれぞれ処理するように、前記第１の画像処理回路が処理する第１の領域と前記第２の画像処理回路が処理する領域であって前記第１の領域よりも画素数が多い第２の領域とを決定する領域決定部と、
   前記領域決定部で決定された、前記第２の領域の前記ＲＡＷ動画像データを、前記第１の通信部により前記第２の画像処理回路に送信する送信部とを有し、
   前記第２の画像処理回路は、
   前記第１の画像処理回路と通信を行う第２の通信部と、
   前記第１の画像処理回路から送信され前記第２の通信部により受信した前記第２の領域のＲＡＷ動画像データに対して、前記第２のメモリを用いて前記所定の画像処理を施し、第２の動画像データを生成する第２の画像処理部と、
   表示装置に対して動画像データを出力する表示制御部とを有し、
   前記第１の画像処理部は前記第１の領域のＲＡＷ動画像データを処理し、
   前記送信部は前記第１の画像処理部により生成された前記第１の領域の前記第１の動画像データを前記第１の通信部により前記第２の画像処理回路に送信し、
   前記表示制御部は、前記第１の画像処理回路から送信された前記第１の領域の前記第１の動画像データと、前記第２の画像処理部により生成された前記第２の領域の前記第２の動画像データとを用いて前記表示装置に表示するための動画像データの各フレームを生成し、前記表示装置に出力する
   ことを特徴とする画像処理装置。
10. 請求項１乃至９のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。

Images