JP6413385B2

JP6413385B2 - 画像処理装置、撮像装置、及び画像データ出力方法

Info

Publication number: JP6413385B2
Application number: JP2014128285A
Authority: JP
Inventors: 祐輔岡嶋
Original assignee: Socionext Inc
Current assignee: Socionext Inc
Priority date: 2014-06-23
Filing date: 2014-06-23
Publication date: 2018-10-31
Anticipated expiration: 2034-06-23
Also published as: JP2016009918A

Description

本願開示は、画像処理装置、撮像装置、及び画像データ出力方法に関する。

モバイルカメラ等の撮像装置においては、通常、画面に表示されている映像を見ながら撮影者がシャッターを押して、撮像対象を撮影する。この際、画面に表示されている映像とシャッターボタンを押して撮影される画像との間に存在するタイムラグを、なるべく短くすることが望まれる。

撮像対象の映像を画面表示するための映像データ（動画データ）は、撮像対象を撮像してメモリに格納する静止画データとは別個のデータである。動画データは例えば動画データ規格に従ったデータであり、撮像素子からの画像データを動画処理部により画像処理することにより生成される。静止画データは例えば静止画データ規格に従ったデータであり、撮像素子からの画像データを静止画処理部により画像処理することにより生成される。これらの並行して生成された動画データと静止画データとは、データを制御して出力する制御出力部からアプリケーションプロセッサに対して出力される。アプリケーションプロセッサにより画像処理された動画データ及び静止画データは、表示部に送られて表示される。制御出力部とアプリケーションプロセッサとの間のデータ転送は単一のデータ転送路を介して行われるため、動画データと静止画データとの一方を転送する間は他方の転送を待たせることになる。

モバイルカメラ等の撮像装置では、転送帯域削減、低消費電力、及び低コストが期待できるライン連携方式が一般に用いられる。例えば動画処理部にライン連携方式を用いる場合、動画処理部においてライン単位（画像の水平１ライン単位）でデータを処理し、処理後のデータをライン単位で出力する。出力されたラインデータは、ＳＲＡＭ（Static Random Access Memory）であるラインメモリに順次格納されていく。例えば４ライン分のラインメモリ領域が設けられている場合、第１ラインメモリから第４ラインメモリに４個のラインデータを順番に格納すると、その後第１ラインメモリに戻って、第１ラインメモリから第４ラインメモリに次の４個のラインデータを順番に格納する。このとき既に第１乃至第４ラインメモリに格納されているラインデータは上書きされてしまうので、制御出力部は、上書きが行われる前に各ラインメモリのラインデータを読み出して、アプリケーションプロセッサに出力する。このライン連携方式では、撮像素子を含む各処理部がライン単位で動作速度を合わせて連携動作することにより、小さいメモリ領域を使用しての動作が可能となる。

動画データにライン連携方式を用いる場合、動画データに関しては、各処理部が適切にライン連携する速度にてラインデータを転送する必要がある。従って、制御出力部とアプリケーションプロセッサとの間のデータ転送路において、静止画データを転送する時間を確保するために、動画データの各ラインの転送タイミングを変化させてしまうことは好ましくない。動画データについてはライン連携に沿ったタイミングでデータ転送し、静止画データについては、それらの動画データの転送の合間に転送することが好ましい。このことから、静止画データについては、ラインメモリを用いたライン連携方式ではなく、フレーム単位での時間調整が可能なように、フレームメモリを用いたデータ転送方式を用いることが望ましい。

動画データの転送の合間に静止画データを転送するやり方として、動画データの各フレームの間に静止画データを挿入してデータ転送する方式がある。しかしながら、動画データの隣接フレーム間の間隔は静止画データの１フレームを全て転送できるほど長くはない。そのために、静止画データの１フレームを転送するために動画データの複数フレーム分の時間が必要になり、低い静止画データ転送レートしか実現できない。

そこで、静止画データに関して十分な転送レートを実現するために、動画データの各ラインの間に静止画データを挿入する方式がある。しかしながら、前述のように、動画データにライン連携方式を用いる場合、制御出力部とアプリケーションプロセッサとの間のデータ転送路において、動画データに関しては、各処理部が適切にライン連携する速度にてデータを転送する必要がある。従って、動画データにライン連携方式を用いる場合、動画データの隣接ラインの間に静止画データの１ラインを単純に挿入してしまうと、動画データのライン連携が崩れてしまう可能性がある。ライン連携が崩れると、ラインメモリに格納されている動画データが上書きされて、データ欠損が生じてしまう可能性がある。

特開２００９−２７８１９９号公報特開平５−２２７５０６号公報特開２００７−１３５１０２号公報

以上を鑑みると、動画データにライン連携方式を用いる場合に、ライン連携を保ちながら効率的に動画データと静止画データとを転送することが望まれる。

画像処理装置は、メモリと、画像データを動画処理して生成した動画データをライン毎に前記メモリに書き込むとともに、前記メモリに各ラインを書き込む処理のタイミングを示す制御信号を生成する動画処理部と、前記画像データを静止画処理して生成した静止画データを前記メモリに書き込む静止画処理部と、前記制御信号に応答して前記動画データを前記メモリから順次読み出してライン毎に順次出力すると共に、順次出力される前記動画データの隣接するライン間に、前記静止画データの１ラインを分割して得られる１ライン未満の固定量の静止画データ又は前記制御信号が示す前記タイミングに応じた量の静止画データを挿入して出力する制御出力部とを含む。

少なくとも１つの実施例によれば、動画データにライン連携方式を用いる場合に、ライン連携を保ちながら効率的に動画データと静止画データとを転送することができる。

撮像装置の実施例の構成の一例を示す図である。撮像装置の各部の出力データのタイミング関係の一例を示す図である。動画データの各ラインの間に存在する間隙を示す図である。図１に示す撮像装置における制御出力部の出力画像データの一例を示す図である。図４の出力動作を実現するために制御出力部の制御部の実施例が実行する動作の一例を示す図である。図１に示す撮像装置における制御出力部の出力画像データの一例を示す図である。図６の出力動作を実現するために制御出力部の制御部の実施例が実行する動作の一例を示す図である。撮像装置の実施例の構成の別の一例を示す図である。図８に示す撮像装置における制御出力部の動作の一例を示すタイミングチャートである。図８に示す撮像装置における制御出力部の動作の一例を示すフローチャートである。動画ライン出力処理の一例を示すフローチャートである。静止画ライン出力処理の一例を示すフローチャートである。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。以下の図において、同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。

図１は、撮像装置の実施例の構成の一例を示す図である。図１に示す撮像装置は、撮像部１０、静止画処理部１１、動画処理部１２、メモリ１３、制御出力部１４、アプリケーションプロセッサ１５、及び表示部１６を含む。

撮像部１０は撮像対象からの入射光に応じた画像データを生成する。撮像部１０が生成した画像データは静止画処理部１１及び動画処理部１２に供給される。静止画処理部１１は、画像データを静止画処理して生成した静止画データをメモリ１３に書き込む。この際、静止画データはメモリ１３にフレーム単位で書き込まれてよい。ここで１フレームは１枚の画像に対応してよい。メモリ１３には、静止画データを２フレーム以上格納するフレームバッファ領域が設けられてよい。但し、静止画データの転送をフレームバッファを用いてフレーム単位で行うことは必ずしも必要ではなく、ライン連携動作のように短いタイムスパンでのタイミング制限がないように、ある程度以上のサイズの静止画データをバッファして転送できればよい。

動画処理部１２は、画像データを動画処理して生成した動画データをライン毎にメモリ１３に書き込むとともに、メモリ１３に各ラインを書き込む処理のタイミングを示す制御信号を生成する。この際、動画データはメモリ１３にライン単位で書き込まれてよい。ラインとは、１枚の画像データの縦横に並んだ画素のうち、画像左端から右端まで横方向に一列に並んだ一連の画素であってよい。但し、画像左端から右端までの全ての画像を１ラインとして画像書き込み単位とするのではなく、例えばその半分を１ラインとして画像書き込み単位としてもさしつかえない。メモリ１３には、動画データを２ライン以上格納するラインメモリ領域が設けられてよい。動画処理部１２が生成する制御信号は、メモリ１３に対するラインの書き込み処理の開始のタイミングを示す動画処理ＳＴＡＲＴ信号と、メモリ１３に対するラインの書き込み処理の終了のタイミングを示す動画処理ＥＮＤ信号とを含んでよい。

制御出力部１４は、上記の制御信号に応答して動画データをメモリ１３から順次読み出して、アプリケーションプロセッサ１５に対してライン毎に順次出力する。制御出力部１４は更に、順次出力される上記動画データの隣接するライン間に、静止画データの１ラインを分割して得られる１ライン以下の固定量の静止画データ又は上記制御信号が示すタイミングに応じた量の静止画データを挿入して出力する。

制御出力部１４は、制御部２０、データ入力部２１、データ処理部２２、及びデータ出力部２３を含む。制御部２０は、制御出力部１４の各部の動作を制御すると共に、メモリ１３に対して適宜データ読み出し要求信号をアサートする。制御動作を実行するにあたり、制御部２０は、動画処理部１２から供給される制御信号（動画処理ＳＴＡＲＴ信号及び動画処理ＥＮＤ信号）に適宜応答して動作する。データ入力部２１は、制御部２０の制御下で、メモリ１３から読み出された動画データ又は静止画データを受け取り、受け取った画像データ（動画データ又は静止画データ）をデータ処理部２２に供給する。データ処理部２２は、供給された画像データに適宜データ処理を施す。このデータ処理には、制御出力部１４とアプリケーションプロセッサ１５との間の通信の通信規格に画像データを合わせる処理が含まれる。データ処理後の画像データはデータ処理部２２からデータ出力部２３に供給され。データ出力部２３は、制御部２０の制御下で動作し、動画データ又は静止画データをアプリケーションプロセッサ１５に出力（送信）する。動画データ又は静止画データの出力が完了すると、データ出力部２３はデータ出力完了を示す出力ＥＮＤ信号を制御部２０に対してアサートする。

アプリケーションプロセッサ１５は、受け取った画像データに対して画像処理を施す。アプリケーションプロセッサ１５により画像処理された動画データ及び静止画データは、表示部１６に送られて表示される。また、アプリケーションプロセッサ１５により画像処理された動画データ及び静止画データは、撮像装置とは別体であってその内部に挿入取付される不揮発性メモリに格納されてよい。

図２は、撮像装置の各部の出力データのタイミング関係の一例を示す図である。図２に示されるように、撮像部１０は画像フレームＦ１を出力データ３１として出力し、それに後続する画像フレームＦ２を出力データ３２として出力する。画像フレームＦ１と画像フレームＦ２との間隔Ｔ１は撮像部１０のフレームレートであり、例えば３３ｍｓの時間間隔であってよい。静止画処理部１１は、撮像部１０の出力データをライン毎に順次受け取り、受け取った画像データに対して静止画処理を施し、画像フレームＦ１に対応する（Ｆ１から生成した）静止画フレームＳＦ１を出力データ３５として出力する。動画処理部１２は、撮像部１０の出力データをライン毎に順次受け取り、受け取った画像データに対して動画処理を施し、画像フレームＦ１及びＦ２に対応する（Ｆ１及びＦ２から生成した）動画フレームＶＦ１及びＶＦ２を出力データ３３及び３４として出力する。静止画処理部１１の出力データ３５はメモリ１３のフレームメモリ領域に格納され、動画処理部１２の出力データ３３及び３４はメモリ１３のラインメモリ領域に順次格納される。

制御出力部１４は、メモリ１３のラインメモリ領域から動画フレームＶＦ１をライン毎に順次読み出し、適宜画像処理を施し、画像処理後の動画フレームＶＦ１を出力データ３６として出力する。制御出力部１４は同様に、メモリ１３のラインメモリ領域から動画フレームＶＦ２をライン毎に順次読み出し、適宜画像処理を施し、画像処理後の動画フレームＶＦ２を出力データ３８として出力する。また制御出力部１４は、メモリ１３のフレームメモリ領域から静止画フレームＳＦ１を読み出し、適宜画像処理を施し、画像処理後の静止画フレームＳＦ１を出力データ３７及び３９として出力してよい。

図２に示されるように、動画データの各フレームの間に静止画データを挿入して、制御出力部１４からアプリケーションプロセッサ１５にデータ転送してよい。しかしながら、動画データの隣接フレーム間の間隔は静止画データの１フレームを全て転送できるほど長くはない。そのために、静止画データの１フレームを転送するために動画データの複数フレーム分の時間が必要になり、低い静止画データ転送レートしか実現できない。そこで、静止画データに関して十分な転送レートを実現するために、動画データの各ラインの間に静止画データを挿入することが考えられる。

図３は、動画データの各ラインの間に存在する間隙を示す図である。図３において、図２と同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。

図３に示す例においては、撮像部１０の出力データ３１である画像フレームＦ１は、４本の画像ラインＬ１乃至Ｌ４を含む。このラインの個数は説明の便宜上の例であり、１フレームが例えば５１２本のラインを含んでよい。動画処理部１２は、撮像部１０の出力データをライン毎に順次受け取り、受け取った画像データに対して動画処理を施し、画像ラインＬ１乃至Ｌ４に対応する動画ラインＶＬ１乃至ＶＬ４を出力する。動画ラインＶＬ１乃至ＶＬ４は、メモリ１３のラインメモリ領域に順次格納される。制御出力部１４は、メモリ１３のラインメモリ領域から動画ラインＶＬ１乃至ＶＬ４をライン毎に順次読み出し、適宜画像処理を施し、画像処理後の動画ラインＶＬ１乃至ＶＬ４を出力データ（動画フレームＶＦ１）３６として出力する。

図３に模式的に示されるように、動画フレームＶＦ１の画像データは全体に画素データ
が隙間なく並んでいるわけではなく、動画ラインＶＬ１乃至ＶＬ４の間には間隙４０が存在する。従って、この間隙４０に静止画データを挿入して出力することが考えられる。しかしながら、動画ラインＶＬ１乃至ＶＬ４の間に存在する間隙４０は一定の長さであるとは限らず、随時異なる可能性がある。また動画データにライン連携方式を用いる場合、適切なライン連携の速度を保持する必要があるため、動画ラインＶＬ１乃至ＶＬ４の制御出力部１４からの出力タイミングを勝手に変化させて、静止画データ挿入のために間隙４０を広げることは好ましくない。

図４は、図１に示す撮像装置における制御出力部１４の出力画像データの一例を示す図である。図４の例において、制御出力部１４は、動画ラインＶＬ１乃至ＶＬ４のデータをメモリ１３から順次読み出してライン毎に順次出力する。制御出力部１４は更に、順次出力される動画ラインＶＬ１乃至ＶＬ４の隣接するライン間に、静止画データの１ラインＳＬ１を分割して得られる１ライン以下の固定量の静止画データＳＬ１−１乃至ＳＬ１−４を挿入して出力する。ここで静止画データＳＬ１−１乃至ＳＬ１−４は、静止画データの１つのラインＳＬ１を、均等に例えば４分割して得られる４個のデータであってよい。ここで静止画データＳＬ１−１乃至ＳＬ１−４の各々のデータ量は、動画ラインＶＬ１乃至ＶＬ４の隣接するライン間の取り得る最短の長さに挿入できるデータ量である。即ち、静止画データＳＬ１−１乃至ＳＬ１−４の各々のデータ量は、動画ラインＶＬ１乃至ＶＬ４の隣接するライン間が最も短くなったときであっても、そのライン間の間隙に挿入できるようなデータ量である。４分割は一例に過ぎず、他の数により分割したデータを、動画ラインＶＬ１乃至ＶＬ４の隣接するライン間に挿入してよい。また動画処理部１２が生成する制御信号が示すタイミングを参照して、分割数を適宜設定することにより、挿入するデータ量が適切な値となるようにしてもよい。

なお、動画ラインＶＬ１乃至ＶＬ４のメモリ１３からの読み出し動作、動画ラインＶＬ１乃至ＶＬ４のアプリケーションプロセッサ１５への出力動作において、制御出力部１４は適切なライン連携動作を保持する必要がある。そのために制御出力部１４は、動画処理部１２からの動画処理ＥＮＤの発生に応答して、メモリ１３のラインメモリ領域から動画ラインのデータを読み出し、読み出した動画ラインのデータをアプリケーションプロセッサ１５に出力してよい。なおメモリ１３に複数のラインに相当するラインメモリ領域が設けられている場合、あるラインに着目すると、着目ラインのデータのメモリ１３からの読み出しは、当該着目ラインのメモリ１３への書き込み終了直後に実行される必要はない。複数のラインの本数に相当する時間だけラインのデータのメモリ１３からの読み出しが遅れても、データが上書きされることはない。従って適切なライン連携動作を確保する目的のためには、制御出力部１４は、動画処理ＥＮＤではなく動画処理ＳＴＡＲＴの発生に応答して、メモリ１３のラインメモリ領域から動画ラインのデータを読み出すように動作してもよい。

図５は、図４の出力動作を実現するために制御出力部１４の制御部２０の実施例が実行する動作の一例を示す図である。なお図５及び以降の図において、フローチャートに記載された各ステップの実行順序は一例にすぎず、本願の意図する技術範囲が、記載された実行順番に限定されるものではない。例えば、Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、Ａステップの次にＢステップを実行することが可能なだけでなく、Ｂステップの次にＡステップを実行することが、物理的且つ論理的に可能である場合がある。この場合、どちらの順番でステップを実行しても、当該フローチャートの処理に影響する全ての結果が同一であるならば、本願に開示の技術の目的のためには、Ｂステップの次にＡステップが実行されてもよいことは自明である。Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、上記のような自明な場合を本願の意図する技術範囲から除外することを意図するものではなく、そのような自明な場合は、当然に本願の意図する技術範囲内に属する。

図５のステップＳ１で、制御出力部１４の制御部２０は、動画処理ＥＮＤが発生したか否かを判定する。制御部２０は、動画処理ＥＮＤが発生するまで待ち、動画処理ＥＮＤが発生すると、処理をステップＳ２に移す。ステップＳ２で、制御部２０は動画ライン出力処理を起動する。この起動された出力処理により、前述のようにデータ入力部２１によりメモリ１３から動画ラインが読み出され、データ処理部２２により動画ラインにデータ処理が施され、データ処理後の動画ラインが制御出力部１４からアプリケーションプロセッサ１５に出力される。これら一連の出力処理は、制御部２０のその後の制御動作と並行して実行されてよい。

ステップＳ２での動画ライン出力処理の起動後のステップＳ３で、制御部２０は、データ出力部２３から出力ＥＮＤが発生したか否かを判定する。制御部２０は、出力ＥＮＤが発生するまで待ち、動画処理ＥＮＤが発生すると、処理をステップＳ４に移す。ステップＳ４で、制御部２０は、静止画ライン出力処理を起動する。この出力処理により、前述のようにデータ入力部２１によりメモリ１３から静止画データが読み出され、データ処理部２２により静止画データにデータ処理が施され、データ処理後の静止画データが制御出力部１４からアプリケーションプロセッサ１５に出力される。これら一連の出力処理は、制御部２０のその後の制御動作と並行して実行されてよい。なおここで出力される静止画データは、図４に示すように、静止画の１つのラインを均等に例えば４分割して得られる４個のデータであってよい。また４分割は一例に過ぎず、他の数により分割したデータを、動画ラインＶＬ１乃至ＶＬ４の隣接するライン間に挿入してよい。

なお出力ＥＮＤが発生してから静止画データをデータ出力部２３から出力するまでに時間遅れがあるとすると、図４に示す動画ラインと静止画データとの間に間隙ができてしまう。これを避けるためには、一回の出力分の静止画データを例えばデータ出力部２３に保持しておき、制御部２０により静止画ライン出力処理が起動されると、データ出力部２３が保持している静止画データの出力を直ちに開始してよい。更にそれと並行して、データ入力部２１がメモリ１３から次回出力分の静止画データを読み出し、データ処理部２２によりデータ処理を施し、データ処理後の次回出力分の静止画データをデータ入力部２１に保持させればよい。

或いは、１つの動画ラインの長さは固定のデータ量として分かっているので、制御部２０は、既知固定量の動画ラインのデータ出力が終了するタイミングに合わせて静止画データを出力するように、適切なタイミングで静止画ライン出力処理を起動してよい。即ち、図５のステップＳ３のように出力ＥＮＤの発生を待つステップを設けずに、制御部２０は、ステップＳ２で動画ライン出力処理を起動した後に、適切なタイミングでステップＳ４の静止画ライン出力処理を起動してよい。

上記のようにして制御出力部１４のデータ出力部２３から出力される動画ラインと静止画データ（静止画ライン）との間の間隙をなくすことができる。なおこのようにして、いずれかの方法により間隙をなくすように制御部２０が動作可能である点については、以降の各実施例の場合において同様である。

図６は、図１に示す撮像装置における制御出力部１４の出力画像データの一例を示す図である。図６の例において、制御出力部１４は、動画ラインＶＬ１乃至ＶＬ４のデータをメモリ１３から順次読み出してライン毎に順次出力する。この際、制御出力部１４は、順次出力される動画ラインの各々に後続するように静止画データを出力し、動画処理ＥＮＤ信号が示すタイミングに応答して静止画データの出力を中断する。制御出力部１４は、静止画データの出力を中断すると直ちに動画ラインの出力を開始する。図６の例においては、動画ラインＶＬ１に後続して静止画データＳＬ１−１が出力され、動画ラインＶＬ２に後続して静止画データＳＬ１−２及びＳＬ２−１が出力され、動画ラインＶＬ３に後続して静止画データＳＬ２−２及びＳＬ３−１が出力されている。静止画データＳＬ１−１及びＳＬ１−２は第１の静止画ラインの前半及び後半である。静止画データＳＬ２−１及びＳＬ２−２は第２の静止画ラインの前半及び後半である。静止画データＳＬ３−１は第３の静止画ラインの前半である。

図７は、図６の出力動作を実現するために制御出力部１４の制御部２０の実施例が実行する動作の一例を示す図である。ステップＳ１１で、制御出力部１４の制御部２０は、動画処理ＥＮＤが発生したか否かを判定する。制御部２０は、動画処理ＥＮＤが発生するまで待ち、動画処理ＥＮＤが発生すると、処理をステップＳ１２に移す。ステップＳ１２で、制御部２０は、データ出力部２３を制御して、静止画ラインの出力を中断する。ステップＳ１３で、制御部２０は動画ライン出力処理を起動する。この起動された出力処理により、前述のようにデータ入力部２１によりメモリ１３から動画ラインが読み出され、データ処理部２２により動画ラインにデータ処理が施され、データ処理後の動画ラインが制御出力部１４からアプリケーションプロセッサ１５に出力される。これら一連の出力処理は、制御部２０が実行するその後の制御動作と並行して実行されてよい。

ステップＳ１３での動画ライン出力処理の起動後のステップＳ１４で、制御部２０は、データ出力部２３から出力ＥＮＤが発生したか否かを判定する。制御部２０は、出力ＥＮＤが発生するまで待ち、動画処理ＥＮＤが発生すると、処理をステップＳ１５に移す。ステップＳ１５で、制御部２０は、静止画ライン出力処理を起動する。この出力処理により、前述のようにデータ入力部２１によりメモリ１３から静止画データが読み出され、データ処理部２２により静止画データにデータ処理が施され、データ処理後の静止画データが制御出力部１４からアプリケーションプロセッサ１５に出力される。これら一連の出力処理は、制御部２０のその後の制御動作と並行して実行されてよい。なおここで出力データ量を予め有限の長さに定めることなく、静止画データは、次々にメモリ１３から読み出され、途絶えることなく連続してデータ出力部２３から出力されてよい。

なお図６に示すように動画処理ＥＮＤに応答してその直後に動画ラインの出力を開始するためには、前述の図４の静止画データの出力の場合と同様に、一回の出力分の動画ラインを例えばデータ出力部２３に保持しておくようにすればよい。なおメモリ１３に複数のラインに相当するラインメモリ領域が設けられている場合、動画処理ＥＮＤに応答してその直後に動画ラインの出力を開始する必要はない。従って、動画処理ＥＮＤに応答して直ちにメモリ１３からの動画ラインの読み出しを開始し、その後所定の処理サイクル数が経過した後に、静止画データの出力を中断するとともに、読み出した動画ラインの出力を開始してもよい。

またメモリ１３に複数のラインに相当するラインメモリ領域が設けられている場合、制御出力部１４は、動画処理ＥＮＤではなく動画処理ＳＴＡＲＴの発生に応答して、メモリ１３のラインメモリ領域から動画ラインのデータを読み出すように動作してもよい。この際、制御出力部１４は、動画処理ＳＴＡＲＴの発生に応答した動画ラインの出力を開始する直前に、静止画データの出力を中断すればよい。

図８は、撮像装置の実施例の構成の別の一例を示す図である。図８において、図１と同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。

図８に示す撮像装置は、図１に示す撮像装置と比較して、制御出力部１４にサイクルカウンタ２４とヘッダ生成部２５とが設けられていることが異なる。制御出力部１４の各部は、クロック信号に同期して動作する。制御出力部１４によるメモリ１３からのデータ読み出し、及び制御出力部１４によるアプリケーションプロセッサ１５へのデータ出力も、クロック信号に同期して動作する。サイクルカウンタ２４は、制御部２０からのカウント開始指示に応答して、クロック信号に同期したカウントアップ動作を開始し、クロック信号のパルス数をカウントする。サイクルカウンタ２４は、制御部２０からのカウンタクリア信号に応答して、カウント値をゼロに設定する。サイクルカウンタ２４が生成したカウント値はヘッダ生成部２５に供給される。ヘッダ生成部２５は、制御部２０からカウント値を保持する指示を受け取り、当該指示を受け取った時のサイクルカウンタ２４のカウント値を保持する。

動画処理部１２が制御出力部１４に供給する制御信号は、メモリ１３への動画書き込み処理の開始のタイミングを示す動画処理ＳＴＡＲＴ信号と、メモリ１３への動画書き込み処理の終了のタイミングを示す動画処理ＥＮＤ信号とを含む。制御出力部１４は、これら制御信号に基づいて、終了のタイミングからそれに後続する開始のタイミングまでの時間間隔をサイクルカウンタ２４を用いて計測する。制御出力部１４は、計測した時間間隔に応じた量の静止画データを、順次出力される動画データの隣接するライン間に挿入して出力する。

制御出力部１４とアプリケーションプロセッサ１５との間の通信規格によっては、メモリ１３のフレームメモリ領域から出力するデータの先頭に、これから出力する出力データ量を示す情報（ヘッダ）を付加して出力することが要求される場合がある。上記のようにして動画処理ＥＮＤから動画処理ＳＴＡＲＴまでの時間間隔を計測することにより、制御出力部１４からの出力される動画ライン間に挿入可能な静止画データの量が分かる。より具体的には、動画処理部１２の動画処理ＳＴＡＲＴ後に制御出力部１４の静止画出力が開始される場合、静止画データを上記時間間隔に相当する量だけ連続して出力可能であることが、静止画データの出力開始の時点で分かる。この場合、制御出力部１４は、計測した時間間隔に応じた量の静止画データを出力する際に、その先頭に出力データ量を示す情報を付加して出力することが可能となる。

図９は、図８に示す撮像装置における制御出力部１４の動作の一例を示すタイミングチャートである。動画処理部出力として示されるように、動画ラインＶＬ１乃至ＶＬ４が動画処理部１２からメモリ１３に書き込まれる。各動画ラインの書き込み動作終了時には、動画処理部１２から動画処理ＥＮＤ信号が出力される（図９の例ではＨＩＧＨの信号としてアサートされる）。また各動画ラインの書き込み動作開始時には、動画処理部１２から動画処理ＳＴＡＲＴ信号が出力される（図９の例ではＨＩＧＨの信号としてアサートされる）。カウント有効期間として示す信号は、便宜上示される信号であり、動画処理ＥＮＤ信号のアサートに応じてＨＩＧＨにアサートされ、画処理ＳＴＡＲＴ信号のアサートに応じてＬＯＷにネゲートされる。この信号がＨＩＧＨである期間が、サイクルカウンタ２４がカウント動作を行う期間であってよい。図８の例では、サイクルカウンタ２４はカウント開始信号に応答してカウントを開始し、カウンタクリア信号に応答してカウント値をリセットしているが、図９に示すようなカウント有効期間信号に基づいてサイクルカウンタ２４がカウント動作を実行してもよい。

図９において、動画ラインＶＬ１の書き込み終了を示す動画処理ＥＮＤ信号５０に応答して、制御出力部１４のサイクルカウンタ２４がカウントを開始し、サイクルカウントが０，１，２，３と増加していく。更に、動画処理ＥＮＤ信号５０に応答して、動画ラインＶＬ１の出力データ量を示す情報を含むヘッダ７１を制御出力部１４が出力するとともに、ヘッダ７１に後続して動画ラインＶＬ１を制御出力部１４が出力する。

なお図９の例において、動画処理部１２が出力してメモリ１３へ書き込まれる動画ラインＶＬ１と、制御出力部１４から出力される動画ラインＶＬ１は、同一の画像ラインに対応するものである必要はない。即ち、制御出力部１４から出力される動画ラインＶＬ１は、動画処理部１２が出力した動画ラインＶＬ１に対してデータ処理部２２によるデータ処理を施した動画ラインである必要はない。メモリ１３に複数本数のラインを格納するラインメモリ領域が設けられている場合、動画ラインＶＬ１をメモリ１３に書き込んでから、当該動画ラインＶＬ１をメモリ１３から読み出すまでには、ある程度の時間的遅れがあってもよい。

動画処理ＳＴＡＲＴ５１が発生すると、その時のサイクルカウンタ２４のカウンタ値ｎ（ｎ：正の整数）が保持される。その後サイクルカウンタ２４は、カウント値がゼロになるようにリセットされる。制御出力部１４の制御部２０は、保持されたカウント値ｎに基づいて、動画ラインＶＬ１に後続して出力可能な静止画ラインの長さ（データ量）を決定する。その後、制御出力部１４からの動画ラインＶＬ１の出力が完了すると、制御出力部１４のデータ出力部２３が出力ＥＮＤ信号をアサートする。このアサート状態の出力ＥＮＤ信号６１に応答して、静止画ラインＳＬ１−１の出力データ量を示す情報を含むヘッダ７２を制御出力部１４が出力するとともに、ヘッダ７２に後続して静止画ラインＳＬ１−１を制御出力部１４が出力する。この静止画ラインＳＬ１−１の長さは、出力ＥＮＤ信号６１と６２との間の長さＤ１として示される。なおこの静止画ラインＳＬ１−１は、一本の静止画ラインＳＬ１の前半部分に相当し、後述する静止画ラインＳＬ１−２が静止画ラインＳＬ１の後半部分に相当する。

上記の例において、保持されたカウント値ｎに基づいて制御部２０が求める静止画ラインの長さ（サイクル数）は、ヘッダの長さをｈサイクル（ｈ：正の整数）としたとき、ｎ−２ｈである。何故なら、動画ライン一本につきｈサイクルのヘッダが付加され、静止画ライン一本につきｈサイクルのヘッダが付加されるので、合計２ｈサイクルがヘッダに使用される。隣接する動画ライン間の間隔がｎサイクルであるので、このｎサイクルのうち２ｈサイクルがヘッダに使用され、残りのｎ−２ｈサイクルが、動画ライン間に挿入可能な静止画ラインの長さとなる。従って、挿入可能な静止画ラインのデータ量は、１サイクルあたり出力可能なデータ数にｎ−２ｈを乗じた数となる。

その後、動画ラインＶＬ２の書き込み終了を示す動画処理ＥＮＤ信号５２に応答して、制御出力部１４のサイクルカウンタ２４がカウントを開始し、サイクルカウントが０，１，２，３と増加していく。更に、動画処理ＥＮＤ信号５２に応答して、動画ラインＶＬ２の出力データ量を示す情報を含むヘッダ７３を制御出力部１４が出力するとともに、ヘッダ７３に後続して動画ラインＶＬ２を制御出力部１４が出力する。

この例では、動画処理ＥＮＤ信号５２が示す終了のタイミングの後において、動画処理ＳＴＡＲＴ信号５３が示す開始のタイミングが到来する前に、動画ラインＶＬ２の出力の終了を示す出力ＥＮＤ信号６３が発生している。出力ＥＮＤ信号６３が発生すると、その発生のタイミングにおけるサイクルカウンタ２４のカウンタ値ｎ（ｎ：正の整数）が保持される。このように動画処理ＳＴＡＲＴが示す開始のタイミングが到来する前に、動画データのラインの出力の終了又は静止画データのラインの終端の出力が発生した場合、動画処理ＥＮＤが示す終了のタイミングからの当該発生のタイミングにおける経過時間を記録する。以下に説明するように、この記録した経過時間（カウンタ値ｎ）に応じた量の静止画データを、出力データ量を示す情報を先頭に付加して出力する。

制御出力部１４の制御部２０は、保持されたカウント値ｎに基づいて、動画ラインＶＬ２に後続して出力可能な静止画ラインの長さ（データ量）を決定する。制御出力部１４は、静止画ラインＳＬ１−２の出力データ量を示す情報を含むヘッダ７４を出力するとともに、ヘッダ７４に後続して静止画ラインＳＬ１−２を出力する。この静止画ラインＳＬ１−２の長さは、出力ＥＮＤ信号６３と６４との間の長さＤ２として示される。

動画処理ＳＴＡＲＴ５３が発生すると、その時のサイクルカウンタ２４のカウンタ値ｍ（ｍ：正の整数）が保持される。制御出力部１４の制御部２０は、保持されたカウント値ｍに基づいて、静止画ラインＳＬ１−２に後続して出力可能な静止画ラインの長さ（データ量）を決定する。その後、制御出力部１４からの静止画ラインＳＬ１−２の出力が完了すると、制御出力部１４のデータ出力部２３が出力ＥＮＤ信号をアサートする。このアサート状態の出力ＥＮＤ信号６４に応答して、静止画ラインＳＬ２の出力データ量を示す情報を含むヘッダ７５を制御出力部１４が出力するとともに、ヘッダ７５に後続して静止画ラインＳＬ２を制御出力部１４が出力する。この静止画ラインＳＬ２の長さは、出力ＥＮＤ信号６４と６５との間の長さＤ３として示される。

上記の例において、保持されたカウント値ｎに基づいて制御部２０が決定する静止画ラインの長さは、ライン単位で出力する場合に次に出力すべき部分の長さと、カウント値が示す取り敢えず分かっている使用可能な長さとの大小関係により異なる。ライン単位で出力する場合に次に出力すべき部分の長さとは、ライン単位で考えた時の一本の静止画ラインの残りの部分の長さであり、この場合は一本の静止画ラインの残りの部分ＳＬ１−２の長さ（Ｋとする）である。また取り敢えず分かっている使用可能な長さは、ｎ−２ｈである。この場合、ｎ−２ｈ＞Ｋであれば、出力する静止画ラインの長さはＫとなる。ｎ−２ｈ≦Ｋであれば、出力する静止画ラインの長さはｎ−２ｈとなる。

即ち、静止画ラインを出力可能な十分な長さの間隙がある場合であっても、ライン単位で考えた時の一本の静止画ラインの終端においては出力を一区切りさせ、次の一本の静止画ラインの先端（例えば静止画ラインＳＬ２の先端）においてヘッダ情報を挿入する。なおこれは実施の形態の一例に過ぎず、ラインの先端においてヘッダを挿入することが要求されないのであれば、ｎ−２ｈ＞Ｋのときであっても、出力する静止画データの長さをｎ−２ｈとしてかまわない。

同様に、保持されたカウント値ｍに基づいて制御部２０が決定する静止画ラインの長さは、ライン単位で出力する場合に次に出力すべき部分の長さと、カウント値が示す取り敢えず分かっている使用可能な長さとの大小関係により異なる。ライン単位で出力する場合に次に出力すべき部分の長さとは、ライン単位で考えた時の一本の静止画ラインの残りの部分の長さであり、この場合は次の一本の静止画ラインＳＬ２の長さ（Ｊとする）である。また取り敢えず分かっている使用可能な長さは、ｎ−３ｈ−Ｋである。この場合、ｎ−３ｈ−Ｋ＞Ｊであれば、出力する静止画ラインの長さはＪとなる。ｎ−３ｈ−Ｋ≦Ｊであれば、出力する静止画ラインの長さはｎ−３ｈ−Ｋとなる。

上述のようにして、制御部２０は、ライン単位で出力する場合に次に出力すべき部分の長さと、カウント値が示す取り敢えず分かっている使用可能な長さとの大小関係により、次に出力する静止画データの長さを決定してよい。次に出力すべき部分の長さが使用可能な長さよりも短ければ、次に出力すべき部分の長さの静止画データを出力すればよい。次に出力すべき部分の長さが使用可能な長さよりも長ければ、使用可能な長さの静止画データを出力すればよい。

図１０は、図８に示す撮像装置における制御出力部１４の動作の一例を示すフローチャートである。フローチャートの開始時には変数Ｌはゼロに初期設定されているとする。なおこの変数Ｌは、現在出力中の画像ラインの有（Ｌ＝１）又は無（Ｌ＝０）を示すデータである。

ステップＳ２１で、動画処理ＥＮＤが発生したか否か、即ち動画処理ＥＮＤ信号がアサートされたか否かを制御部２０が判定する。これにより、動画処理ＥＮＤ信号がアサートされるのを待ち続け、動画処理ＥＮＤ信号がアサートされると、処理はステップＳ２２に移る。ステップＳ２２で、制御部２０は、サイクルカウンタ２４をクリア（即ちカウント値を初期値ゼロに設定）した後、サイクルカウンタ２４によるカウント動作を開始する。この後、サイクルカウンタ２４によるカウント動作は、制御部２０によるその後の制御動作と並行に実行されてよい。なおこの動作例では、カウンタクリアのタイミングが図９に示す例とは異なり、動画処理ＥＮＤ信号が発生した時点でゼロに戻すような実施の形態となっている。

ステップＳ２３で、制御部２０は、変数Ｌが１であるか否かを判定する。Ｌ＝１である場合、即ち現在出力中の画像ラインが存在する場合、ステップＳ２４で、出力ＥＮＤ信号が発生したか否か、即ち出力ＥＮＤ信号がアサートされたか否かを制御部２０が判定する。これにより、出力ＥＮＤ信号がアサートされるのを待ち続け、出力ＥＮＤ信号がアサートされると、処理はステップＳ２５に移る。ステップＳ２３でＬ＝０である場合、即ち現在出力中の画像ラインが存在しない場合、処理はステップＳ２４をスキップしてステップＳ２５に移る。なお図９の例では、動画処理ＥＮＤ信号のアサートの直後から制御出力部１４によるデータ出力が開始されているが、これは必ずしも必要ではない。図９の例において、制御出力部１４によるデータ出力のタイミングが、図示されるタイミングよりも全体的に例えば何サイクルか遅れていても、ライン連携動作を問題なく維持することができる。ステップＳ２３及びＳ２４による出力中の画像ラインの終了待ち動作は、制御出力部１４によるデータ出力のタイミングが上記のように遅れている場合などに意味がある。

ステップＳ２５で、制御部２０はヘッダ生成部２５にヘッダを生成させる。ステップＳ２６で、制御部２０は動画ライン出力処理を起動するとともに、Ｌを１に設定する。この起動された動画ライン出力処理の一連の動作は、制御部２０のその後の制御動作と並行して実行されてよい。

図１１は、動画ライン出力処理の一例を示すフローチャートである。ステップＳ５１で、データ出力部２３は動画ヘッダを出力する。ステップＳ５２で、データ出力部２３は動画ラインを出力する。より詳しくは、データ入力部２１によりメモリ１３から動画ラインが読み出され、データ処理部２２により動画ラインにデータ処理が施され、データ処理後の動画ラインがデータ入力部２１からアプリケーションプロセッサ１５に出力される。最後にステップＳ５３で、データ出力部２３は出力ＥＮＤを発生する、即ち出力ＥＮＤ信号をアサートする。

図１０に戻りステップＳ２７で、制御部２０は動画処理ＳＴＡＲＴが発生したか否か、即ち動画処理ＳＴＡＲＴ信号がアサートされたか否かを判定する。動画処理ＳＴＡＲＴが発生していない場合、処理はステップＳ２８に移る。ステップＳ２８で、制御部２０は、出力ＥＮＤが発生したか否か、即ち出力ＥＮＤ信号がアサートされたか否かを判定する。出力ＥＮＤが発生していない場合、処理はステップＳ２７に戻る。出力ＥＮＤが発生した場合、処理はステップＳ２９に移る。

ステップＳ２９で、制御部２０は、カウント値を保持する（或いはヘッダ生成部２５にカウント値を保持させる）。ステップＳ３０で、制御部２０は、Ｌをゼロに設定する。ステップＳ３１で、制御部２０は、出力すべき静止画ラインが存在するか否かを判定する。出力すべき静止画ラインが存在しない場合、処理はステップＳ２７に戻る。出力すべき静止画ラインが存在する場合、処理はステップＳ３２に移る。ステップＳ３２で、制御部２０は、カウンタ値に基づきヘッダ生成部２５にヘッダを生成させる。ステップＳ３３で、制御部２０は、静止画ライン出力処理を起動するとともに、Ｌを１に設定する。その後処理はステップＳ２７に戻る。

図１２は、静止画ライン出力処理の一例を示すフローチャートである。ステップＳ６１で、データ出力部２３は静止画ヘッダを出力する。ステップＳ６２で、データ出力部２３は静止画ラインを出力する。より詳しくは、データ入力部２１によりメモリ１３から静止画データが読み出され、データ処理部２２により静止画データにデータ処理が施され、データ処理後の静止画データがデータ入力部２１からアプリケーションプロセッサ１５に出力される。最後にステップＳ６３で、データ出力部２３は出力ＥＮＤを発生する、即ち出力ＥＮＤ信号をアサートする。

図１０に戻り、ステップＳ２７において動画処理ＳＴＡＲＴが発生したと判定された場合、処理はステップＳ３４に移る。ステップＳ３４で、制御部２０は、カウント値を保持する（或いはヘッダ生成部２５にカウント値を保持させる）。ステップＳ３５で、制御部２０は、変数Ｌが１であるか否かを判定する。Ｌ＝１である場合、即ち現在出力中の画像ラインが存在する場合、ステップＳ３６で、出力ＥＮＤが発生したか否か、即ち出力ＥＮＤ信号がアサートされたか否かを制御部２０が判定する。これにより、出力ＥＮＤ信号がアサートされるのを待ち続け、出力ＥＮＤ信号がアサートされると、処理はステップＳ３７に移る。ステップＳ３５でＬ＝０である場合、即ち現在出力中の画像ラインが存在しない場合、処理はステップＳ３６をスキップしてステップＳ３７に移る。

ステップＳ３７で、制御部２０は、Ｌをゼロに設定する。ステップＳ３８で、制御部２０は、出力すべき静止画ラインが存在するか否かを判定する。出力すべき静止画ラインが存在しない場合、処理はステップＳ４２に移る。出力すべき静止画ラインが存在する場合、処理はステップＳ３９に移る。ステップＳ３９で、制御部２０は、カウンタ値に基づきヘッダ生成部２５にヘッダを生成させる。ステップＳ４０で、制御部２０は、静止画ライン出力処理を起動するとともに、Ｌを１に設定する。この静止画ライン出力処理は、図１２に示される処理であってよい。ステップＳ４１で、動画ライン間のインターバルの残りが存在するか否か、即ち、静止画ラインを挿入する間隙が現在の動画ライン間のインターバルにまだ存在するか否かを判定する。インターバルの残りがある場合、処理はステップＳ３６に戻り、以降の処理を繰り返す。インターバルの残りがない場合、処理はステップＳ４２に移る。

ステップＳ４２で、制御部２０は、出力すべき動画ラインが存在するか否かを判定する。例えば表示部１６での動画の表示が中断した場合や終了した場合、制御出力部１４から出力すべき動画ラインは存在しないことになる。このような場合、制御出力部１４による出力処理は終了する。ステップＳ４２において、出力すべき動画ラインが存在すると判定された場合、処理はステップＳ２１に戻り、以降の処理を繰り返す。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

１０撮像部
１１静止画処理部
１２動画処理部
１３メモリ
１４制御出力部
１５アプリケーションプロセッサ
１６表示部
２０制御部
２１データ入力部
２２データ処理部
２３データ出力部
２４サイクルカウンタ
２５ヘッダ生成部

Claims

メモリと、
画像データを動画処理して生成した動画データをライン毎に前記メモリに書き込むとともに、前記メモリに各ラインを書き込む処理のタイミングを示す制御信号を生成する動画処理部と、
前記画像データを静止画処理して生成した静止画データを前記メモリに書き込む静止画処理部と、
前記制御信号に応答して前記動画データを前記メモリから順次読み出してライン毎に順次出力すると共に、順次出力される前記動画データの隣接するライン間に、前記静止画データの１ラインを分割して得られる１ライン未満の固定量の静止画データ又は前記制御信号が示す前記タイミングに応じた量の静止画データを挿入して出力する制御出力部と
を含む画像処理装置。
前記制御出力部は、順次出力される前記動画データのラインの各々に後続するように前記静止画データを出力し、前記制御信号が示す前記タイミングに応答して前記静止画データの出力を中断する、請求項１記載の画像処理装置。
前記制御信号は前記書き込む処理の開始のタイミングと終了のタイミングとを示し、前記制御出力部は、前記制御信号に基づいて、前記終了のタイミングからそれに後続する前記開始のタイミングまでの時間間隔を計測し、前記計測した時間間隔に応じた量の静止画データを、順次出力される前記動画データの隣接するライン間に挿入して出力する、請求項１記載の画像処理装置。
前記制御出力部は、順次出力される前記動画データのラインの各々の先頭と、前記計測した時間間隔に応じた量の静止画データの先頭とに、出力データ量を示す情報を付加して出力する、請求項３記載の画像処理装置。
前記制御出力部は、前記終了のタイミングの後において、前記開始のタイミングが到来する前に、前記動画データのラインの出力の終了又は前記静止画データのラインの終端の出力が発生した場合、前記終了のタイミングから当該発生のタイミングまでの経過時間を記録し、前記記録した経過時間に応じた量の静止画データを、出力データ量を示す情報を先頭に付加して出力する、請求項４記載の画像処理装置。
撮像素子と、
メモリと、
前記撮像素子から供給される画像データを動画処理して生成した動画データをライン毎に前記メモリに書き込むとともに、前記メモリに各ラインを書き込む処理のタイミングを示す制御信号を生成する動画処理部と、
前記撮像素子から供給される前記画像データを静止画処理して生成した静止画データを前記メモリに書き込む静止画処理部と、
前記制御信号に応答して前記動画データを前記メモリから順次読み出してライン毎に順次出力すると共に、順次出力される前記動画データの隣接するライン間に、前記静止画データの１ラインを分割して得られる１ライン未満の固定量の静止画データ又は前記制御信号が示す前記タイミングに応じた量の静止画データを挿入して出力する制御出力部と、
前記制御出力部が出力したデータを受け取るプロセッサと、
前記プロセッサにより処理したデータを表示する表示部と
を含む撮像装置。
画像データを動画処理して生成した動画データをライン毎にメモリに書き込むとともに、前記メモリに各ラインを書き込む処理のタイミングを示す制御信号を生成し、
前記画像データを静止画処理して生成した静止画データを前記メモリに書き込み、
前記制御信号に応答して前記動画データを前記メモリから順次読み出してライン毎に順次出力し、
順次出力される前記動画データの隣接するライン間に、前記静止画データの１ラインを分割して得られる１ライン未満の固定量の静止画データ又は前記制御信号が示す前記タイミングに応じた量の静止画データを挿入して出力する
各段階を含む画像データ出力方法。