JP5733949B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、被写体を複数回に分けて撮像し、得られた画像を合成して出力する撮像装置に関し、特に撮像のタイミングの制御に関する。

従来より、被写体を複数回に分けて撮像し、得られた複数の画像を合成して出力する撮像装置がある。例えば、特許文献１には、１／２画素ピッチずつずらして撮像した複数の画像を用いて高解像度の画像を合成表示する撮像装置が開示されている。また、特許文献２には、被写体の顕微鏡像を複数の領域に分けて撮像し、得られた各領域の画像を合成（タイリング）して高解像度の画像を作成する撮像装置が開示されている。

特開平５−３１６４３４号公報 特開２００９−００３０１６号公報

従来の撮像装置における一般的なシーケンスは、撮像位置の移動及び撮像を繰り返して全ての領域の画像を撮像した後、それらの画像を合成する処理を実行する、というものであった。しかし、このシーケンスは、全領域の画像データを格納できるバッファ（メモリ）を必要とするため、画像のデータサイズや枚数の増加に伴い装置コストが増大するという問題がある。特に最近は、多画素・高分解能の画像に対する要求が大きいため、バッファ容量の削減は重要な課題となってきている。また、上記シーケンスは、撮像の開始から合成画像の完成までに要する時間が長いという問題もあり、総処理時間の短縮も望まれている。

本発明は上記実情に鑑みてなされたものであって、被写体を複数回に分けて撮像し、得られた画像を合成する処理において、必要なバッファ容量を削減するとともに、総処理時間を短縮するための技術を提供することを目的とする。

本発明の第１態様は、撮像位置を変えながら被写体を複数回に分けて撮像し、各撮像位置で得られた複数の画像を合成することにより被写体全体の画像を生成する撮像装置であって、色毎のＲＡＷ画像を撮像する撮像手段と、前記撮像手段から出力されるＲＡＷ画像を一時的に保持するための色別バッファと、前記色毎のＲＡＷ画像に対し現像処理を施して点順次のカラー画像を出力する現像手段と、前記現像手段から出力されるカラー画像のうち少なくとも他の撮像位置のカラー画像と合成される領域のデータを、当該領域の合成処理が終了するまで一時的に保持するためのバッファと、前記バッファに保持されたデータを用いてカラー画像の合成処理を行う合成手段と、前記撮像手段の撮像開始タイミングを制御する制御手段と、を有し、前記制御手段は、一部の色のＲＡＷ画像が残りの色のＲＡＷ画像よりも先行して撮像され、前記色別バッファに格納されるように、色毎の撮像開始タイミングを制御し、前記現像手段は、前記色別バッファから読み出した前記一部の色のＲＡＷ画像と、前記撮像手段から入力される前記残りの色のＲＡＷ画像とを用いて、現像処理を行う撮像装置を提供する。

本発明の第２態様は、撮像位置を変えながら被写体を複数回に分けて撮像し、各撮像位置で得られた複数の画像を合成することにより被写体全体の画像を生成する撮像装置であって、色毎のＲＡＷ画像を撮像する撮像手段と、前記撮像手段から出力される全色分のＲＡＷ画像を一時的に保持するための色別バッファと、前記色別バッファに保持されたＲＡＷ画像に対し現像処理を施して点順次のカラー画像を出力する現像手段と、前記現像手段から出力されるカラー画像のうち少なくと
も他の撮像位置のカラー画像と合成される領域のデータを、当該領域の合成処理が終了するまで一時的に保持するためのバッファと、前記バッファに保持されたデータを用いてカラー画像の合成処理を行う合成手段と、前回の撮像位置で得られたカラー画像に対する合成処理が開始した後に今回の撮像位置で得られるＲＡＷ画像の前記色別バッファへの書き込みが開始するように、前記撮像手段の撮像開始タイミングを制御する制御手段と、を有する撮像装置を提供する。

本発明によれば、被写体を複数回に分けて撮像し、得られた画像を合成する処理において、従来に比べて、必要なバッファ容量を削減することができるとともに、総処理時間を短縮することができる。

本発明の実施形態における撮像装置のハードウェア構成図。 本発明の第１実施形態における撮像装置の機能ブロック図。 本発明の第１実施形態における撮像装置の動作の流れを示すフローチャート。 本発明の第１実施形態における撮像タイミングを示すタイミングチャート。 本発明の第１実施形態における合成領域と非合成領域を示す図。 本発明の第２実施形態における撮像装置の機能ブロック図。 本発明の第２実施形態における撮像装置の動作の流れを示すフローチャート。 本発明の第２実施形態における撮像タイミングを示すタイミングチャート。 本発明の第２実施形態における合成領域と非合成領域を示す図。 本発明の第３実施形態における撮像装置の機能ブロック図。 本発明の第３実施形態における撮像装置の流れを示すフローチャート。 本発明の第３実施形態における合成領域とデータ並び順を示す図。 本発明の第４実施形態における撮像装置の流れを示すフローチャート。

本発明は、撮像位置を変えながら被写体を複数回に分けて撮像し、各撮像位置で得られた複数の画像を合成（タイリング又はつなぎ合わせともいう）することによって、被写体全体のデジタル画像を生成するための技術に関する。以下、本発明の具体的な適用例として、光学顕微鏡により拡大した被写体像を分割撮像し、高解像度かつ大サイズのデジタル静止画を合成出力する撮像装置について説明する。このような撮像装置は、例えば、細胞や組織の病理検査などに利用される。

＜第１実施形態＞
（撮像装置の構成）
図１（ａ）、（ｂ）は本発明の第１実施形態に係る撮像装置のハードウェア構成を模式的に示している。
図１（ａ）に示すように、撮像装置は、概略、処理装置１００、移動ユニット１０４、照明ユニット１０５、撮像ユニット１０６を備えている。移動ユニット１０４は、例えば、被写体（被検査物）を固定したプレパラート１１２を保持するステージと、ステージの位置を移動させるアクチュエータと、アクチュエータを駆動する制御回路などから構成される。照明ユニット（照明手段）１０５は、照明光を発する光源部１０５ａと、照明光をプレパラート１１２上の被写体に導く照明光学系１０５ｂから構成される。光源部１０５ａとしては、例えば、ＬＥＤ（発光ダイオード）、ＬＤ（レーザーダイオード）などを用いることができる。撮像ユニット１０６は、ＣＣＤやＣＭＯＳなどのイメージセンサ（撮像素子）からなる撮像部（撮像手段）１０６ａと、被写体の透過光を拡大し撮像部１０６
ａに導く撮像光学系１０６ｂから構成される。

カラー画像の撮像方法として、一般的なデジタルスチルカメラでは、ＲＧＢ各色の画素を混在して配置したセンサによって撮像を行い、周囲の画素の出力を補間することによって、各画素のＲＧＢ値を得る「単板式」と呼ばれる方法が利用される。しかし、単板式は、補間処理による画質の低下が避けられないため、微細な構造観察を目的とする顕微鏡のように解像力（分解能）が重視される装置には適さない。したがって、色毎に別々に撮像を行うことが好ましい。一方、撮像を色毎に行う方法として、ＲＧＢ各色のセンサを用いる「３板式」と呼ばれる方法がある。しかし、高解像度の撮像が必要となる顕微鏡の場合、センサには高価な高解像度タイプを用いるか、或いは複数のセンサを使用して画素数を増やす必要があるため、３板式のような構成ではコストアップとなってしまう。そこで、本実施形態の撮像装置では、１つのセンサにより時間的に異なるタイミングで（つまり時系列に）色毎の撮像を行う。この方法は、撮像時間が３倍になるという不利はあるものの、高解像度かつ高画質の静止画を低コストで撮像できるという点で非常に実用性に優れる。

図１（ｂ）には、処理装置１００の内部構成が示されている。図中、１０１は撮像装置の動作制御を行うＣＰＵ（中央演算処理装置）である。１０２はＣＰＵ１０１を動作させるためのプログラムコードを格納するためのＲＯＭである。１０３はＣＰＵ１０１がワークメモリとして使用するＲＡＭである。

１０７は画像処理ユニットであり、撮像ユニット１０６により生成された画像情報に対して、面順次点順次変換や画像合成処理等の各種画像処理を施す、専用の処理ユニットである。面順次点順次変換は、撮像ユニット１０６において色毎に得られたＲＡＷ画像に対して、画素単位でカラーデータ（ＲＧＢ値）をまとめるための処理であり、現像処理の役割がある。点順次のデータに変換する理由は、後段の画像処理の利便を高めるためである。例えば、１画素のカラーデータが連続していると、画素単位の画像処理や、周辺画素を参照する画像処理を行う場合などに、メモリへのデータアクセスが高速になる効果がある。更に、画像を領域分割する際に、画素の単位でデータがまとまっていた方が領域の管理がしやすいなどの利点がある。

画像合成処理は、撮像位置を変えて撮像された複数の画像をつなぎ合せる処理である。移動ユニット１０４による移動誤差、レンズの収差、センサ上の素子のばらつきなどの様々な原因により、画像間の境界が不連続になることは避けられない。そこで、本実施形態では、隣接する画像同士が少しずつ重複するように撮像を行い、その重複領域内で位置合わせ、変形、画素値の調整などを行うことで、画像同士のつなぎ目を滑らかにする。画像合成処理は、従来公知の方法も含め、どのような方法を用いてもよい。

１０９は画像バッファ用ＲＡＭであり、現像処理待ちの画像データが一時的に格納される色別バッファや、合成処理待ちの画像データが一時的に格納される合成バッファとして利用されるメモリである。１０８はＩ／Ｆ部であり、コンピュータなどの他の機器１１３との間で通信を行うためのものである。なお、図１（ｂ）における画像バッファ用ＲＡＭ１０９以外の各部は動作制御信号を送受信するための制御用バス１１０を介して接続され、ＣＰＵ１０１による制御に基づいて動作する。また、画像データは画像バッファ用ＲＡＭ１０９に格納され、画像データを送受信するためのデータ用バス１１１を介して各部からアクセスされる。

なお、本装置の動作制御はＣＰＵ１０１が行うものとして説明したが、本発明はこれに限るものではない。例えば一部もしくは全てのタイミング制御をハードウェア化しても良い。また、画像処理は画像処理ユニット１０７で行うものとして説明したが、画像処理の
一部或いは全部をＣＰＵ１０１で実行するようにしても良い。また、図１（ｂ）においては制御用バス１１０とデータ用バス１１１を異なるものとして記載しているが、同一のバスを使用するようにしても良い。また、図１（ａ）では、撮像位置を変えるために、移動ユニット１０４が被写体（プレパラート１１２）のみを移動させているが、撮像部のみ、或いは、被写体と撮像部の両方を移動させても良い。図１（ａ）、（ｂ）は本発明の撮像装置の構成を限定するものではなく、本発明の手段を実行可能な構成であれば、他の構成でも構わない。

（撮像装置の機能構成）
図２は第１実施形態の撮像装置の主な機能構成を模式的に示すブロック図である。
２０１は、動作指示の入力を受け付けるための動作指示入力端子である。動作指示は、撮像装置本体に取り付けられた不図示の操作パネルを用いて入力されても良いし、ＰＣ端末などの外部機器１１３から入力されても良い。２０２は、撮像位置切替部であり、被写体の撮像位置を移動させ、異なる位置における撮像が行えるようにするためのものである。撮像位置切替部２０２は、図１のＣＰＵ１０１と移動ユニット１０４により実現される機能である。

２０３は光源部であり、複数の色の光を切り替えて照射させることが可能である。光源部２０３から発せされる光としては、例えば被写体をカラーで撮像する場合には、Ｒ、Ｇ、Ｂの３種類の光が用いられる。白色光源とＲ、Ｇ、Ｂのカラーフィルタの組み合わせにより、Ｒ、Ｇ、Ｂの３種類の光を生成する構成でもよいし、Ｒ色光源、Ｇ色光源、Ｂ色光源の３種類の光源を用いる構成でもよい。２０４は撮像部であり、ＣＣＤやＣＭＯＳなどのセンサを用いて被写体を撮像し、画像情報を取得する。なお、光源部２０３、撮像部２０４は、それぞれ図１の光源部１０５ａ、撮像部１０６ａに対応する。

２０５は撮像制御部（制御手段）であり、撮像位置切替部２０２による撮像位置の移動、光源部２０３の色の切り替えや照射タイミング、撮像部２０４の撮像開始タイミングなどを制御する。２１０は処理状況把握部であり、後述する画像合成部２０８における合成処理の状況を監視し、撮像制御部２０５に通知する。撮像制御部２０５及び処理状況把握部２１０は、図１のＣＰＵ１０１により実現される機能である。

２０６は現像処理部であり、撮像部２０４により撮像された色毎の画像情報（ＲＡＷ画像）に対して、前述した現像処理（面順次点順次変換など）を施すことにより、カラー画像を生成する。２０７は色別バッファであり、撮像部２０４から得られる色毎の画像情報を（現像処理が終了するまで）一時的に保持するためのメモリである。上述のように、撮像は色毎に異なるタイミングで行われる。例えば、撮像をＲ、Ｇ、Ｂの順で行う場合、色別バッファ２０７には最後に撮像される色以外の色（ここではＲとＧ）の画像を保持する。そして、現像処理部２０６は、撮像部２０４から最後の色（ここではＢ）の画像情報を受け取ると、色別バッファ２０７には格納せずに、順次他の色（ここではＲとＧ）の画像情報を用いて現像処理を行い、画像合成部２０８に出力する。このような構成にすることにより、１色分の画像データをバッファに蓄積する時間を省略することができ、全３色のデータをバッファに蓄積する場合に比べ、処理時間を短縮することが可能となる。更に、この構成では１色分の画像バッファが不要となるため、コスト削減を行うことが可能となる。本実施形態の撮像装置で取り扱う高解像度画像はデータ量が大きいため、１色分の画像バッファの削減は効果が大きい。

２０８は画像合成部であり、撮像位置切替部２０２により移動して撮像を行った結果得られた複数の位置における画像情報に対して、合成処理を施す。２０９は合成バッファであり、現像処理部２０６から出力された画像情報のうち、画像合成部２０８において合成処理が施される合成領域の画像情報を（合成処理が終了するまで）一時的に保持するメモ
リである。

２１１は画像圧縮部であり、画像合成部２０８から出力された画像情報を圧縮する機能である。画像圧縮部２１１で圧縮された画像情報は、Ｉ／Ｆ部２１２により出力端子２１３を介して外部機器に送信される。なお、画像圧縮部２１１による圧縮処理を行うか否かを選択できるようにしても良い。また、画像情報を圧縮する必要がなければ、画像圧縮部２１１の機能を無くしても良い。

図２の現像処理部２０６、画像合成部２０８、画像圧縮部２１１は、図１の画像処理ユニット１０７により実現される機能であり、色別バッファ２０７と合成バッファ２０９は、画像バッファ用ＲＡＭ１０９により実現される機能である。また、Ｉ／Ｆ部２１２は、図１のＩ／Ｆ部１０８に対応している。

（動作フロー）
図３は第１実施形態における撮像装置の動作フローを示すフローチャートである。

処理が開始されると、Ｓ３０１において撮像制御部２０５が装置の動作条件などの初期化を行う。初期化として実行される内容は、例えば、光源部２０３で使用する光源色や、色を切り替える順番、撮像位置切替部２０２における初期位置や移動量、或いは移動の順番、更には、撮像部２０４において行われる撮像時の解像度などが挙げられる。また、光量の調整や、センサゲイン調整などの調整を行うようにしても良い。

続いてＳ３０２において、撮像位置切替部２０２が撮像位置を今回の撮像位置に移動させる。Ｓ３０３では、撮像制御部２０５が今回の撮像で使用する光源色を光源部２０３に設定し、続いてＳ３０４において光源部２０３の動作を開始させて被写体に光を照射させる。

Ｓ３０５においては、撮像制御部２０５は、今回の撮像がＳ３０１で設定された色を切り替える順番の中で、最後に設定される光源色に対する撮像であるか否かの判定を行う。Ｓ３０５において最後の色の撮像ではないと判定された場合、Ｓ３０６において撮像部２０４による撮像が実行される。次にＳ３０７に進み、撮像された画像情報の色別バッファ２０７への保存が行われる。Ｓ３０７における画像情報の保存が終了すると、処理はＳ３０３に戻り、次の撮像のために光源色の設定が行われる。

一方、Ｓ３０５において今回の撮像が最後の色の撮像であると判定されると、処理はＳ３０８に移行する。Ｓ３０８では、処理状況把握部２１０が、前回の撮像位置において撮像された画像情報に対する合成処理が終了しているか否かを判定する。なお、合成処理は２回目の撮像が終わるまでは開始されないため、１回目及び２回目の撮像時には、Ｓ３０８において合成処理は終了しているという判定結果を返すか、Ｓ３０８の処理をスキップすると良い。

ここで、処理状況把握部２１０は、画像合成部２０８における合成処理の演算が終了し、かつ、合成バッファ２０９の書き込みが可能になったことを、合成処理の終了ととらえるとよい。「合成バッファ２０９の書き込みが可能」とは、合成処理待ちの画像情報を上書きすることなく、新たに撮像した画像情報を合成バッファ２０９に格納することができることを意味する。合成処理の演算終了に伴い、合成処理済みの画像情報が保持されていたバッファ領域が空き状態（上書き可能状態）となり、新たに撮像した画像情報をそのバッファ領域に格納することが可能となる。なお、合成処理の演算終了と、合成バッファ２０９の書き込み許可のタイミングは実質的に同じであるため、処理状況把握部２１０は、画像合成部２０８の演算の進行状況と合成バッファ２０９の書き込み可否のいずれか一方
を監視するだけでもよい。

Ｓ３０８において合成処理が終了していないと判定されると、撮像制御部２０５は、Ｓ３０９において前回の合成処理が終了するまで処理を待った後に、Ｓ３１０に移行する。一方、Ｓ３０８において合成処理が終了していると判定された場合、Ｓ３０９における待ちを行うことなく、Ｓ３１０に処理を移行する。Ｓ３１０では、撮像部２０４が現在の撮像位置における最後の色の撮像を開始する。

そしてＳ３１１では、撮像部２０４から最後の色の画素データが逐次入力されると、現像処理部２０５は対応する位置における他の色の画素データを色別バッファ２０７から読み込んで、点順次画像を生成して出力する。必要であれば、現像処理部２０５は色変換などの画像処理も行う。次にＳ３１２では、画像合成部２０８が画像保存と出力を行う。詳しくは、画像合成部２０８は、入力される画像情報を複数の領域に分割し、画像合成に必要となる領域（合成領域）のデータは合成バッファ２０９に保存し、画像合成に必要でない領域（非合成領域）のデータは合成バッファ２０９に保存せずに出力する。

Ｓ３１３において、画像合成部２０８は、合成バッファ２０９のデータ蓄積状況を確認し、合成処理に必要なデータが揃っている合成領域が存在するか否かを判定する。Ｓ３１３において合成処理に必要なデータが揃っている合成領域が存在すると判定された場合には、画像合成部２０８は、Ｓ３１４において当該合成領域に対する合成処理の実行を開始する。合成処理が施された画像情報は順次画像圧縮部２１１に出力される。一方、Ｓ３１３において合成処理に必要なデータが揃っている合成領域が存在しないと判定された場合には、処理をＳ３１５に移行させる。２回目の撮像以降は、通常、Ｓ３１３でＮＯ判定になることはなく、現像処理に引き続いて合成処理が行われることになる。

Ｓ３１５では、撮像制御部２０５が現在の撮像位置が最後の撮像位置であるか否かの判定を行う。Ｓ３１５において最後の撮像位置ではないと判定された場合には、処理はＳ３０２に戻り、撮像位置切替部２０２が次の撮像位置への移動を行った後、上述の動作が繰り返される。一方、Ｓ３１５において最後の撮像位置ではないと判定された場合にはＳ３１６に移行し、実行中の合成処理が終了するのを待って、動作を終了させる。

なお、光源部２０３から照射される光は白色など１種類のみであっても良く、この場合には、Ｓ３０５における最後の色の撮像であるか否かの判定はパスし、常に最後の色であるものとして以降の処理を実行する。またこの場合、Ｓ３０３における色の設定は不要である。

（動作タイミング）
次に図４を用いて、本実施形態における各部の動作タイミングを説明する。なお、図４では、光源から照射される光の色は３色である例を用いて説明する。

図４中、４０１は撮像位置切替部２０２の動作状態を示している。４０２は撮像部２０４が第１色において撮像を行う際の動作状態を示している。４０３は撮像部２０４が第２色において撮像を行う際の動作状態を示している。４０４は撮像部２０４が第３色、つまり最終色において撮像を行う際の動作状態を示している。なお、図３におけるステップＳ３１１で説明したように、最終色が入力された時点で面順次点順次変換が行われ、画像合成部２０８へ画像情報が入力される。４０５は画像合成部２０８における合成処理の動作状態を示している。

４０６〜４０８は、合成処理が終了している状態（つまり４０５がオフの状態）における撮像開始タイミングを示している。例えば、１回目と２回目の撮像や、合成処理が最終
色の撮像よりも早く終了した場合には、４０６〜４０８のようなタイミングで各色の撮像が行われる。タイミング４０６は撮像位置切替部２０２の動作が終了した後のタイミングであり、撮像制御部２０５はタイミング４０６に基づいて第１色の撮像を開始する。タイミング４０７は第１色の撮像が終了したタイミングであり、撮像制御部２０５はタイミング４０７に基づいて光源の色の切り替え、及び第２色の撮像を開始する。タイミング４０８は第２色の撮像が終了したタイミングであり、合成処理が終了していることから、撮像制御部２０５はタイミング４０８に基づいて光源の色の切り替え、及び最終色の撮像を開始する。

合成処理に必要な画像情報が合成バッファ２０９に蓄積されるタイミング４０９において合成処理が開始される。一方、合成処理の終了状態とは無関係に、最終色の撮像が終了するタイミング４１０に基づいて、次の撮像位置への移動が開始される。そして上述と同様に、撮像位置の移動が終了したタイミング４１１に基づいて第１色の撮像が開始され、続いて、第１色の撮像が終了したタイミング４１２に基づいて第２色の撮像が開始される。ここで、第２色の撮像が終了したタイミング４１３においては、合成処理が実行中である。そのため、撮像制御部２０５は合成処理が終了するのを待ち（図３のＳ３０９参照）、合成処理が終了したタイミング４１４に基づいて最終色の撮像を開始する（図３のＳ３１０参照）。

タイミング４１４のように合成処理が終了したタイミングで最終色の撮像開始を制御することにより、合成バッファ２０９中の合成処理待ちデータの上書きが発生することを防止できる。また、合成処理が済んだデータ（例えば、前々回の撮像で得られたデータ）が格納されていたバッファ領域を今回の撮像で得られたデータの格納に利用することで、合成バッファ２０９の効率的な使用が可能となり、必要なバッファ容量を減らす効果がある。

なお、合成処理待ちデータの上書きを防止する目的は、例えば撮像位置の移動（４０１）又は最終色の撮像（４０４）の時間間隔を合成処理の時間長さよりも十分大きく設定することでも達成できる。しかしその場合は、無駄な待ち時間が発生する可能性がある。特に合成処理の時間長さが画像によって変化する場合には、最大の時間長さに合わせて他の動作タイミングを決定せざるを得ないため、無駄な待ち時間が多くなる。これに対して、本実施形態の方法によれば、待ち時間を可及的に少なくでき、測定時間（図３のフローの総処理時間）の短縮を図ることができるという効果もある。加えて、本実施形態では、最終色以外の色（第１色と第２色）については、合成処理の終了を待たずに（合成処理の処理状況とは無関係に）先行してＲＡＷ画像の撮像を開始している。これにより、合成処理の終了後ただちに最終色のＲＡＷ画像の撮像を開始できるようになるため、この点も総処理時間の短縮に寄与している。

なお、図４においては、各動作は時間的な隙間無く実行されるようになっているが、本発明はこれに限るものではない。例えば、動作開始可能なタイミングから実際に次の動作が開始されるまでの間に、動作切り替えのための時間が挿入されることなどがあってもよい。

（合成領域と非合成領域）
次に、図５を用いて撮像位置の移動と合成領域の例を説明する。図５（ａ）は撮像領域全体と、各撮像位置を示している。図５（ａ）は、撮像領域全体が４つの小領域５０１、５０２、５０３、５０４に分割され、撮像位置の移動は５０１、５０２、５０３、５０４の順に行われる例を示している。図５（ｂ）〜図５（ｅ）は、それぞれ、撮像位置５０１〜５０４に対応する撮像領域の詳細を示している。

撮像位置５０１に対応する撮像領域は、図５（ｂ）に示すように、他の撮像領域とオーバーラップしない領域Ａと、他の撮像領域とオーバーラップしている領域Ｅ、Ｆ、Ｉから構成されている。領域Ｅ、Ｆ、Ｉは、画像合成部２０８において隣接している他の撮像領域との間で合成処理が行われる合成領域（合成処理対象領域とも呼ぶ）である。一方で、領域Ａは合成処理が行われずに出力される非合成領域（合成処理非対象領域とも呼ぶ）である。同様に、図５（ｃ）〜図５（ｅ）において、領域Ｅ、Ｆ、Ｇ、Ｈ、Ｉは合成領域であり、領域Ｂ、Ｃ、Ｄは非合成領域である。図５（ｆ）は撮像領域全体の中における領域Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉの位置関係を示している。合成領域Ｅ、Ｆ、Ｇ、Ｈ、Ｉは合成バッファ２０９に保存され、画像合成部２０８において合成処理が施される。一方、非合成領域Ａ、Ｂ、Ｃ、Ｄは画像合成部２０８に入力されると、合成領域と分離され、そのまま出力される。

ここで、上述のように図５（ａ）に示す順番で撮像が行われた場合、図５（ｂ）及び図５（ｃ）の領域が撮像されると領域Ｅの合成処理が実行される。合成処理の終了後、領域Ｅのデータは不要となる。そのため、領域Ｅで使用した合成バッファを、図５（ｄ）及び図５（ｅ）の領域Ｈのデータを保持するためのバッファとして使いまわすことが可能となる。このように合成処理が終了した領域で使用していたバッファを次の合成処理に使いまわすことにより、全ての撮像位置における合成領域用のバッファを別々に確保する場合に比べ、必要なバッファ量を削減することが可能となる。特に高解像度撮像が行われる場合には使用するバッファ量が大きくなるため、使い回しによるバッファ削減はメモリ削減効果が大きく、コスト削減に大きく寄与する。例えば、図５（ｆ）の例では、合成領域として特に大きいのは領域Ｅ、Ｆ、Ｇ、Ｈの４箇所であるが、このうち領域Ｈのバッファを削減することが可能となる。そのため、領域Ｉが他の領域に比べ十分小さい場合であれば、バッファとして必要なメモリ量を約３／４にすることが可能となる。

なお、本実施形態では、処理時間が可変、若しくは予め予測できない画像合成方法が好ましく適用可能である。パターンマッチングによる位置合わせはその一例である。例えば、合成する画像が２枚の矩形画像である場合、片方の画像の頂点から特定量だけ内側の位置にある所定範囲の部分画像を切り出して基準画像とし、基準画像が他方の画像中のどの位置にあるかを検出する。検出にあたっては、他方の画像中で位置をずらしながら基準画像との差分演算を行い、差分が最も小さい位置が該当する位置であると判断する。上記位置検出を複数の位置から切り出した基準画像に対して行い、得られた位置関係から回転や平行移動の量を特定する。そして、２枚の画像に対して回転や平行移動の補正を行った後に、重み付け加算平均をとり合成画像を得る。なお、この方法は本発明に適用可能な画像合成方法の一例であり、本発明はこれに限定されるものではない。

本実施形態においては、画像合成部２０８が同時に処理できる合成領域の数については言及してこなかった。例えば図５（ａ）において最後の小領域５０４が撮像される際には、図５（ｅ）に示されるように領域Ｄ、Ｇ、Ｈ、Ｉが撮像される。このとき、３つの合成領域Ｇ、Ｈ、Ｉの画像情報が時間的に近いタイミングで揃うことになる。そのため、高速に処理を実行するためには、画像合成部２０８が複数の合成処理を並列に実行できるようにすると良い。なお、実行可能な並列処理数は、合成領域が同時に揃う最大数にしておくことで、最も高速に処理を行うことが可能となる。或いは、各撮像位置において同時に揃う合成領域数の中で最も発生頻度の高い回数の分だけ、合成処理を並列に行うことが可能なようにしておく構成でも良い。最も発生頻度が高い回数にすることで、使用される頻度の低いプログラム或いは回路を削減させることが可能となる。その結果、平均的な処理速度を保ちつつ、プログラムを格納するＲＯＭ或いは回路規模の削減によるコスト削減を行うことが可能となる。なお、図５に示す内容は本発明における撮像位置の移動と合成領域の一例であり、本発明はこれに限定されるものではない。

以上述べたように、第１実施形態によると、色別バッファと合成バッファを効率良く使用するように撮像開始タイミングを制御することにより、不要なメモリを必要とせずコストを削減することが可能となる。また、合成処理の処理状況に応じて撮像のタイミングを制御することにより、不要な待ち時間を発生させること無く、総処理時間を短縮することが可能となる。

＜第２実施形態＞
第１実施形態においては、基本的な構成として、１つの撮像部の撮像動作を、合成処理の処理状況に基づいて制御する例について説明した。本実施形態では更に、撮像装置が複数の撮像部を有する場合において、複数の合成処理の処理状況に基づいて複数の撮像部の撮像開始タイミングを制御する例について説明する。

（撮像装置の機能構成）
図６は、本発明の第２実施形態に係る撮像装置の機能構成を模式的に示すブロック図である。なお、第１実施形態の撮像装置（図２）と同様の箇所には同じ符号を付してあり、説明は省略する。

６０１は撮像制御部であり、図２の撮像制御部２０５に対応するものである。撮像制御部６０１は、複数の撮像部６０２〜６０４の撮像タイミングの制御を行う点が、図２の撮像制御部２０５とは異なる。図２における撮像部２０４、現像処理部２０６、色別バッファ２０７の組み合わせと同様に、撮像部６０２〜６０４に対しては、現像処理部６０５〜６０７と色別バッファ６０８〜６１０が各々組になって接続されている。なお、色別バッファ６０８〜６１０が最後に撮像される色以外の画像を保持する構成も、色別バッファ２０７と同様である。

現像処理部６０５〜６０７の出力はそれぞれ同一センサ内画像合成部６１１〜６１３に接続されている。同一センサ内画像合成部６１１〜６１３は、入力された画像情報を複数の領域に分割し、合成領域のデータは合成バッファ６１４〜６１７へ保存し、非合成領域のデータはそのまま画像圧縮部６２１、６２３、６２５へ出力する。そして、合成バッファ６１４〜６１７に合成処理に必要な画像が蓄積されると、同一センサ内画像合成部６１１〜６１３、及び、センサ間領域画像合成部６１８、６１９は合成処理を開始する。ここで、図６においては、同一センサ内画像合成部６１１〜６１３は、同一のセンサが異なる位置で撮像した２枚の画像を合成する合成処理部である。一方、センサ間領域画像合成部６１８、６１９は、異なるセンサで撮像された２枚の画像を合成する合成処理部である。

６２０は処理状況把握部であり、画像合成部６１１、６１２、６１３、６１８、６１９の処理状況を監視し、撮像制御部６０１に通知する。６２１〜６２５は画像情報を圧縮する画像圧縮部である。そして、６２６は複数の画像情報を入力し、外部装置へ出力するためのＩ／Ｆ部である。

なお、本発明において、同一センサ内画像合成部、及びセンサ間領域画像合成部は必ずしも分かれていなくても良く、同一の画像合成部が同一のセンサ内、及び異なるセンサ間で撮像された画像を合成するようにしても良い。

また、図６では画像合成処理を行う複数の画像合成部６１１、６１２、６１３、６１８、６１９の処理状況を、１つの処理状況把握部６２０で監視するようにしてあるが、本発明はこれに限ったものではない。例えば、複数の画像合成部に対して各々処理状況把握部を設けるようにし、各々の処理状況を撮像制御部６０１に送信するようにしても良い。或いは、合成バッファ６１４〜６１７に対して、各々処理状況把握部を設けるようにしても良い。更には、図９において後述するような、実際に割り当てられた合成バッファに対し
て各々処理状況把握部を設けるようにするなど、上記以外の様々な変形例への適用が可能である。

（動作フロー）
次に、図７を用いて第２実施形態における撮像装置の動作フローを説明する。なお、図７において第１実施形態の動作フロー（図３）と同様の項目には同じ符号が付してあり、必要がない限り説明は省略する。

処理が開始されると、Ｓ３０１〜Ｓ３０５までは図３の説明と同様に実行される。Ｓ３０５において、最後の色の撮像ではないと判定された場合、Ｓ７０１において撮像制御部６０１は全ての撮像部６０２〜６０４の撮像を開始する。続いて、Ｓ７０２において各撮像部６０２〜６０４から得られた画像情報が、対応する色バッファ６０８〜６１０に各々保存される。

一方、Ｓ３０５において今回の撮像が最後の色の撮像であると判定されると、処理はＳ７０３に移行する。Ｓ７０３では、処理状況把握部６２０が、複数の合成処理が実行されている中で、終了している合成処理があるか否かを判定する。なお、Ｓ７０３における合成処理終了の判定基準は、図３におけるＳ３０８と同様である。そして、終了している合成処理が１つ以上存在する場合には、処理はＳ７０４に移行する。

Ｓ７０４では、撮像制御部６０１は、合成処理が終了したことにより開放された合成処理用のバッファに対応する撮像部を、複数の撮像部６０２〜６０４の中から特定する。そして、Ｓ７０５では、撮像制御部６０１は、Ｓ７０４において特定された撮像部による撮像を開始する。Ｓ７０６では、撮像が開始された撮像部から最後の色の画素データが入力されるのに応じて、対応する現像処理部が点順次画像を生成して出力する。次いで、Ｓ７０７において、撮像が開始された撮像部に対応する同一センサ内画像合成部が、Ｓ３１２と同様に、合成領域のデータを合成バッファに保存するとともに、非合成領域のデータを出力する。

Ｓ７０７の後、又は、Ｓ７０３で終了している合成処理が検出できなかった場合に、処理はＳ７０８へ移行する。Ｓ７０８では、画像合成部６１１〜６１３、６１８、６１９が、複数の合成バッファ全てに対して、データが揃っている合成領域があるか否か判定する。そして、データが揃っている合成領域が存在する場合には、Ｓ７０９に移行して該データが揃っている合成領域全てに対して合成処理の実行と出力の開始を行い、Ｓ７１０へ移行する。一方、Ｓ７０８において、データが揃っている合成領域が複数の合成バッファのいずれにも存在しない場合には、Ｓ７１０へ移行する。

Ｓ７１０では、現在の光源の色において全ての撮像部６０２〜６０４が撮像を完了しているか否かを判定し、全ての撮像部６０２〜６０４の撮像が完了していないと判断された場合には、処理をＳ７０３に戻す。一方、Ｓ７１０において全ての撮像部６０２〜６０４の撮像が完了していると判断された場合には、Ｓ７１１に移行する。Ｓ７１１では、現在の撮像位置が最後の撮像位置であるか否かの判定が行われる。最後の撮像位置ではない場合には、処理をＳ３０２に移行させ、撮像位置を移動して上述の動作を繰り返す。一方、Ｓ７１１で最後の撮像位置であると判断された場合、Ｓ７１２において残っている合成処理の終了待ちを行った後に処理を終了させる。

なお、Ｓ７０３、Ｓ７０８、Ｓ７１０の判断が全てＮＯと判定されている場合、処理はＳ７０３、Ｓ７０８、Ｓ７１０の間でループを形成することになる。この状態は実行中の合成処理が存在し、合成処理の終了を待っている状態である。合成処理の待ちに対しては、Ｓ７０３、Ｓ７０８、Ｓ７１０のループを形成しているいずれかの場所において処理終
了待ちを行っても良い。また例えばソフトウェアプログラムにおいて実現する場合などでは、条件判断であってもＣＰＵの処理時間を要するため、特別な待ち状態を必ずしも入れる必要は無い。また、特定時間の待ちを行うことにより一定時間間隔で終了状態を確認するような構成にしても良い。

また、Ｓ７０８でＮＯと判断された後で、Ｓ７１０の判断が開始される前に合成処理が終了するようなタイミングが存在する場合には、Ｓ７１０においてＹＥＳと判断された後で、Ｓ７０８、及びＳ７０９による条件付処理を実行するようにしても良い。

図７における上述の説明のように動作を実行させることにより、複数の撮像部６０２〜６０４を有する構成において、無駄な待ち時間を発生させることなく撮像を開始させることが可能になる。

（動作タイミング）
次に図８を用いて、本実施形態における各部の動作タイミングを説明する。なお、第１実施形態（図４）と同様に、光源から照射される光の色は３色である例を用いて説明する。

図８中、８０１は撮像位置切替部２０２の動作状態を示している。８０２〜８０４はそれぞれ撮像部６０２が第１色〜第３色の撮像を行う際の動作状態を示している。８０５は同一センサ内画像合成部６１１における合成処理の動作状態を示している。８０６〜８０８はそれぞれ撮像部６０３が第１色〜第３色の撮像を行う際の動作状態を示している。８０９は同一センサ内画像合成部６１２における合成処理の動作状態を示している。８１０〜８１２はそれぞれ撮像部６０４が第１色〜第３色の撮像を行う際の動作状態を示している。８１３は同一センサ内画像合成部６１３における合成処理の動作状態を示している。８１４はセンサ間領域画像合成部６１８における合成処理の動作状態を示している。８１５はセンサ間領域画像合成部６１９における合成処理の動作状態を示している。

なお、図７におけるステップＳ７０６で説明したように、最終色が入力された時点で面順次点順次変換が行われ、同一センサ内画像合成部６１１〜６１３へ画像情報が入力される。

８１６〜８１８は全ての合成処理が終了している状態における撮像開始タイミングを示している。８１６〜８１８の期間は、いずれの画像合成部６１１〜６１３、６１８、６１９も合成処理を行っていない（８０５、８０９、８１３、８１４、８１５参照）。

タイミング８１６は撮像位置切替部２０２の動作が終了した後のタイミングを示しており、撮像制御部６０１はタイミング８１６に基づいて撮像部６０２〜６０４の第１色の撮像を開始する。タイミング８１７は撮像部６０２〜６０４の第１色の撮像が終了したタイミングを示しており、撮像制御部６０１はタイミング８１７に基づいて光源の色の切り替え、及び撮像部６０２〜６０４の第２色の撮像を開始する。タイミング８１８は撮像部６０２〜６０４の第２色の撮像が終了したタイミングを示している。タイミング８１８では、全ての合成処理が終了しているために、撮像制御部６０１はタイミング８１８に基づいて光源の色の切り替え、及び撮像部６０２〜６０４の最終色の撮像を開始する。

そして合成処理に必要な画像情報が合成バッファ６１４〜６１７に蓄積されるタイミング８１９において合成処理が開始される。なお、図８に示す例では説明の簡略化のためにタイミング８１９において全ての合成処理が開始されているが、実際には異なっていても良い。

一方、合成処理の終了状態とは無関係に、最終色の撮像が終了するタイミング８２０に基づいて、次の撮像位置への移動が開始される。そして上述の第１色の撮像と同様に、撮像位置の移動が終了したタイミング８２１に基づいて、撮像部６０２〜６０４の第１色の撮像が開始され、続いて、第１色の撮像が終了したタイミング８２２に基づいて第２色の撮像が開始される。

ここで、撮像部６０２の動作に関連する合成処理（つまり撮像部６０２で撮像した画像情報が用いられる合成処理）は８０５及び８１４である。図８の例では、同一センサ内の合成処理８０５の方がセンサ間領域の合成処理８１４よりも後のタイミングで終了している。更に、第２色の撮像終了タイミング８２３よりも合成処理８０５の終了タイミングの方が遅い。そのため、撮像部６０２の最終色の撮像開始タイミングは、第２色の撮像終了タイミング８２３ではなく、関連する合成処理８０５、８１４の全てが終了したタイミング８２４に基づいて決定する。すなわち、撮像部６０２の最終色の撮像開始タイミングは、第２色の撮像終了タイミング、合成処理８０５の終了タイミング、及び合成処理８１４の終了タイミングの中で最も遅いタイミング８２４と同じかそれより遅くする。

一方、撮像部６０３の動作に関連する合成処理は８０９、８１４、８１５であり、図８の例では、合成処理８１５の終了タイミングが最も遅い。更に、第２色の撮像終了タイミング８２３よりも合成処理８１５の終了タイミングの方が遅い。そのため、撮像部６０３の最終色の撮像開始タイミングは、第２色の撮像終了タイミングと関連する合成処理８０９、８１４、８１５の終了タイミングの中で最も遅いタイミング８２５となる。また、撮像部６０４の最終色の撮像タイミングも同様であり、第２色の終了タイミングと関連する合成処理８１３、８１５の終了タイミングの中で最も遅いタイミング８２５となる。

（合成バッファの使用例）
次に図９を用いて、本実施形態による撮像制御における合成バッファの効率的な使用例を説明する。

図９（ａ）は撮像部６０２〜６０４の配置と、各撮像位置の関係を示している。Ａ１は撮像部６０２の初期位置を、Ｂ１は撮像部６０３の初期位置を、Ｃ１は撮像部６０４の初期位置を、それぞれ示している。撮像部６０２〜６０４は、撮像部６０２と６０３が水平方向に重複領域を持ち、また撮像部６０３と６０４も水平方向に重複領域を持つように、デルタ状に配置されている。撮像部６０２〜６０４の撮像位置は、撮像位置切替部２０２により垂直方向に移動される。撮像位置の移動により、撮像部６０２は、Ａ１、Ａ２、Ａ３、…、の順で、撮像部６０３は、Ｂ１、Ｂ２、Ｂ３、…、の順で、撮像部６０４はＣ１、Ｃ２、Ｃ３、…、の順で垂直方向にそれぞれ移動する。

図９（ｂ）は、図９（ａ）のそれぞれの撮像位置での画像が保存される合成バッファを示している。各撮像位置の中央部分は非合成領域であり、周囲の６分割された領域が合成領域である。図９（ｂ）中、９０４〜９０８は水平方向合成領域であり、図９（ｂ）中の各撮像位置の上下に位置する。水平方向合成領域は上下の撮像位置間で合成処理が行われる領域であり、図９の例では同一の撮像部における異なる撮像位置間での撮像結果が合成される。この合成処理が、図６の同一センサ内画像合成部６１１〜６１３で行われる処理や、図８の合成処理８０５、８０９、８１３に対応する。一方、図９（ｂ）中、９０９〜９１２は、垂直方向合成領域であり、図９（ｂ）中の各撮像位置の左右に位置する。垂直方向合成領域は、左右の撮像位置間で合成処理が行われる領域であり、図９の例では異なる撮像部による撮像結果が合成される。この合成処理が、図６のセンサ間領域画像合成部６１８、６１９の処理や、図８の合成処理８１４、８１５に対応する。

次に、水平方向合成領域に関する合成バッファの使われ方の例を、図９（ｂ）を用いて
示す。最初の撮像位置Ａ１、Ｂ１（図９（ｂ）では不図示）、Ｃ１が撮像されると、９０４に対応する画像がバッファＨｒｚ１Ａに、９０５に対応する画像がバッファＨｒｚ２Ａにそれぞれ保存される。ここで、９０４は合成処理が不要であるため、単に出力のみが行われたことをもって合成処理が終了したとする。そのため、次に撮像位置Ａ２を撮像する際には、９０４の合成バッファとして使用していたバッファＨｒｚ１Ａを９０７の合成バッファとして使うことが可能となる。そして、撮像位置Ａ２が撮像されると、同一の合成領域である９０５及び９０６に対して合成処理が実行される。９０５及び９０６に対する合成処理の結果が出力されると、９０５の合成バッファとして使用されていたＨｒｚ２Ａは次の撮像位置Ａ３で使うことが可能となり、撮像位置Ａ３の９０８に対応するバッファとして使用される。

一方、垂直方向合成領域に関する合成バッファの使われ方の例は次のようになる。最初の撮像位置Ａ１、Ｂ１、Ｃ１が撮像されると、９０９に対応する画像がバッファＶｒｔ＿Ｒ１Ａに保存される。次に、撮像位置の移動が行われ、撮像位置Ａ２、Ｂ２、Ｃ２が撮像されると９１０に対応する画像がバッファＶｒｔ＿Ｌ２Ｂに保存される。そして、同一の合成領域である９０９及び９１０に対して合成処理が実行され、合成処理結果が出力されると、９０９に対応する画像バッファＶｒｔ＿Ｒ１Ａ、及び、９１０に対応する画像バッファＶｒｔ＿Ｌ２Ｂが次の撮像位置で使用可能となる。そして、次の撮像位置Ａ３、Ｂ３、Ｃ３のための合成バッファとして、９０９で使用したバッファＶｒｔ＿Ｒ１Ａを９１１に、９１０で使用したバッファＶｒｔ＿Ｌ２Ｂを９１２にそれぞれ割り当てる。

図９（ｂ）に示すように、合成処理が終了し合成バッファが空いた時点で、該空いた合成バッファを次の撮像時の合成処理に使いまわすことが可能となる。そのため、処理状況把握部６２０においては合成バッファの空き状況が保障できる状態を検出するようにすると良い。例えば、合成処理が終了したか否か、合成処理部が全てのデータを出力したか否か、或いは、合成バッファが空いたか否かなどの状態を検出すると良い。

図９（ｂ）で説明したように、合成処理が終了した領域で使用していたバッファを次の合成処理に使いまわすことにより、全ての撮像位置における合成領域用のバッファを別々に確保する場合に比べ、必要なバッファ量を削減することが可能となる。特に高解像度撮像が行われる場合には使用するバッファ量が大きくなるため、使い回しによるバッファ削減はメモリ削減効果が大きく、コスト削減に大きく寄与する。図９（ｂ）に示した例では、Ａ１〜Ａ３において必要なバッファは、水平方向合成領域用のバッファが３個、垂直方向合成領域用のバッファが左右各々５個ずつあればよい。また、Ｂ２〜Ｂ４において必要なバッファは、水平方向合成領域用のバッファが３個、垂直方向合成領域用のバッファが左右各々２個あればよい。ここで、全ての撮像位置の各合成領域に対して別々に合成バッファを持たせる構成の場合には、水平方向合成領域には６個のバッファ、垂直方向合成領域には左右６個ずつのバッファが必要となる。これと比較すると、本実施形態の構成により、必要なバッファ量は、水平方向合成領域で１／２、Ａ１〜Ａ３の垂直方向合成領域で５／６、Ｂ２〜Ｂ４の垂直方向合成領域で１／３になる。

なお、図９に示す撮像部の配置、形状、撮像位置や、領域の分割の仕方などは、本発明の好適な一例であるが、本発明はこれに限定されるものではない。また、本実施形態で挙げた例以外にも、撮像位置の移動方向或いは移動量に応じて合成バッファの割り振り方を変更しても良い。これにより、状況に応じて効率的に合成バッファが使用できる。

本実施形態においては、例えば図６の６０２〜６０４に示すように、撮像部が３つである例を用いて説明した。しかし、撮像部の数は３つに限らず、撮像部が２つ以上存在する装置構成には本実施形態の方法を同じように適用可能である。

また、本実施形態では、撮像制御部６０１が複数の撮像部の撮像開始タイミングを個別に決定し、合成バッファへの書き込みが可能となった撮像部から順に撮像を開始させている。実行可能な処理から順に開始することで、処理負荷やアクセスの集中を抑制できる効果が期待できる。ただし本発明はこの方法に限らず、例えば、１つの撮像位置における全ての合成処理が終了し合成バッファが利用可能になった後で、全ての撮像部の撮像を同時に開始する方法も好ましく採用できる。例えば光源の光量が時間的に変動する場合、撮像タイミングの違いにより画像のばらつきが生じる可能性がある。もし全ての撮像部の撮像開始タイミングを同期させれば、そのような画像のばらつきを抑制することが可能となる。

他の応用例としては、幾つかの撮像部をグルーピングして、グループ単位で同期を取りながら撮像タイミングを制御する方法が挙げられる。この方法は、例えば撮像部の数に対して現像処理部、或いは画像合成部の数が少なく、複数の撮像部を幾つかのグループに分けて、グループ単位の出力結果を現像処理部、或いは画像合成部が処理する場合に有効である。上述の構成にすることで、現像処理部、或いは、画像合成部の回路数、若しくはプログラムを格納するＲＯＭやＲＡＭの数を削減する効果があり、コスト削減の効果も得ることが可能となる。

以上述べた第２実施形態の構成によれば、複数の撮像部により分割撮像を行う装置構成であっても、第１実施形態と同様、色別バッファと合成バッファの効率的な使用が出来、バッファ量の削減によるコスト低減が可能となる。また、不要な待ち時間を発生させること無く、総処理時間を短縮することが可能となる。

＜第３実施形態＞
上述の第１実施形態及び第２実施形態の構成は、合成処理にかかる時間が可変であり、予め予測困難な場合に好ましく適用することができる。しかし、合成処理のアルゴリズムによっては、合成領域の単位サイズ当たりの処理時間が予め分かっている、或いは、最大処理時間が予め分かっている場合がある。本実施形態では、合成処理の処理時間、或いは最大処理時間が予測可能な場合における撮像部の撮像開始タイミングの制御方法について説明する。

（撮像装置の機能構成）
図１０は、本発明の第３実施形態に係る撮像装置の機能構成を模式的に示すブロック図である。なお、図２及び図６と同様の項目には同じ符号を付し説明は省略する。

図１０中、１００１は合成処理領域設定部であり、各合成領域の垂直方向、及び、水平方向の画素数を設定する。１００２は合成処理速度情報記憶部であり、合成領域の垂直方向及び水平方向の画素数に応じた合成処理速度情報を記憶する。合成処理速度情報としては、例えば、単位サイズ（単位画素数）当たりの合成処理の処理時間などを用いることができる。１００３は撮像制御部であり、合成処理領域設定部１００１で設定された各合成領域の画素数、及び、合成処理速度情報記憶部１００２に記憶されている合成処理速度情報に基づいて、撮像部の撮像開始タイミングを制御する。

（動作フロー）
図１１は、本実施形態における撮像装置の動作フローを示すフローチャートである。なお、図３及び図７と同様の項目には同じ符号を付し説明は省略する。

処理が開始され、Ｓ３０１で初期化が完了すると、Ｓ１１０１において合成処理領域設定部１００１が各合成領域の水平方向及び垂直方向の画素数を決定する。このとき、合成処理領域設定部１００１は、各合成領域の設定を、複数の撮像部６０２〜６０４の相対的
な位置関係に基づいて行うと良い。また、撮像制御部１００３は、合成処理領域設定部１００１の出力結果に基づいて、撮像位置切替部２０２による撮像位置の移動量を決定する。

次に、Ｓ１１０２において、撮像制御部１００３は、合成処理速度情報記憶部１００２に格納されている合成処理速度情報を取得する。なお、Ｓ１１０２において取得する合成処理速度情報は単一のものではなく、合成処理領域の水平方向及び垂直方向の画素数、或いは、撮像範囲中における合成領域の位置によって異なる場合がある。そこで、例えば合成領域の位置毎に予め合成処理速度情報を求めておき、テーブル化して、合成処理速度情報記憶部１００２に記憶しておくと良い。或いは、複数の撮像部を有する場合に、各撮像部の相対的な位置関係や撮像部の移動量などにより合成処理速度が異なる場合には、撮像部毎に合成処理速度情報を記憶しておくと良い。更には、撮像位置や合成領域の位置が少ない場合には、予め全ての合成処理速度情報を求めておき、記憶するようにしても良い。また、撮像部の移動量が可変の場合には、移動量が決定された時点で合成処理速度情報を計算しても良い。

そして、Ｓ１１０３では、Ｓ１１０２において取得された合成処理速度情報に基づいて、合成処理終了の予測時間を決定する。Ｓ３０２〜Ｓ３０５、Ｓ７０１、Ｓ７０２の動作は前述の図３或いは図７と同様に行われ、Ｓ３０５において、最後の色の撮像であると判断されると、処理はＳ１１０４に移行する。Ｓ１１０４では、撮像制御部１００３は、Ｓ１１０３において決定された予測時間が経過しているか否かを調べることにより、合成処理が終了したか否かの判断を行う。それ以降の動作は、図３或いは図７と同様である。

なお、Ｓ１１０３において決定される予測時間は、典型的には、合成処理に必要な時間（すなわち、合成処理の開始から、合成処理の演算が終了し、かつ、合成バッファの書き込みが可能になるまでの時間）である。しかしこれに限らず、例えば、Ｓ７０５における最後の色の撮像開始から合成バッファの書き込みが可能になるまでの時間を、予測時間としても良い。予測時間が撮像処理及び現像処理に必要な時間も含んでいると、各撮像部に撮像指示を出した時刻からの経過時間と予測時間を比較するだけで、次回の撮像開始の可否を判定することが可能となる。その結果、予測時間が合成処理に必要な時間のみである場合と比較すると、撮像部や現像処理部の処理終了時刻や、画像合成部の処理開始時刻などを別途考慮する必要がなくなるため、簡易な構成で制御が可能となる。

（合成処理時間）
次に、図１２を用いて、合成領域の画素数と合成処理に必要な時間の関係について説明する。
図１２（ａ）は現像処理部により面順次点順次変換が施された後に画像合成部に入力される画像情報である。図１２（ａ）の矢印は撮像された画像内におけるデータ並び順の例を示しており、左から右、上から下、の順で撮像部から出力される。図１２（ａ）では、１つの水平方向に関するデータ列が左から右に出力され、垂直方向に対してはＮ行分のデータが上から順に撮像部から出力される様子を示している。

図１２（ｂ）〜（ｄ）は各々隣接する撮像結果を示しており、（ｂ）〜（ｄ）の順に撮像されるものとする。図１２（ｂ）における領域Ｄと図１２（ｃ）における領域Ｄ’は同一領域に対する撮像結果であり、撮像領域の左右に存在する縦長の合成領域である。同様に、図１２（ｂ）におけるＥと図１２（ｄ）におけるＥ’は同一領域に対する撮像結果であり、撮像領域の上下に存在する横長の合成領域である。まず図１２（ｂ）が撮像されているため、図１２（ｃ）の撮像後には、ＤとＤ’の画像の合成処理が実行可能となる。図１２（ｄ）の撮像後には、ＥとＥ’の画像の合成処理が実行可能となる。しかし、以下に述べるように、合成処理の開始は、必ずしも、１回の撮像結果全てが揃うまで待つ必要は
ない。

図１２（ａ）の画像データの並び順と図１２（ｃ）を併せたものが図１２（ｅ）であり、図１２（ａ）の画像データの並び順と図１２（ｄ）を併せたものが図１２（ｆ）である。画像データが左から右、上から下の順で画像合成部に入力されるため、図１２（ｅ）のＤ’の領域のデータが揃うのは、最後のＮ行における領域Ｄ’の幅分のデータが入力された時点である。一方、図１２（ｆ）のＥ’の領域のデータが揃うのは、領域Ｅ’の高さ分の２行のデータが入力された時点である。すなわち、領域Ｄ’の合成処理は１回の撮像結果のほとんどすべてのデータが入力されないと開始できないが、領域Ｅ’の合成処理はそれよりも早い段階で開始可能である。以上のように、合成領域の水平方向及び垂直方向の画素数、及び撮像範囲中における合成領域の位置に応じてデータが揃うタイミングが異なり、合成処理を開始できるタイミングが異なる。言い換えると、データ入力速度、合成領域の水平方向及び垂直方向の画素数、撮像範囲中における合成領域の位置が予め分かっていれば、合成処理を開始できるタイミングが予め予測可能となる。

なお、処理速度が予め予測可能な合成処理方法としては、２つの画像を平均する方法などが挙げられる。このとき、合成領域内の画素の位置に応じて重み付け平均を行うと良い。例えば、図１２（ｂ）、（ｃ）における領域ＤとＤ’の場合であれば、Ｄが左側領域Ａに対する連続性が高く、Ｄ’が右側の領域Ｂに対する連続性が高い。そのため、合成領域の左側ほどＤの画素の重みを大きく、右側ほどＤ’の画素の重みを大きくする。

本実施形態においては、撮像位置切替部２０２による撮像位置の移動量を、合成処理領域設定部１００１の出力結果に基づいて決定する例を示した。しかし、逆に、撮像位置の移動量が予め決まっている場合には、撮像位置の移動量に基づいて、合成処理領域設定部１００１の出力を決定するようにしても良い。

また、上述の例では合成処理時間が予め予測可能なものとして説明したが、処理時間が変動するような場合であっても、最大処理時間が分かっている場合には最大処理時間を予測時間として用いても良い。更に、予測時間が撮像開始から合成処理の終了までの期間である場合には、撮像開始から合成処理終了までの間の全ての処理に必要な時間の最大処理時間を、予測時間としても良い。なお、ここでは複数の撮像部を持つ装置構成について説明したが、本実施形態の方法は第１実施形態のように１つの撮像部の装置構成についても好ましく適用できる。

以上述べた第３実施形態の構成によれば、第１実施形態及び第２実施形態と同様、色別バッファと合成バッファの効率的な使用が出来、バッファ量の削減によるコスト低減が可能となる。また、不要な待ち時間を発生させること無く、総処理時間を短縮することが可能となる。さらに、画像合成部や合成バッファの状況を監視する必要がないため、第１及び第２実施形態に比べて、構成の簡易化が期待できる。

＜第４実施形態＞
第１〜第３の実施形態においては、最後の１色に対応する画像データを色別バッファに保持しない構成の例を説明した。本実施形態では、色別バッファが全ての色の画像データを保持する場合において、合成処理の処理状況に基づいて撮像開始タイミング及び現像開始タイミングを制御する例を示す。

本実施形態においては、光源の色毎に撮像された全色の画像データが色別バッファに格納される。そして、全色格納されると、現像処理部で面順次点順次変換が実行され、画像合成部に画像が出力される。このような系においては、撮像部における撮像開始タイミングを正しく制御しないと、色別バッファに対する上書きが発生する可能性がある。そこで
本実施形態においては、合成処理の処理状況に応じて最初の色に対する撮像開始タイミングの制御を行うことにより、上述のような問題を回避する。

本実施形態に係る撮像装置の機能構成は、色別バッファが保持する色数を除き、第１〜第３の実施形態（図２、図６、図１０）と同様である。以下、図６の構成を例に挙げて、本実施形態の撮像装置の動作について説明する。

図１３は本実施形態に係る撮像装置の動作フローを示すフローチャートである。なお、前述の図３、図７、及び図１１の項目と同様の項目には同じ符号を付し、説明は省略する。

処理が開始され、前述の実施形態と同様にＳ３０１〜Ｓ３０４が実行される。そして、Ｓ１３０１において、撮像制御部６０１は現在の撮像が最初の色に対する撮像か否か判定する。Ｓ１３０１において最初の色であると判定された場合、処理はＳ１３０２に進む。Ｓ１３０２では、撮像制御部６０１は全ての合成領域の合成処理が開始された撮像領域があるか否か判定する。Ｓ１３０２においてＮＯと判定された場合には、再びＳ１３０２の判断を繰り返す。なお、Ｓ１３０２でＮＯと判定された場合には、必要に応じて所定時間の待ちを入れても良い。一方、Ｓ１３０２においてＹＥＳと判定された場合には、処理はＳ１３０３に移行する。Ｓ１３０３では、撮像制御部６０１は全ての合成領域の合成処理が開始された撮像領域に対応する撮像部を特定する。次に、Ｓ１３０４においては、撮像制御部６０１は、Ｓ１３０３で特定された撮像部の撮像を開始する。Ｓ１３０５において撮像された各色の画像データが色バッファへ保存される。

そして、Ｓ１３０６では、撮像制御部６０１は、現在の撮像位置において、全ての撮像部の撮像が開始されたか否かを判定する。撮像が開始されていない撮像部がある場合には、必要に応じて不図示の待ちを行った後に、処理はＳ１３０２に移行する。また、全ての撮像部の撮像が開始されていた場合には、処理はＳ３０３に戻る。

一方、Ｓ１３０１において、最初の色ではないと判定された場合、処理はＳ７０１に進む。なお、本実施形態において光源色の数が１つであった場合は、Ｓ１３０１の判定結果は常にＮＯにすると良い。Ｓ７０１及びＳ７０２の動作は前述の実施形態と同様である。Ｓ１３０７では、撮像制御部６０１が最後の色の撮像であるか否か判定する。最後の色ではないと判定されると、処理はＳ３０３へ移行する。一方、最後の色であると判定されると、処理はＳ１３０８へ移行する。

Ｓ１３０８では、撮像制御部６０１は、前回の撮像に対する合成処理が終了しているか否かを判定し、終了していないならばＳ１３０９において合成処理の終了を待ってから処理をＳ７０６へ、終了しているならば処理を直接Ｓ７０６へ、それぞれ移行させる。すなわち、前回の撮像に対する合成処理が終了し、合成バッファへの書き込みが可能となった時点で、現像処理が開始されるように、撮像制御部６０１が現像開始タイミングを制御するのである。これにより第１〜第３実施形態と同様、合成バッファ内の合成処理待ちのデータに対する上書きを防止できる。Ｓ７０６、Ｓ７０７の処理は上述の実施形態と同様である。Ｓ１３１０では上述のＳ７０８と同様の判定が行われるが、データが揃っている合成領域が無いと判定された場合の遷移先がＳ７１１となる。また、Ｓ１３１０でデータが揃っていると判定された場合には処理がＳ７０９に移行するが、Ｓ７０９の処理を実行した後も処理はＳ７１１に移行する。

本実施形態によれば、以下のような処理が行われることになる。
合成に必要なデータが合成バッファ６１４〜６１７に蓄積されると、画像合成部６１１〜６１３、６１８、６１９による合成処理が開始される。合成処理の開始状況はＳ１３０
２において監視され、合成処理が全て開始されたことが確認されると同時に、現像処理部６０５、６０６、６０７の現像処理が終了したことも確認される。なお、合成処理が開始可能な状態とは、前回の合成処理が終了していて、且つ、合成バッファ６１４〜６１７に現像処理部６０５、６０６、６０７からの出力が格納されている状態である。つまり、画像合成部６１１〜６１３、６１８、６１９における合成処理と、現像処理部６０５〜６０７における現像処理のうち、遅い方の処理時間が、処理状況把握部６２０で把握されることになる。そして、現像処理部６０５〜６０７の処理の終了とともに、色別バッファ６０８〜６１０が書き込み可能となるため、Ｓ１３０４において次の撮像が開始される。これにより、色別バッファ６０８〜６１０内の現像処理待ちのデータに対する上書きを防止でき、撮像１回分の最小限の色別バッファで効率的な撮像を行うことが可能となる。

なお、処理状況把握部６２０では、色別バッファ６０８、６０９、６１０に対する上書きが発生しないような処理状況を検出するようにすると良く、上述のように合成処理が開始されたか否かを検出するようにすると良い。或いは、処理状況把握部６２０は、現像処理部６０５〜６０７における処理の終了を検出しても良い。

本実施形態で述べた制御は、第１実施形態の構成に適用することも可能である。さらには、本実施形態で述べた制御を第３実施形態の構成に適用することも可能である。具体的には、Ｓ１３０２における合成処理の開始タイミングを、合成処理速度情報記憶部１００２に保持されている合成処理速度情報から予測可能であれば良い。例えば、合成処理速度情報が画像合成部における合成処理と現像処理部における処理のうち遅い方の処理時間を指すようにすると良い。

以上述べた本実施形態によれば、合成処理の処理状況に応じて撮像開始タイミングを制御することにより、色毎に撮像した画像を全ての色について色バッファに保持するような構成の場合に、色バッファの上書きの発生を防止できる。したがって、撮像１回分の最小限のバッファだけで（すなわち余分なバッファを必要とせず）、効率的な撮像を行うことが可能となる。

なお、上述した本発明における各実施形態の説明では光源は複数の色の光を発するものとしたが、本発明はこれに限るものではない。例えば光源が白色光を発し、撮像部側で色フィルタを使用するようにしても良い。また、いわゆる単板式の撮像部を用いて１回撮像し、現像処理部において色補間を行うことによりカラー画像化するのでもよい。或いは、グレースケールの結果でも良い場合には所定の１色の光を使用して、１回だけ撮像を行う構成でも良い。この場合、上述の色別バッファには１回分の撮像結果のみが格納され、現像処理が実行されるようにすると良い。或いは、単板式の場合には、色補間処理後の点順次画像を格納するようにしても良い。つまり、本発明は光源の切り替えや撮像回数、現像処理の内容によらず、様々な応用例に対して適用可能である。

１００：処理装置、１０５：照明ユニット、１０５ａ：光源部、１０５ｂ：照明光学系、１０６：撮像ユニット、１０６ａ：撮像部、１０６ｂ：撮像光学系、１０９：画像バッファ用ＲＡＭ
２０４：撮像部、２０５：撮像制御部、２０６：現像処理部、２０７：色別バッファ、２０８：画像合成部、２０９：合成バッファ、２１０：処理状況把握部

Claims (10)

1. 撮像位置を変えながら被写体を複数回に分けて撮像し、各撮像位置で得られた複数の画像を合成することにより被写体全体の画像を生成する撮像装置であって、
   色毎のＲＡＷ画像を撮像する撮像手段と、
   前記撮像手段から出力されるＲＡＷ画像を一時的に保持するための色別バッファと、
   前記色毎のＲＡＷ画像に対し現像処理を施して点順次のカラー画像を出力する現像手段と、
   前記現像手段から出力されるカラー画像のうち少なくとも他の撮像位置のカラー画像と合成される領域のデータを、当該領域の合成処理が終了するまで一時的に保持するためのバッファと、
   前記バッファに保持されたデータを用いてカラー画像の合成処理を行う合成手段と、
   前記撮像手段の撮像開始タイミングを制御する制御手段と、
   を有し、
   前記制御手段は、一部の色のＲＡＷ画像が残りの色のＲＡＷ画像よりも先行して撮像され、前記色別バッファに格納されるように、色毎の撮像開始タイミングを制御し、
   前記現像手段は、前記色別バッファから読み出した前記一部の色のＲＡＷ画像と、前記撮像手段から入力される前記残りの色のＲＡＷ画像とを用いて、現像処理を行う
   ことを特徴とする撮像装置。
2. 前記被写体に照射する光の色を切り替えて、前記撮像手段により色毎のＲＡＷ画像を順に撮像することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、
   前記一部の色については、前回の撮像位置で得られたカラー画像に対する合成処理の終了を待たずに、ＲＡＷ画像の撮像が開始され、
   前記残りの色については、前回の撮像位置で得られたカラー画像に対する合成処理が終了した後に、ＲＡＷ画像の撮像が開始されるように、
   色毎の撮像開始タイミングを制御することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記合成手段における合成処理の演算の進行状況、又は、前記バッファの書き込み可否を監視することによって、前回の撮像位置で得られたカラー画像に対する合成処理が終了しているか否かを判定することを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、合成処理の終了までに必要な時間を予測し、その予測した時間が経過したか否かを調べることによって、前回の撮像位置で得られたカラー画像に対する合成処理が終了しているか否かを判定することを特徴とする請求項３に記載の撮像装置。
6. 前記制御手段は、画像の単位サイズ当たりの合成処理の処理時間を予め記憶しており、合成処理の対象となる領域のサイズと前記単位サイズ当たりの合成処理の処理時間とから、合成処理の終了までに必要な時間を予測することを特徴とする請求項５に記載の撮像装置。
7. 複数の撮像手段が設けられ、かつ、前記複数の撮像手段のそれぞれに対して前記バッファが設けられており、
   前記制御手段は、全ての撮像手段について次回の撮像で得られるカラー画像の前記バッファへの書き込みが可能となった後に、全ての撮像手段の撮像を同時に開始させることを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
8. 複数の撮像手段が設けられ、かつ、前記複数の撮像手段のそれぞれに対して前記バッファが設けられており、
   前記制御手段は、次回の撮像で得られるカラー画像の前記バッファへの書き込みが可能となった撮像手段から順に、撮像を開始させることを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
9. 撮像位置を変えながら被写体を複数回に分けて撮像し、各撮像位置で得られた複数の画像を合成することにより被写体全体の画像を生成する撮像装置であって、
   色毎のＲＡＷ画像を撮像する撮像手段と、
   前記撮像手段から出力される全色分のＲＡＷ画像を一時的に保持するための色別バッファと、
   前記色別バッファに保持されたＲＡＷ画像に対し現像処理を施して点順次のカラー画像を出力する現像手段と、
   前記現像手段から出力されるカラー画像のうち少なくとも他の撮像位置のカラー画像と合成される領域のデータを、当該領域の合成処理が終了するまで一時的に保持するためのバッファと、
   前記バッファに保持されたデータを用いてカラー画像の合成処理を行う合成手段と、
   前回の撮像位置で得られたカラー画像に対する合成処理が開始した後に今回の撮像位置で得られるＲＡＷ画像の前記色別バッファへの書き込みが開始するように、前記撮像手段の撮像開始タイミングを制御する制御手段と、
   を有することを特徴とする撮像装置。
10. 前記制御手段は、前回の撮像位置で得られたカラー画像に対する合成処理が終了した後に今回の撮像位置で得られるカラー画像の前記バッファへの書き込みが開始するように、前記現像手段の現像開始タイミングを制御することを特徴とする請求項９に記載の撮像装置。
    

Images