JP5751986B2 - 画像生成装置 - Google Patents

Description

本発明は、複数の離散的に配置された撮像素子を用いて被写体を分割して撮像し、それら複数の分割画像を合成して大サイズの画像を生成する技術に関する。

病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド装置がある。バーチャル・スライド装置による病理診断のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。

光学顕微鏡での操作をバーチャル・スライド装置によるデジタル化で実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャル・スライド装置で作成したデジタルデータをＰＣやＷＳで動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。そのためバーチャル・スライド装置では、数十万から数百万程度の画素数を有する２次元撮像素子、または、数千程度の画素数を有する１次元撮像素子を用いて被検試料の領域を複数に分割して撮像することが行われる。そして、被検試料全体の画像の生成には、レンズ収差などによる画像の歪曲やずれを考慮しながら、分割画像同士を合成する（繋ぎ合せる）技術が必要となる。

画像合成技術として以下の提案がされている（特許文献１、特許文献２参照）。特許文献１では、パノラマ画像を生成する画像合成装置において、推定した収差情報に基づいて少なくとも画像の重複領域について収差補正を行い、補正されたそれぞれの画像を合成する技術が開示されている。特許文献２では、マルチカメラと被写体の距離に応じてスティッチングポイントを動的に変化させて視差現象を無視できるようにし、シームレスな広角画像を得る技術が開示されている。

特開平０６−００４６６０号公報 特開２０１０−０５０８４２号公報

従来の画像合成技術は、隣接する画像の間に重複領域（繋ぎ目）を設け、その重複領域内の画素に対し画像補正処理（画素補間）を施すことで、２つの画像を繋ぎ合せるという方法が一般的である。この方法は、画像の繋ぎ目を目立たなくできるという利点がある反面、重複領域の部分で画像補正による解像力の劣化が生じてしまうという課題がある。特に、バーチャル・スライド装置にあっては、病理診断での診断精度向上のため、画像補正による解像力劣化は極力少なくし、オリジナルに忠実な画像を得ることが望まれる。

しかしながら、特許文献１の実施例１では、２つの画像の同一領域を撮像した重複領域で歪曲収差補正を行うことで、画像補間に伴うぼけが発生する面積を低減しているが、その面積は２つの画像の重複領域に依存し、重複領域そのものとある。そして、重複領域内
で補正領域を更に低減することには言及していない。
また、特許文献１の実施例２では、回転座標変換時に焦点距離値を変化させることでより滑らかに画像を合成する実施例が開示されているが、補正領域自体を低減させるものではない。
また、特許文献１の実施例３では、推定した収差情報により補正曲線を定めるものであるが、補正しない点を予め決めているために、補正範囲の決め方に推定した収差情報が反映されていない。

また、特許文献２には、レンズ収差による画像歪曲の影響や補正領域をどのように定めるかについての言及がない。そのため、シームレスな広角画像を得ることができるが、画像を合成する領域では画像補間のために解像力が劣化するという課題がある。

本発明は、このような問題点に鑑みてなされたものであり、複数の離散的に配置された撮像素子を用いて被写体を分割して撮像し、それら複数の分割画像を合成して大サイズの画像を形成する構成において、合成による解像力の劣化を可及的に小さくすることを目的とする。

本発明に係る画像生成装置は、被写体を支持する支持手段と、互いに間隙を介して離散的に配置された複数の撮像素子を有する撮像手段と、前記被写体の像を拡大して前記撮像手段に導く撮像光学系であって、前記複数の撮像素子との相対位置が固定されている撮像光学系と、前記被写体の像に対する前記複数の撮像素子の撮像位置を変えて複数回の撮像を行うために、前記複数の撮像素子と前記被写体との相対位置を変化させる移動手段と、各撮像位置において各撮像素子から得られた複数の画像を繋ぎ合せて、前記被写体の全体の画像を生成する合成手段と、を有する画像生成装置であって、各撮像素子で得られる画像における前記撮像光学系の収差は、前記撮像光学系と撮像素子との相対位置により、撮像素子ごとに予め定まっており、前記移動手段は、繋ぎ合せる２つの画像同士が一部で重複するように、前記複数の撮像素子と前記被写体との相対位置を変化させ、前記合成手段は、繋ぎ合せる２つの画像同士が重複する重複領域内に補正領域を設定し、前記補正領域内の画素に対して補正処理を施すことによって前記２つの画像の繋ぎ目を滑らかにするものであり、前記補正領域の大きさは、繋ぎ合せる２つの画像を撮像した撮像素子の組み合わせにより決まる前記２つの画像における収差の違いに応じて、定められていることを特徴とする画像生成装置である。

本発明によれば、複数の離散的に配置された撮像素子を用いて被写体を分割して撮像し、それら複数の分割画像を合成して大サイズの画像を形成する構成において、合成による解像力の劣化を可及的に小さくすることができる。

画像生成装置の撮像に関わる概略構成を説明する模式図。 撮像シーケンスを説明する模式図。 画像データ読み出しを説明するフローチャート。 分割撮像と画像データ合成を説明する機能ブロック図。 画像データ合成領域を説明する模式図。 画像データ合成の動作シーケンスを説明する模式図。 歪曲収差の一例と合成での画像組み合わせを説明する模式図。 補正領域を説明するための模式図。 第１の画像と第２の画像の真値からのずれの相対的差分を説明する模式図。 補正領域、重複領域を定める流れを説明するフローチャート。 相対座標ずれ量の算出を説明するフローチャート。 重複領域の決定を説明するフローチャート。 補正方法の一例を説明するための模式図。 補間座標と参照座標を説明する模式図。 座標変換処理、画素補間処理の流れを説明するフローチャート。 第２の実施の形態での補正領域を説明するための模式図。 第３の実施の形態での補正領域を説明するための模式図。

［第１の実施形態］
（画像生成装置の構成）
図１（ａ）〜図１（ｃ）は、画像生成装置の撮像に関わる概略構成を説明する模式図である。この画像生成装置は、プレパラート１０３上の被検試料の光学顕微鏡像を高解像度のデジタル画像として取得するための装置である。

図１（ａ）に模式的に示すように、画像生成装置は、光源１０１、照明光学系１０２、移動機構１０、撮像光学系１０４、撮像部１０５、現像・補正部１０６、合成部１０７、圧縮部１０８、伝送部１０９を備えて構成される。光源１０１は撮像用の照明光を発生する手段であり、ＲＧＢ３色の発光波長を有する光源、例えばＬＥＤ（発光ダイオード）やＬＤ（レーザーダイオード）等が好ましく用いられる。光源１０１と撮像部１０５は同期して動作する。光源１０１ではＲＧＢを順次発光させ、撮像部１０５は光源１０１の発光タイミングに同期して露光しＲＧＢそれぞれの画像を取得する。ＲＧＢ各画像から１枚の撮像画像の生成は後段の現像・補正部１０６で行う。照明光学系１０２は、光源１０１の光を効率良くプレパラート１０３上の撮像対象領域１１０ａに導光する。

プレパラート１０３は、病理診断の対象となる被検試料を支持する支持手段であり、被検試料をスライドグラスに載置し、マウント液を使ってカバーグラスで封入したものである。図１（ｂ）には、プレパラート１０３とその上に設定された撮像対象領域１１０ａのみを図示している。プレパラートは７６ｍｍ×２６ｍｍ程度の大きさであり、ここでは被写体となる被検試料の撮像対象領域として２０ｍｍ×２０ｍｍを想定している。

撮像光学系１０４は、プレパラート１０３上の撮像対象領域１１０ａからの透過光を拡大して導光し、撮像部１０５面上に撮像対象領域１１０ａの実像である撮像対象領域像１１０ｂを形成する。また、撮像光学系の有効視野１１２は、撮像素子群１１１ａ〜１１１ｑ、及び、撮像対象領域１１０ｂを包含する大きさである。

撮像部１０５は、互いに間隙を介してＸ方向とＹ方向の２次元的に離散的に配置された複数の２次元撮像素子で形成される撮像手段である。本実施形態では１７個の２次元撮像素子が用いられるが、これらの撮像素子は同一の基板上に実装してもよいし、別々の基板上に実装してもよい。なお、個々の撮像素子を区別するために、参照符号に対し、１行目の左から順にａ〜ｃ、２行目にｄ〜ｇ、３行目にｈ〜ｊ、４行目にｋ〜ｎ、５行目にｏ〜ｑのアルファベットを付しているが、図示の便宜のため図面中では「１１１ａ〜１１１ｑ」のように略記する。他の図面においても同様である。図１（ｃ）は、撮像素子群１１１ａ〜１１１ｑ、結像面での撮像対象領域像１１０ｂ、撮像光学系の有効視野１１２、の３者のそれぞれの位置関係を模式的に図示している。撮像素子群１１１ａ〜１１１ｑと撮像光学系の有効視野１１２の位置関係は固定であるが、結像面での撮像対象領域像１１０ｂは、プレパラート側に設けた移動機構１０により前述２者に対して相対位置が変化する。本実施形態では、移動機構を簡便な構成としてコストを抑え、且つ、精度を上げるために、移動軸は１軸とする。すなわち、撮像素子群１１１ａ〜１１１ｑと結像面での撮像対象領域像１１０ｂの相対位置を１軸方向（Ｙ方向）に移動させて複数回の撮像が行われ、複
数のデジタルデータ（ＲＡＷデータ）が得られる。

現像・補正部１０６は、撮像部１０５で取得したデジタルデータの現像処理、補正処理を行う。機能としては、黒レベル補正、ＤＮＲ（Ｄｉｇｉｔａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、などを含む。合成部１０７は、現像・補正部１０６から出力される複数の撮像画像を繋ぎ合わせる処理を行う。合成部１０７の繋ぎ目補正は、全ての画素に対して処理を行うわけではなく、繋ぎ合わせ処理が必要な領域のみに対して処理を行う。合成処理について詳しくは図７〜図１５で説明する。

圧縮部１０８は、合成部１０７から出力されるブロック画像毎に逐次圧縮処理を行う。伝送部１０９は、圧縮ブロック画像の信号をＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やＷＳ（Ｗｏｒｋ Ｓｔａｔｉｏｎ）に出力する。ＰＣやＷＳへの信号伝送では、ギガビット・イーサネット（登録商標）などの大容量の伝送が可能な通信規格を用いるとよい。

ＰＣやＷＳでは、送られてくる圧縮ブロック画像毎に順次ストレージに格納する。取得した被検試料の撮像画像の閲覧にはビューワソフトを用いる。ビューワソフトは閲覧領域の圧縮ブロック画像を読み出して伸張しディスプレイに表示する。以上の構成により、２０ｍｍ角相当の被検試料の高解像大画面撮像と取得画像の表示が実現できる。

（撮像対象領域の撮像手順）
図２（ａ）および図２（ｂ）から図２（ｅ）は、１軸の複数回撮像で撮像対象領域全体を撮像していく流れを説明する模式図である。後段の合成処理を簡易なシーケンスで行うために、撮像素子の水平読み出し方向（Ｘ方向）と移動方向（Ｙ方向）は直交しており、Ｘ方向に隣り合う撮像小領域のＹ方向の読み出し画素数は概略一致している。また、撮像素子群が撮像対象領域像をＹ方向に沿って順々に埋めるように撮像素子群１１１ａ〜１１１ｑと結像面での撮像対象領域像１１０ｂを相対的に移動させる制御を行う。合成処理について詳しくは図７〜図１５で説明する。

図２（ａ）は、撮像素子群１１１ａ〜１１１ｑ、結像面での撮像対象領域像１１０ｂの位置関係を模式的に示している。撮像素子群１１１ａ〜１１１ｑと結像面での撮像対象領域像１１０ｂは、プレパラート側に設けた移動機構により相対位置が矢印方向（Ｙ方向）に変化する。図２（ｂ）から（ｅ）は、撮像対象領域像１１０ｂを撮像素子群１１１ａ〜１１１ｑでどのように撮像していくかの変遷を示す図である。実際には、プレパラート側に設けた移動機構１０により、撮像素子群１１１ａ〜１１１ｑに対して撮像対象領域像１１０ｂが移動することになる。しかし、ここでは、撮像対象領域像１１０ｂがどのように分割されて撮像されるかの説明を強調するため、撮像対象領域像１１０ｂを固定して図示している。また、合成部１０７での繋ぎ目補正を行うために、隣接する撮像素子間には重複領域が必要となるが、説明を簡単にするために、ここでは重複領域を省略している。重複領域は図５で説明する。

図２（ｂ）には１回目の撮像で取得するエリアを黒ベタで示している。１回目の撮像位置では光源の発光波長を切り替えてＲＧＢの各画像を取得する。図２（ｃ）には移動機構によりプレパラートを移動させた後の、２回目の撮像で取得するエリアを斜線（左下がり斜線）で示している。図２（ｄ）には３回目の撮像で取得するエリアを逆斜線（右下がり斜線）で、図２（ｅ）には４回目の撮像で取得するエリアを網掛けで示している。
以上より、撮像素子群により４回の撮像（移動機構によるプレパラート移動回数が３回）で撮像対象領域全体を隙間なく撮像することができる。

（撮像処理の流れ）
図３（ａ）、（ｂ）は、撮像対象領域全体の撮像の流れ、および画像データ読み出しを説明するフローチャートである。

図３（ａ）は複数回撮像で撮像対象領域全体を撮像する処理フローを示している。
ステップＳ３０１では、撮像エリアの設定を行う。撮像対象領域として２０ｍｍ角を想定しているが、プレパラート上の被検試料の位置に合わせて２０ｍｍ角の位置を設定する。
ステップＳ３０２では、１回目の撮像（Ｎ＝１）を行う初期位置へプレパラートを移動させる。図２を例にすると、撮像素子群１１１ａ〜１１１ｑと結像面での撮像対象領域像１１０ｂの相対位置が図２（ｂ）で示す状態となるようにプレパラートを移動させる。
ステップＳ３０３では、Ｎ回目のレンズ画角内撮像を行う。
ステップＳ３０４では、撮像対象領域全体の撮像が終了したか否かを判断する。撮像対象領域全体の撮像が終了していなければ、Ｓ３０５へ進む。撮像対象領域全体の撮像が終了していれば、すなわち、本実施形態の場合にはＮ＝４の場合には、処理を終了する。
ステップＳ３０５では、撮像素子群と撮像対象領域像の相対位置がＮ回目（Ｎ≧２）の撮像を行う位置となるように、移動機構によりプレパラートを移動させる。

図３（ｂ）はステップＳ３０３のレンズ画角内撮像での処理をさらに分解した処理フローを示している。なお、本実施形態ではローリングシャッタ方式の撮像素子を用いた場合の説明を行う。

ステップＳ３０６では、単色光源（Ｒ光源、Ｇ光源、または、Ｂ光源）の発光を開始し、プレパラート上の撮像対象領域に光を照射する。
ステップＳ３０７では、撮像素子群の露光と単色画像信号（Ｒ画像信号、Ｇ画像信号、または、Ｂ画像信号）の読み出しを行う。ローリングシャッタ方式のため、撮像素子群の露光と信号読み出しはライン毎に行われる。単色光源の点灯タイミングと撮像素子群の露光タイミングは同期して動作するように制御される。単色光源は撮像素子の１ライン目の露光開始に合わせて発光を開始し、最終ラインの露光が終了するまで発光している。このとき撮像素子群は撮像を行う撮像素子のみ動作させれば良い。例えば図２（ｂ）の場合では黒塗りつぶしで示される撮像素子のみが動作すれば良く、最上段の３つの撮像素子は撮像対象領域像外にあるため、動作させる必要はない。

ステップＳ３０８では、撮像素子の全ラインに対して露光と信号読み出しが終了したかどうかを判断する。全ライン終了するまでは、Ｓ３０７に戻って処理を継続する。全ライン終了すれば、Ｓ３０９へ進む。
ステップＳ３０９では、ＲＧＢ画像の撮像が全て終了したかどうかを判断する。ＲＧＢ各画像の撮像が終了していなければＳ３０６へ戻り、終了していれば処理を終了する。
以上の処理ステップにしたがって、ＲＧＢ各画像の４回撮像により撮像対象領域全体の撮像を行う。

（画像合成）
図４は、分割撮像と画像データ合成を説明する機能ブロック図である。画像合成を簡単に説明するために、２次元撮像素子群の機能ブロック、合成処理に関わる機能ブロックを分解して示している。２次元撮像素子４０１ａ〜４０１ｑ、カラーメモリ４０２ａ〜４０２ｑ、現像・補正部４０３ａ〜４０３ｑ、センサメモリ４０４ａ〜４０４ｑ、メモリ制御部４０５、水平方向合成部４０６、垂直方向合成部４０７、水平合成メモリ４０８、垂直合成メモリ４０９、圧縮部４１０、伝送部４１１を備えて構成される。

図４〜図６の説明では、図２で説明したように、撮像素子の水平読み出し方向（Ｘ方向
）と移動方向（Ｙ方向）は直交しており、Ｘ方向に隣り合う撮像領域のＹ方向の読み出し画素数は概略一致しているとする。

２次元撮像素子４０１ａ〜４０１ｑは、図２で説明した２次元撮像素子群１１１ａ〜１１１ｑに対応する。図２で説明したように、撮像素子群１１１ａ〜１１１ｑと結像面での撮像対象領域像１１０ｂの相対位置を変化させながら撮像対象領域全体を撮像する。カラーメモリ４０２ａ〜４０２ｑは、２次元撮像素子４０１ａ〜４０１ｑそれぞれに付属する、ＲＧＢ各画像信号を格納するためのメモリである。後段の現像・補正部４０３ａ〜４０３ｑでは、ＲＧＢ３色の画像信号を必要とするため、少なくとも、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号の内、少なくとも２色が格納できるメモリ容量を必要とする。

現像・補正部４０３ａ〜４０３ｑは、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号から現像処理、補正処理を行う。機能としては、黒レベル補正、ＤＮＲ（Ｄｉｇｉｔａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、などを含む。

センサメモリ４０４ａ〜４０４ｑは、現像・補正した画像信号を一時格納するフレームメモリである。
メモリ制御４０５は、センサメモリ４０４ａ〜４０４ｑに格納されている画像信号に対してメモリ領域を指定し、圧縮部４１０、水平方向合成部４０６、垂直方向合成部４０７のいずれかへ画像信号を転送する制御を行う。メモリ制御の動作について詳しくは図６で説明する。

水平方向合成部４０６は、水平方向の画像ブロックの合成処理を行う。垂直方向合成部４０７は、垂直方向の画像ブロックの合成処理を行う。水平方向、及び、垂直方向の合成処理は隣接する撮像素子間での重複領域内で行うことになるが、その重複領域については図５で説明する。水平合成メモリ４０８は、水平合成処理後の画像信号を一時格納するメモリである。垂直合成メモリ４０９は、垂直合成処理後の画像信号を一時格納するメモリである。

圧縮部４１０は、センサメモリ４０４ａ〜４０４ｑ、水平合成メモリ４０８、垂直合成メモリ４０９から転送されてくる画像信号を転送ブロックごとに逐次圧縮処理を行う。伝送部４１１は、圧縮ブロック画像の電気信号を光信号に変換しＰＣやＷＳに出力する。
以上の構成により、２次元撮像素子４０１ａ〜４０１ｑで離散的に取得した画像から合成処理により撮像対象領域全体の画像を生成することができる。

図５は、画像データ合成領域を説明する模式図である。図２で説明したように、画像取得は２次元撮像素子１１１ａ〜１１１ｑにより離散的に順次行われる。また、合成部１０７での繋ぎ目補正を行うために、繋ぎ合せの対象となる隣接する画像同士が一部重複するように撮像が行われる。図５はその重複領域を明示している。

図５（ａ）は、撮像対象領域全体と、撮像対象領域全体の一部を切り出した図である。ここでは時間概念をなくし、撮像対象領域が空間的にどのように分割されて撮像されているかを示している。破線は各撮像画像の重複領域を示しており、領域は誇張して表現している。簡単のため、撮像対象領域全体の一部を切り出した図で説明を行う。ここで、単体２次元撮像素子で１回に撮像される領域は領域１（Ａ、Ｂ、Ｄ、Ｅ）、領域２（Ｂ、Ｃ、Ｅ、Ｆ）、領域３（Ｄ、Ｅ、Ｇ、Ｈ）、領域４（Ｅ、Ｆ、Ｈ、Ｉ）であり、それぞれ異なる時間に撮像される。正確には、領域１の上部と左部、領域２の上部と右部、領域３の左部と下部、領域４の右部と下部にも重複領域が存在するが、画像合成の説明を簡単にするためにここでは省略する。

図５（ｂ）は、領域１〜４が図２で説明したように（ｂ−１）〜（ｂ−４）の時間順序で取得された場合、撮像領域がどのように画像として取得されていくかを示している。（ｂ−１）では領域１（Ａ、Ｂ、Ｄ、Ｅ）が撮像され画像として取得される。（ｂ−２）では領域２（Ｂ、Ｃ、Ｅ、Ｆ）が撮像され画像として取得される。ここで、領域（Ｂ、Ｅ）は重複して撮像された領域であり、水平方向の画像合成処理が行われる領域である。（ｂ−３）では領域３（Ｄ、Ｅ、Ｇ、Ｈ）が撮像され画像として取得される。ここで、領域（Ｄ、Ｅ）は重複して撮像された領域である。（ｂ−２）において領域（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）の１枚の撮像画像が得られていると考えて、領域（Ｄ、Ｅ）に対しては垂直方向の画像合成処理が行われる。ここで、Ｘ方向を２次元撮像素子の水平読み出し方向としているため、垂直方向の画像合成処理は領域３（Ｄ、Ｅ、Ｇ、Ｈ）を全て取得する前に（つまりＤ、Ｅのデータが得られた時点で）処理を開始できる。（ｂ−４）では領域４（Ｅ、Ｆ、Ｈ、Ｉ）が撮像され画像として取得される。ここで、領域（Ｅ、Ｆ、Ｈ）は重複して撮像された領域である。（ｂ−３）において領域（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ）の１枚の撮像画像が得られていると考えて、領域（Ｅ、Ｆ）に対する垂直方向の画像合成処理、領域（Ｅ、Ｈ）に対する水平方向の画像合成処理が順次行われる。ここで、Ｘ方向を２次元撮像素子の水平読み出し方向としているため、垂直方向の画像合成処理は領域４（Ｅ、Ｆ、Ｈ、Ｉ）を全て取得する前に（つまりＥ、Ｆのデータが得られた時点で）処理を開始できる。

Ｘ方向に隣り合う撮像領域のＹ方向の読み出し画素数は概略一致しているため、領域（Ａ〜Ｉ）ごとに画像合成処理を行うことができ、撮像対象領域全体に対しても容易に適用範囲を拡張することができる。撮像素子群が撮像対象領域像をＹ方向に沿って順々に埋めるように撮像領域を取得するため、簡易なメモリ制御で画像合成処理が実現できる。

以上、撮像対象領域全体の一部を切り出した領域で説明したが、画像合成を行う領域、及び、合成方向の説明は適用範囲を広げて撮像対象領域全体に対して行うことができる。

図６は、画像合成の動作シーケンスを説明する模式図である。各機能ブロックの時間軸が示してあり、時間経過に対して図５で説明した領域Ａ〜Ｉがどのように処理されていくかを示してある。ＲＧＢの順で光源を発光させて撮像する例を示している。ここでの制御はメモリ制御部４０５で行われる。

（ａ）では、１回目のＲ画像、Ｇ画像が撮像され、それぞれカラーメモリ４０２ｄ〜４０２ｑに格納されている状況で、Ｂ画像が撮像されて順次読み出されている。現像・補正部４０３ｄ〜４０３ｑでは、２次元撮像素子から読み出されるＢ画像と同期するように、カラーメモリ４０２ｄ〜４０２ｑからＲ画像とＧ画像を読み出し、順次、現像・補正処理を行っていく。現像・補正処理が行われた画像は、順次センサメモリ４０４ｄ〜４０４ｑに格納される。ここで格納される画像は、領域（Ａ、Ｂ、Ｄ、Ｅ）である。
（ｂ）では、（ａ）でセンサメモリ４０４ｄ〜４０４ｑに格納された領域（Ａ、Ｂ、Ｄ、Ｅ）のうち、領域（Ａ）を圧縮部４１０へ転送する。領域（Ａ）に対しての合成処理は行わない。

（ｃ）では、２回目のＲ画像、Ｇ画像が撮像され、それぞれカラーメモリ４０２ａ〜４０２ｎに格納されている状況で、Ｂ画像が撮像されて順次読み出されている。現像・補正部４０３ａ〜４０３ｎでは、２次元撮像素子から読み出されるＢ画像と同期するように、カラーメモリ４０２ａ〜４０２ｎからＲ画像とＧ画像を読み出し、順次、現像・補正処理を行っていく。現像・補正処理が行われた画像は、順次センサメモリ４０４ａ〜４０４ｎに格納される。ここで格納される画像は、領域（Ｂ、Ｃ、Ｅ、Ｆ）である。
（ｄ）では、（ｃ）でセンサメモリ４０４ａ〜４０４ｎに格納された領域（Ｂ、Ｃ、Ｅ
、Ｆ）の内、領域（Ｃ）を圧縮部４１０へ転送する。領域（Ｃ）に対しての合成処理は行わない。

（ｅ）では、領域（Ｂ、Ｅ）がセンサメモリ４０４ａ〜４０４ｑから読み出され、水平方向の画像合成処理が行われる。
（ｆ）では、水平方向の画像合成処理後の画像が順次水平合成メモリ４０８に格納される。
（ｇ）では、水平合成メモリ４０８に格納されている領域（Ｂ）を圧縮部４１０へ転送する。

（ｈ）では、３回目のＲ画像、Ｇ画像が撮像され、それぞれカラーメモリ４０２ｄ〜４０２ｑに格納されている状況で、Ｂ画像が撮像されて順次読み出されている。現像・補正部４０３ｄ〜４０３ｑでは、２次元撮像素子から読み出されるＢ画像と同期するように、カラーメモリ４０２ｄ〜４０２ｑからＲ画像とＧ画像を読み出し、順次、現像・補正処理を行っていく。現像・補正処理が行われた画像は、順次センサメモリ４０４ｄ〜４０４ｑに格納される。ここで格納される画像は、領域（Ｄ、Ｅ、Ｇ、Ｈ）である。

（ｉ）では、（ｈ）でセンサメモリ４０４ｄ〜４０４ｑに格納された領域（Ｄ、Ｅ、Ｇ、Ｈ）の内、領域（Ｇ）を圧縮部４１０へ転送する。領域（Ｇ）に対しての合成処理は行わない。
（ｊ）では、領域（Ｄ、Ｅ）がセンサメモリ４０４ｄ〜４０４ｑ、及び、水平合成メモリ４０８から読み出され、垂直方向の画像合成処理が行われる。
（ｋ）では、垂直方向の画像合成処理後の画像が順次垂直合成メモリ４０９に格納される。
（ｌ）では、垂直合成メモリ４０９に格納されている領域（Ｄ）を圧縮部４１０へ転送する。

（ｍ）では、４回目のＲ画像、Ｇ画像が撮像され、それぞれカラーメモリ４０２ａ〜４０２ｎに格納されている状況で、Ｂ画像が撮像されて順次読み出されている。現像・補正部４０３ａ〜４０３ｎでは、２次元撮像素子から読み出されるＢ画像と同期するように、カラーメモリ４０２ａ〜４０２ｎからＲ画像とＧ画像を読み出し、順次、現像・補正処理を行っていく。現像・補正処理が行われた画像は、順次センサメモリ４０４ａ〜４０４ｎに格納される。ここで格納される画像は、領域（Ｅ、Ｆ、Ｈ、Ｉ）である。

（ｎ）では、（ｍ）でセンサメモリ４０４ａ〜４０４ｎに格納された領域（Ｅ、Ｆ、Ｈ、Ｉ）の内、領域（Ｉ）を圧縮部４１０へ転送する。領域（Ｉ）に対しての合成処理は行わない。
（ｏ）では、領域（Ｅ、Ｆ）がセンサメモリ４０４ａ〜４０４ｎ、及び、垂直合成メモリ４０９から読み出され、垂直方向の画像合成処理が行われる。
（ｐ）では、垂直方向の画像合成処理後の画像が順次垂直合成メモリ４０９に格納される。
（ｑ）では、垂直合成メモリ４０９に格納されている領域（Ｆ）を圧縮部４１０へ転送する。

（ｒ）では、領域（Ｅ、Ｈ）がセンサメモリ４０４ａ〜４０４ｑ、及び、垂直合成メモリ４０９から読み出され、水平方向の画像合成処理が行われる。
（ｓ）では、水平方向の画像合成処理後の画像が順次水平合成メモリ４０８に格納される。
（ｔ）では、水平合成メモリ４０８に格納されている領域（Ｅ、Ｈ）を順次圧縮部４１０へ転送する。
以上のように、メモリ制御部４０５がメモリ転送を制御することで逐次合成処理を行い、撮像対象領域全体の画像を逐次圧縮部４１０へ転送することができる。

ここでは、領域（Ａ）、（Ｃ）、（Ｇ）、（Ｉ）は合成処理を行わずに圧縮するシーケンスを説明したが、領域（Ａ）、（Ｃ）、（Ｇ）、（Ｉ）と合成処理を行った領域を繋ぎ合わせてから圧縮するシーケンスも実現できる。

（歪曲収差）
図７は、歪曲収差の一例と合成での画像組み合わせを説明する模式図である。
図７（ａ）は、歪曲収差の一例を示す模式図である。撮像素子群１１１ａ〜１１１ｑと撮像光学系の有効視野１１２の相対位置関係は固定であるため、各撮像素子１１１ａ〜１１１ｑはそれぞれに決まった歪曲収差をもつ。また各撮像素子１１１ａ〜１１１ｑの歪曲収差は互いに異なる。

図７（ｂ）は、合成での画像組み合わせを説明する模式図であり、各撮像素子が撮像対象領域像１１０ｂのどの領域を撮像するかを示している。図２で説明したように、撮像素子群が撮像対象領域像をＹ方向に沿って順々に埋めるように、撮像素子群１１１ａ〜１１１ｑと結像面での撮像対象領域像１１０ｂを相対的に移動させる制御を行う。そのため、撮像対象領域像１１０ｂは各撮像素子１１１ａ〜１１１ｑにより分割して撮像される。図７（ｂ）中の各分割領域に付されたアルファベットａ〜ｑは、その分割領域を撮像する撮像素子１１１ａ〜１１１ｑとの対応関係を示している。各撮像素子１１１ａ〜１１１ｑはそれぞれに決まった歪曲収差をもち、各重複領域で２つの画像の歪曲収差はそれぞれ異なる。例えば、重複領域の第１列（Ｃ１）の水平方向の画像合成に着目した場合、重複領域は８箇所であり、そこでの撮像素子の組み合わせは４パターン（ｄ、ａ）、（ｄ、ｈ）、（ｋ、ｈ）、（ｋ、ｏ）である。すなわち、重複領域の第１列（Ｃ１）では画像の繋ぎ合わせ方が４パターンあることになる。また、重複領域の第１行（Ｒ１）の垂直方向の画像合成に着目した場合、重複領域は７箇所であり、そこでの撮像素子の組み合わせは７パターン（ｄ、ｄ）、（ａ、ａ）、（ｅ、ｅ）、（ｂ、ｂ）、（ｆ、ｆ）、（ｃ、ｃ）、（ｇ、ｇ）である。先の例と同様に、重複領域の第１行（Ｒ１）では画像の繋ぎ合わせ方が７パターンあることになる。このように各重複領域で２つの画像の歪曲収差は異なるため、画像の繋ぎ合わせ方も各重複領域で異なることになる。

（補正領域）
歪曲収差の異なる２つの画像を滑らかに繋ぎ合せるには、重複領域内の画素に対して補正処理（すなわち、画素の座標と画素値を変更する処理）を施す必要がある。しかしながら、前述したように、補正処理を施すと解像力が劣化するという問題がある。そこで、本実施形態では、解像力劣化の影響を可及的に小さくするために、重複領域全体の画素に対して補正処理を施すことはせず、重複領域のなかの一部の領域（以下、この領域を「補正領域」とよぶ）の画素に対してのみ補正処理を施す。このとき、繋ぎ合せる２つの画像の歪曲収差の違い（これは画像を撮像した撮像素子の組み合わせにより決まる）に応じて、補正領域の大きさが定められる。補正領域が小さくなるほど、解像力の劣化を低減することができる。

図８および図９を参照して、補正領域の決定方法の一例を説明する。
図８（ａ）は、各撮像素子による分割撮像の領域を示しており図５（ａ）や図７（ｂ）に対応する。
図８（ｂ）は、水平方向の画像合成に着目して図８（ａ）の点線部を切り出した図である。図５（ａ）との対応を示すと、図８（ｂ）の領域は図５の領域（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）に対応し、第１の画像は領域１（Ａ、Ｂ、Ｄ、Ｅ）に対応し、第２の画像は領域２（Ｂ、Ｃ、Ｅ、Ｆ）に対応し、重複領域は領域（Ｂ、Ｅ）に対応する。ただし、図５（ａ
）では説明を簡単にするため省略した第１の画像と第２の画像の上部に位置する重複領域を、図８（ｂ）では図示している。

重複領域の幅をＫとし、重複領域の中心線上に３つの代表点Ａ、Ｂ、Ｃを考える。図７（ｂ）との対応関係をみると、第１の画像は撮像素子１１１ｈで取得した画像であり、第２の画像は撮像素子ｅで取得した画像である。そのため、第１の画像にはレンズ内での撮像素子１１１ｈの配置に起因する歪曲収差の影響があり、第２の画像にはレンズ内での撮像素子１１１ｅの配置に起因する歪曲収差の影響がある。

図８（ｃ）は、図８（ｂ）の重複領域だけを切り出した図である。
Ｌ（Ａ）は代表点Ａにおいて第１の画像と第２の画像を滑らかに繋ぎ合せるために必要な幅である。Ｌ（Ａ）は、第１の画像における代表点Ａの真値からのずれと第２の画像における代表点Ａの真値からのずれの相対的な差分Ｍ（Ａ）を用いて機械的に決定する。真値からのずれとは、歪曲収差の影響で発生する座標ずれのことである。図７（ａ）を参考にすると、第１の画像における真値からのずれは撮像素子１１１ｈがもつ歪曲収差により発生する座標ずれであり、第２の画像における真値からのずれは撮像素子１１１ｅがもつ歪曲収差により発生する座標ずれである。

代表点Ａの真値を（Ａｘ、Ａｙ）とし、第１の画像における代表点Ａのずれ値を（ΔＡｘ１、ΔＡｙ１）、第２の画像における代表点Ａのずれ値を（ΔＡｘ２、ΔＡｙ２）とする（図９（ａ）、（ｂ）参照）。このとき、Ｍ（Ａ）は、

Ｍ（Ａ）
＝｜（Ａｘ＋ΔＡｘ１、Ａｙ＋ΔＡｙ１）−（Ａｘ＋ΔＡｘ２、Ａｙ＋ΔＡｙ２）｜＝｜（ΔＡｘ１−ΔＡｘ２、ΔＡｙ１−ΔＡｙ２）｜

で表現される（図９（ｃ）参照）。

そして、

Ｌ（Ａ）＝α×Ｍ（Ａ） α：任意に決定する正の数

により、繋ぎ合わせのための領域Ｌ（Ａ）が決定する。

第１の画像における代表点Ａの真値からのずれと第２の画像における代表点Ａの真値からのずれの相対的な差分がＭ（Ａ）＝４．５（画素）であり、α＝１０とすると、Ｌ（Ａ）＝４５（画素）となり、繋ぎ合せ領域として４５画素分が必要ということになる。αは繋ぎ合せの滑らかさを決定するパラメータであり、大きいほど滑らかな繋ぎ合せとなるが、大きすぎると重複領域も大きくなるため、適度な数値を任意に決定する。

Ｌ（Ｂ）、Ｌ（Ｃ）に対しても同様に考える。代表点Ｂ、Ｃの真値をそれぞれ（Ｂｘ、Ｂｙ）、（Ｃｘ、Ｃｙ）とし、第１の画像における代表点Ｂ、Ｃのずれ値をそれぞれ（ΔＢｘ１、ΔＢｙ１）、（ΔＣｘ１、ΔＣｙ１）、第２の画像における代表点Ｂ、Ｃのずれ値をそれぞれ（ΔＢｘ２、ΔＢｙ２）、（ΔＣｘ２、ΔＣｙ２）とする。このとき、Ｍ（Ｂ）、Ｍ（Ｃ）は、それぞれ、

Ｍ（Ｂ）
＝｜（Ｂｘ＋ΔＢｘ１、Ｂｙ＋ΔＢｙ１）−（Ｂｘ＋ΔＢｘ２、Ｂｙ＋ΔＢｙ２）｜＝｜（ΔＢｘ１−ΔＢｘ２、ΔＢｙ１−ΔＢｙ２）｜

Ｍ（Ｃ）
＝｜（Ｃｘ＋ΔＣｘ１、Ｃｙ＋ΔＣｙ１）−（Ｃｘ＋ΔＣｘ２、Ｃｙ＋ΔＣｙ２）｜＝｜（ΔＣｘ１−ΔＣｘ２、ΔＣｙ１−ΔＣｙ２）｜

で表現される。

そして、

Ｌ（Ｂ）＝α×Ｍ（Ｂ）
Ｌ（Ｃ）＝α×Ｍ（Ｃ）

により、繋ぎ合わせのための領域Ｌ（Ｂ）、Ｌ（Ｃ）が決定する。

そして、Ｌ（Ａ）、Ｌ（Ｂ）、Ｌ（Ｃ）の中の最大値を補正領域の幅Ｎに決定する。たとえば、Ｌ（Ａ）、Ｌ（Ｂ）、Ｌ（Ｃ）の関係が図８（ｃ）に示すように、

Ｌ（Ａ）＞Ｌ（Ｂ）＞Ｌ（Ｃ）

である場合には、補正領域の幅Ｎ＝Ｌ（Ａ）とする。

以上の方法により、歪曲収差による相対的な座標ずれ量が小さいほど補正領域が小さくなるように、各補正領域の大きさが適応的に定められる。より詳しくいうと、２つの画像の並ぶ方向を第１の方向、それに直交する方向を第２の方向とした場合に、補正領域の第１の方向の幅は、歪曲収差による相対的な座標ずれ量が小さいほど狭くなる。なお、補正領域は第２の方向に沿って重複領域を横切るように設けられる。ここでは説明を簡単にするため、重複領域の中心線上に３点の代表点を考えたが、これに限定されるものではなく、代表点の数が多いほど補正領域を正確に見積もることができる。

図８（ａ）の重複領域の第１列（Ｃ１）の水平方向の画像合成を見ると、重複領域は８箇所である。これらの重複領域それぞれに対して上記説明した補正領域Ｎを決定する。そして、第１列（Ｃ１）において最大の補正領域Ｎmaxと同じかそれより大きくなるように
第１列（Ｃ１）での重複領域Ｋの大きさが決められる。すなわち、第１列（Ｃ１）では重複領域Ｋは共通であるが、補正領域Ｎは８箇所ある重複領域ごとに異なる大きさとなる。

各列（Ｃ１〜Ｃ６）、各行（Ｒ１〜Ｒ７）に対して同様の考えを適用し、各重複領域での補正領域を決定するとともに、各行、各列の重複領域を決定する。すなわち、各行、各列ではそれぞれ独立した重複領域を有し、補正領域は重複領域ごとに異なる大きさとなる。このように重複領域の大きさを必要最小限にすると、撮像素子を小型化できたり、カラーメモリとセンサメモリの容量を小さくできるという利点がある。ただし、全ての重複領域の大きさを同じに設定しても構わない。

ここでは、真値からのずれを歪曲収差の影響で発生する座標ずれとして説明したが、座標ずれを画素値ずれと読み替えても同様の説明が可能である。

以上の考え方により、各重複領域における補正領域を定める。重複領域内に補正領域を設けることで、以下のメリットがある。１つ目は、取得画像に位置ずれがある場合に、２つの画像に対して特徴抽出などの手法を用いることで、画像情報で位置補正を行うことができることである。２つ目は、２つの画像から座標、画素値を参照できるため、補正精度を向上でき画像を滑らかに繋ぎ合せることができることである。

（補正領域と重複領域の決定処理）
図１０は、補正領域と重複領域の決定処理の流れを説明するフローチャートである。
ステップＳ１００１では、撮像領域の分割数の設定を行う。撮像対象領域像１１０ｂを撮像素子群１１１ａ〜１１１ｑによりどのように分割するかを設定する。図７（ｂ）では撮像対象領域１１０ｂを８×７＝５６分割している。この分割数は、２次元撮像素子の概略の大きさと撮像対象領域像１１０ｂの大きさの関係で決まる。まずは、利用を想定している２次元撮像素子の画素ピッチ、解像度から、１個の２次元撮像素子で撮像できるＸ方向、Ｙ方向の大きさを見積もる。そして、少なくとも撮像対象領域像１１０ｂを過不足なく撮像できるような分割数を求める。ここでの分割領域の境界線が図８（ｂ）、（ｃ）で示した重複領域の中心線となる。分割領域の境界線、すなわち、重複領域の中心線を基準にして画像の繋ぎ合せを行っていく。

ステップＳ１００２では、相対座標ずれ量の算出を行う。各列、各行それぞれの代表点において、繋ぎ合せの対象となる画像間の真値からのずれの相対的な差分を算出する。真値からのずれとは、歪曲収差の影響で発生する座標ずれのことである。算出方法は図９で説明した通りである。

ステップＳ１００３では、各重複領域における補正領域を決定する。補正領域決定方法は図８で説明した通りである。ただし、この段階では重複領域の大きさはまだ決定していない。

ステップＳ１００４では、各行、各列の重複領域を決定する。各行、各列での最大相対座標ずれ量から最大補正領域を決定し、各行、各列での最大補正領域に所定の余裕領域を加えた領域をそれぞれの重複領域とする。ここでは、撮像素子群１１１ａ〜１１１ｑとして同一サイズの２次元撮像素子を用いることを前提としているため、各行、各列で重複領域が同一となる。余裕領域の決め方については後述する。
以上の処理ステップから、各重複領域における補正領域を決定する。

図１１は、図１０のステップＳ１００２の相対座標ずれ量の算出をさらに分解して説明するフローチャートである。
ステップＳ１１０１では、行Ｒｎの相対座標ずれ量の算出を行う。重複領域中心線上の代表点において、繋ぎ合せの対象となる画像間の真値からのずれの相対的な差分を算出する。ステップＳ１１０２では、Ｓ１１０１の結果を受けて行Ｒｎの最大相対座標ずれ量を決定する。ステップＳ１１０３では、全行について相対座標ずれ量の算出、及び、各行の最大相対座標ずれ量の決定が終わったかどうかを判定する。全行の処理が終了するまでＳ１１０１とＳ１１０２を繰り返す。ステップＳ１１０４では、列Ｃｎの相対座標ずれ量の算出を行う。重複領域中心線上の代表点において、繋ぎ合せの対象となる画像間の真値からのずれの相対的な差分を算出する。ステップＳ１１０５では、Ｓ１１０４の結果を受けて列Ｃｎの最大相対座標ずれ量を決定する。ステップＳ１１０６では、全列について相対座標ずれ量の算出、及び、各列の最大相対座標ずれ量の決定が終わったかどうかを判定する。全列の処理が終了するまでＳ１１０４とＳ１１０５を繰り返す。以上の処理ステップから、重複領域中心線上の代表点における相対座標ずれ量の算出、及び、各行、各列における最大相対座標ずれ量の決定を行う。

図１２は、図１０のステップＳ１００４の重複領域の決定をさらに分解して説明するフローチャートである。
ステップＳ１２０１では、行Ｒｎの重複領域の決定を行う。Ｓ１００３の補正領域の決定を受けて、各行で補正領域が最大となる領域を重複領域とする。ステップＳ１２０２では、全行について重複領域の決定が終わったかどうかを判定する。全行の処理が終了するまでＳ１２０１を繰り返す。ステップＳ１２０３では、列Ｃｎの重複領域の決定を行う。
Ｓ１００３の補正領域の決定を受けて、各列で補正領域が最大となる領域を重複領域とする。ステップＳ１２０４では、全列について重複領域の決定が終わったかどうかを判定する。全列の処理が終了するまでＳ１２０３を繰り返す。以上の処理ステップから、各行、各列における重複領域を決定する。

図８から図１２で説明した処理は、補正領域、重複領域を定める処理ステップであるが、同時に、撮像素子群１１１ａ〜１１１ｑの配置と大きさを決めることにもなる。これを、図７を用いて説明する。撮像素子１１１ｈに着目すると、この撮像素子の受光面のＸ方向の大きさは重複領域の第１列（Ｃ１）と第２列（Ｃ２）により決まる。また、撮像素子１１１ｈの受光面のＹ方向の大きさは重複領域の第２行（Ｒ２）と第３行（Ｒ３）、第３行（Ｒ３）と第４行（Ｒ４）、第４行（Ｒ４）と第５行（Ｒ５）、第５行（Ｒ５）と第６行（Ｒ６）のうち、最も大きくなる組み合わせにより決まる。このようにして決定した撮像素子の受光面のＸ方向とＹ方向の大きさに合うように撮像素子の設計、もしくは、選択を行い、該当領域に配置することになる。ここで、本発明での重複領域（データ重複領域）とは画像データを重複して取得する領域であり、２次元撮像素子で実際に形成される重複領域（物理的重複領域）とは異なることに注意する。物理的重複領域は、少なくともデータ重複領域を含む。本実施形態では、撮像素子群１１１ａ〜１１１ｑに異なる大きさの２次元撮像素子を用いる場合には、Ｘ方向のデータ重複領域（Ｃ１〜Ｃ６）を物理的重複領域と一致させることができるが、移動方向であるＹ方向のデータ重複領域（Ｒ１〜Ｒ７）は必ずしも実重複領域とは一致しない。物理的重複領域がデータ重複領域よりも大きい場合、データ重複領域は２次元撮像素子のＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）制御により実現できる。

（補正処理）
図１３は、補正処理の一例を説明するための模式図である。図８から図１２では補正領域の範囲を設定する方法を説明したが、ここでは設定した補正範囲でどのように画像が繋がるかを簡単に説明する。

図１３（ａ）は画像繋ぎ合せの対象となる第１の画像と第２の画像を示している。重複領域は省略して補正領域のみ示している。補正領域の第１の画像側の境界を境界線１、第２の画像側の境界を境界線２とよぶ。Ｐ１１〜Ｐ１３は、第１の画像における境界線１上の点を示し、Ｐ３１〜Ｐ３３は、Ｐ１１〜Ｐ１３に対応する第２の画像における境界線１上の点を示している。一方、Ｐ４１〜Ｐ４３は、第２の画像における境界線２上の点を示し、Ｐ２１〜Ｐ２３は、Ｐ４１〜Ｐ４３に対応する第１の画像における境界線２上の点を示している。このとき、第１の画像における境界線１上の画素（例えば、Ｐ１１、Ｐ１２、Ｐ１３）、第２の画像における境界線２上の画素（例えば、Ｐ４１、Ｐ４２、Ｐ４３）は処理を行わずに、補正領域内の画素に対して補間処理を行う、というのが繋ぎ合せの基本的な考え方である。一例としては、第１の画像の補正領域と第２の画像の補正領域に対して補間処理を行い、境界線での繋ぎ合せが滑らかになるようにαブレンディングにより画像合成を行う。

第１の画像に対して補間処理を行う場合を考えると、座標Ｐ２１の位置を座標Ｐ４１の位置に変換する処理を行う。同様に、座標Ｐ２２は座標Ｐ４２へ、座標Ｐ２３は座標Ｐ４３へ変換する処理を行う。座標Ｐ２１、Ｐ２２、Ｐ２３は画素の重心と必ずしも一致する必要はないが、Ｐ４１、Ｐ４２、Ｐ４３の位置は画素の重心と一致している。ここでは、代表点のみを図示しているが、実際には第１の画像の境界線２上の全画素に対して処理を実施することになる。第２の画像に対して補間処理を行う場合を考えると、座標Ｐ３１の位置を座標Ｐ１１の位置に変換する処理を行う。同様に、座標Ｐ３２は座標Ｐ１２へ、座標Ｐ３３は座標Ｐ１３へ変換する処理を行う。座標Ｐ３１、Ｐ３２、Ｐ３３は画素の重心と必ずしも一致する必要はないが、Ｐ１１、Ｐ１２、Ｐ１３の位置は画素の重心と一致し
ている。ここでは、代表点のみを図示しているが、実際には第２の画像の境界線１上の全画素に対して処理を実施することになる。このように、第１の画像、及び、第２の画像それぞれの補正画像を生成し、境界線１付近では第１の画像の比率を高く、境界線２付近では第２の画像の比率を高くしたαブレンディングにより滑らかな繋ぎ目となる画像合成が実現できる。

図１３（ｂ）には境界線１と境界線２の座標値を単純に直線で結んで補正領域内の座標情報を生成し、その座標における画素値を補間により求める例を示している。座標情報の生成方法はこれに限らず、第１の画像における補正領域外で重複領域内の座標情報と、第２の画像における補正領域外で重複領域内の座標情報を用いて、補正領域の座標情報を内挿しても良い。前述の単純な直線による内挿よりも、より自然な座標が生成できることが期待される。

ここでの補間処理は、予め保持している座標情報を基に実施する。図７（ａ）に示すように各撮像素子での歪曲収差は既知であるとして設計値である座標情報を保持する形態でも良いし、実測して求めた歪曲情報を保持する形態でも良い。

図１４は、補間座標と参照座標を説明する模式図である。図１４（ａ）は、座標変換前の補間座標Ｑ’と参照座標Ｐ’（ｍ、ｎ）の位置関係を示している。図１４（ｂ）は、座標変換後の補間座標Ｑと参照座標Ｐ（ｍ、ｎ）の位置関係を示している。

図１５（ａ）は、座標変換処理の流れの一例を示すフローチャートである。
ステップＳ１５０１では、参照点の座標Ｐ’（ｍ、ｎ）を指定する。
ステップＳ１５０２では、参照点の変換後のアドレスＰ（ｍ、ｎ）を得るために必要な補正値を収差補正テーブルから取得する。収差補正テーブルは、座標変換前後の画素の位置の対応関係を保持するテーブルである。参照点の座標に対応する変換後の座標値を算出するための補正値が格納されている。

ステップＳ１５０３では、ステップＳ１５０２の処理で得られた収差補正テーブルに格納されている値に基づいて参照画素における変換後の座標Ｐ（ｍ、ｎ）を取得する。歪曲収差であれば画素のずれに基づいて参照画素における変換後の座標を取得する。ここで、収差補正テーブルに格納されている値、すなわち、参照点が、間引きされた代表点の値（代表値）である場合は、その間の値は、補間演算によって算出することになる。

ステップＳ１５０４では、処理対象となる全画素に対して座標変換処理を実施したか否かを判断し、全画素に対して処理が終了している場合は、この座標変換処理を終了する。終了していない場合は、ステップＳ１５０１に戻り、再度、上述した処理を繰り返し実行する。以上の処理ステップで、座標変換処理を行う。

ここで、図１３の座標Ｐ２１の位置を座標Ｐ４１の位置に変換する処理との対応関係を示す。座標Ｐ２１がちょうど画素重心と一致する際には、座標Ｐ２１の位置を座標Ｐ４１の位置に変換する処理を行うことになるが、座標Ｐ２１が画素重心と一致しない場合には、図１５に示した座標の補間処理を行うことになる。このとき、補間位置の座標ＱはＰ４１であり、座標変換前の補間座標Ｑ’は座標Ｐ２１、参照画素の座標Ｐ’（ｍ、ｎ）は座標Ｐ２１の周辺１６画素である。

図１５（ｂ）は、画素補間処理の流れを説明するフローチャートである。
ステップＳ１５０５では、補間を行なう位置である座標Ｑの指定を行なう。
ステップＳ１５０６では、補間位置に生成する画素の周辺にある数点から数十点の参照画素Ｐ（ｍ、ｎ）を指定する。
ステップＳ１５０７では、参照画素である周辺画素Ｐ（ｍ、ｎ）のそれぞれの座標を取得する。
ステップＳ１５０８では、補間画素Ｑと各参照画素Ｐ（ｍ、ｎ）との距離を、補間画素を原点としたベクトル形式で求める。
ステップＳ１５０９では、ステップＳ１５０８の処理で算出した距離を補間曲線又は直線に代入して各参照画素の重み係数を求める。ここでは、座標変換時の補間演算と同じ三次補間式の採用を想定しているが、線形補間（バイリニア）アルゴリズムを採用しても構わない。
ステップＳ１５１０では、各参照画素の値と、ｘ、ｙ座標における重み係数との積を加算し、補間画素の値を演算する。
ステップＳ１５１１では、処理対象となる全画素に対して画素補間処理を実施したか否かを判断し、全画素に対して処理が終了している場合は、この画素補間処理を終了する。終了していない場合は、ステップＳ１５０５に戻り、再度、上述した処理を繰り返し実行する。以上の処理ステップで、画素補間処理を行う。

図１３に示す補正領域に対して座標変換処理、画素補間処理を行う場合を考えると、簡単な例では第１の画像、及び、第２の画像の重複領域内の画素値並びに座標値を利用することになる。そのため、境界線１と境界線２及びその近辺の領域を処理する際の参照画素を重複領域内に確保しておく必要がある。これは図６で示したように領域を分割して高速に処理を行う構成では、重複領域外の画素の参照を行わないためである。図１０のステップＳ１００４で説明した余裕領域は、この参照画素群を確保するための領域である。第１の画像と第２の画像それぞれに対して座標変換と画素補間を行い、それらの画像をαブレンディングすることで、境界線付近での繋ぎ目を目立たなくして滑らかに画像を合成することができる。

（本実施形態の利点）
ここで本実施形態の画像生成装置における特徴的な前提と構成について説明し、さらに技術的効果に言及する。

本実施形態の画像生成装置は、特に、病理分野におけるバーチャル・スライド装置を対象としている。バーチャル・スライド装置で取得する被検試料のデジタル画像、すなわち、人体組織や細胞の拡大画像には直線などの幾何学的模様が少ない、という特徴があるため、見た目に対する画像歪曲の影響が少ない。また、病理診断での診断精度向上のためには、画像処理などでの解像力劣化は極力少なくすることが望ましい。これらの前提のため、画像繋ぎ合せにおける画像歪曲の影響よりも解像力確保を優先し、画像補正により解像力が劣化する面積を低減する、という画像設計指針を採ることができる。

また、本実施形態の画像生成装置は撮像領域を包含するレンズ径内に離散的に配置された複数の２次元撮像素子を用いて撮像領域を分割して撮像し、それら複数の分割画像を合成して大サイズの画像を生成する、という構成である。

一方、同一サイズ、同一収差をもつカメラを規則的に配置したマルチカメラの構成では、重複領域の２つのカメラのレンズ収差が行方向、列方向で略一致する。そのため、重複領域の画像合成は、行方向、列方向それぞれで固定的な処理で対応できる。しかしながら、撮像領域を包含するレンズ径内に離散的に配置された複数の２次元撮像素子を用いる場合には、２つの２次元撮像素子のレンズ収差が重複領域ごとに異なる。
別の構成となるパノラマ撮影では、重複領域を自由に制御できる。しかしながら、撮像領域を包含するレンズ径内に離散的に配置された複数の２次元撮像素子を用いる場合には、マルチカメラのように重複領域は固定配置される。

このように、本実施形態の画像生成装置（撮像装置）は、固定された重複領域でありながら２次元撮像素子のレンズ収差が重複領域ごとに異なるという、マルチカメラ、パノラマ撮影にはない構成上の特徴がある。このような構成において、特に、収差情報に応じて各重複領域の補正領域を適応的に定めることで解像力が劣化する面積を可及的に削減できる、という効果が得られる。

以上の説明による本実施形態の効果は、撮像領域を包含するレンズ径内に離散的に配置された複数の２次元撮像素子を用いて撮像領域を分割して撮像し、それら複数の分割画像を合成して大サイズの画像を生成する構成を前提とする。この分割画像の合成処理（繋ぎ合せ処理）において、収差情報に応じて補正領域を適応的に定めて補正を行うため、画像補正により解像力が劣化する面積を低減できる。

［第２の実施形態］
次に、本発明の第２の実施形態を説明する。前述した第１の実施形態では、重複領域内の最も大きな相対座標ずれ量に合わせて補正領域を定めた。すなわち補正領域の幅は一定である。これに対し、第２の実施形態では、重複領域中心線の相対座標ずれ量に応じて重複領域内で適応的に補正領域を定める。これにより、補正領域の幅は相対座標ずれ量に応じて変化する。このように、本実施形態と前述した第１の実施形態とでは、補正領域の定め方だけが異なる。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分についての詳細な説明を省略する。例えば、図１から図６に示した画像生成装置の撮像、画像合成に関わる構成と処理シーケンス、図７に示した歪曲収差例と画像組み合わせ例、図１０から図１２に示した補正領域、重複領域を定める処理ステップ、図１３に示した補正手法の例、図１４と図１５で説明した座標変換処理と画素補間処理は、第１の実施形態と同じである。

図９（ａ）〜（ｃ）と図１６（ａ）〜（ｃ）を参照して、本実施形態における補正領域の決定方法を説明する。なお、図１６（ａ）、（ｂ）は第１実施形態の図８（ａ）、（ｂ）と同様であるため、以下、図１６（ｃ）を中心に説明する。

図１６（ｃ）は、図１６（ｂ）の重複領域だけを切り出した図である。
Ｌ（Ａ）は代表点Ａにおいて第１の画像と第２の画像を滑らかに繋ぎ合せるために必要な幅であり、第１の実施形態と同じ方法により決定する。Ｌ（Ｂ）、Ｌ（Ｃ）についても同様である。

ここで図に示すようにＬ（Ａ）、Ｌ（Ｂ）、Ｌ（Ｃ）の範囲を連続的に繋げることで補正領域を形成する。各代表点における補正幅を繋ぎ合せるときには線形補間や各種非線形補間で内挿することができる。ここでは説明を簡単にするため重複領域の中心線上に３点の代表点を考えたが、これに限定されるものではなく、代表点の数が多いほど補間による推測領域が少なくなるため、補正領域を正確に見積もることができる。

図１６（ａ）の重複領域の第１列（Ｃ１）に対して上記説明した重複領域中心線の相対座標ずれ量に応じて適応的に変化する補正領域を決定する。そして、第１列（Ｃ１）において最大の補正領域と同じかそれより大きくなるように第１列（Ｃ１）での重複領域Ｋの大きさが決められる。各列（Ｃ１〜Ｃ６）、各行（Ｒ１〜Ｒ７）に対して同様の考えを適用し、各列、各行での補正領域を決定し、それらの最大補正領域からそれぞれの重複領域を決定する。すなわち、各行、各列ではそれぞれ独立した重複領域を有し、補正領域は重複領域中心線の相対座標ずれ量に応じて適応的に変化する大きさとなる。

ここでは、真値からのずれを歪曲収差の影響で発生する座標ずれとして説明したが、座標ずれを画素値ずれと読み替えても同様の説明が可能である。

以上述べた本実施形態によれば、第１の実施形態よりもさらに補正領域を小さくすることができるため、画像補正により解像力が劣化する面積をより小さくすることが可能となる。

［第３の実施形態］
次に、本発明の第３の実施形態を説明する。前述した第１の実施形態及び第２の実施形態では、重複領域中心線上の代表点を基準にして補正領域を定める方法を説明した。これに対し、第３の実施形態では、重複領域内における２つの画像の相関に基づいて適応的に補正領域の位置を定める。相対座標ずれ量の算出が重複領域中心線に依存しないところが、第１及び第２の実施形態との差異となる。このように、本実施形態と前述した第１及び第２の実施形態とでは、補正領域の定め方だけが異なる。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分についての詳細な説明を省略する。例えば、図１から図６に示した画像生成装置の撮像、画像合成に関わる構成と処理シーケンス、図７に示した歪曲収差例と画像組み合わせ例、図１０から図１２に示した補正領域、重複領域を定める処理ステップ、図１３に示した補正手法の例、図１４と図１５で説明した座標変換処理と画素補間処理は、第１の実施形態と同じである。

図１７（ａ）〜（ｄ）を参照して、本実施形態の補正領域の決定方法について説明する。図１７（ａ）は第１実施形態の図８（ａ）と同様である。以下、第１の実施形態と異なる図１７（ｂ）、（ｃ）、（ｄ）を中心に説明する。

図１７（ｂ）は、水平方向の画像合成に着目して図１７（ａ）の点線部を切り出した図である。図５（ａ）との対応を示すと、切り出した領域は図５（ａ）の領域（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）に対応し、第１の画像は領域１（Ａ、Ｂ、Ｄ、Ｅ）に対応し、第２の画像は領域２（Ｂ、Ｃ、Ｅ、Ｆ）に対応し、重複領域は領域（Ｂ、Ｅ）に対応する。ただし、図５（ａ）では説明を簡単にするため省略した第１の画像と第２の画像の上部に位置する重複領域を、図１７（ｂ）では図示している。図７（ａ）との対応関係をみると、第１の画像は撮像素子１１１ｈで取得した画像であり、第２の画像は撮像素子ｅで取得した画像である。そのため、第１の画像にはレンズ内での撮像素子１１１ｈの配置に起因する歪曲収差の影響があり、第２の画像にはレンズ内での撮像素子１１１ｅの配置に起因する歪曲収差の影響がある。

まず、幅Ｋの重複領域内において、第１の画像と第２の画像の間で水平方向のブロックマッチングを行うことにより、両画像の相関が最も大きい部分（すなわち、両画像が最も類似している部分）を検出する。具体的には、探査ブロックの重複領域内での位置を水平方向に少しずつずらしながら、各位置での探査ブロック内の第１の画像と第２の画像の画素の相関（一致度）を求め、最も相関が大きい位置を検出する。この処理を、重複領域内の垂直方向の複数の位置について行うことにより、第１の画像と第２の画像の相関の大きいブロック群を得ることができる。図１７（ｃ）は、図１７（ｂ）の重複領域だけを切り出した図であり、第１の画像と第２の画像の相関の大きいブロック群を示している。ブロック間の相関を評価する関数としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）（画素値の差の絶対値の総和）や、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）（画素値の差の二乗の総和）を用いることができる。

次に、図１７（ｃ）に示すように、相関の大きいブロック群から補正中心線を導出する。補正中心線は、例えば、各ブロックの重心を結ぶか、各ブロックの重心を直線又は曲線で補間することで求めることができる。このようにして求めた補正中心線は、第１の画像と第２の画像とが最も類似している境界、言い換えると、第１の画像と第２の画像のずれが最も小さくなる境界を示すものである。したがって、この補正中心線を基準にして補正
領域を定めることで、補正領域のサイズを最小にできるものと期待できる。なお、上記では水平方向の画像合成の場合について述べたが、垂直方向の画像合成の場合には、垂直方向のブロックマッチングを行うことで、同じように補正中心線を求めればよい。

図１７（ｄ）は、補正中心線上の複数の点Ａにおいて繋ぎ合せに必要な補正幅Ｌ（Ａ）を算出して、それらを繋ぎ合せた補正領域を図示している。Ａは補正中心線上の任意の点を選ぶことができる。Ｌ（Ａ）は、第１の実施形態と同じ方法により算出する。

図１７（ａ）の重複領域の第１列（Ｃ１）に対して上記説明した補正中心線の相対座標ずれ量に応じて適応的に変化する補正領域Ｎを決定する。そして、第１列（Ｃ１）において補正領域がとる最大幅が第１列（Ｃ１）での重複領域Ｋとなる。各列（Ｃ１〜Ｃ６）、各行（Ｒ１〜Ｒ７）に対して同様の考えを適用し、各列、各行での補正領域を決定し、それらの補正領域がとる最大幅からそれぞれの重複領域を決定する。すなわち、各行、各列ではそれぞれ独立した重複領域を有し、補正領域は補正中心線の相対座標ずれ量に応じて適応的に変化する大きさとなる。

本実施形態では探査ブロックで探索するための仮決めした重複領域と、補正領域の最大幅から決まる最終的な重複領域をわけて設定しなければならない。仮決めの重複領域が大きいほど滑らかな繋ぎ合せとなるが、大きすぎると最終的な重複領域も大きくなる可能性があるため、適度な数値を任意に決定する。

以上述べた本実施形態によれば、第１及び第２の実施形態よりもさらに補正領域を小さくすることができるため、画像補正により解像力が劣化する面積をより小さくすることが可能となる。

１０：移動機構、１０３：プレパラート、１０４：撮像光学系、１０５：撮像部、１０７：合成部、１１１ａ〜１１１ｑ：撮像素子群

Claims (8)

1. 被写体を支持する支持手段と、
   互いに間隙を介して離散的に配置された複数の撮像素子を有する撮像手段と、
   前記被写体の像を拡大して前記撮像手段に導く撮像光学系であって、前記複数の撮像素子との相対位置が固定されている撮像光学系と、
   前記被写体の像に対する前記複数の撮像素子の撮像位置を変えて複数回の撮像を行うために、前記複数の撮像素子と前記被写体との相対位置を変化させる移動手段と、
   各撮像位置において各撮像素子から得られた複数の画像を繋ぎ合せて、前記被写体の全体の画像を生成する合成手段と、
   を有する画像生成装置であって、
   各撮像素子で得られる画像における前記撮像光学系の収差は、前記撮像光学系と撮像素子との相対位置により、撮像素子ごとに予め定まっており、
   前記移動手段は、繋ぎ合せる２つの画像同士が一部で重複するように、前記複数の撮像素子と前記被写体との相対位置を変化させ、
   前記合成手段は、繋ぎ合せる２つの画像同士が重複する重複領域内に補正領域を設定し、前記補正領域内の画素に対して補正処理を施すことによって前記２つの画像の繋ぎ目を滑らかにするものであり、
   前記補正領域の大きさは、繋ぎ合せる２つの画像を撮像した撮像素子の組み合わせにより決まる前記２つの画像における収差の違いに応じて、定められている
   ことを特徴とする画像生成装置。
2. 前記補正領域の大きさは、前記２つの画像における歪曲収差による相対的な座標ずれ量が小さいほど前記補正領域が小さくなるように、定められていることを特徴とする請求項１に記載の画像生成装置。
3. 繋ぎ合せる２つの画像の並ぶ方向を第１の方向、前記第１の方向に直交する方向を第２の方向とした場合に、
   前記補正領域は、前記重複領域よりも前記第１の方向の幅が狭く、かつ、前記第２の方向に沿って前記重複領域を横切るように設けられた領域である
   ことを特徴とする請求項１または２に記載の画像生成装置。
4. 前記補正領域の前記第１の方向の幅は、前記２つの画像における歪曲収差による相対的な座標ずれ量が小さいほど狭くなるように、定められる
   ことを特徴とする請求項３に記載の画像生成装置。
5. 前記補正領域の前記第１の方向の幅が、前記第２の方向の位置によらず一定であることを特徴とする請求項３または４に記載の画像生成装置。
6. 前記補正領域の前記第１の方向の幅が、前記第２の方向の位置ごとの前記歪曲収差による相対的な座標ずれ量に応じて異なっていることを特徴とする請求項３または４に記載の画像生成装置。
7. 前記補正領域の前記第１の方向の位置は、前記重複領域の中で前記２つの画像の相関が最も大きい位置になるように、定められることを特徴とする請求項３〜６のうちいずれか１項に記載の画像生成装置。
8. 前記複数の撮像素子は、行方向及び列方向に揃って配置されており、
   行ごと、及び、列ごとに、重複領域の大きさが定められていることを特徴とする請求項１〜７のうちいずれか１項に記載の画像生成装置。

Images