JP7118659B2

JP7118659B2 - 撮像装置、撮像装置の制御方法及びプログラム

Info

Publication number: JP7118659B2
Application number: JP2018025185A
Authority: JP
Inventors: 保章伊勢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-02-15
Filing date: 2018-02-15
Publication date: 2022-08-16
Anticipated expiration: 2038-02-15
Also published as: CN110166688A; JP2019140648A; US20190251662A1; US10922787B2; CN110166688B

Description

本発明は、撮像装置、撮像装置の制御方法及びプログラムに関する。

広視野の画像を撮影可能な撮像装置として、魚眼レンズにより半球上の視野を備えた全方位カメラが知られている。一方で、視野の狭いレンズと撮像素子を複数配置し、それらを合成することにより広視野を実現する撮像装置も知られている。後者は、魚眼レンズ等を備えた単一の撮像素子で構成した撮像装置に対して、より解像度の高い広角画像を生成することが可能である。例えば、特許文献１には、複数のカメラにより撮影された撮影画像を合成してパノラマ画像を表示するカメラ監視システムが開示されている。

特開２００６－２２９７８９号公報

しかし、複数の撮影画像を合成して広角画像を生成する場合、各撮影画像間の連結処理（位置合わせや、歪曲補正等の変形処理）を各撮影画像に行う必要があるため、処理負荷が非常に大きくなる。また、演算処理による遅延が発生する。

このような状況を鑑み、本発明は、合成位置における連結処理を早期に開始することができる撮像装置、撮像装置の制御方法及びプログラムを提供することを目的とする。

本発明の撮像装置は、第１の撮像範囲を撮像する第１の撮像素子と、前記第１の撮像範囲と一部が重複する第２の撮像範囲を撮像する第２の撮像素子と、前記第２の撮像範囲と一部が重複する第３の撮像範囲を撮像する第３の撮像素子と、前記第１の撮像素子と前記第２の撮像素子と前記第３の撮像素子により出力される画素データ群に基づいて、前記第１の撮像範囲、前記第２の撮像範囲または前記第３の撮像範囲よりも広い撮像範囲に対応する画像を合成する合成手段とを有し、前記第１の撮像素子および前記第２の撮像素子は、前記第１の撮像範囲と前記第２の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に前記合成手段に出力し、前記第２の撮像素子は、前記第２の撮像範囲と前記第３の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に前記合成手段に出力する。

本発明によれば、合成位置における連結処理を早期に開始することができる。

撮像装置の概略を説明する模式図である。撮像装置の構成を説明するブロック図である。撮影画像を説明する模式図である。画像の合成処理を示すフローチャートである。撮像素子の動作を説明する模式図である。撮像素子の配置例を示す模式図である。撮像素子の読み出し動作を示す模式図である。合成処理を示す模式図である。撮像部の配置例を示す模式図である。撮像部の配置例を示す模式図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態における撮像装置１００の外観図であり、図１（ｂ）は、撮像装置１００の撮像部１０１～１０８の配置例を示す平面図である。撮像装置１００は、例えば、８個の撮像部１０１～１０８を有する。撮像部の数は、これに限定されない。撮像部１０１～１０８の各々は、レンズ光学系と撮像素子を有する撮像ユニットである。撮像部１０１～１０８は、撮像装置１００の中心から放射状に配置され、３６０°撮影可能に配置される。撮影画角１２１～１２８は、それぞれ、撮像部１０１～１０８の撮影画角である。例えば、撮像部１０１～１０８は、撮像部１０１の撮影画角１２１と、撮像部１０１に隣接した撮像部１０２の撮影画角１２２の様に、それぞれ撮影画角の一部が重複する様に配置される。撮像装置１００は、各撮像部１０１～１０８で撮影した画像を合成し、最大３６０°の水平視野を持つ広角動画像を生成する。以下では、複数の撮像部１０１～１０８で撮像した動画像を合成した、広角動画像を生成する撮像装置１００を説明する。

図２は、撮像装置１００の構成例を示す図である。撮像装置１００は、複数の撮像部１０１～１０８と、制御部１５０と、メモリ１６０と、通信制御部１７０とを有する。制御部１５０は、画像処理回路１５１と、圧縮伸張部１５２と、合成処理部１５３とを有する。合成処理部１５３は、画像選択部１５４と、合成位置調整部１５５と、画像合成部１５６とを有する。

制御部１５０は、例えばＣＰＵ又はＭＰＵなどであり、撮像装置１００全体の制御を司る。メモリ１６０は、不揮発性メモリとＲＡＭを有する。不揮発性メモリは、制御部１５０が実行するプログラム、及び各種パラメータを記憶する。ＲＡＭは、制御部１５０のワークエリアとして使用され、画像処理を行うための記憶領域としても使用される。

撮像部１０１～１０８の各々は、撮像素子１３１～１３８と、レンズ光学系１１１～１１８とを有し、所定の撮像範囲の動画像を撮像し、画素データ群を出力する。撮像素子１３１～１３８は、それぞれ、ＣＭＯＳセンサ等により構成され、撮像面に結像された光学像を電気信号に変換し、動画像として制御部１５０に出力する。

制御部１５０は、撮像部１０１～１０８に接続され、撮像部１０１～１０８により撮像された動画像に対して、各種画像処理を行う。画像処理回路１５１は、撮像部１０１～１０８の動画像に対して画素補間処理や色変換処理等の画像処理を行い、処理後の動画像をメモリ１６０に保存する。画像処理部１５３は、メモリ１６０に保存された撮像部１０１～１０８ごとの動画像に対して、フレームごとに順次、画像合成することにより、広角画像を生成してメモリ１６０に保存する。画像処理部１５３の詳細は、後述する。圧縮伸長部１５２は、メモリ１６０に保存された広角画像に対して、Ｈ．２６４などの動画圧縮処理を行い、圧縮後の動画像をメモリ１６０内の不揮発性メモリ又はメモリカード等の記録媒体に記録する。

通信制御部１７０は、ネットワーク処理回路であり、制御部１５０により生成された広角画像を通信プロトコルに準拠した通信信号に変換した上で、ネットワーク１９０を介して、ＰＣ１８０へ送信する。ＰＣ１８０は、パーソナルコンピュータなどの汎用コンピュータであり、ネットワーク１９０を介して、撮像装置１００と接続されている。ＰＣ１８０は、撮像装置１００の広角画像を受信し、撮像装置１００を制御するための制御情報を送信する。

以下、図３及び図４を参照しながら、撮像装置１００の制御方法について説明する。図３は、被写体と図１（ｂ）の撮像装置１００の各撮像部１０１～１０４の撮影画角１２１～１２４との関係を示す図である。撮影画角１２１～１２４は、図１（ｂ）の撮像部１０１～１０４に対応した撮影画角である。撮像部１０１～１０８は、撮影画角１２１～１２８の一部が互いに重複するように配置される。

複数の撮影画角１２１～１２４の動画像を結合する場合、撮像部１０１～１０４の配置によっては隣接する撮像部１０１～１０４で視差が存在するため、撮影画角１２１～１２４の重複する画像領域（画像重複領域）３０１～３０３が存在する。画像重複領域３０１～３０３では、合成位置調整部１５５は、動画像のフレーム毎に、合成する画像の合成位置を調整する。合成位置調整は、画像重複領域３０１～３０３における同一被写体像が重なる様に行われる。画像合成部１５６は、各撮像部１０１～１０８の動画像を合成し、合成画像３００を得る。合成画像３００は、撮像部１０１～１０８の各々の撮像範囲よりも広い撮像範囲に対応する画像である。ここでは、４個の撮影画角１２１～１２４の動画像を合成しているが、合成枚数はこれに限らない。

図４は、画像の合成処理を示すフローチャートである。ステップＳ４０１では、制御部１５０は、撮像部１０１～１０８に対して、撮影指示を出力する。撮像部１０１～１０８は、それぞれ、制御部１５０からの撮影指示に基づき、所定の撮像範囲の動画像を撮像し、画素データ群を出力する。制御部１５０は、撮像部１０１～１０８により撮像された動画像をメモリ１６０のＲＡＭに保存する。

次に、ステップＳ４０２では、画像選択部１５４は、メモリ１６０に保存されている動画像の中から画像重複領域３０１～３０３等に該当する部分画像を選択し、選択した部分画像を合成位置調整部１５５へ出力する。画像選択部１５４は、制御部１５０が予め指定されたサイズの部分画像を撮像部１０１～１０８から入力したか否かを判定する。例えば、画像重複領域３０１～３０３等が、撮像部１０１～１０８の１００ライン分の部分画素である場合、制御部１５０が１００ライン分の部分画素を撮像部１０１～１０８から入力し、メモリ１６０に保存する。画像選択部１５４は、制御部１５０がその部分画像をメモリ１６０に保存したことを検出すると、メモリ１６０に保存された１００ライン分の部分画像を合成位置調整部１５５へ出力する。制御部１５０は、画像重複領域３０１～３０３等のサイズを、撮像装置１００の設置時にパラメータとしてメモリ１６０に保存してもよい。撮像装置１００の設置時に、制御部１５０は、被写体距離に応じて撮影画角１２１～１２８を設定することで、画像重複領域３０１～３０３等を設定できる。また、画像重複領域３０１～３０３等は、被写体に応じて適宜変更可能にしてもよい。

次に、ステップＳ４０３では、合成位置調整部１５５は、撮像部１０１～１０８により撮像された動画像の合成位置の調整をフレーム毎に行う。合成位置調整部１５５は、合成を行う２つの画像間で、それぞれの画像重複領域３０１等の部分画像内に同一の被写体を検出し、合成前の画像で検出した同一の被写体の位置が一致する様に、合成するための位置補正パラメータを算出する。位置補正パラメータは、各画像の拡大、縮小、歪曲補正等の変形処理を行うパラメータや、補正処理後の画像からの画像切り出し等を行うためのパラメータを含む。同一の被写体の検出は、既存の技術を利用できる。例えば、合成位置調整部１５５は、背景差分等によりエッジ検出を行い、被写体の輪郭形状を抽出する、或いは動きベクトルを抽出し、色画素情報と併せて、同一の被写体であるか否かを判定できる。

次に、ステップＳ４０４では、画像処理回路１５１は、撮像部１０１～１０８から動画像を入力し、動画像に対して、画素補間処理や色変換処理等の画像処理、画素欠陥補正やレンズ補正などの各種補正処理を行う。画像処理回路１５１は、動画像に対して、黒レベルやフォーカス、露出などの調整を行うための検波処理、デモザイク処理、ホワイトバランス処理、ホワイトバランス処理やガンマ補正処理、エッジ強調処理、ノイズ抑制処理などを施し、メモリ１６０へ保存する。

ステップＳ４０３の合成位置調整は、画像重複領域３０１～３０３等の部分画像のみでも行うことができるため、ステップＳ４０４の処理は、ステップＳ４０２及びＳ４０３の処理と並列に処理することも可能である。

次に、ステップＳ４０５では、画像合成部１５６は、撮像部１０１～１０８の動画像の合成処理を行う。まず、画像合成部１５６は、合成位置調整部１５５により算出された位置補正パラメータに基づき、撮像部１０１～１０８の動画像の位置の補正処理を行い、フレーム毎に合成を行う。その後、画像合成部１５６は、合成後の画像に対して、適切な変倍処理を行い、指定の画角サイズに切り出し、広角画像を生成する。

次に、ステップＳ４０６では、圧縮伸張部１５２は、広角画像を圧縮し、圧縮後の動画像を通信制御部１７０に出力する。

次に、ステップＳ４０７では、通信制御部１７０は、所定のプロトコルに基づき、圧縮後の動画像を、ネットワーク１９０を介してＰＣ１８０に配信する。

次に、図５及び図６を用いて、本実施形態の撮像部１０１～１０８の撮像素子１３１～１３８の配置について説明する。図５（ａ）～（ｃ）は、本実施形態による撮像素子１３１～１３８の各々の動作を説明する図である。

図５（ａ）は、撮像素子５０１の外観を示す図である。撮像素子５０１は、図２の撮像素子１３１～１３８の各々に対応し、画素部５０２と、端子５０３とを有する。画素部５０２は、各々が光電変換を行う複数の画素を有する。端子５０３は、周辺回路に接続するための端子である。撮像素子は、半導体基体の表面側に、光電変換素子、読み出し電極等の電極層、さらにはカラーフィルタ又はオンチップレンズ等が形成され、この表面側より光を入射させて撮像を行う。例えば、増幅型固体撮像素子は、画素が行列状に配されたＸ－Ｙアドレス型固体撮像素子の一種であり、画素そのものに増幅機能を持たせるために、ＭＯＳ構造などの能動素子（ＭＯＳトランジスタ）を用いて画素を構成している。そして、増幅型固体撮像素子は、光電変換素子であるフォトダイオードに蓄積された信号電荷を能動素子で増幅し、画像として読み出す。

この種のＸ－Ｙアドレス型固体撮像素子は、例えば、画素トランジスタが２次元行列状に多数配列されて画素部５０２が構成される。Ｘ－Ｙアドレス型固体撮像素子は、ライン（行）毎あるいは画素毎に入射光に対応する信号電荷の蓄積を開始し、その蓄積された信号電荷に基づく電流または電圧の信号をアドレス指定によって各画素から順に読み出す。ここで、Ｘ－Ｙアドレス型固体撮像素子は、アドレス指定の一例として、１行分を同時にアクセスして行単位で画素信号を画素部５０２から読み出すカラム読出方式（列並列出力方式）を用いる。

撮像素子は、水平同期信号に同期して、画素部５０２の一端から順に水平１ライン毎の画素データの読み出しを行い、アナログ－デジタル変換器によりデジタル値の画像データに変換して出力する。

図５（ｂ）は図５（ａ）の画素部５０２内の画素５１０の配列を示す図であり、図５（ｃ）は画素部５０２の画素データの読み出しタイミングを示すタイムチャートである。画素部５０２は、２次元行列状に配列された複数の画素を有する。図５（ｃ）は、水平同期信号Ｈｓｙｎｃと画素ライン５１１～５１３毎の読み出しタイミングとの関係を示す。画素部５０２は、複数の画素ライン５１１～５１３を有する。撮像素子５０１は、例えば、画素ライン５１１から画素ライン５１３まで（上から下へ）、画素ライン毎に画素データを順番に読み出す。この様に撮像素子５０１の配置に応じて、撮影画角内の画素データの読み出し順序が変わることとなる。

図６（ａ）及び（ｂ）は、本実施形態による撮像素子１３１～１３４の配置と合成画像との関係を示す図である。ここでは、４個の撮像素子１３１～１３４の画像を合成する場合の処理について説明する。

図６（ａ）は、撮像素子１３１～１３４の配置例を示す図である。撮像素子１３１～１３４は、隣接して配置されており、図２の撮像部１０１～１０４の撮像素子１３１～１３４に対応する。各撮像素子１３１～１３４に記した矢印は、各撮像素子１３１～１３４における画素データの読み出し方向を示す。撮像素子１３１は、画素ライン単位で左方向に読み出しを行う。撮像素子１３２は、撮像素子１３１の読み出し方向とは逆に、画素ライン単位で右方向に読み出しを行う。撮像素子１３３は、画素ライン単位で左方向に読み出しを行う。撮像素子１３４は、撮像素子１３３の読み出し方向とは逆に、画素ライン単位で右方向に読み出しを行う。撮像素子１３１及び１３２は、相互に配置方向が１８０°異なる。撮像素子１３３及び１３４は、相互に配置方向が１８０°異なる。

撮像素子１３１及び１３２の画素データのうち、画素領域６３２及び６３３が最初に読み出される画素データとなる。画素領域６３２及び６３３は、撮像素子１３１及び１３２の撮影画角が相互に重複する画像重複領域６３１に対応する。

撮像素子１３３及び１３４の画素データのうち、画素領域６４２及び６４３が最初に読み出される画素データとなる。画素領域６４２及び６４３は、撮像素子１３３及び１３４の撮影画角が相互に重複する画像重複領域６４１に対応する。

撮像素子１３２及び１３３の画素データのうち、画素領域６５２及び６５３が最後に読み出される画素データとなる。画素領域６５２及び６５３は、撮像素子１３２及び１３３の撮影画角が相互に重複する画像重複領域６５１に対応する。

図６（ｂ）は、合成画像を示す図である。画像合成部１５６は、まず、撮像素子１３１の画素領域６３２と撮像素子１３２の画素領域６３３に対応する画像重複領域６３１の位置が一致するように、撮像素子１３１及び１３２の画像を合成し、図６（ｂ）の合成画像６６１を得る。続いて、画像合成部１５６は、撮像素子１３３の画素領域６４２と撮像素子１３４の画素領域６４３に対応する画像重複領域６４１の位置が一致するように、撮像素子１３３及び１３４の画像を合成し、図６（ｂ）の合成画像６６２を得る。その後、画像合成部１５６は、撮像素子１３２の画素領域６５２と撮像素子１３３の画素領域６５３に対応する画像重複領域６５１の位置が一致するように、合成画像６６１及び６６２を合成し、図６（ｂ）の合成画像６６３を得る。

各撮像素子１３１～１３８は、隣接する撮像素子１３１～１３８との間で画像合成に必要な画像重複領域６３１，６４１等の画素領域６３２，６３３，６４２，６４３等の画素データから出力するような向きに配置する。特に、読み出し方向が固定された撮像素子１３１～１３８の場合は、撮像素子１３１～１３８の配置方向を、隣接する撮像素子１３１～１３８毎に互い違いに配置する。以上の様に、撮像素子１３１～１３８を配置することにより、画像重複領域６３１，６４１等の画素データから出力開始されるため、画像合成部１５６は、合成処理を行うタイミングを早めることが可能となる。

図７は、各撮像素子１３１～１３４と撮像素子１３１～１３４を駆動する駆動信号との関係を示す図である。図７の駆動信号は、垂直同期信号７００、電子シャッタ信号７０１、読み出し信号７０２を含む。画像データＩｍａｇｅ１は、撮像素子１３１が出力する画像データである。画像データＩｍａｇｅ２は、撮像素子１３２が出力する画像データである。画像データＩｍａｇｅ３は、撮像素子１３３が出力する画像データである。画像データＩｍａｇｅ４は、撮像素子１３４が出力する画像データである。以下、撮像素子１３１～１３４の場合を説明するが、撮像素子１３５～１３８も同様である。

制御部１５０は、共通の垂直同期信号７００を撮像素子１３１～１３４へ出力する。さらに、制御部１５０は、各撮像素子１３１～１３４に共通の露光時間、及び読み出し時間等の撮影パラメータを出力する。各撮像素子１３１～１３４は、制御部１５０からの垂直同期信号７００と撮影パラメータを基に、電子シャッタ信号７０１及び読み出し信号７０２を生成する。電子シャッタ信号７０１及び読み出し信号７０２は、撮像素子１３１～１３４内で生成してもよいし、制御部１５０が撮像素子１３１～１３４に出力してもよい。

撮像素子１３１～１３４は、制御部１５０からの垂直同期信号７００を基準に、時刻Ｔ７０１で電子シャッタ信号７０１を生成し、時刻Ｔ７０２で読み出し信号７０２を生成する。時刻Ｔ７０１では、撮像素子１３１～１３４は、電子シャッタ信号７０１に応じて、画素ライン毎の露光を開始する。時刻Ｔ７０２では、撮像素子１３１～１３４は、読み出し信号７０２に応じて、画素ライン毎の読み出しを開始する。

撮像素子１３１は、部分画像７１３を最初に読み出す。部分画像７１３は、図６（ａ）の画素領域６３２及び画像重複領域６３１に対応する。

撮像素子１３２は、部分画像７２３を最初に読み出し、部分画像７２４を最後に読み出す。部分画像７２３は、図６（ａ）の画素領域６３３及び画像重複領域６３１に対応する。部分画像７２４は、図６（ａ）の画素領域６５２及び画像重複領域６５１に対応する。

撮像素子１３３は、部分画像７３３を最初に読み出し、部分画像７３４を最後に読み出す。部分画像７３３は、図６（ａ）の画素領域６４２及び画像重複領域６４１に対応する。部分画像７３４は、図６（ａ）の画素領域６５３及び画像重複領域６５１に対応する。

撮像素子１３４は、部分画像７４３を最初に読み出す。部分画像７４３は、図６（ａ）の画素領域６４３及び画像重複領域６４１に対応する。

部分画像７１３及び７２３は、画像重複領域６３１に対応し、同じタイミングで露光及び読み出しが行われる。部分画像７３３及び７４３は、画像重複領域６４１に対応し、同じタイミングで露光及び読み出しが行われる。部分画像７２４及び７３４は、画像重複領域６５１に対応し、同じタイミングで露光及び読み出しが行われる。

撮像素子１３１～１３４の露光及び読み出しのタイミングを同期させることにより、同じタイミングでの画像重複領域６３１，６４１，６５１の部分画像を取得することができる。特に、ローリングシャッタを備えた撮像素子１３１～１３４は、画像ライン毎の読み出し時間が異なるため、撮像素子１３１～１３４の配置方向を変更することによって、画像重複領域６３１，６４１，６５１の露光時間を一致または近づけることが可能となる。

特に、被写体が動体であり、撮像素子１３１～１３４の撮影タイミングが一致しない場合、撮像画像内の被写体の位置が合成する画像間で異なってしまう。隣接する撮像素子１３１～１３４の画像重複領域６３１，６４１，６５１の画像の読み出しタイミングを同期させることにより、動体の撮像時間が一致するため、位置合わせの負荷を軽減できる。

次に、図８（ａ）～（ｄ）を用いて、撮像素子１３１～１３４の配置方向による画像処理の負荷軽減の効果を説明する。図８（ａ）～（ｄ）は、撮像素子１３１～１３４からの画像の読み出しと合成処理を示す図である。

図８（ａ）は、本実施形態による撮像素子１３１～１３４の配置及び読み出し方向を示す図であり、図８（ｂ）は、図８（ａ）の撮像素子１３１～１３４の動作を示すタイミングチャートである。撮像素子１３１～１３４は、図６（ａ）の撮像素子１３１～１３４に対応し、読み出しラインが垂直方向に延びる方向に配置されている。

撮像素子１３１は、右の画素ラインから左の画素ラインに向けて、画素ライン単位で読み出しを行う。すなわち、撮像素子１３１は、画素領域６３２の画素ラインから読み出しを開始する。

撮像素子１３２は、左の画素ラインから右の画素ラインに向けて、画素ライン単位で読み出しを行う。すなわち、撮像素子１３２は、画素領域６３３の画素ラインから読み出しを開始し、画素領域６５２の画素ラインで読み出しを終了する。

撮像素子１３３は、右の画素ラインから左の画素ラインに向けて、画素ライン単位で読み出しを行う。すなわち、撮像素子１３３は、画素領域６４２の画素ラインから読み出しを開始し、画素領域６５３の画素ラインで読み出しを終了する。

撮像素子１３４は、左の画素ラインから右の画素ラインに向けて、画素ライン単位で読み出しを行う。すなわち、撮像素子１３４は、画素領域６４３の画素ラインから読み出しを開始する。

画素領域６３２及び６３３は、撮像素子１３１及び１３２の画像重複領域６３１に対応する。画素領域６４２及び６４３は、撮像素子１３３及び１３４の画像重複領域６４１に対応する。画素領域６５２及び６５３は、撮像素子１３２及び１３３の画像重複領域６３１に対応する。

画像データＩｍａｇｅ１は、撮像素子１３１が出力する画像データである。画像データＩｍａｇｅ２は、撮像素子１３２が出力する画像データである。画像データＩｍａｇｅ３は、撮像素子１３３が出力する画像データである。画像データＩｍａｇｅ４は、撮像素子１３４が出力する画像データである。

撮像素子１３１～１３４は、垂直同期信号Ｖｓｙｎｃに同期し、それぞれ、時刻Ｔ８１１において、画像データＩｍａｇｅ１～Ｉｍａｇｅ４の第１のフレームの出力を開始する。その後、時刻Ｔ８１３において、撮像素子１３１～１３４は、それぞれ、画像データＩｍａｇｅ１～Ｉｍａｇｅ４の第１のフレームの出力を終了する。

撮像素子１３１は、画素領域６３２の画素ラインから読み出しを開始し、画像データＩｍａｇｅ１の第１のフレームを出力する。撮像素子１３２は、画素領域６３３の画素ラインから読み出しを開始し、画素領域６５２の画素ラインで読み出しを終了し、画像データＩｍａｇｅ２の第１のフレームを出力する。撮像素子１３３は、画素領域６４２の画素ラインから読み出しを開始し、画素領域６５３の画素ラインで読み出しを終了し、画像データＩｍａｇｅ３の第１のフレームを出力する。撮像素子１３４は、画素領域６４３の画素ラインから読み出しを開始し、画像データＩｍａｇｅ４の第１のフレームを出力する。

時刻Ｔ８１１～Ｔ８１２では、撮像素子１３１～１３４は、それぞれ、画素領域６３２，６３３，６４２，６４３の画像データを出力する。時刻Ｔ８１２では、画像選択部１５４は、画素領域６３２，６３３，６４２，６４３の画像データを合成位置調整部１５５に出力する。合成位置調整部１５５は、画素領域６３２の部分画像と画素領域６３３の部分画像とが画像重複領域６３１で重複するように、合成位置を調整するための補正パラメータを算出する。また、合成位置調整部１５５は、画素領域６４２の部分画像と画素領域６４３の部分画像とが画像重複領域６４１で重複するように、合成位置を調整するための補正パラメータを算出する。

時刻Ｔ８１３では、撮像素子１３２及び１３３は、それぞれ、画素領域６５２及び６５３の画像データの出力を完了する。画像選択部１５４は、画素領域６５２及び６５３の画像データを合成位置調整部１５５に出力する。合成位置調整部１５５は、画素領域６５２の部分画像と画素領域６５３の部分画像とが画像重複領域６５１で重複するように、合成位置を調整するための補正パラメータを算出する。

次に、時刻Ｔ８１４では、画像合成部１５６は、合成位置調整部１５５により算出された補正パラメータを基に、撮像素子１３１～１３４の画像データＩｍａｇｅ１～Ｉｍａｇｅ４の第１のフレームを合成する。圧縮伸張部１５２は、合成された動画像を圧縮する。通信制御部１７０は、圧縮された動画像を、ネットワーク１９０を介してＰＣ１８０に配信する。

以上のように、撮像素子１３１により撮像される撮像範囲と、撮像素子１３２により撮像される撮像範囲は、相互に一部が重複する位置に対応する画像重複領域６３１を有する。撮像素子１３２により撮像される撮像範囲と、撮像素子１３３により撮像される撮像範囲は、相互に一部が重複する位置に対応する画像重複領域６５１を有する。撮像素子１３３により撮像される撮像範囲と、撮像素子１３４により撮像される撮像範囲は、相互に一部が重複する位置に対応する画像重複領域６４１を有する。

撮像素子１３１は、撮像画像の中の画像重複領域６３１の画素データを撮像画像の中の非重複領域の画素データより先に出力する。撮像素子１３２は、撮像画像の中の画像重複領域６３１の画素データを撮像画像の中の非重複領域の画素データより先に出力し、撮像画像の中の画像重複領域６５１の画素データを撮像画像の中の非重複領域の画素データより後に出力する。撮像素子１３３は、撮像画像の中の画像重複領域６４１の画素データを撮像画像の中の非重複領域の画素データより先に出力し、撮像画像の中の画像重複領域６５１の画素データを撮像画像の中の非重複領域の画素データより後に出力する。撮像素子１３４は、撮像画像の中の画像重複領域６４１の画素データを撮像画像の中の非重複領域の画素データより先に出力する。

合成位置調整部１５５は、撮像素子１３１の撮像画像の中の画像重複領域６３１と撮像素子１３２の撮像画像の中の画像重複領域６３１が相互に重なるように、撮像素子１３１の撮像画像と撮像素子１３２の撮像画像の合成位置を調整する。この際、合成位置調整部１５５は、撮像素子１３１の撮像画像の中の画像重複領域６３１の画素データと撮像素子１３２の撮像画像の中の画像重複領域６３１の画素データを基に、撮像素子１３１の撮像画像と撮像素子１３２の撮像画像の合成位置を調整する。

また、合成位置調整部１５５は、撮像素子１３３の撮像画像の中の画像重複領域６４１と撮像素子１３４の撮像画像の中の画像重複領域６４１が相互に重なるように、撮像素子１３３の撮像画像と撮像素子１３４の撮像画像の合成位置を調整する。この際、合成位置調整部１５５は、撮像素子１３３の撮像画像の中の画像重複領域６４１の画素データと撮像素子１３４の撮像画像の中の画像重複領域６４１の画素データを基に、撮像素子１３３の撮像画像と撮像素子１３４の撮像画像の合成位置を調整する。

また、合成位置調整部１５５は、撮像素子１３２の撮像画像の中の画像重複領域６５１と撮像素子１３３の撮像画像の中の画像重複領域６５１が相互に重なるように、撮像素子１３２の撮像画像と撮像素子１３３の撮像画像の合成位置を調整する。この際、合成位置調整部１５５は、撮像素子１３２の撮像画像の中の画像重複領域６５１の画素データと撮像素子１３３の撮像画像の中の画像重複領域６５１の画素データを基に、撮像素子１３２の撮像画像と撮像素子１３３の撮像画像の合成位置を調整する。

画像合成部１５６は、合成位置調整部１５５により合成位置が調整された撮像素子１３１の画像と撮像素子１３２の画像と撮像素子１３３の画像と撮像素子１３４の画像を合成する。

本実施形態による撮像装置１００は、撮像素子１３１～１３４が画像データＩｍａｇｅ１～Ｉｍａｇｅ４を出力後、早期に、画像データＩｍａｇｅ１～Ｉｍａｇｅ４の合成を開始することができる。その効果を説明するため、比較例として、通常の撮像素子１３１～１３４の配置を図８（ｃ）及び（ｄ）に示す。

図８（ｃ）は、通常の撮像素子１３１～１３４の配置及び読み出し方向を示す図であり、図８（ｄ）は、図８（ｃ）の撮像素子１３１～１３４の動作を示すタイミングチャートである。撮像素子１３１～１３４は、読み出しラインが水平方向に延びる方向に配置されている。撮像素子１３１～１３４は、上の画素ラインから下の画素ラインに向けて、画素ライン単位で読み出しを行う。

撮像素子１３１は、全画素ラインの右端画素領域が画素領域６３２である。撮像素子１３２は、全画素ラインの左端画素領域が画素領域６３３であり、全画素ラインの右端画素領域が画素領域６５２である。撮像素子１３３は、全画素ラインの左端画素領域が画素領域６５３であり、全画素ラインの右端画素領域が画素領域６４２である。撮像素子１３４は、全画素ラインの左端画素領域が画素領域６４３である。

撮像素子１３１は、時刻Ｔ８１１で画素領域６３２の画像データの読み出しを開始し、時刻Ｔ８１３で画素領域６３２の画像データの読み出しを終了する。撮像素子１３２は、時刻Ｔ８１１で画素領域６３３及び６５２の画像データの読み出しを開始し、時刻Ｔ８１３で画素領域６３３及び６５２の画像データの読み出しを終了する。撮像素子１３３は、時刻Ｔ８１１で画素領域６５３及び６４２の画像データの読み出しを開始し、時刻Ｔ８１３で画素領域６５３及び６４２の画像データの読み出しを終了する。撮像素子１３４は、時刻Ｔ８１１で画素領域６４３の画像データの読み出しを開始し、時刻Ｔ８１３で画素領域６４３の画像データの読み出しを終了する。

次に、時刻Ｔ８１４では、画像選択部１５４は、画素領域６３２，６３３，６４２，６４３，６５２，６５３の画像データを合成位置調整部１５５に出力する。合成位置調整部１５５は、画素領域６３２，６３３，６４２，６４３，６５２，６５３の合成位置を調整するための補正パラメータを算出する。

次に、時刻Ｔ８１５では、画像合成部１５６は、合成位置調整部１５５により算出された補正パラメータを基に、撮像素子１３１～１３４の画像データＩｍａｇｅ１～Ｉｍａｇｅ４の第１のフレームを合成する。

以上のように、撮像素子１３１～１３４は、時刻Ｔ８１３において、画素領域６３２，６３３，６５２，６５３，６４２，６４３の画像データの出力が終了する。その終了まで、画像処理部１５３は、画像データＩｍａｇｅ１～Ｉｍａｇｅ４の合成処理を開始することができないため、合成処理開始時刻が遅くなってしまう。

これに対し、図８（ｂ）に示すように、本実施形態による撮像素子１３１～１３４は、時刻Ｔ８１２において、画素領域６３２，６３３，６４２，６４３の画像データの出力が終了する。そのため、時刻Ｔ８１２において、合成位置調整部１５５は、画素領域６３２，６３３，６４２，６４３の画像データの合成位置調整のための補正パラメータ算出処理を開始することができる。そのため、時刻Ｔ８１４において、画像合成部１５６は、早期に、画像データＩｍａｇｅ１～Ｉｍａｇｅ４の合成処理を開始することができる。また、合成位置調整部１５５は、画像重複領域６３１，６４１，６５１に対応する画素領域６３２，６３３，６４２，６４３，６５２，６５３の部分画像データのみを用いて位置調整を行うため、位置調整時に処理する画像データ量を削減することができる。また、合成処理部１５３は、各処理のタイミングを分けることで、一度に処理する画像データ量を削減し、メモリの使用量を少なくし、演算処理の負荷を軽減することができる。

（第２の実施形態）
図９（ａ）～（ｄ）は、本発明の第２の実施形態による撮像装置９００を説明するための図である。撮像装置９００は、撮像部９０１～９０４を有する。撮像装置９００は、第１の実施形態の撮像装置１００に対応する。撮像部９０１～９０４は、第１の実施形態の撮像部１０１～１０４に対応する。撮像装置９００は、第１の実施形態の撮像装置１００に対して、同様の構成を有し、撮像部９０１～９０４の配置の位置が異なる。以下、第２の実施形態が第１の実施形態と異なる点を説明する。

図９（ａ）は、撮像装置９００の撮像部９０１の配置の位置を示す図である。一例として、撮像装置９００は、同一面に４個の撮像部９０１～９０４を有する。ここでは、４個の撮像部９０１～９０４と４個の画像データを合成する場合の処理について示すが、撮像部の数は４個に限定されない。

図９（ｂ）は、図９（ａ）の撮像装置９００の各撮像部９０１～９０４の撮影画角の関係を示す図である。撮影画角９２１～９２４は、それぞれ、撮像部９０１～９０４の撮影画角である。各撮像部９０１～９０４は、撮影画角９２１～９２４の一部が互いに重複するように配置される。撮影画角９２１～９２４内の矢印は、各撮像部９０１～９０４の画像データの読み出し方向を示す。

図９（ｃ）は、撮像部９０１～９０４が撮像した画像９１１～９１４を示す図である。各画像９１１～９１４内に記した矢印は、撮像部９０１～９０４が画像９１１～９１４を撮像素子から読み出す方向を示している。各撮像部９０１～９０４の撮像素子は、矢印の方向に画像データが読み出されるように物理的に配置される。撮像部９０１及び９０２の撮像素子は、下の画素ラインから上の画素ラインに向けて読み出す。撮像部９０３及び９０４の撮像素子は、上の画素ラインから下の画素ラインに向けて読み出す。

画像９１１は、重複領域９３１及び９３５を有する。重複領域９３１は、画像９１１内の下端画素ラインの画像領域である。重複領域９３５は、画像９１１内の全画素ラインの右端部の画像領域である。

画像９１２は、重複領域９３２及び９３６を有する。重複領域９３２は、画像９１２内の下端画素ラインの画像領域である。重複領域９３６は、画像９１２内の全画素ラインの左端部の画像領域である。

画像９１３は、重複領域９３３及び９３７を有する。重複領域９３３は、画像９１３内の上端画素ラインの画像領域である。重複領域９３７は、画像９１３内の全画素ラインの右端部の画像領域である。

画像９１４は、重複領域９３４及び９３８を有する。重複領域９３４は、画像９１４内の上端画素ラインの画像領域である。重複領域９３８は、画像９１４内の全画素ラインの左端部の画像領域である。

画像９１１及び９１３のうち、重複領域９３１及び９３３が互いに撮影画角の重複する画像重複領域である。重複領域９３１は、撮像部９０１が最初に読み出す画素ラインの画像領域である。重複領域９３３は、撮像部９０３が最初に読み出す画素ラインの画像領域である。

また、画像９１２及び９１４のうち、重複領域９３２及び９３４が互いに撮影画角の重複する画像重複領域である。重複領域９３２は、撮像部９０２が最初に読み出す画素ラインの画像領域である。重複領域９３４は、撮像部９０４が最初に読み出す画素ラインの画像領域である。

また、画像９１１及び９１２のうち、重複領域９３５及び９３６が互いに撮影画角の重複する画像重複領域である。また、画像９１３及び９１４のうち、重複領域９３７及び９３８が互いに撮影画角の重複する画像重複領域である。

画像選択部１５４は、重複領域９３１～９３４の読み出し完了を検出すると、重複領域９３１～９３４の画像データを合成位置調整部１５５に出力する。合成位置調整部１５５は、重複領域９３１及び９３３の画像合成のための補正パラメータを算出し、重複領域９３２及び９３４の画像合成のための補正パラメータを算出する。

その後、画像選択部１５４は、重複領域９３５～９３８の読み出し完了を検出すると、重複領域９３５～９３８の画像データを合成位置調整部１５５に出力する。合成位置調整部１５５は、重複領域９３５及び９３６の画像合成のための補正パラメータを算出し、重複領域９３７及び９３８の画像合成のための補正パラメータを算出する。

図９（ｄ）は、画像合成を示す図である。画像合成部１５６は、補正パラメータを基に、画像９１１及び９１３を合成し、合成画像９１１＋９１３を得る。続いて、画像合成部１５６は、補正パラメータを基に、画像９１２及び９１４を合成し、合成画像９１２＋９１４を得る。その後、画像合成部１５６は、合成画像９１１＋９１３と合成画像９１２＋９１４を合成する。

以上のように、画像９１１及び９１３は、それぞれ、相互に撮像範囲の一部が重複する重複領域９３１及び９３３を有する。画像９１２及び９１４は、それぞれ、相互に撮像範囲の一部が重複する重複領域９３２及び９３４を有する。画像９１１及び９１２は、それぞれ、相互に撮像範囲の他の一部が重複する重複領域９３５及び９３６を有する。画像９１３及び９１４は、それぞれ、相互に撮像範囲の他の一部が重複する重複領域９３７及び９３８を有する。

撮像部９０１の撮像素子は、画像９１１の中の重複領域９３１の画素データを画像９１１の中の非重複領域の画素データより先に出力する。撮像部９０２の撮像素子は、画像９１２の中の重複領域９３２の画素データを画像９１２の中の非重複領域の画素データより先に出力する。撮像部９０３の撮像素子は、画像９１３の中の重複領域９３３の画素データを画像９１３の中の非重複領域の画素データより先に出力する。撮像部９０４の撮像素子は、画像９１４の中の重複領域９３４の画素データを画像９１４の中の非重複領域の画素データより先に出力する。

合成位置調整部１５５は、画像９１１の中の重複領域９３１の画素データと画像９１３の中の重複領域９３３の画素データを基に、重複領域９３１と重複領域９３３が相互に重なるように、画像９１１と画像９１３の合成位置を調整する。

また、合成位置調整部１５５は、画像９１２の中の重複領域９３２の画素データと画像９１４の中の重複領域９３４の画素データを基に、重複領域９３２と重複領域９３４が相互に重なるように、画像９１２と画像９１４の合成位置を調整する。

また、合成位置調整部１５５は、画像９１１の中の重複領域９３５の画素データと画像９１２の中の重複領域９３６の画素データを基に、重複領域９３５と重複領域９３６が相互に重なるように、画像９１１と画像９１２の合成位置を調整する。

また、合成位置調整部１５５は、画像９１３の中の重複領域９３７の画素データと画像９１４の中の重複領域９３８の画素データを基に、重複領域９３７と重複領域９３８が相互に重なるように、画像９１３と画像９１４の合成位置を調整する。

画像合成部１５６は、合成位置調整部１５５により合成位置が調整された画像９１１と画像９１２と画像９１３と画像９１４を合成する。

以上のように、撮像部９０１～９０４は、それぞれ、重複領域９３１～９３４の画素データから出力を開始する。これにより、合成処理部１５３は、早期に、合成処理を開始することができる。また、合成処理部１５３は、各処理のタイミングを分けることで、一度に処理する画素データ量を削減し、演算処理の負荷を軽減することができる。さらに、制御部１５０は、各撮像部９０１～９０４の撮像素子の露光時間と画素データの読み出しタイミングを同期させることにより、画像重複領域の露光時間を一致又は近づけることができる。

（第３の実施形態）
図１０（ａ）及び（ｂ）は、本発明の第３の実施形態による撮像装置１０００を説明するための図である。図１０（ａ）は、撮像装置１０００の撮像部１００１～１００４の配置を示す図である。撮像装置１０００は、４個の撮像部１００１～１００４を有し、全天球画像を合成可能である。撮像装置１０００は、第１の実施形態の撮像装置１００に対応する。撮像部１００１～１００４は、第１の実施形態の撮像部１０１～１０４に対応する。撮像装置１０００は、第１の実施形態の撮像装置１００に対して、同様の構成を有し、撮像部１００１～１００４の配置の位置が異なる。以下、第３の実施形態が第１の実施形態と異なる点を説明する。

撮像装置１０００は、４個の撮像部１００１～１００４により撮像された画像を合成し、全天球画像を生成する。各撮像部１００１～１００４の矢印は、各撮像部１００１～１００４の光軸方向を示す。各撮像部１００１～１００４は、撮影画角の一部が互いに重複するように配置される。

図１０（ｂ）は、撮像部１００１～１００４の画像１０１１～１０１４を示す図である。画像１０１１～１０１４は、それぞれ、撮像部１００１～１００４により撮像された画像である。各画像１０１１～１０１４内に記した矢印は、各撮像部１００１～１００４の撮像素子が各画像１０１１～１０１４を読み出す方向を示している。各撮像部１００１～１００４の撮像素子は、矢印の方向に従い、画像重複領域の画素データから読み出しを開始するように物理的に配置される。合成位置調整部１５５は、撮像部１００１～１００４が画像重複領域の画素データの読み出しが完了すると、合成位置調整のための補正パラメータを算出する。画像合成部１５６は、補正パラメータを基に、画像１０１１～１０１４の合成を行う。

画像１０１１及び１０１３は、それぞれ、相互に撮像範囲の一部が重複する重複領域１０３１及び１０３３を有する。画像１０１２及び１０１４は、それぞれ、相互に撮像範囲の一部が重複する重複領域１０３２及び１０３４を有する。画像１０１１及び１０１２は、それぞれ、相互に撮像範囲の一部が重複する重複領域１０３５及び１０３６と、相互に撮像範囲の他の一部が重複する重複領域１０４３及び１０４５と、相互に撮像範囲の他の一部が重複する重複領域１０３９及び１０４０とを有する。画像１０１３及び１０１４は、それぞれ、相互に撮像範囲の一部が重複する重複領域１０３７及び１０３８と、相互に撮像範囲の他の一部が重複する重複領域１０４４及び１０４６と、相互に撮像範囲の他の一部が重複する重複領域１０４１及び１０４２とを有する。

撮像部１００１の撮像素子は、画像１０１１の中の重複領域１０３１の画素データを画像１０１１の中の非重複領域の画素データより先に出力し、画像１０１１の中の重複領域１０３９の画素データを画像１０１１の中の非重複領域の画素データより後に出力する。撮像部１００２の撮像素子は、画像１０１２の中の重複領域１０３２の画素データを画像１０１２の中の非重複領域の画素データより先に出力し、画像１０１２の中の重複領域１０４０の画素データを画像１０１２の中の非重複領域の画素データより後に出力する。撮像部１００３の撮像素子は、画像１０１３の中の重複領域１０３３の画素データを画像１０１３の中の非重複領域の画素データより先に出力し、画像１０１３の中の重複領域１０４１の画素データを画像１０１３の中の非重複領域の画素データより後に出力する。撮像部１００４の撮像素子は、画像１０１４の中の重複領域１０３４の画素データを画像１０１４の中の非重複領域の画素データより先に出力し、画像１０１４の中の重複領域１０４２の画素データを画像１０１４の中の非重複領域の画素データより後に出力する。

合成位置調整部１５５は、画像１０１１の中の重複領域１０３１の画素データと画像１０１３の中の重複領域１０３３の画素データを基に、重複領域１０３１と重複領域１０３３が相互に重なるように、画像１０１１と画像１０１３の合成位置を調整する。

また、合成位置調整部１５５は、画像１０１２の中の重複領域１０３２の画素データと画像１０１４の中の重複領域１０３４の画素データを基に、重複領域１０３２と重複領域１０３４が相互に重なるように、画像１０１２と画像１０１４の合成位置を調整する。

また、合成位置調整部１５５は、重複領域１０３５と重複領域１０３６が相互に重なり、重複領域１０４３と重複領域１０４５が相互に重なるように、画像１０１１と画像１０１２の合成位置を調整する。

また、合成位置調整部１５５は、重複領域１０３７と重複領域１０３８が相互に重なり、重複領域１０４４と重複領域１０４６が相互に重なるように、画像１０１３と画像１０１４の合成位置を調整する。

また、合成位置調整部１５５は、重複領域１０３９と重複領域１０４１が相互に重なるように、画像１０１１と画像１０１３の合成位置を調整する。また、合成位置調整部１５５は、重複領域１０４０と重複領域１０４２が相互に重なるように、画像１０１２と画像１０１４の合成位置を調整する。

画像合成部１５６は、合成位置調整部１５５により合成位置が調整された画像１０１１と画像１０１２と画像１０１３と画像１０１４を合成する。

（第４の実施形態）
図１０（ｃ）及び（ｄ）は、本発明の第４の実施形態による撮像装置１２００を説明するための図である。図１０（ｃ）は、撮像装置１２００の撮像部１２０１～１２０６の配置を示す図である。撮像装置１２００は、６個の撮像部１２０１～１２０６を有し、全天球画像を合成可能である。撮像装置１２００は、第１の実施形態の撮像装置１００に対応する。撮像部１２０１～１２０６は、第１の実施形態の撮像部１０１～１０６に対応する。撮像装置１２００は、第１の実施形態の撮像装置１００に対して、同様の構成を有し、撮像部１２０１～１２０６の配置の位置が異なる。以下、本実施形態が第１の実施形態と異なる点を説明する。

撮像装置１２００は、６個の撮像部１２０１～１２０６により撮像された画像を合成し、全天球画像を生成する。各撮像部１２０１～１２０６の矢印は、各撮像部１２０１～１２０６の光軸方向を示す。各撮像部１２０１～１２０６は、撮影画角の一部が互いに重複するように配置される。

図１０（ｄ）は、各撮像部１２０１～１２０６の画像１２１１～１２１６を示す図である。画像１２１１～１２１６は、それぞれ、撮像部１２０１～１２０６により撮像された画像である。各画像１２１１～１２１６内に記した矢印は、各撮像部１２０１～１２０６の撮像素子が各画像１２１１～１２１６を読み出す方向を示している。各撮像部１２０１～１２０６の撮像素子は、矢印の方向に従い、画像重複領域の画素データから読み出しを開始するように物理的に配置される。合成位置調整部１５５は、撮像部１２０１～１２０６が画像重複領域の画素データの読み出しが完了すると、合成位置調整のための補正パラメータを算出する。画像合成部１５６は、補正パラメータを基に、画像１２１１～１２１６の合成を行う。合成処理部１５３は、合成位置調整を行う画素データの組み合わせを分けることにより、合成処理の負荷を分散させることができる。

画像１２１１及び１２１３は、それぞれ、相互に撮像範囲の一部が重複する重複領域１２３１及び１０３２を有する。画像１２１４及び１２１５は、それぞれ、相互に撮像範囲の一部が重複する重複領域１２３３及び１０３４を有する。画像１２１２及び１２１６は、それぞれ、相互に撮像範囲の一部が重複する重複領域１２３５及び１０３６を有する。

撮像部１２０１の撮像素子は、画像１２１１の中の重複領域１２３１の画素データを画像１２１１の中の非重複領域の画素データより先に出力する。撮像部１２０２の撮像素子は、画像１２１２の中の重複領域１２３５の画素データを画像１２１２の中の非重複領域の画素データより先に出力する。撮像部１２０３の撮像素子は、画像１２１３の中の重複領域１２３２の画素データを画像１２１３の中の非重複領域の画素データより先に出力する。撮像部１２０４の撮像素子は、画像１２１４の中の重複領域１２３３の画素データを画像１２１４の中の非重複領域の画素データより先に出力する。撮像部１２０５の撮像素子は、画像１２１５の中の重複領域１２３４の画素データを画像１２１５の中の非重複領域の画素データより先に出力する。撮像部１２０６の撮像素子は、画像１２１６の中の重複領域１２３６の画素データを画像１２１６の中の非重複領域の画素データより先に出力する。

合成位置調整部１５５は、画像１２１１の中の重複領域１０３１の画素データと画像１０１３の中の重複領域１２３２の画素データを基に、重複領域１２３１と重複領域１２３２が相互に重なるように、画像１２１１と画像１２１３の合成位置を調整する。また、合成位置調整部１５５は、画像１２１４の中の重複領域１０３３の画素データと画像１２１５の中の重複領域１２３４の画素データを基に、重複領域１２３３と重複領域１２３４が相互に重なるように、画像１２１４と画像１２１５の合成位置を調整する。また、合成位置調整部１５５は、画像１２１２の中の重複領域１０３５の画素データと画像１２１６の中の重複領域１２３６の画素データを基に、重複領域１２３５と重複領域１２３６が相互に重なるように、画像１２１２と画像１２１６の合成位置を調整する。

画像合成部１５６は、合成位置調整部１５５により合成位置が調整された画像１２１１と画像１２１２と画像１２１３と画像１２１４と画像１２１５と画像１２１６を合成する。

以上のように、撮像部は、画像重複領域の画素データから出力を開始する。これにより、合成処理部１５３は、早期に、合成処理を開始することができる。また、合成処理部１５３は、各処理のタイミングを分けることで、一度に処理する画素データ量を削減し、演算処理の負荷を軽減することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１００撮像装置、１０１～１０８撮像部、１３１～１３８撮像素子、１５０制御部、１５１画像処理回路、１５２圧縮伸張部、１５３合成処理部、１５４画像選択部、１５５合成位置調整部、１５６画像合成部、１６０メモリ、１７０通信制御部

Claims

第１の撮像範囲を撮像する第１の撮像素子と、
前記第１の撮像範囲と一部が重複する第２の撮像範囲を撮像する第２の撮像素子と、
前記第２の撮像範囲と一部が重複する第３の撮像範囲を撮像する第３の撮像素子と、
前記第１の撮像素子と前記第２の撮像素子と前記第３の撮像素子により出力される画素データ群に基づいて、前記第１の撮像範囲、前記第２の撮像範囲または前記第３の撮像範囲よりも広い撮像範囲に対応する画像を合成する合成手段とを有し、
前記第１の撮像素子および前記第２の撮像素子は、前記第１の撮像範囲と前記第２の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に前記合成手段に出力し、
前記第２の撮像素子は、前記第２の撮像範囲と前記第３の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に前記合成手段に出力することを特徴とする撮像装置。
前記第３の撮像範囲と一部が重複する第４の撮像範囲を撮像する第４の撮像素子をさらに有し、
前記第３の撮像素子は、前記第３の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に前記合成手段に出力し、前記第２の撮像範囲と前記第３の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に前記合成手段に出力し、
前記第４の撮像素子は、前記第３の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に前記合成手段に出力し、
前記合成手段は、前記第１の撮像素子と前記第２の撮像素子と前記第３の撮像素子と前記第４の撮像素子により出力される画素データ群に基づいて、前記第１の撮像範囲、前記第２の撮像範囲、前記第３の撮像範囲または前記第４の撮像範囲よりも広い撮像範囲に対応する画像を合成することを特徴とする請求項１に記載の撮像装置。
第１の撮像範囲を撮像する第１の撮像素子と、
前記第１の撮像範囲と一部が重複する第２の撮像範囲を撮像する第２の撮像素子と、
前記第１の撮像範囲と一部が重複する第３の撮像範囲を撮像する第３の撮像素子と、
前記第２の撮像範囲と一部が重複し、前記第３の撮像範囲と一部が重複する第４の撮像範囲を撮像する第４の撮像素子と、
前記第１の撮像素子と前記第２の撮像素子と前記第３の撮像素子と前記第４の撮像素子により出力される画素データ群に基づいて、前記第１の撮像範囲、前記第２の撮像範囲、前記第３の撮像範囲または前記第４の撮像範囲よりも広い撮像範囲に対応する画像を合成する合成手段とを有し、
前記第１の撮像素子および前記第２の撮像素子は、前記第１の撮像範囲と前記第２の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に前記合成手段に出力し、
前記第１の撮像素子は、前記第１の撮像範囲と前記第３の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に前記合成手段に出力し、
前記第２の撮像素子は、前記第２の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に前記合成手段に出力し、
前記第３の撮像素子は、前記第３の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に前記合成手段に出力し、前記第１の撮像範囲と前記第３の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に前記合成手段に出力し、
前記第４の撮像素子は、前記第３の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に前記合成手段に出力し、前記第２の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に前記合成手段に出力することを特徴とする撮像装置。
前記合成手段は、前記第１の撮像素子および前記第２の撮像素子から取得した、前記第１の撮像範囲と前記第２の撮像範囲とが重複する位置に対応する画素データに基づいて合成位置を調整することを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
前記第１の撮像素子は、行列状の画素を有し、画素ライン単位で第１の方向に読み出しを行い、
前記第２の撮像素子は、行列状の画素を有し、画素ライン単位で前記第１の方向とは逆の第２の方向に読み出しを行うことを特徴とする請求項１～４のいずれか１項に記載の撮像装置。
第１の撮像範囲を撮像する第１の撮像素子と、
前記第１の撮像範囲と一部が重複する第２の撮像範囲を撮像する第２の撮像素子と、
前記第２の撮像範囲と一部が重複する第３の撮像範囲を撮像する第３の撮像素子とを有する撮像装置の制御方法であって、
前記第１の撮像素子および前記第２の撮像素子が、前記第１の撮像範囲と前記第２の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に出力するステップと、
前記第２の撮像素子が、前記第２の撮像範囲と前記第３の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に出力するステップと、
前記第１の撮像素子と前記第２の撮像素子と前記第３の撮像素子により出力される画素データ群に基づいて、前記第１の撮像範囲、前記第２の撮像範囲または前記第３の撮像範囲よりも広い撮像範囲に対応する画像を合成するステップと
を有することを特徴とする撮像装置の制御方法。
第１の撮像範囲を撮像する第１の撮像素子と、
前記第１の撮像範囲と一部が重複する第２の撮像範囲を撮像する第２の撮像素子と、
前記第１の撮像範囲と一部が重複する第３の撮像範囲を撮像する第３の撮像素子と、
前記第２の撮像範囲と一部が重複し、前記第３の撮像範囲と一部が重複する第４の撮像範囲を撮像する第４の撮像素子とを有する撮像装置の制御方法であって、
前記第１の撮像素子および前記第２の撮像素子が、前記第１の撮像範囲と前記第２の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に出力するステップと、
前記第１の撮像素子が、前記第１の撮像範囲と前記第３の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に出力するステップと、
前記第２の撮像素子が、前記第２の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に出力するステップと、
前記第３の撮像素子が、前記第３の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に出力し、前記第１の撮像範囲と前記第３の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に出力するステップと、
前記第４の撮像素子が、前記第３の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも先に出力し、前記第２の撮像範囲と前記第４の撮像範囲とが重複する位置に対応する画素データを他の画素データよりも後に出力するステップと、
前記第１の撮像素子と前記第２の撮像素子と前記第３の撮像素子と前記第４の撮像素子により出力される画素データ群に基づいて、前記第１の撮像範囲、前記第２の撮像範囲、前記第３の撮像範囲または前記第４の撮像範囲よりも広い撮像範囲に対応する画像を合成するステップと
を有することを特徴とする撮像装置の制御方法。
コンピュータを、請求項１～５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。