JP2024056212A - 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラムを提供すること。【解決手段】画像処理装置１０は、第１の画像（補正画像Ｆ）および第２の画像（補正画像Ｒ）が入力される画像入力手段（２０６）を含む。第１の撮影画像（補正画像Ｆ）における第２の撮影画像（補正画像Ｒ）との重複領域（Ｆ０）内で、つなぎ位置を求めるための複数の対象領域（Ｆ０＿ｕ，Ｆ０＿ｌ）は、第１の撮影画像および第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している。【選択図】図５

Description

本開示は、画像処理技術に関し、より詳細には、画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラムに関する。

従来、パノラマ画像や全天球画像など３６０度の範囲を撮像する撮像装置が知られている。このような撮像装置においては、複数の広角レンズまたは魚眼レンズを用いて撮像した画像をつなぎ合わせて１枚の画像を生成する。従来の画像つなぎ合わせ技術においては、撮像された複数の各画像に対し歪み補正および射影変換を行い、処理後の画像間の重複部分において、パターンマッチングなどにより、被写体が重なるつなぎ位置を検出する。その他、処理の高速化のため、つなぎ位置検出を行わずにつなぎ合わせる被写体距離を固定して画像をつなぎ合わせる技術も知られている。

例えば、全天球動画像のつなぎ合わせに関連して、特開２０２１－１１７９２４号公報（特許文献１）が知られている。特許文献１は、第１の画像および第２の画像が入力される画像入力手段と、画像入力手段に入力される画像間の複数の箇所各々のつなぎ位置を記憶する記憶手段と、複数の箇所各々について、記憶手段に記憶された過去のつなぎ位置の有効性を評価する評価手段と、有効性が基準を満たした箇所の記憶手段に記憶された過去のつなぎ位置に基づいて、画像入力手段に入力される第１の画像および第２の画像に基づく合成処理を実行する画像合成処理手段とをさらに含む画像処理装置を開示する。

しかしながら、上記従来技術は、被写体距離に応じて画像をつなぎ合わせるため高精度につなぎ合わせることが可能であるが、かかるつなぎ検出処理は、通常、時間を要する。このため、上記動画像をリアルタイムで配信する場合、フレームレートの低下やレイテンシの増加につながり、必ずしも十分なものではなかった。一方で、つなぎ合わせる被写体距離を固定する技術では、固定にした距離以外に位置している被写体がつながらない点で、充分なものではなかった。

上記背景から、複数の広角レンズまたは魚眼レンズで撮影した互いに重複する重複領域を有する複数の画像を合成する際に、被写体の距離に応じた画像つなぎ処理における精度および速度の両立が求められていた。

本開示は、従来技術における上記点に鑑みてなされたものであり、重複領域を有する複数の画像を合成する際に、精度および速度の観点で両立しながら、被写体の距離に応じた画像つなぎ合わせが可能な画像処理装置を提供することを目的とする。

本開示では、上記課題を解決するために、下記特徴を有する画像処理装置を提供する。本画像処理装置は、少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段を含む。第１の撮影画像における第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、第１の撮影画像および第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している。

上記構成により、重複領域を有する複数の画像を合成する際に、精度および速度の観点で両立しながら、被写体の距離に応じた画像つなぎ合わせが可能となる。

図１は、本実施形態による全天球撮像デバイスを示す外観図である。 図２は、本実施形態による全天球撮像デバイスを示す断面図である。 図３は、本実施形態による全天球撮像デバイスのハードウェア構成を示す。 図４は、本実施形態による全天球撮像デバイスを制御するために用いることができる情報端末のハードウェア構成図である。 図５は、本実施形態による全天球撮像デバイス上に実現される全天球動画像合成処理の主要な機能ブロック図である。 図６は、本実施形態による全天球撮像デバイスにおける射影関係を説明する図である。 図７は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。 図８は、本実施形態による変換データを説明する図である。 図９は、本実施形態によるつなぎ位置検出および画像合成処理の際における、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。 図１０は、（Ａ）テンプレート画像と、（Ｂ）パターンマッチングにより探索範囲でテンプレート画像を探索する処理を説明する図である。 図１１は、本実施形態における、全天球撮像デバイスおよび情報端末を含み構成されるビデオ会議システムの設置状態を示す図である。 図１２は、本実施形態におけるつなぎ検出処理を説明する図である。 図１３は、図１１に示すビデオ会議の使用態様で典型的にみられる被写体Ｏｎｅａｒ，Ｏｆａｒの画面上の配置の傾向を説明する図である。 図１４は、本実施形態によるつなぎ位置検出処理においてテンプレート画像を生成する対象領域および比較画像を生成する対応領域の走査を説明する図である。 図１５は、本実施形態による全天球撮像デバイスが実行する、つなぎ位置検出処理のフローチャートである。 図１６は、本実施形態において、変換テーブルを修正するための画素毎のつなぎ位置を含むつなぎ位置テーブルのデータ構造を示す図である。 図１７は、本実施形態において、変換テーブルを修正するためのつなぎ位置テーブルを生成する処理を説明する図である。 図１８は、本実施形態において、変換後の画像合成処理を説明する図である。 図１９は、本実施形態において、変換後の画像合成処理を説明する図である。 図２０は、追加の実施形態による、移動体である車両に４つの撮像体を備えた場合を模式的に示した図である。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理装置、画像処理システムおよび撮像装置の一例として、２つの魚眼レンズを光学系に含む撮像体を備えるとともに、２つの魚眼レンズで撮像した２つの部分画像に対し歪曲補正および射影変換を行い、画像つなぎ合わせを行って、全天球画像を生成する画像処理機能を備えた、全天球撮像デバイス１０を用いて説明する。

＜全体構成＞
以下、図１～図３を参照しながら、本実施形態による全天球撮像デバイス１０の全体構成について説明する。図１（Ａ）は、本実施形態による全天球撮像デバイス１０の側面から見た外観図を示している。図１（Ａ）に示す全天球撮像デバイス１０は、撮像体１２と、上記撮像体１２に設けられた２つの結像光学系２０Ａ，２０Ｂと、上記撮像体１２およびコントローラなどの部品を保持する筐体１４と、上記筐体１４に設けられた操作ボタン１８とを備える。

また、図１（Ｂ）は、撮像体１２を筐体１４内に格納したときの外観図を示している。２つの結像光学系２０Ａ，２０Ｂの埃や汚れを防止するために、撮像体１２が上下に移動可能であり、使用しない場合には筐体１４内に格納できるものとする。さらに、図１（Ｃ）は、全天球撮像デバイス１０の上部から見た外観図を示している。全天球撮像デバイス１０には、切り込み部１３があり、切り込み部１３に指を掛けることで、撮像体１２を上下に手動で移動できるものとする。

図２は、本実施形態による全天球撮像デバイス１０の断面図を示す。図２（Ａ）は、撮像体１２を筐体１４から展開した場合の状態を示す。図２（Ｂ）は、撮像体１２を筐体１４内に格納した場合の状態を示す。図２に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮像素子２２Ａ，２２Ｂとを含む。結像光学系２０と固体撮像素子２２とを１個ずつ組み合わせたものを撮像光学系と参照する。結像光学系２０各々は、例えば６群７枚の魚眼レンズとして構成することができる。上記魚眼レンズは、図１および図２に示す実施形態では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、固体撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。位置決めは、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する固体撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように行われる。固体撮像素子２２各々は、受光領域が面積エリアを成す２次元の固体撮像素子であり、組み合わせられる結像光学系２０により集光された光を画像信号に変換する。

図１および図２に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。固体撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換して、コントローラ１５Ａ，１５Ｂ上の画像処理手段に出力する。画像処理手段では、詳細は後述するが、固体撮像素子２２Ａ，２２Ｂからそれぞれ入力される部分画像をつなぎ合わせて合成し、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、図１および図２に示す実施形態では、全天球画像を生成しているが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよい。パノラマ画像は、本実施形態においては、全天球画像の一部の領域が欠けている画像も便宜上、パノラマ画像と呼ぶ。例えば、全天球撮像デバイス１０の真上方向や真下方向の一部、全天球画像の鉛直上向き方向や鉛直下向き方向の一部、または全天球画像の所定の領域の一部、などが欠けている画像など、水平方向３６０度であり垂直方向１８０度未満のパノラマ画像である。これは、例えば全天球画像に写っている被写体の真上（例えば部屋の天井など）や真下（例えば地面など）の部分などは、４πステラジアンの画像を閲覧する際にユーザがあまり注意深く見ない利用シーンが考えられる。そういう場合は、そもそも当該部分を撮影しないような撮像体１２や筐体１４の設計をすればよい。または、撮影しても当該部分を表示しない、撮像して表示するにしても当該部分に所定のロゴや所定のｗｅｂページへ飛ぶリンク情報などを重畳表示するなどし、４πステラジアンの画像そのものを表示しない態様であっても良い。

全天球撮像デバイス１０の筐体１４内には、操作ボタン１８からの制御情報の入力、固体撮像素子２２Ａ，２２Ｂの画像信号から画像処理の実施、処理結果の入出力などを行うコントローラ１５Ａ，１５Ｂを備える。さらに、コントローラ１５Ａ，１５Ｂ上にはコネクタ１７（１７Ａ，１７Ｂ，１７Ｃ）を備える。コントローラ１５間またはコントローラ１５と固体撮像素子２２（２２Ａ，２２Ｂ）との間をケーブル１６（１６Ａ，１６Ｂ）とコネクタ１７を介して接続する。ここで、ケーブル１６は、ＦＦＣ（Flexible Flat Cable）やＦＰＣ（Flexible Printed Circuit）などを示す。

図２（Ｂ）は、撮像体１２を筐体１４内に格納した場合の断面図を示す。撮像体１２を収納または展開する際の２つの結像光学系２０（２０Ａ，２０Ｂ）の傷つき防止と筐体１４内への埃の進入防止のためのゴムやスポンジといった弾性部材１９を備える。

図３は、本実施形態による全天球撮像デバイス１０のハードウェア構成を示す。全天球撮像デバイス１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと参照する。）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントから構成される。鏡胴ユニット１０２は、上述した２組の結像光学系２０Ａ，２０Ｂと、固体撮像素子２２Ａ，２２Ｂとを有する。固体撮像素子２２は、プロセッサ１００内の後述するＣＰＵ１３０からの制御指令により制御される。

プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２と、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８とを含む。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、固体撮像素子２２Ａ，２２Ｂの信号処理を経て入力された画像データに対し、ホワイト・バランス設定やガンマ設定を行う。ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続される。ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１８０Ｂおよび歪曲補正・画像合成ブロック１１８において処理を施す際にデータが一時的に保存される。歪曲補正・画像合成ブロック１１８は、２つの撮像光学系から得られた２つの部分画像に対し、３軸加速度センサ１２０からの情報を利用して、歪曲補正とともに天地補正を施し、画像合成する。

プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ１２８と、メモリカード制御ブロック１４０と、ＵＳＢブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤ（Liquid Crystal Display）ドライバ１６２と、ブリッジ１６８とを含む。

ＣＰＵ１３０は、当該全天球撮像デバイス１０の各部の動作を制御する。画像処理ブロック１２４は、リサイズブロック１３２、静止画圧縮ブロック１３４、動画圧縮ブロック１３６などを用いて、画像データに対し各種画像処理を施す。リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。静止画圧縮ブロック１３４は、静止画をＪＰＥＧ（Joint Photographic Experts Group）やＴＩＦＦ（Tagged Image File Format）などの静止画フォーマットに圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１３６は、動画をＭＰＥＧ（Moving Picture Experts Group）－４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８制御し、ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データを一時的に保存する。

メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカードおよびフラッシュＲＯＭ１４４に対する読み書きを制御する。メモリカードスロット１４２は、全天球撮像デバイス１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ＬＣＤドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。

フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭとに一時的に保存する。

図４は、本実施形態による全天球撮像デバイス１０を制御するために用いることができる情報端末１７０のハードウェア構成を示す。図４に示す情報端末１７０は、ＣＰＵ１７２と、ＲＡＭ１７４と、ＨＤＤ（Hard Disk Drive）１７６と、入力装置１７８と、外部ストレージ１８０と、ディスプレイ１８２と、無線ＮＩＣ１８４と、ＵＳＢコネクタ１８６と、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標である。）コネクタ１８８とを含み構成される。

ＣＰＵ１７２は、情報端末１７０の各部の動作および全体動作を制御する。ＲＡＭ１７４は、ＣＰＵ１７２の作業領域を提供する。ＨＤＤ１７６は、ＣＰＵ１７２が解読可能なコードで記述された、オペレーティング・システム、本実施形態による情報端末１７０側の処理を担うアプリケーションなどのプログラムを格納する。

入力装置１７８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ１８０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。無線ＮＩＣ１８４は、全天球撮像デバイス１０などの外部機器との無線ＬＡＮ通信の接続を確立する。ＵＳＢコネクタ１８６は、全天球撮像デバイス１０などの外部機器とのＵＳＢ接続を確立する。なお、一例として、無線ＮＩＣ１８４およびＵＳＢコネクタ１８６を示すが、特定の規格に限定されるものではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、有線ＬＡＮ（Local Area Network）などの有線通信で外部機器と接続されてもよい。

ディスプレイ１８２は、ユーザが操作するための操作画面の表示、撮影前または撮影中の全天球撮像デバイス１０による撮像画像のモニタ画像の表示、保存された動画や静止画の再生、閲覧のための表示を行う。ディスプレイ１８２および入力装置１７８により、ユーザは、操作画面を介して全天球撮像デバイス１０に対する撮影指示や各種設定変更を行うことが可能となる。また、ＨＤＭＩ（登録商標）コネクタ１８８により、これらの映像を外部ディスプレイやプロジェクターなどの表示装置へ出力することができる。なお、一例としてＨＤＭＩ（登録商標）コネクタ１８８を示すが、特定の規格に限定されるものではなく、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）やＤＶＩ（Digital Visual Interface）を用いた構成としても良い。

情報端末１７０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ１７６からプログラムが読み出され、ＲＡＭ１７４にロードされる。ＣＰＵ１７２は、ＲＡＭ１７４に読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、情報端末１７０の後述する各機能部および処理が実現される。

＜動画像合成処理の流れ＞
以下、図５～図１０を参照しながら、全天球撮像デバイス１０が備える全天球動画像合成機能について詳細を説明する。図５は、全天球撮像デバイス１０上に実現される全天球動画像合成処理の主要な機能ブロックを示す。画像処理ブロック２００は、図５に示すように、画像合成用歪み補正部２０２と、画像合成部２０４と、つなぎ位置検出部２０６と、テーブル修正部２１２とを含み構成される。

また、画像処理ブロック２００には、２つの固体撮像素子２２Ａ，２２Ｂから、各種画像信号処理を経て、各フレーム毎に２つの部分画像が入力される。ここで、一方の固体撮像素子（例えば２２Ａ）をソースとするフレームの画像を、「部分画像Ｆ」のように参照し、他方の固体撮像素子（例えば２２Ｂ）をソースとするフレームの画像を、「部分画像Ｒ」のように参照する。２つの固体撮像素子２２Ａ，２２Ｂのうちの一方が、本実施形態において、第１の方向で撮像し、第１の画像を生成するための第１の撮像手段を構成し、他方が、上記第１の方向とは異なる第２の方向（例えば第１の方向と１８０度異なる方向）で撮像し、第２の画像を生成するための第２の撮像手段を構成する。画像処理ブロック２００には、さらに、それぞれのレンズなどの光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成された、歪み補正用変換テーブル２３０が提供される。

画像合成用歪み補正部２０２は、入力される部分画像Ｆおよび部分画像Ｒに対し、画像合成用変換テーブル２３２を用いて歪み補正を施し、補正画像Ｆおよび補正画像Ｒを生成する。入力される部分画像Ｆ，Ｒは、平面座標系（ｘ，ｙ）で表現された画像データである。これに対し、画像合成用変換テーブル２３２を用いて歪み補正がかけられた補正画像Ｆ，Ｒは、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現された全天球画像フォーマットの画像データとなる。画像合成用歪み補正部２０２は、本実施形態において、歪み補正手段を構成する。歪み補正用変換テーブル２３０、画像合成用変換テーブル２３２については後述する。

＜射影方式＞
図６は、本実施形態による全天球撮像デバイス１０における射影関係を説明する図である。１つ魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズでは、図６（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像生成される。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、上記投影モデルとしては、等距離射影方式（ｈ＝ｆ×φ）、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））および正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、説明する実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図６（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

＜全天球画像フォーマット＞
図７は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。図７（Ｂ）に示す全天球画像フォーマットの画像データは、所定の軸に対するなす角度に対応する垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。水平角度θは、０～３６０度（－１８０度～＋１８０度とも表現できる。）の範囲となり、垂直角度φは、０～１８０度（同様に－９０度～＋９０度とも表現できる。）の範囲となる。各座標値（θ，φ）は、図７（Ａ）に示す撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。魚眼レンズで撮影された画像の平面座標と、全天球画像フォーマットの球面上の座標との関係は、図６で説明したような射影関数を用いることによって対応付けることができる。

＜変換テーブル＞
図８は本実施形態による、画像合成用歪み補正部２０２が参照する変換テーブルを説明する図である。歪み補正用変換テーブル２３０および画像合成用変換テーブル２３２は、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。歪み補正用変換テーブル２３０および画像合成用変換テーブル２３２は、図８（Ａ）および図８（Ｂ）に示すように、各魚眼レンズ毎に、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）（θ＝０，・・・３６０度，φ＝０，・・・，１８０度）に対して保持する。図８の例示では、１画素が担当する角度は、φ方向およびθ方向いずれも１／１０度であり、歪み補正用変換テーブル２３０および画像合成用変換テーブル２３２は、それぞれ、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。

歪み補正用変換テーブル２３０は、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものである。画像合成用変換テーブル２３２の初期値は、歪み補正用変換テーブル２３０であり、最初の１乃至数フレームに対して使用される。それ以降のフレームに対しては、詳細は後述するが、テーブル修正部２１２によって前回の画像合成用変換テーブル２３２とつなぎ位置検出部２０６によるつなぎ位置検出結果を用いて更新された画像合成用変換テーブル２３２を使用する。
＜補正画像＞

詳細は後述するが、つなぎ位置検出部２０６は、画像合成用歪み補正部２０２により変換された補正画像Ｆ，Ｒの入力を受けて、パターンマッチング処理により、入力された補正画像Ｆ，Ｒ間のつなぎ位置を検出し、つなぎ位置情報を生成する。テーブル修正部２１２は、つなぎ位置情報と前回使用した画像合成用変換テーブル２３２に基づいて、画像合成用変換テーブル２３２を更新する。

図９は、本実施形態によるつなぎ位置検出および画像合成処理の際における、２つの魚眼レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。図９に示すように、光軸に垂直な軸を基準とした水平角度および垂直角度の定義となる。これにより、画像合成用歪み補正部２０２による処理の結果、魚眼レンズで撮像された２つの部分画像Ｆ，Ｒは、図９に示すように、全天球画像フォーマット上に展開される。魚眼レンズＦにより撮影された部分画像Ｆは、典型的には、全天球のうちの概ね左半球にマッピングされ、魚眼レンズＲにより撮影された部分画像Ｒは、全天球のうちの概ね右半球にマッピングされる。

画像合成部２０４は、補正画像Ｆおよび補正画像Ｒを合成し、合成画像２４０のフレームを生成する。画像合成部２０４は、つなぎ位置検出部２０６によって求められたつなぎ位置に基づいて、入力される補正画像Ｆおよび補正画像Ｒを合成する画像合成処理手段を構成する。合成画像２４０は、全天球画像フォーマットの画像であり、２つの偏角を有する極座標系で表現された画像となる。なお、説明する実施形態において、画像合成部２０４は、全天球撮像デバイス１０上に実現される画像処理ブロック２００に設けられるものとして説明する。しかしながら、他の実施形態では、画像合成部２０４が外部装置に設けられてもよい。例えば、補正画像を生成するまでの処理を全天球撮像デバイス１０上で行い、画像合成処理を、他の端末（例えば情報端末２７０）で行うよう構成してよい。この場合、全天球撮像デバイス１０と、画像合成部２０４を有する情報端末１７０とを組み合わせて画像処理システムが構成される。

＜動画配信＞
図５に示す画像処理ブロック２００は、さらに、動画圧縮部２２０と、リアルタイム配信部２２２とを含み構成されてもよい。

動画圧縮部２２０には、合成された複数の全天球画像の合成フレームからなる画像列が入力される。動画圧縮部２２０は、これらを動画圧縮し、画像列を構成する各合成フレームをコマとする動画像を生成し、動画データ２４２を出力する。リアルタイム配信部２２２は、動画データ２４２を順次読み出しながら、動画データをネットワーク２５０に送信し、例えば、遠隔で接続される別拠点の装置などにリアルタイムで動画配信を行う。動画配信の際は、全天球撮像デバイス１０から、情報端末１７０を経由して、あるいは直接、別拠点の装置に動画データが送信されてもよい。

＜画像表示・保存＞
図５に示す画像処理ブロック２００は、さらに、表示画像生成部２２４を含んでもよい。上記生成された合成画像は、全天球画像フォーマットで表現されるため、そのまま、ディスプレイなどの平面表示デバイスに表示させると、垂直角度０度および１８０度に近づくほど画像が歪んで表示されることになる。表示画像生成部２２４は、全天球画像を平面表示デバイスに投影するための画像処理を実行する手段である。

表示画像生成部２２４は、例えば、全天球画像フォーマットの合成画像から、球面座標系から特定方向および特定画角の平面座標系への順次変換し、ユーザが指定する特定の視野方向の一定画角の画像に投影する処理を行うことができる。これにより、視聴者は、所定の視点および視野で観察した場合に相当する動画像を視聴することができるようになる。

また、上述したリアルタイム配信以外にも、複数の全天球画像フォーマットの合成画像の複数のフレームからなる画像列を動画圧縮して動画像を生成し、これらの静止画または動画の画像データを保存することができる。動画圧縮部２２０は、動画像を画像データとして保存する処理を行ってもよい。静止画として保存する場合には、静止画圧縮ブロック１３４でＪＰＥＧ、ＴＩＦＦなどの静止画フォーマットへ圧縮を行う。動画の場合は、動画圧縮ブロック１３６でＭＰＥＧ－４ ＡＶＣ／Ｈ．２６４などの動画フォーマットへ圧縮を行う。生成された画像データは、メモリカードスロット１４２からメモリカードなど外部ストレージの記憶領域に保存される。

＜つなぎ位置検出処理＞
全天球撮像デバイス１０において、複数の結像光学系２０は、通常、視差を有しており、したがって、２つの画像が重なる重複領域において、被写体の位置が、被写体距離に応じて変化する可能性がある。全天球撮像デバイス１０は、つなぎ位置検出部２０６で、補正画像Ｆおよび補正画像Ｒの重複領域でつなぎ位置を検出し、つなぎ位置情報を生成する。説明する実施形態では、つなぎ位置情報は、テンプレート・マッチングにより、一方の画像から切り出されたテンプレート画像に対し他方の対応する探索範囲の画像との間でマッチングスコアが最大となる位置の基準位置からのずれ量として計算される。

以下、図１０を参照して、テンプレート・マッチングの一例として、ゼロ平均正規化相互相関（Zero-mean Normalized Cross-Correlation）法およびＺＳＳＤ（Zero-mean Sum of Squared Differences）法について説明する。図１０は、（Ａ）テンプレート画像と、（Ｂ）パターンマッチングにより探索範囲でテンプレート画像を探索する処理を説明する図である。テンプレートの全画素数をＮ（＝Ｗ画素×Ｈ画素）とし、探索範囲上での探索位置を（ｋｘ，ｋｙ）で表す。探索位置（ｋｘ，ｋｙ）を基準座標（０，０）とした場合の座標（ｉ，ｊ）におけるテンプレート画像の輝度値をＴ（ｉ，ｊ）とし、探索用画像上の輝度値をＳ（ｋｘ＋ｉ，ｋｙ＋ｊ）とすると、ＺＮＣＣ法によるマッチングスコアＺＮＣＣ（ｋｘ，ｋｙ）は、下記式（１）で求めることができる。なお、図１０では、探索位置（ｋｘ，ｋｙ）をテンプレート画像の左上に設定しているが、座標の取り方は、特に限定されるものではなく、テンプレート画像の中心に設定してもよい。

マッチングスコアＺＮＣＣ（ｋｘ，ｋｙ）は、類似度を表し、１のときは、完全一致となり、－１のときはネガポジ反転となる。すなわち、マッチングスコアＺＮＣＣ（ｋｘ，ｋｙ）が高い方が、テンプレート画像との類似度が高いことを示す。図１０（Ｂ）に示すように探索範囲内でテンプレート画像を上下左右、または上下もしくは左右の一方に位置をずらしながら、テンプレート・マッチングが行われ、各探索位置におけるマッチングスコアＺＮＣＣ（ｋｘ，ｋｙ）が算出される。

これに対して、ＺＳＳＤ法による相違度ＺＳＳＤ（ｋｘ，ｋｙ）は、下記式（２）で求めることができる。なお、ＺＳＳＤ法では、同じ位置の画素の輝度値の差の２乗和が求められるので、ＺＳＳＤの値は、いわゆる相違度であり、値が大きい方が類似していないことを意味する。そのため、類似度に基づくスコアとするために、負の符号を付けて、－ＺＳＳＤ（ｋｘ，ｋｙ）をマッチングスコアとする。

マッチングスコア－ＺＳＳＤ（ｋｘ，ｋｙ）は、各画素値を８ビット値とすると、取りうる値の範囲は、－（２５５×２５５）～０がとなり、０のときは、完全一致となる。マッチングスコア－ＺＳＳＤ（ｋｘ，ｋｙ）が高い方が、テンプレート画像との類似度が高いことを示す。

上述したＺＮＣＣ法は、画像のゲインの変動を吸収することができ、また、画像の平均明るさの変動を吸収することができる点、また、類似度のマッチングの堅牢性も高い点で好適なものである。ＺＮＣＣ法は、特に、画像の輝度が充分に広がって分布し、特徴量が大きい場合に好適に適用することができる。これに対して、ＺＳＳＤ法は、画像の平均明るさの変動を吸収することができる点で、ＳＳＤと比較して優れており、また、ＳＳＤ（Sum of Squared Differences）に比較して計算コストがかかるが、ＺＮＣＣよりも計算か簡素である。ＺＳＳＤ法は、特に、特徴量が小さくぼけた画像に対しても好適に適用することができる。なお、ＺＳＳＤに代えてＺＳＡＤ（Zero-mean Sum of Absolute Differences）を用いても良い。

＜つなぎ位置検出処理におけるアプリケーション特有の課題＞
以下、上述のような全天球撮像デバイス１０および情報端末１７０を用いた具体的なアプリケーションについて検討する。以下に説明する実施形態では、複数の拠点（例えば会議室）の参加者がネットワークを介してビデオ会議を行うビデオ会議システムを、アプリケーションの一例として説明するが、これに限定されるものではない。

図１１は、本実施形態におけるビデオ会議システムの概略並びに全天球撮像デバイス１０および情報端末１７０の設置状態を説明する図である。全天球撮像デバイス１０および情報端末１７０は、設置空間である会議室３００の机３０２上に設置され、互いにＵＳＢケーブル１９０で接続されている。図１１に示す実施形態において、全天球撮像デバイス１０の底部（下部）が、机などの設置面に置かれる設置部位となる。

情報端末１７０には、ビデオ会議支援アプリケーションがインストールされている。ビデオ会議支援アプリケーションは、遠隔地を含む複数の拠点間で、会議映像や音声の送受信、会議に必要となる資料などの情報をリアルタイムに共有することを可能とするソフトウェアである。会議開始の事前準備として、ユーザは、操作ボタン１８を押下することで全天球撮像デバイス１０を起動する。また、ユーザは、情報端末１７０上でビデオ会議支援アプリケーションを起動し、ビデオ会議支援アプリケーション上で情報端末１７０と全天球撮像デバイス１０との接続設定を行う。会議開始の際には、ユーザは、情報端末１７０のビデオ会議支援アプリケーションから会議開始の操作を行う。アプリケーションが会議開始の操作を受付けると、情報端末１７０は、ネットワークサーバへ接続し、全天球撮像デバイス１０からの会議室内の全天球映像や音声の映像信号のリアルタイム配信を開始させる。これにより、各拠点の参加者は、会議室内の任意の方向の映像を取得することができるようになる。

なお、説明する実施形態では、パノラマ画像（通常死角となることが予定されている下側の一部を除去したものを含む。）であるものとするが、会議支援やビデオ通話などの用途では、パノラマ画像に限定されず、全天球画像であってもよい。

上述したような、リアルタイム配信を実現するためには、動画配信時に補正画像Ｆ，Ｒ間のつなぎ処理を効率的に行う必要がある。図１１に示すようなテレビ会議システムに利用するための全天球撮像デバイス１０は、机上で使用することを想定して設計されており、上述したように、全天球撮像デバイス１０の底部が設置部位となり、例えば卓上に置かれる。このため、撮像される画像の下側の領域には机３０２などが、上側領域には会議出席者やホワイトボード３２０などの被写体が位置することになる。

ここで、上述した使用状況におけるつなぎ処理の課題について検討する。上述したように、つなぎ位置情報は、テンプレート・マッチングにより、一方の補正画像から切り出された所定領域の画像（テンプレート画像）にマッチする画像を有する、他方の補正画像における領域を発見することによって計算される。このようなつなぎ位置検出を全く行わない場合は、固定にした距離以外に位置している被写体がつながらなくなる。また、つなぎ位置の検出を、１か所だけしか行わない場合、例えば上側の領域に映る会議出席者を基準につなぎ処理を行うと、会議出席者の移動などによってつなぎ位置が変化し、下側の領域に映る机３０２付近の映像のつなぎ位置が、ズレてしま可能性がある。一方、つなぎ位置の検出を多数の箇所で行うと、上述したようなズレは発生し難くなるが、動画配信に際して処理速度の低下やレイテンシの増大を招く可能性がある。

本発明の実施形態は、上述したつなぎ位置を検出するための領域ないし箇所の配置を最適化することによって、動画配信時における画像つなぎ処理の速度および精度の両立を図る。

＜つなぎ位置検出処理に対する最適化された位置検出領域の設定＞
図５には、つなぎ位置検出部２０６のより詳細な構成も示されている。図５に示すつなぎ位置検出部２０６は、設定部２０８と、算出部２１０とを含み構成される。以下、図５および図１２～図１９を参照しながら、上記動画配信時における画像つなぎ処理の速度および精度の両立を図るために、本発明の実施形態による全天球撮像デバイス１０が採用する、設定部２０８および算出部２１０が行う特有の処理について、より詳細に説明する。

図５に示すつなぎ位置検出部２０６は、補正画像Ｆおよび補正画像Ｒの入力を受ける。設定部２０８は、一方の補正画像（例えば補正画像Ｆ）における他方の補正画像（例えば補正画像Ｒ）との重複領域内で、それぞれつなぎ位置を求めるべき複数の対象領域を設定する。算出部２１０は、設定した複数の対象領域各々にマッチする、他方の補正画像（例えば補正画像Ｒ）上の複数の対応領域各々の位置を算出する。ここで、対象領域は、テンプレート・マッチングにおいて、上述したテンプレート画像を切り出す画像の領域をいい、対応領域は、テンプレート画像にマッチするまたはマッチを試行する画像を有する領域である。

好ましい実施形態において、対象領域の数は、２であり、対象領域と比較される対応領域の数も、２である。この複数の対象領域、より好ましくは２つの対象領域は、補正画像Ｆ，Ｒが並べられる方向の直交方向で変位して（ずらして）配置され、異なるサイズを有するように設定される。より具体的には、図９に示すマッピングの場合は、補正画像Ｆ，Ｒは、左右方向に並べられ、図１２に示す複数の対象領域は、上下方向に変位して（ずらして）配置され、複数の対応領域も上下方向に変位して（ずらして）配置されることになる。

図１２は、本実施形態におけるつなぎ検出処理を説明する図である。図１２に示す補正画像Ｆおよび補正画像Ｒは、画像合成用歪み補正部２０２より出力された画像である。補正画像Ｆおよび補正画像Ｒは、水平９０度以上の領域を含み、説明する実施形態では、１８０度以上の領域を含む。補正画像Ｆの左右端部の領域Ｆ０、Ｆ１および補正画像Ｒの左右端部の領域Ｒ０，Ｒ１は、補正画像Ｆ，Ｒ間の重複領域であり、その中心にある破線は、画像間のつなぎ境界Ｂである。補正画像Ｆの左端部にある重複領域Ｆ０は、補正画像Ｒの右端部にある重複領域Ｒ０とつながる部分であり、補正画像Ｆの右端部にある重複領域Ｆ１は、補正画像Ｒの左端部にある重複領域Ｒ１とつながる別の部分である。

つなぎ位置の算出は、重複領域のペア＜Ｆ０，Ｒ０＞およびペア＜Ｆ１，Ｒ１＞で独立に行われ得る。ここで、重複領域のペア＜Ｆ０，Ｒ０＞に注目して説明すると、まず、つなぎ位置検出用画像のペアとして、補正画像Ｆから重複領域Ｆ０が、補正画像Ｒから重複領域Ｒ０が、それぞれ、切り出される。次いで、重複領域Ｆ０，Ｒ０において、つなぎ位置を検出するべき２つの対象領域Ｆ０＿ｕ，Ｆ０＿ｌおよび対応する２つの対応領域Ｒ０＿ｕ，Ｒ０＿ｌが設定される。なお、領域Ｆ０＿ｕ，Ｆ０＿ｌ，Ｒ０＿ｕ，Ｒ０＿ｌの位置は、マッチングを試行する仮の位置である。

図１３は、図１１に示すビデオ会議の使用態様における、典型的な被写体Ｏｎｅａｒ，Ｏｆａｒの画面上の配置の傾向を説明する図である。図１１のようにテレビ会議システムを構成する全天球撮像デバイス１０を机上に置く場合、使用態様からは、図１３に示すように近距離の被写体Ｏｎｅａｒが画面下側の小さい領域に位置し、画面上側には遠距離（または中距離）の被写体Ｏｆａｒが位置する傾向にある。このようなシーンにおいては、つなぎ位置を検出すべき領域のサイズは、上下方向に関し、上側が大きい、すなわち、Ｆ０＿ｕ＞Ｆ０＿ｌ，Ｒ０＿ｕ＞Ｒ０＿ｌであることが好ましい。なお、左右方向のサイズ（幅）は、同じでもよい。このようなシーンにおいて、対象領域Ｆ０＿ｕは、相対的に被写体との距離が遠距離である（となる傾向がある）遠距離領域に対応し、対象領域Ｆ０＿ｌが、近距離である（となる傾向がある）近距離領域に対応する。

なお、２つの領域は、それぞれ、垂直方向における赤道を境にして配置される。この場合、好ましくは、垂直方向に並ぶ領域（例えばＦ０＿ｕ，Ｆ０＿ｌ）は、赤道から間（余白）をあけて配置される。一例として、例えば、それぞれ、画像の垂直サイズの３％～１０％程度の間（余白）を設けて配置されてもよい。また、各領域の垂直方向のサイズは、残りの全域に相当するサイズであってもよいし、残りの一部領域に相当するサイズであってもよし、その場合において、上部領域と下部領域とで異なっていてもよい。一例として、例えば、上側の領域（例えばＦ０＿ｕ）の垂直方向のサイズは、赤道から画像垂直サイズの３％～１０％上にずらした箇所から上限（上端）まで（つまり赤道から上限の９０％～９７％）とし、下側の領域（例えばＦ０＿ｌ）の垂直方向のサイズは、赤道から画像垂直サイズの３％～１０％下にずらしたところから赤道と下限（下端）までの長さの３０％～７０％としてもよい。また、一例として、例えば、領域の水平方向のサイズは、例えば重複領域の３０％～７０％とすることができる。

図１２および図１３に示すような領域（対象領域および対応領域）の配置にすることで、距離の異なる被写体それぞれに対して最小の領域数で精度よくつなぎ合わせることを可能とする。また、仮に、画面上側に近距離の被写体が位置し、画面下側に遠距離の被写体が位置した場合であっても、独立に処理しているため適切につなぎ位置の検出が可能である。

また、図１３において、対象領域および対応領域は、それぞれ、２つのみであり、２つの対象領域および２つの対応領域は、それぞれ、垂直方向における赤道を境にして配置されている。対象領域および対応領域を２つ配置する場合は、このような配置が、最適である。全天球画像フォーマットにおいて、赤道は、通常、垂直方向中央に位置するところ、説明する実施形態では、テレビ会議用の全天球撮像デバイス１０であり、卓上に底部を接して配置される。底部は、重要な箇所ではないため、説明する実施形態では、全天球画像フォーマットの全垂直画素のうちの下側部が一部欠けている。このため、赤道は、結果として、中央よりやや下側に位置することになる。

図１４は、本実施形態によるつなぎ位置検出処理における、テンプレート画像を生成する対象領域および比較画像を生成する対応領域の走査の仕方を説明する図である。図１４を参照しながら、本実施形態におけるつなぎ位置を検出するためのテンプレート・マッチングの仕方を説明する。なお、ここでも、一方の重複領域のペア＜Ｆ０，Ｒ０＞に注目して説明する。図１４に示すように、まず、ペアのうち、一方の補正画像Ｆの重複領域Ｆ０において、つなぎ位置検出のための上部の対象領域Ｆ０＿ｕの位置を最も近距離側に設定し、これをテンプレート画像とする。次いで、他方の補正画像Ｒの重複領域Ｒ０において、つなぎ位置検出のための対応領域Ｒ０＿ｕを最も近距離側に設定する。

ここで、補正画像における、近距離および遠距離について説明する。つなぎ合わせに際し、境界付近の被写体距離が遠距離になるほど、図８に示す部分画像においては、被写体が周辺から中心へ移動する。そして、図９のマッピングを行う場合、被写体距離が遠距離になるほど、図９に示す全天球画像において、左中央または右中央よりに移動することになる。上述した近距離および遠距離は、それぞれ、被写体距離が近くなる場合、および、遠くなる場合に、補正画像においてシフトする方向をいう。

次いで、上部の対象領域Ｆ０＿ｕおよび上部の対応領域Ｒ０＿ｕ間で画像のマッチングスコアを計算する。対応領域Ｒ０＿ｕの探索範囲を、重複領域Ｒ０の遠距離側の端部までとし、対応領域Ｒ０＿ｕを水平に遠距離側に所定ピクセル単位（例えば１ピクセル）ずらしながら、都度、上部対象領域Ｆ０＿ｕおよび上部対応領域Ｒ０＿ｕ間の画像のマッチングスコアを計算する。

対応領域Ｒ０＿ｕが遠距離側の端部に到達すると、次は、テンプレート側の対象領域Ｆ０＿ｕを水平に所定ピクセル単位（例えば１ピクセル）だけ遠距離側にずらして設定し、これを新たなテンプレート画像とする。次いで、同様に、対応領域Ｒ０＿ｕを近距離から遠距離に走査しながらマッチングスコアを計算する。これを対象領域Ｆ０＿ｕが遠距離に到達するまで繰り返す。

上記の過程で得られたマッチングスコアのセットに基づいて、つなぎ境界の座標を基準位置として、マッチの程度を評価するスコアが最大となる時のテンプレート画像の位置を、対象領域Ｆ０＿ｕのずらし量とし、探索側の位置を、対応領域Ｒ０＿ｕのずらし量として記憶する。

ここまでは、下部の対象領域Ｆ０＿ｕおよび下部の対応領域Ｒ０＿ｕの組み合わせについて説明したが、同様の処理を、下部の対象領域Ｆ０＿ｌおよび下部の対応領域Ｒ０＿ｌの組み合わせについても実行する。これにより、重複領域のペア＜Ｆ０，Ｒ０＞についてのつなぎ検出処理が完了する。一つの重複領域のペアについての処理が完了すると、もう一方の重複領域のペア＜Ｆ１，Ｒ１＞についても同様の処理を行い、Ｒ１＿ｕおよびＦ１＿ｕの組み合わせおよびＲ１＿ｌとＦ１＿ｌの組み合わせでつなぎ位置検出処理を行い、それぞれ、スコアが最大となる時の位置をずらし量として記憶する。

なお、説明する実施形態では、テンプレート画像を左右方向のみ走査しているが、図１０を参照して説明したように、テンプレート画像を上下方向および左右方向の両方向について走査しても良い。また、上述した説明では、補正画像Ｆ側からテンプレート画像が切り出されるものとして説明したが、補正画像Ｒ側からテンプレート画像が切り出されてもよいし、重複領域のペアの処理で、これらの関係が入れ替わってもよいし、上部および下部の領域での処理で入れ替わってもよい。

図１５は、本実施形態による全天球撮像デバイス１０が実行する、つなぎ位置検出処理のフローチャートである。図１５に示す処理は、動画撮影時のフレーム毎に、ステップＳ１００から開始される。

ステップＳ１０１では、つなぎ位置検出部２０６は、画像合成用歪み補正部２０２から出力される、当該処理対象のフレームの補正画像Ｆおよび補正画像Ｒの入力を受ける。ステップＳ１０２では、つなぎ位置検出部２０６は、処理対象として、重複領域のペア＜Ｆ０，Ｒ０＞および＜Ｆ１，Ｒ１＞のうちのいずれか１つの重複領域のペアを選択する。この選択は、ペアの数（説明する実施形態では２）だけ繰り返され、任意の順にペアが選択される。ステップＳ１０３では、つなぎ位置検出部２０６は、上部の領域および下部の領域のうちのいずれか１つの領域を選択する。この選択は、領域の数（説明する実施形態では２）だけ繰り返され、ここでは、任意の順に上部または下部が選択される。

ステップＳ１０４では、設定部２０８は、補正画像Ｆにおける補正画像Ｒとの重複領域（ステップＳ１０２の選択に応じてＦ０／Ｆ１）において、つなぎ位置を求めるべき対象領域（ステップＳ１０３の選択に応じて上部領域または下部領域）を近距離側の位置に設定する。ステップＳ１０５では、設定部２０８は、さらに、補正画像Ｒ側の重複領域（ステップＳ１０２の選択に応じてＲ０／Ｒ１）において、近距離側の位置に対応領域（ステップＳ１０３の選択に応じて上部領域または下部領域）を設定する。ステップＳ１０６では、算出部２１０は、補正画像Ｆ側の重複領域（Ｆ０／Ｆ１）の対象領域（上部領域または下部領域）から切り出されたテンプレート画像と、補正画像Ｒ側の重複領域（Ｒ０／Ｒ１）の対象領域（上部領域または下部領域）から切り出された比較画像との間のマッチングスコアを計算する。

ステップＳ１０７では、設定部２０８は、補正画像Ｒ側の重複領域（Ｒ０／Ｒ１）において、対応領域（Ｒ０＿ｕ／Ｒ０＿ｌ／Ｒ１＿ｕ／Ｒ１＿ｌ）の位置を遠距離側に走査する。ここでは、１ピクセル単位移動することとしてもよいし、２以上のピクセル移動させもよい。ステップＳ１０８では、設定部２０８は、移動の結果、対応領域の探索範囲の端である重複領域（Ｒ０／Ｒ１）の遠距離側端部を越えたか否か（スコア計算後の移動の結果、対応領域の範囲が遠距離側端部を越える場合は、スコア計算を行った位置が遠距離側端部に達していると判断できる）を判定する。ステップＳ１０８で、遠距離側の端部をまだ超えていないと判定された場合（ＮＯ）は、ステップＳ１０６に戻される。この場合、再度、移動後の位置でマッチングスコアが計算されることになる。一方、ステップＳ１０８で、遠距離側の端部を越えたと判定された場合（ＹＥＳ）は、ステップＳ１０９に進められる。

ステップＳ１０９では、設定部２０８は、補正画像Ｆ側の重複領域（Ｆ０／Ｆ１）において、対象領域（Ｆ０＿ｕ／Ｆ０＿ｌ／Ｆ１＿ｕ／Ｆ１＿ｌ）の位置を遠距離側に走査する。ここでは、１ピクセル単位移動することとしてもよいし、２以上のピクセル移動させもよい。ステップＳ１１０では、設定部２０８は、移動の結果、対象領域の設定範囲の端である重複領域（Ｆ０／Ｆ１）の遠距離側端部を越えたか否かを判定する。ステップＳ１１０で、遠距離側をまだ超えていないと判定された場合（ＮＯ）は、ステップＳ１０５に戻される。この場合、対象領域は、遠距離側に移動されるが、補正画像Ｒ側の重複領域（Ｒ０，Ｒ１）における対応領域は、近距離側の位置に戻される。一方、ステップＳ１１０で、遠距離側の端部を越えたと判定された場合（ＹＥＳ）、ステップＳ１１１に進められる。

ステップＳ１１１では、算出部２１０は、これまでに算出されたマッチングスコアのセットに基づいて、最大のスコアを示す、補正画像Ｆ上の対象領域の位置および補正画像Ｒ上の対応領域の位置をずらし量として算出する。

ステップＳ１１２では、対象の重複領域のペアについて、上領域および下領域の両方の処理が終了したか否かを判定する。ステップＳ１１２で、まだ両方について処理が完了していないと判定された場合（ＮＯ）は、ステップＳ１０３に戻される。この場合、先ほどとは別の領域が選択されることになる。一方、ステップＳ１１２で、両方について処理が完了したと判定された場合（ＹＥＳ）は、ステップＳ１１３に進められる。

ステップＳ１１３では、すべての重複領域のペアの処理が終了したか否かを判定する。ステップＳ１１３で、すべてのペアついて処理が完了していないと判定された場合（ＮＯ）は、ステップＳ１０２に戻される。この場合、先ほどとは別の重複領域のペアが選択される。一方、ステップＳ１１３で、すべてのペアについて処理が完了したと判定された場合（ＹＥＳ）は、ステップＳ１１４に進められ、本処理を終了する。以降、引き続き次のフレームを待ち受ける。

図１６は、本実施形態において、画像合成用変換テーブル２３２を修正するために生成される画素毎のつなぎ位置を含むつなぎ位置テーブルのデータ構造を示す図である。図１６に示すように、つなぎ位置検出部２０６は、変換後の各座標値（θ）に対して、ずらし量（Δθ）が対応付けられた情報を、全座標値について保持するテーブル生成する。また、本実施形態においては、つなぎ位置テーブルは、両方の補正画像について作成される。このとき、上記つなぎ位置検出により求められた領域毎のずらし量（Δθ_ｉ）（ｉは、Ｆ０＿ｕ，Ｆ０＿ｌ，Ｆ１＿ｕ，Ｆ１＿ｌを識別するインデックスである）を、該領域の座標の値として設定し、各座標値（θ）に対応するずらし量（Δθ）を補間して、残りの位置のつなぎ位置を計算することができる。なお、説明する実施形態では、画素毎のつなぎ位置をテーブル形式で保持する構成としたが、特に限定されるものではない。

つなぎ位置テーブルの作成は、具体的には、まず、図１７（Ａ）に示すように、つなぎ位置検出のため領域各々に対してずらし量（Δθ_ｉ）を設定する。また、水平座標θの中心座標には、ずらし量を０に設定する。その他のずらし量未設定の座標については、図１９（Ｂ）に示すように、設定済みの２点（中心座標と、領域中央の座標）から線形補間演算により算出する。なお、上部領域と下部領域との間に関しては、上述したように赤道を境に上部領域および下部領域（例えばＦ０＿ｕ，Ｆ０＿ｌ）にそれぞれ３～１０％程度の間を持たせる場合、上部領域および下部領域間の領域のずらし量は、既に設定してあるθ方向の２点間の線形補間で求めた上部領域（例えばＦ０＿ｕ）のずらし量と下部領域（例えばＦ０＿ｌ）のずらし量との補間によって求めることができる。なお、上部領域と下部領域とでずらし量が所定閾値を超える場合に、ずらし量を制限することとしてもよい。例えば下部領域のずらし量を、上部領域のずらし量の所定％以内とするといった制約を与えてもよい。

テーブル修正部２１２は、このように得られた図１６に示すようなつなぎ位置テーブルを用いて画像合成用変換テーブル２３２を更新する。テーブル修正部２１２は、最初の１乃至数フレームに対しては、歪み補正用変換テーブル２３０をそのまま画像合成用変換テーブル２３２として出力する。テーブル修正部２１２は、一方で、所定数フレーム以降については、前回の画像合成用変換テーブル２３２を用いて生成された補正画像Ｆ，Ｒに基づいてつなぎ位置検出を行い、前回の画像合成用変換テーブル２３２に対して、つなぎ位置検出部２０６によるつなぎ位置検出結果を用いて修正し、更新された画像合成用変換テーブル２３２を使用する。

図１８および図１９は、本実施形態において、変換後の画像合成処理を説明する図である。画像合成用歪み補正部２０２は、つなぎ位置情報と前回使用した画像合成用変換テーブル２３２とに基づいて更新された画像合成用変換テーブル２３２を用いて、部分画像Ｆおよび部分画像Ｒに対して歪み補正をし、補正画像Ｆおよび補正画像Ｒを生成する。図１８（Ａ）および図８（Ｂ）は、前フレームの状態（つなぎ位置の補正がなされていない状態）の補正画像Ｆおよび補正画像Ｒを表す。図１８（Ａ）および図１８（Ｂ）に示した状態の前フレームの補正画像Ｆ，Ｒを入力としてつなぎ位置が算出され、それに基づいて生成された画像合成用変換テーブル２３２を用いて補正されたものが、図１８（Ｃ）および図１８（Ｄ）に示した補正画像Ｆ，Ｒである。

図１８（Ａ）および図１８（Ｂ）に示すように、前フレームにおいて、本来つなぎ境界Ｂに位置する遠距離の被写体Ｏｆａｒ１，Ｏｆａｒ２は、つなぎ境界Ｂよりも遠距離側（中央寄り）に位置し、中距離の被写体Ｏｍｉｄは、おおむねつなぎ境界Ｂに位置し、近距離の被写体Ｏｎｅａｒは、つなぎ境界Ｂよりも近距離側（周辺寄り）に位置している。これに対して、つなぎ位置を算出し、それに基づいて生成された画像合成用変換テーブル２３２を用いて補正された画像においては、図１８（Ｃ）および図８（Ｄ）に示すように、各被写体Ｏｆａｒ１，Ｏｆａｒ２，Ｏｍｉｄ，Ｏｎｅａｒは、すべて、本来の位置の通り、つなぎ境界Ｂ上に補正されている。

引き続き、画像合成部２０４は、図１９に示すように、つなぎ位置反映済みの補正画像Ｆおよび補正画像Ｒを合成し、合成画像２４０を生成する。図１９左側に示す補正画像Ｆ，Ｒそれぞれのつなぎ境界Ｂより外側を切り取り、１８０度分の画像を左右に並べた合成画像として出力される。なお、ここでは、説明の便宜上、つなぎ境界Ｂより外側を切り取ることとし、これは、処理の高速化の観点からは好ましいが、別の実施形態では、重複領域については、重複領域の画像を位置に応じた透過度（α値）で滑らかに重ね合わせるブレンディング処理を行ってもよい。

生成された合成画像の合成フレームからなる合成画像列は、順次、動画圧縮部２２０に出力され、動画圧縮部２２０でさらに動画圧縮されて、動画データとして書き出されることになる。

以上説明したように、上述した実施形態によれば、重複領域を有する複数の画像を合成する際に、精度および速度の観点から両立しながら、被写体の距離に応じた画像つなぎ合わせが可能な画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラムを提供することが可能となる。これは、複数の広角レンズまたは魚眼レンズで撮影した視差を伴う複数の画像を合成する際に好適である。

上述した実施形態において、複数の対象領域および複数の対応領域は、複数の補正画像Ｆ，Ｒが並べられる方向の直交方向で変位して（異なる位置に）配置され、異なるサイズを有するように設定されている。このように、つなぎ検出を行う領域（対象領域および対応領域）の配置および大きさを最低化することにより、高速かつ高精度な画像つなぎ合わせが可能となる。このような処理は、特に、リアルタイム配信などのリアルタイム処理に適している。このように、複数の対象（対応）領域に写りこむ被写体の距離に偏りがある特性を利用して、相対的に近距離の被写体が写る傾向のある領域と、相対的に遠距離の被写体が写る傾向のある領域とで、そのサイズを異ならせることにより、処理の最適化が図られる。

特に、好ましい実施形態において、２つの対象領域および２つの対応領域が設けられ、そのサイズが小さい一方は、他方よりも近距離にある被写体が配置されやすい傾向にある箇所（例えば、図１１に示す使用態様では下部）である。２つの対象領域および２つの対応領域は、より好ましくは、垂直方向における赤道を境にして配置される。相対的に近距離の被写体が写る傾向のある領域を小さくすることにより、効率および精度の両立した画像つなぎ合わせが可能となる。このような配置は、特に、全天球撮像デバイス１０が机上に配置されるような使用態様で最適な配置となり、特にリアルタイム動画配信といった速度と品質の両方が求められる場合に、最適解であるといえる。

また、特定の実施形態においては、前回の画像合成用変換テーブル２３２とつなぎ位置検出部２０６によるつなぎ位置検出結果を用いて更新された画像合成用変換テーブル２３２が使用される。そのため、安価なシステムで、つなぎ位置を適用的に変更することが可能となる。

なお、上述した実施形態では、各重複領域ペアにおける一方の画像に対し、垂直方向に対象領域を２つ設定していた。しかしながら、垂直方向に並べられる対象領域の数は、２に限定されるものではない。他の実施形態では、垂直方向に対象領域を３つ設定してもよい。例えば、近距離側（画像下側）、中距離側（画像中央）、遠距離側（画像上側）にむかって徐々に対象領域を大きくした３つの対象領域を設定しても良い（近距離側のサイズ＜中距離側のサイズ＜遠距離側のサイズ）。あるいは、中距離側および遠距離側は、近距離側より大きくかつ同じ大きさの対象領域に設定しても良い（近距離側のサイズ＜中距離側のサイズ＝遠距離側のサイズ）。このように、全天球撮像デバイス１０に要求される画像つなぎ処理の速度、つまり動画像をリアルタイムで配信する場合のフレームレートやレイテンシなどの条件が達成される範囲内であれば、対象領域を２つ以上に設定することが可能となる。

また、対象領域のいずれを大きくするかは、適宜、全天球撮像デバイス１０の設置態様によって変更してもよい。また、上述した説明では、遠距離の被写体が配置される傾向にある方の対象領域を大きくしており、好ましいが、他の実施形態においては、近距離側の対象領域を大きく設定しても良い。

上述した実施形態では、全天球撮像デバイス１０が、本実施形態における画像処理装置、画像処理システムおよび撮像装置を構成するものであった。しかしながら、画像処理装置、画像処理システムおよび撮像装置の構成は、上述した構成に限定されるものではない。例えば、他の実施形態では、上述した部分画像の撮像処理を除く画像処理を、情報端末１７０、その他の画像処理装置（例えばパーソナル・コンピュータやサーバ、クラウド上の仮想コンピュータなど）上で分散実装してもよい。このような実施形態では、全天球撮像デバイス１０は、複数の部分画像を取得して出力し、情報端末１７０や他の画像処理装置は、全天球撮像デバイス１０から出力された複数の部分画像の入力を受け、つなぎ検出および画像合成処理を行い、出力画像を生成し、モニタ画像を表示したり、画像データを保存したりすることができる。

また、上述した実施形態では、補正画像Ｆおよび補正画像Ｒは、画像処理を行う機能を担う画像処理装置（例えばコントローラ）に一体に構成された撮像装置が備える２つの固体撮像素子２２Ａ，２２Ｂであって、互いに、水平面において１８０度異なる方向（逆方向）を撮像し、かつ、水平面において視野が一部重複するように、水平方向で一周の視野を撮影するよう構成された２つの固体撮像素子２２Ａ，２２Ｂによりそれぞれ撮像された画像であった。また、全天球撮像デバイス１０は、下部に設置部位が設けられており、画像合成に際して補正画像Ｆおよび補正画像Ｒが並べられる方向は、全天球画像において、左右方向であり、その直交方向は、上下方向であった。しかしながら、これらの構成は、一例であり、かかる構成に限定されるものではない。例えば、壁などに全天球撮像デバイス１０を横方向に取り付けられ、上下方向に撮像したときは、画像合成に際して補正画像が上下方向に並べられ、その直交方向は左右方向となる。

例えば、他の実施形態では、全天球撮像デバイス１０の上部に設置部位が設けられて、全天球撮像デバイス１０が、天井から吊り下げられてもよい。その場合に、上述した対象領域および対応領域の大小が逆になってもよい。他の実施形態では、また、水平面に配置される３以上の固体撮像素子２２が設けられてもよく、その場合に、重複領域のペアは、生じる接合部分の数に応じたものとなる。例えば、水平面において１２０度異なる方向を撮像し、かつ、水平面において視野が一部重複するように（例えば１２０度＋重複分の画角を視野に入れて）、水平方向で一周の視野を撮影するよう構成された３眼の撮像装置では、重複領域のペアの数は３であってもよい。さらに、上述した水平方向に配置される固体撮像素子に加えて、水平方向以外の方向（例えば真上）の方向を向いて配置された追加の撮像素子が設けられてもよく、その場合、上述したつなぎ検出処理は、上述した水平方向に配置される複数の固体撮像素子についての画像つなぎに適用されてもよい。また、全天球撮像デバイス１０は、水平方向で一周未満（例えば２７０度）の視野を撮影するように構成されてもよく、その場合に、重複領域のペアは、１つであってもよい。

さらに、別の実施形態では、補正画像Ｆおよび補正画像Ｒは、互いに、垂直方向において異なる方向を撮像し、かつ、垂直方向において視野が一部重複するように、かつ、垂直方向で一周の視野を撮影するよう構成された複数の固体撮像素子（例えば、左右または前後ではなく、上下方向を向く場合）によりそれぞれ撮像された画像であってもよい。その場合に、全天球撮像デバイス１０は、その側部に設置部位が設けられ、壁に設置されてもよく、画像合成に際して補正画像Ｆおよび補正画像Ｒが並べられる方向は、全天球画像において、上下方向であり、その直交方向は、左右方向であってもよい。また、全天球撮像デバイス１０は、垂直方向で一周未満の視野を撮影するように構成されてもよく、その場合に、重複領域のペアは、１つであってもよい。

＜追加の実施形態＞
別の実施形態では、これまで上述した各実施形態で説明される画像処理装置、画像処理システムおよび撮像装置を移動体に備えた構成であってもよい。ここで移動体とは、車両、航空機、船舶、移動式ロボットなどである。図２０は、追加の実施形態における移動体である車両４１０に４つの撮像体４２０Ｆ，４２０Ｂ，４２０Ｌ，４２０Ｒを備えた場合を模式的に示した図である。なお、４つの撮像体は一例であり、４つ以上の撮像体を備えても良い。

ここで、撮像体４２０Ｆは、車両４１０の前方（進行方向側）、撮像体４２０Ｂは、車両４１０の後方、撮像体４２０Ｌは、車両４１０の左側方、撮像体４２０Ｒは、車両４１０の右側方をそれぞれ撮像するものである。例えば撮像体４２０Ｆは、車両のフロントグリル付近やフロントバンパー付近など、車両の高さ方向において比較的地面に近い位置に配置され、撮像体４２０Ｂ，４２０Ｌ，４２０Ｒは、撮像体４２０Ｆと同等の高さ位置に配置される。図２０でそれぞれの撮像体４２０Ｆ，４２０Ｂ，４２０Ｌ，４２０Ｒで撮像される撮像範囲を破線ＶＦ，ＶＢ，ＶＬ，ＶＲで示しており、図２０に示すように、隣り合う撮像体（例えば４２０Ｆと４２０Ｒ、４２０Ｒと４２０Ｂ、４２０Ｂと４２０Ｌ、４２０Ｌと４２０Ｆ）の撮像範囲を重ならせた重複領域ＯＦＲ，ＯＢＲ，ＯＢＬ，ＯＦＬを有するよう構成している。この構成により、車両の全周囲方向において撮像体４２０Ｆ，４２０Ｂ，４２０Ｌ，４２０Ｒそれぞれで撮像された４つの画像を取得することができる。そして、撮像した４つの画像をそれぞれ重複領域ＯＦＲ，ＯＢＲ，ＯＢＬ，ＯＦＬに基づいて画像つなぎ処理を行うことで、水平方向の一周（車両の全周囲）を表すパノラマ画像を生成することができる。

このとき、繋ぎ位置を検出する対象領域および対応領域については上述した実施形態で説明した処理が適用可能である。そして、生成したパノラマ画像やパノラマ画像に基づくパノラマ動画などを、車両が有するカーナビゲーションなどの表示装置に表示することで、運転者が自車の周囲の状況を容易に把握することが可能となる。

本実施形態では、撮像される画像の下側の領域にはアスファルトなどの路面が、上側の領域には車両の周囲に存在し得る他の車両や歩行者などの主要被写体が位置することになる。ここで、本発明の実施形態を車両４１０に適用する場合、表示装置に表示される映像はリアルタイム性が求められることから、高精度のつなぎ処理をする反面、画像処理速度が遅くなることは好ましくない。また、たとえ画像処理速度が高速であったとしても、つなぎ処理が低精度であれば、画像の上側に位置する主要被写体の位置変化に伴うつなぎ位置のズレが生じた映像が表示され、運転者に違和感を与える可能性があるため好ましくない。よって、本実施形態によれば、他の実施形態と同様に、動画配信時における画像つなぎ処理の速度および精度の両立が可能となる点で好適である。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ－ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

本開示は、さらに以下を含む。
（付記１）
少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段
を含み、
上記第１の撮影画像における上記第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、相対的に被写体との距離が遠距離である遠距離領域と近距離である近距離領域とで異なる大きさを有している、画像処理装置。
（付記２）
上記遠距離領域および上記近距離領域では、上記遠距離領域の対象領域の方が大きい、付記１に記載の画像処理装置。
（付記３）
上記複数の対象領域を設定する設定手段
をさらに含む、付記１に記載の画像処理装置。
（付記４）
上記複数の対象領域各々にマッチする上記第２の撮影画像上の複数の対応領域各々の位置を算出する算出手段
をさらに含む、付記３に記載の画像処理装置。
（付記５）
上記複数の対象領域は、上記第１の撮影画像および上記第２の撮影画像が並べられる方向の直交方向に配置される、付記４に記載の画像処理装置。
（付記６）
少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段
を含み、
上記第１の撮影画像における上記第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、相対的に被写体との距離が遠距離である遠距離領域と近距離である近距離領域とで異なる大きさを有している、画像処理システム。
（付記７）
上記遠距離領域および上記近距離領域では、上記遠距離領域の対象領域の方が大きい、付記６に記載の画像処理システム。
（付記８）
第１の方向で撮像し、第１の撮影画像を生成するための第１の撮像手段と、
上記第１の方向とは異なる第２の方向で撮像し、第２の撮影画像を生成するための第２の撮像手段と
を含み、上記第１の撮影画像における上記第２の撮影画像との上記重複領域内で、上記つなぎ位置を求めるための複数の対象領域は、相対的に被写体との距離が遠距離である遠距離領域と近距離である近距離領域とで異なる大きさを有している、撮像装置。
（付記９）
上記遠距離領域および上記近距離領域では、上記遠距離領域の対象領域の方が大きい、付記８に記載の撮像装置。
（付記１０）
第１の撮影画像および第２の撮影画像の入力を受けるステップと、
上記第１の撮影画像における上記第２の撮影画像との重複領域内で、つなぎ位置を求めるステップを含み、
上記第１の撮影画像における上記第２の撮影画像との上記重複領域内で、上記つなぎ位置を求めるための複数の対象領域は、相対的に被写体との距離が遠距離である遠距離領域と近距離である近距離領域とで異なる大きさを有している、画像処理方法。
（付記１１）
上記遠距離領域および上記近距離領域では、上記遠距離領域の対象領域の方が大きい、付記１０に記載の画像処理方法。
（付記１２）
コンピュータを、
少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段
として機能させるためのプログラムであり、
上記第１の撮影画像における上記第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、相対的に被写体との距離が遠距離である遠距離領域と近距離である近距離領域とで異なる大きさを有している、プログラム。
（付記１３）
上記遠距離領域および上記近距離領域では、上記遠距離領域の対象領域の方が大きい、付記１２に記載のプログラム。

１０…全天球撮像デバイス、１２…撮像体、１３…切り込み部（把手）、１４…筐体、１５Ａ，１５Ｂ…コントローラ基板、１６Ａ，１６Ｂ…ケーブル、１７Ａ～１７Ｃ…コネクタ、１８…操作ボタン、２０…結像光学系、２２…固体撮像素子、１００…プロセッサ、１０２…鏡胴ユニット，１０８…ＩＳＰ、１１０，１２２…ＤＭＡＣ、１１２…アービタ（ＡＲＢＭＥＭＣ）、１１４…ＭＥＭＣ、１１６，１３８…ＳＤＲＡＭ、１１８…歪曲補正・画像合成ブロック、１２０…３軸加速度センサ、１２４…画像処理ブロック、１２６…画像データ転送部、１２８…ＳＤＲＡＭＣ、１３０…ＣＰＵ、１３２…リサイズブロック、１３４…静止画ブ圧縮ロック、１３６…動画圧縮ブロック、１４０…メモリカード制御ブロック、１４２…メモリカードスロット、１４４…フラッシュＲＯＭ、１４６…ＵＳＢブロック、１４８…ＵＳＢコネクタ、１５０…ペリフェラル・ブロック、１５２…音声ユニット、１５４…スピーカ、１５６…マイク、１５８…シリアルブロック、１６０…無線ＮＩＣ、１６２…ＬＣＤドライバ、１６４…ＬＣＤモニタ、１６６…電源スイッチ、１７０…情報端末、１７２…ＣＰＵ、１７４…ＲＡＭ、１７６…ＨＤＤ、１７８…入力装置、１８０…外部ストレージ、１８２…ディスプレイ、１８４…無線ＮＩＣ、１８６…ＵＳＢコネクタ、１８８…バス、１９０‥ケーブル、２００…機能ブロック、２０２…画像合成用歪み補正部、２０４…画像圧縮部、２０６…つなぎ位置検出部、２０８…設定部、２１０…算出部、２１２…テーブル修正部、２２０…動画圧縮部、２２２…リアルタイム配信部、２２４…表示画像生成部、２３０…歪み補正用変換テーブル、２３２…画像合成用変換テーブル、２４０…合成画像、２４２…動画データ、２４４…表示画像、３００…会議室、３０２…テーブル、３１０…インタラクティブボード、３２０…ホワイトボード、Ｆ０，Ｆ１，Ｒ０，Ｒ１…重複領域、Ｆ０＿ｕ，Ｆ１＿ｕ，Ｒ０＿ｕ，Ｒ１＿ｕ…上部領域、Ｆ０＿ｌ，Ｆ１＿ｌ，Ｒ０＿ｌ，Ｒ１＿ｌ…下部領域、Ｏｆａｒ，Ｏｆａｒ１，Ｏｆａｒ２…遠距離の被写体、Ｏｍｉｄ…中距離の被写体、Ｏｎｅａｒ…近距離の被写体、

特開２０２１－１１７９２４号公報

Claims (18)

1. 少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段
   を含み、
   前記第１の撮影画像における前記第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、前記第１の撮影画像および前記第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している、画像処理装置。
2. 前記複数の対象領域を設定する設定手段
   をさらに含む、請求項１に記載の画像処理装置。
3. 前記複数の対象領域各々にマッチする前記第２の撮影画像上の複数の対応領域各々の位置を算出する算出手段
   をさらに含む、請求項２に記載の画像処理装置。
4. 前記複数の対象領域は、２つの対象領域であり、前記複数の対象領域のうちのサイズが小さい一方は、他方よりも近距離にある被写体が配置されやすい傾向にある箇所である、請求項１に記載の画像処理装置。
5. 前記第１の撮影画像および前記第２の撮影画像は、全天球画像またはパノラマ画像のフォーマットの画像であり、前記複数の対象領域は、垂直方向における赤道を境にして配置される、請求項１に記載の画像処理装置。
6. 前記設定手段によって設定された前記複数の対象領域各々に対して前記算出手段により算出された位置に基づいて、前記画像入力手段に入力される第１の撮影画像および第２の撮影画像を合成する画像合成処理手段
   をさらに含む、請求項３に記載の画像処理装置。
7. 前記第１の撮影画像および前記第２の撮影画像間には、前記重複領域とは異なる第２の重複領域があり、前記設定手段は、前記第２の重複領域内で、それぞれつなぎ位置を求めるための複数の第２の対象領域を設定し、前記算出手段は、前記複数の第２の対象領域各々にマッチする複数の第２の対応領域各々の位置を算出する、請求項３に記載の画像処理装置。
8. 前記複数の対象領域のうちの一の対象領域に関し、前記設定手段は、前記複数の対応領域のうちの前記一の対象領域に対応する一の対応領域の位置を走査し、前記算出手段は、前記一の対象領域の画像と前記一の対応領域の画像とがマッチするスコアを評価し、最大のスコアを示す前記一の対応領域の位置を求める、請求項３に記載の画像処理装置。
9. 前記一の対象領域に関し、前記設定手段は、さらに前記一の対象領域の位置を走査することを特徴とし、前記算出手段は、前記一の対象領域の画像と、前記一の対応領域の画像との最大の前記スコアを与える前記一の対象領域の位置および前記一の対応領域の位置の組み合わせを求める、請求項８に記載の画像処理装置。
10. 前記第１の撮影画像および前記第２の撮影画像は、当該画像処理装置と一体または別体の撮像装置が備える第１の撮像手段および第２の撮像手段であって、互いに、水平面において異なる方向を撮像し、かつ、前記水平面において視野が一部重複するように構成された前記第１の撮像手段および前記第２の撮像手段によりそれぞれ撮像された画像であり、前記並べられる方向は、左右方向であり、前記直交方向は、上下方向であり、前記撮像装置は、上部また下部に設置部位が設けられる、請求項１に記載の画像処理装置。
11. 前記第１の撮影画像、前記第２の撮影画像および前記合成された画像は、それぞれ、２つの偏角を有する極座標系で表現された画像である、請求項６に記載の画像処理装置。
12. 少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段
    を含み、
    前記第１の撮影画像における前記第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、前記第１の撮影画像および前記第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している、画像処理システム。
13. 第１の方向で撮像し、第１の撮影画像を生成するための第１の撮像手段と、
    前記第１の方向とは異なる第２の方向で撮像し、第２の撮影画像を生成するための第２の撮像手段と
    を含み、前記第１の撮影画像における前記第２の撮影画像との前記重複領域内で、つなぎ位置を求めるための複数の対象領域は、前記第１の撮影画像および前記第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している、撮像装置。
14. 前記第１の撮像手段および前記第２の撮像手段により撮像された第１部分画像および第２の部分画像を歪み補正して前記第１の撮影画像および前記第２の撮影画像を生成する歪み補正手段
    をさらに含む、請求項１３に記載の撮像装置。
15. 第１の撮影画像および第２の撮影画像の入力を受けるステップと、
    前記第１の撮影画像における前記第２の撮影画像との重複領域内で、つなぎ位置を求めるステップを含み、
    前記第１の撮影画像における前記第２の撮影画像との重複領域内で、前記つなぎ位置を求めるための複数の対象領域は、前記第１の撮影画像および前記第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している、画像処理方法。
16. 前記第１の撮影画像および前記第２の撮影画像は、全天球画像またはパノラマ画像のフォーマットの画像であり、前記複数の対象領域は、垂直方向における赤道を境にして配置される、請求項１５に記載の画像処理方法。
17. 前記複数の対象領域の各々に対して算出された位置に基づいて、入力される第１の撮影画像および第２の撮影画像を合成する、請求項１６に記載の画像処理方法。
18. コンピュータを、
    少なくとも第１の撮影画像および第２の撮影画像が入力される画像入力手段
    として機能させるためのプログラムであり、
    前記第１の撮影画像における前記第２の撮影画像との重複領域内で、つなぎ位置を求めるための複数の対象領域は、前記第１の撮影画像および前記第２の撮影画像が並べられる方向の直交方向に配置され、異なるサイズを有している、プログラム。