WO2011161973A1

WO2011161973A1 - 全方位撮影システム

Info

Publication number: WO2011161973A1
Application number: PCT/JP2011/003615
Authority: WO
Inventors: 明夫西村; 哲郎奥山; 八木　康史
Original assignee: パナソニック株式会社
Priority date: 2010-06-24
Filing date: 2011-06-24
Publication date: 2011-12-29
Also published as: JPWO2011161973A1; JP5728393B2; US9244258B2; US20120147183A1

Abstract

　高視野角を確保しつつ死角領域を無くした映像の取得を可能とするため、本発明に係る全方位撮影システムは、双曲面鏡からなる主鏡（１０１）と、主鏡の周囲に複数配置された、双曲面鏡からなる副鏡（１０２）と、主鏡により反射された画像と、複数の副鏡により反射された画像とを撮影するカメラ（１０４）とを備え、主鏡の双曲面の外側焦点と、複数の副鏡の双曲面の外側焦点とが略一致しており、カメラ（１０４）は、カメラ（１０４）に取り付けたレンズの入射瞳位置であるカメラの視点と、主鏡（１０１）及び複数の副鏡（１０２）の双曲面の外側焦点とが略一致するように配置されている。

Description

全方位撮影システム

　本発明は全方位撮影システムに関し、特に、複数の全方位画像により死角補完を可能とした全方位撮影システムに関する。

　従来の全方位撮影システムとしては、回転軸を一致させた複数の回転体鏡間の２回反射を利用して全周囲撮影を行っているものがある（例えば、特許文献１参照）。図２９は、前記特許文献１に記載された従来の全方位撮影システムを示すものである。

　図２９において、主鏡３０１は周囲水平３６０度の方向から入射した光を反射させる。副鏡３０２は主鏡３０１で反射された光をさらに反射させる。副鏡３０２で反射された光は受光レンズ系３０３の主点を通して撮像面３０４に結像する。なお、主鏡３０１と副鏡３０２とは透明管３０５で覆われている。このように図２９の光学系によれば、周囲水平３６０度の方向の被写体を一つの受光レンズ系で撮影することができる。

　また、別の例としては、複数のミラーを用いて距離情報を獲得しているものがある（例えば、特許文献２参照）。図３０は、特許文献２に記載された従来の全方位撮影システムを示すものである。

　図３０において、全方位ミラー４０１は半球面鏡４０２ａと複数の球面鏡４０２ｂとで構成される。半球面鏡４０２ａは周囲水平３６０度の方向から入射した光を反射し、複数の球面鏡４０２ｂも周囲水平３６０度の方向から入射した光を反射する。半球面鏡４０２ａと複数の球面鏡４０２ｂとが反射した光を撮像装置４０３が撮影する。このように、図３０の光学系によれば、一つの被写体が半球面鏡及び複数の球面鏡に反射された映像を撮影でき、その画像から被写体との距離を計測できる。

　また、別の例としては、魚眼レンズと回転体鏡を用いて距離情報を獲得しているものがある（例えば、特許文献３参照）。図３１は、特許文献３に記載された従来の全方位撮影システムを示すものである。

　図３１において、カメラ５１０は、魚眼レンズα１と回転体鏡δとをもつ。また、カメラ５１０は、魚眼レンズα１及びレンズ光学系５１２を通して撮像素子５１４の一部に直接、結像する部分と、回転体鏡δで反射されて魚眼レンズα１及びレンズ光学系５１２を通して撮像素子５１４の一部に結像する部分とから構成される。図３１に示される全方位撮影システムでは、上記の魚眼レンズα１を通して直接、結像する部分と、回転体鏡δで反射されて魚眼レンズα１を通して結像する部分とから、被写体までの距離情報を得ている。

特許第３５２３７８３号公報特開２００５－２３４２２４号公報特開２００６－２２０６０３号公報

ZITNICK, L., KANG, S. B., UYTTENDAELE, M., WINDER, S., AND SZELISKI, R. 2004. "High-quality video view interpolation using a layered representation.", In SIGGRAPH Conf. Proc., pp.600-608. 外村元伸, 「車に搭載され始めた魚眼レンズの研究」, Design Wave Magazine, Sep., 2008, pp.111-125.

　しかしながら、特許文献１の従来の構成では、副鏡に隠された死角領域が存在するという課題を有している。特にこの死角領域は天井に取り付けた場合の真下部分に当たり、全周囲画像として非常に重要な部分である。

　また、特許文献２の従来の構成では、測位は可能だが、カメラが主鏡・副鏡の被写体側に位置しているため、カメラによる主鏡・副鏡の死角領域が存在するという課題を有している。特にこの死角領域は天井に取り付けた場合の真下部分に当たり、全周囲画像として非常に重要な部分である。さらに、副鏡が主鏡の被写体側に位置しているため、副鏡による主鏡の死角領域が存在し主鏡の撮影範囲が狭まるという課題を有している。

　また、特許文献３の従来の構成では、天井に取り付けた場合の真下の死角は存在しないが、回転体鏡に反射させて魚眼レンズとは別の視点からの画像を取得するため、魚眼レンズの撮影範囲を大きく狭めてしまうという課題を有している。

　本発明は、従来の課題を解決するもので、高視野角を確保しつつ死角領域を無くした映像の取得を可能とした全方位撮影システムを提供することを目的とする。

　本発明のある局面に係る全方位撮影システムは、双曲面鏡からなる主鏡と、前記主鏡の周囲に複数配置された、双曲面鏡からなる副鏡と、前記主鏡により反射された画像と、前記複数の副鏡により反射された画像とを撮影するカメラとを備え、前記主鏡の双曲面の外側焦点と、前記複数の副鏡の双曲面の外側焦点とが略一致しており、前記カメラは、前記カメラに取り付けたレンズの入射瞳位置である前記カメラの視点と、前記主鏡及び前記複数の副鏡の双曲面の外側焦点とが略一致するように配置されている。

　この構成によると、全方位撮影システムにおいては、主鏡及び複数の副鏡のそれぞれにより反射された画像をカメラが直接撮影することができ、例えば関連技術に係る魚眼レンズによる全方位撮影装置と比較し、より広い視野角を確保することができる。また、主鏡の中心軸上にカメラがあるために生じる死角領域に対応する画像を、複数の副鏡により反射された画像から取得することができるため、死角領域をなくすことができる。

　なお、本発明は、このような全方位撮影システムとして実現できるだけでなく、全方位撮影システムに含まれる特徴的な手段をステップとする全方位撮影方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのはいうまでもない。

　さらに、本発明は、このような全方位撮影システムの機能の一部又はすべてを実現する半導体集積回路（ＬＳＩ）として実現できる。

　本発明の全方位撮影システムによれば、双曲面鏡からなる主鏡により、高視野角を確保することができる。さらに、主鏡と、副鏡の双曲面の外側焦点が略一致していることにより、死角領域を無くした映像の取得を可能とすることができる。

　よって、本発明により、高視野角を確保しつつ死角領域を無くした映像の取得を可能とした全方位撮影システムが提供され、画像取得手段としての全方位撮影システムの重要性が高まる今日において本発明の実用的価値は極めて高い。

図１は、本発明の実施の形態１及び２における全方位撮影システムの光学系構成を示す図であり、(ａ)は本発明の実施の形態１及び２における全方位撮影システムの光学系構成の側面図であり、(ｂ)は本発明の実施の形態１及び２における全方位撮影システムの光学系構成の斜視図である。図２は、本発明の実施の形態１及び２における主鏡及び副鏡の各焦点位置を示す図である。図３は、本発明の実施の形態１及び２における主鏡と複数の副鏡の内の一つについての位置関係を示す図である。図４は、本発明の実施の形態１における死角補完部の画像処理構成図である。図５は、本発明の実施の形態１における全方位撮影システムによって撮影された画像に対して加える補完処理例の第１のイメージ図である。図６は、本発明の実施の形態１における全方位撮影システムによって撮影された画像に対して加える補完処理例の第２のイメージ図である。図７は、本発明の実施の形態２における測位部の画像処理構成図である。図８は、本発明の実施の形態２における測位ベクトル演算概念図である。図９は、本発明の実施の形態３における全方位撮影システムの光学系概略構成図である。図１０は、本発明の実施の形態３における主鏡と副鏡の内の一つについての位置関係を示す図である。図１１は、本発明の実施の形態３における全方位撮影システムによって撮影された画像に対して加える補完処理例の第１のイメージ図である。図１２は、本発明の実施の形態３における全方位撮影システムによって撮影された画像に対して加える補完処理例の第２のイメージ図である。図１３は、本発明の実施の形態３における全方位撮影システムによって撮影された画像に対して加える補完処理例の第３のイメージ図である。図１４は、本発明の実施の形態４における全方位撮影システムの光学系概略構成図である。図１５は、本発明の実施の形態４における全方位撮影システムによって撮影された画像に対して加える補完処理例の第１のイメージ図である。図１６は、本発明の実施の形態４における全方位撮影システムによって撮影された画像に対して加える補完処理例の第２のイメージ図である。図１７は、本発明の実施の形態４における全方位撮影システムによって撮影された画像に対して加える補完処理例の第３のイメージ図である。図１８は、本発明の実施の形態５における全方位撮影システムの光学系構成図である。図１９は、本発明の実施の形態５における全方位撮影システムの撮影画像のイメージ図である。図２０は、本発明の実施の形態５における全方位撮影システムによる補完処理を説明する図であり、(ａ)は本発明の実施の形態５における全方位撮影システムの撮影画像のイメージ図であり、(ｂ)は本発明の実施の形態５における全方位撮影システムによって撮影された画像に対して加える補完処理例のイメージ図である。図２１は、本発明の実施の形態６における全方位撮影システムの撮像系構成外観図である。図２２は、本発明の実施の形態６における全方位撮影システムの撮影画像イメージ図である。図２３は、本発明の実施の形態６における死角補完部の画像処理構成図である。図２４は、本発明の実施の形態６における全方位撮影システムによる補完処理を説明する図であり、(ａ)は本発明の実施の形態６における全方位撮影システムの撮影画像のイメージ図であり、(ｂ)は本発明の実施の形態６における全方位撮影システムによって撮影された画像に対して加える補完処理例のイメージ図である。図２５は、等距離射影の入射光の角度と撮影画像内の撮像点の関係を示すイメージ図である。図２６は、本発明の実施の形態６における測位部の画像処理構成図である。図２７は、本発明の実施の形態６における測位ベクトル演算概念図である。図２８は、本発明の実施の形態１～６に係る全方位撮影システムを実現するコンピュータシステムのハードウェア構成を示すブロック図である。図２９は、特許文献１に記載された従来の全方位撮影システムの構造図である。図３０は、特許文献２に記載された従来の全方位撮影システムの構造図である。図３１は、特許文献３に記載された従来の全方位撮影システムの構造図である。

　また、さらに、前記主鏡及び前記複数の副鏡の双曲面の外側焦点と、前記主鏡及び前記複数の副鏡の双曲面の内側焦点との間に配置された、概平面形状の概平面鏡を備え、前記カメラは、前記主鏡及び前記複数の副鏡の双曲面の外側焦点と、概平面鏡について対称の位置に前記カメラの視点が位置するように配置され、外光は、前記主鏡、又は、前記複数の副鏡により反射され、さらに、前記概平面鏡により反射されることにより、前記カメラに入射するとしてもよい。

　この構成によると、全方位撮影システムをより小型化することができる。

　また、主鏡の双曲面の形状を表す双曲面方程式を

とし、上式におけるａ_m，ｂ_m，ｃ_mを双曲面係数とし、
　Ｘ軸－Ｚ軸平面内に主鏡の中心軸と複数の副鏡のうちの１つである第１の副鏡の中心軸とが含まれ、主鏡の中心軸がＺ軸と一致し、主鏡及び第１の副鏡の双曲面の外側焦点と、Ｘ軸－Ｚ軸平面の原点とが一致している場合であって、
　主鏡の外径上の点のうち、外径が最大となる点を

とした時に、第１の副鏡は、第１の副鏡の頂点位置Ｔ（ｘ_T，ｚ_T）が、

を満たすように配置されているとしてもよい。

　これによると、副鏡が配置される位置は、主鏡に副鏡が映り込まない位置に限定される。その結果、主鏡の有効視野をより広く確保することができる。

　また、主鏡の双曲面の形状を表す双曲面方程式を

とし、上式におけるａ_m，ｂ_m，ｃ_mを双曲面係数とし、
　Ｘ軸－Ｚ軸平面内に主鏡の中心軸と複数の副鏡のうちの１つである第２の副鏡の中心軸とが含まれ、主鏡の中心軸がＺ軸と一致し、主鏡及び第２の副鏡の双曲面の外側焦点とＸ軸－Ｚ軸平面の原点とが一致している場合であって、
　主鏡の中心軸と、第２の副鏡の中心軸とのなす角をθとし、主鏡の外径上の点のうち、外径が最大となる点

が上記第２の副鏡の中心軸上に存在する時のθをθ₁とした時に、第２の副鏡は、第２の副鏡の頂点位置Ｔ（ｘ_T，ｚ_T）が、

を満たすように配置されているとしてもよい。

　これによると、副鏡の配置位置を、主鏡に反射された画像における死角領域の一部が確実に映る位置に限定することができる。その結果、副鏡によって確実に主鏡の死角領域を補完することができるようになる。

　また、さらに、前記複数の副鏡により反射された画像によって、前記主鏡により反射された画像における死角領域を補完するための画像である補完合成画像を生成する死角補完部を備えるとしてもよい。

　この構成によると、全方位撮影システムは、副鏡により反射された画像を複数枚合成することにより、主鏡により反射された画像における死角領域を補完する補完合成画像を生成することができる。

　また、前記死角補完部は、前記複数の副鏡により反射された画像を用いて、前記主鏡の内側焦点に視点を置いた任意視点画像を生成し、前記任意視点画像により前記補完合成画像を生成するとしてもよい。

　また、さらに、前記主鏡により反射された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、前記複数の副鏡のうちいずれか１つにより反射された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備えるとしてもよい。

　この構成によると、全方位撮影システムが備える測位部は、指定された１つの被写体からの光が入射した主鏡上の点と副鏡上の点とを算出することができる。したがって、測位部は、いわゆる三角測量により、被写体の３次元空間上の位置を測位することができる。

　また、さらに、前記複数の副鏡のうちいずれか１つの前記副鏡により反射された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、前記主鏡により反射された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備えるとしてもよい。

　また、さらに、前記複数の副鏡のうちいずれか１つの前記副鏡により反射された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、該副鏡を除く、いずれか１つの副鏡により反射された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備えるとしてもよい。

　また、さらに、前記複数の副鏡のうち少なくとも一部により反射された画像によって、前記主鏡により反射された画像における死角領域を補完するための画像である補完合成画像を生成する死角補完部を備えるとしてもよい。

　また、前記死角補完部は、前記複数の副鏡のうち少なくとも一部により反射された画像を用いて、前記主鏡の内側焦点に視点を置いた任意視点画像を生成することにより、前記死角領域を補完するための前記補完合成画像を生成するとしてもよい。

　また、前記死角補完部は、前記補完合成画像を生成する際に使用した副鏡により反射された画像と、前記補完合成画像内の領域との対応関係を記録し、前記測位部は、前記補完合成画像上で指定された点が含まれる前記補完合成画像内の領域に対応する第１の副鏡により反射された画像上の点であって、前記補完合成画像上で指定された点に対応する被写体に対応する点である第１の点と、前記複数の副鏡のうち前記第１の副鏡を除く、いずれか１つの副鏡により反射された画像上の点であって、前記被写体に対応する点である第２の点とを画像マッチングにより算出し、前記第１の点と前記第２の点とから前記被写体の測位を行うとしてもよい。

　本発明の他の曲面に係る全方位撮影システムは、複数の双曲面鏡と、前記複数の双曲面鏡により反射された画像を撮影するカメラとを備え、前記複数の双曲面鏡は、それぞれの双曲面鏡の外側焦点が略一致するように、中心軸が傾いて配置され、前記カメラは、前記カメラに取り付けたレンズの入射瞳位置である前記カメラの視点が、前記複数の双曲面鏡の前記外側焦点と略一致するように配置されている。

　この構成によると、全方位撮影システムは、主鏡を備えなくても、複数の副鏡により反射される画像の重複部分から、高視野角を確保しつつ死角領域を無くした映像を出力することができる。

　また、さらに、前記カメラの視点と略一致している前記複数の双曲面鏡の前記外側焦点と、該複数の双曲面鏡の内側焦点との間に配置された、概平面形状の概平面鏡を備え、前記カメラは、前記複数の双曲面鏡の前記外側焦点と、前記概平面鏡について対称の位置に前記カメラの視点が位置するように配置され、外光は、前記複数の双曲面鏡のそれぞれにより反射され、さらに、前記概平面鏡により反射されることにより、前記カメラに入射するとしてもよい。

　また、さらに、前記複数の双曲面鏡のうちの少なくとも一部により反射された画像を合成することにより、画像上に死角領域のない画像である補完合成画像を生成する死角補完部を備えるとしてもよい。

　また、前記死角補完部は、前記複数の双曲面鏡のうち、いずれか１つの双曲面鏡により反射された画像上の死角領域を、該双曲面鏡を除く、他の双曲面鏡のうちの少なくとも一部により反射された画像を用いて補完することによって前記補完合成画像を生成するとしてもよい。

　また、前記死角補完部は、前記複数の双曲面鏡のうちの少なくとも一部により反射された画像を用いて、前記複数の双曲面鏡のうち補完対象である双曲面鏡の単一視点位置に視点を置いた任意視点画像を生成し、前記任意視点画像を用いて、前記補完合成画像を生成するとしてもよい。

　また、さらに、前記複数の双曲面鏡のうちいずれか１つの双曲面鏡により反射された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、該双曲面鏡を除く、いずれか１つの双曲面鏡により反射された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備えるとしてもよい。

　また、さらに、前記複数の双曲面鏡のうち少なくとも一部により反射された画像を合成することにより、画像上に死角領域のない画像である補完合成画像を生成する死角補完部を備えるとしてもよい。

　また、前記死角補完部は、前記複数の双曲面鏡のうち少なくとも一部により反射された画像を用いて、全方位画像の視点における任意視点画像を生成し、前記任意視点画像を用いて、前記補完合成画像を生成するとしてもよい。

　また、前記死角補完部は、前記補完合成画像を生成する際に使用した双曲面鏡により反射された画像と、前記補完合成画像内の領域との対応関係を記録し、前記測位部は、前記補完合成画像で指定された点が含まれる前記補完合成画像内の領域に対応する第１の双曲面鏡により反射された画像上の点であって、前記補完合成画像上で指定された点に対応する被写体に対応する点である第１の点と、前記複数の双曲面鏡のうち前記第１の双曲面鏡を除く、いずれか１つの双曲面鏡により反射された画像上の点であって、前記被写体に対応する点である第２の点とを画像マッチングにより算出し、前記第１の点と前記第２の点とから前記被写体の測位を行うとしてもよい。

　また、前記死角補完部は、前記複数の双曲面鏡のうち、いずれか１つの双曲面鏡により反射された画像上の死角領域を、該双曲面鏡を除く、他の双曲面鏡のうち少なくとも一部により反射された画像を用いて補完するとしてもよい。

　本発明の他の曲面に係る全方位撮影システムは、全方位画像を撮影する、複数の全方位撮影装置と、前記複数の全方位撮影装置のうち少なくとも一部により撮影された画像を合成することによって、画像上に死角領域のない画像である補完合成画像を生成する死角補完部とを備える。

　この構成によると、全方位撮影システムは、光学系の構成に関わらず、高視野角を確保しつつ死角領域を無くした映像を出力することができる。

　また、さらに、前記複数の全方位撮影装置のうち、いずれか１つの全方位撮影装置により撮影された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、該全方位撮影装置を除く、いずれか１つの全方位撮影装置により撮影された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備えるとしてもよい。

　また、前記死角補完部は、前記補完合成画像を生成する際に使用した全方位撮影装置により撮影された画像と、前記補完合成画像内の領域との対応関係を記録し、前記測位部は、前記補完合成画像で指定された点が含まれる前記補完合成画像内の領域に対応する第１の全方位撮影装置により撮影された画像上の点であって、前記補完合成画像上で指定された点に対応する被写体に対応する点である第１の点と、前記複数の全方位撮影装置のうち前記第１の全方位撮影装置を除く、いずれか１つの全方位撮影装置により撮影された画像上の点であって、前記被写体に対応する点である第２の点とを画像マッチングにより算出し、前記第１の点と前記第２の点とから前記被写体の測位を行うとしてもよい。

　以下本発明の実施の形態について、図面を参照しながらより詳細に説明する。

　なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態などは一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

　（実施の形態１）
　図１は、本発明の実施の形態１における全方位撮影システムの光学系構成図である。より詳細には、図１（ａ）は、全方位撮像システムを横から見た図である。また、図１（ｂ）は全方位撮像システムを斜め上から見た図である。

　図１において、カメラ１０４は、視点１０５から見た映像を撮影する。双曲面形状の主鏡１０１は、被写体からの光を反射する。主鏡１０１で反射された光は概平面鏡１０３で反射され、カメラ１０４により画像情報として映像化される。ただし、カメラ１０４の真下に位置する一部の領域では、カメラ１０４自身が概平面鏡１０３に映されるため、死角領域となる。

　双曲面形状の副鏡１０２は、被写体からの光を反射する。副鏡１０２は主鏡１０１を囲むように後述する配置条件に合わせて複数配置される。副鏡１０２で反射された光は概平面鏡１０３で反射され、カメラ１０４により映像化される。図２は、本発明の実施の形態１における主鏡及び副鏡の各焦点位置を示す図である。なお、この図２では概平面鏡による反射は省略している。より詳細には、図２（ａ）は主鏡の焦点位置を示す図であり、主鏡８０３ａの外側焦点８０１ａを原点とし、主鏡の中心軸をＺ軸に重ねた場合を示している。この場合、主鏡形状を表現する式は、

と表現される。また、主鏡８０３ａの内側焦点８０２ａの座標は（０，０，２ｃ_m）である。ここで、ａ_m，ｂ_m，ｃ_mは主鏡双曲面の係数である。

　主鏡の内、画像取得に有効な最大半径をｒ_mとし、これを主鏡有効半径８０４ａとする。また、主鏡上で主鏡有効半径８０４ａと一致する半径をもつ点の集合を主鏡有効エッジ（円形）とする。主鏡有効エッジとＸＺ平面との交点であって、Ｘ＞０の領域における主鏡有効エッジ上の点８０５ａの座標を（ｒ_m，０，ｚ_m）と表すとき、

となる。

　図２（ｂ）は副鏡の焦点位置を示す図である。副鏡８０３ｂの外側焦点８０１ｂを原点とし、副鏡の中心軸をＺ軸に重ねた場合を示している。この場合、副鏡形状を表現する式は、

と表現される。また、副鏡８０３ｂの内側焦点８０２ｂの座標は（０，０，２ｃ_s1）であり、副鏡頂点８０６の座標は、（０，０，ｃ_s1＋ａ_s1）である。ここで、ａ_s1，ｂ_s1，ｃ_s1は副鏡双曲面の係数である。

　副鏡の内、画像取得に有効な最大半径をｒ_s1とし、これを副鏡有効半径８０４ｂとする。また、副鏡上で副鏡有効半径８０４ｂと一致する半径をもつ点の集合を副鏡有効エッジ（円形）とする。副鏡有効エッジとＸＺ平面の交点であって、Ｘ＜０の領域における点である副鏡有効エッジ上の点８０５ｂの座標を（－ｒ_s1，０，ｚ_s1）と表すとき、

となる。

　図３は、本発明の実施の形態１における、主鏡と複数の副鏡の内の一つとの位置関係を示す図であり、主鏡及び副鏡の焦点を含む平面をＸＺ平面とした座標系で表現している。なお、この図３では概平面鏡による反射は省略している。双曲面鏡の性質として、被写体から双曲面鏡の内側焦点に向かって入射した光は外側焦点に向かって反射されるという単一視点性が知られている。主鏡と副鏡を組み合わせる際は、それぞれの外側焦点を一致させて、その位置にカメラの視点を置くことにより、主鏡も副鏡も単一視点性を保持することができる。

　図３において、主鏡・副鏡外側焦点９０１は主鏡９０３ａと副鏡９０３ｂとの共通の外側焦点であり、これをＸＺ平面の原点に置いている。主鏡９０３ａの中心軸はＺ軸に重ねており、副鏡９０３ｂの中心軸はＺ軸から副鏡傾斜角９０７だけ傾ける。

　この時、内側限界直線９１０は主鏡及び副鏡の外側焦点９０１と主鏡有効エッジ点９０５ａとを結んだ直線である。上記内側限界直線９１０と主鏡中心軸（Ｚ軸）とのなす角である内側限界角９０８をθ₁とし、副鏡頂点９０６（図２（ｂ）の８０６）の座標を（ｘ_T，０，ｚ_T）とする場合、

を満たせば、副鏡頂点９０６は内側限界直線９１０より外側に存在することになる。したがって、この副鏡９０３ｂによって下方向の被写体からの光が反射されて主鏡・副鏡外側焦点９０１に入射して結像することにより主鏡画像の死角領域の一部が副鏡画像によって補完可能となる。

　また、下側限界直線９０９は主鏡内側焦点９０２ａと主鏡有効エッジ点９０５ａとを結んだ直線である。上記下側限界直線９０９に関して、副鏡頂点９０６が、

を満たせば、副鏡頂点９０６が下側限界直線９０９の上方に位置することになる。したがって、副鏡が主鏡の有効視野を妨げることが無くなる。

　これら二つの条件により、図３におけるグレーの領域（網掛けを施した領域）に副鏡頂点９０６を配置すれば、主鏡の有効視野を減らすことなく副鏡を配置できる。また、副鏡によって主鏡の死角領域画像の一部を撮影することが可能となる。この副鏡を複数配置することによって主鏡の死角領域画像のすべてをカバーして撮影することが可能となる。

　図４は、本発明の実施の形態１における死角補完部の画像処理構成図である。

　図４において、撮像光学系２０１は図１に示した撮像光学系であり、カメラ２０２（図１のカメラ１０４に相当）において被写体の映像化が行われる。得られた全方位画像２１０は死角補完部２０５に入力される。死角補完部２０５は画像合成部２０３と合成パラメータ演算部２０４とからなり、全方位画像２１０を入力として死角補完画像を出力する。より詳細には、画像合成部２０３は、死角領域を補完するための画像であって、死角領域に対応する画像である補完合成画像を生成する。その後、画像合成部２０３は、死角補完部２０５に入力された全方位画像２１０の死角領域に対して、後述する補完処理を加えて位置及びサイズ合わせがなされた補完合成画像を重ねるように合成することにより、死角補完済みの全方位画像を死角補完画像として生成し、出力する。以後、説明を簡単にするため、死角補完部２０５が補完合成画像を生成した後に、画像上に死角領域をもつ画像へ補完合成画像を合成する処理をまとめて、「死角補完画像の生成」ともいう。

　補完処理を行うための合成パラメータは、光学系の構造や特性を表すキャリブレーションデータ及び整合を取るべき条件（例えば整合を取るべき高さあるいはカメラからの距離、カメラ視点位置など）を指定する合成指示情報から、合成パラメータ演算部２０４において演算される。合成パラメータ演算部２０４で演算された合成パラメータに従って画像合成部２０３において死角部分の補完合成処理が行われ、死角補完画像として出力される。

　合成パラメータは例えば主鏡領域の座標値とその点に対応する副鏡領域の座標値の組である。例えば、画像合成部２０３は、主鏡により反射された光がカメラ２０２により映像化されることにより生成された画像（主鏡画像ともいう）のうち、合成パラメータに含まれる複数の座標値によって特定される、主鏡画像の部分領域を特定する。この主鏡画像の部分領域は、死角領域の一部である。また、画像合成部２０３は、副鏡により反射された光がカメラ２０２により映像化されることにより生成された画像（以後、副鏡画像ともいう）のうち、主鏡画像の部分領域に対応する、副鏡画像における部分領域を合成パラメータに含まれる複数の座標値によって特定する。その後、画像合成部２０３は、合成パラメータに含まれる主鏡画像の部分領域と、これに対応する副鏡画像の部分領域とが一致するように、副鏡画像の部分領域を、拡大・縮小・回転させる。その後、画像合成部２０３は、副鏡画像の部分領域を、対応する主鏡画像の部分領域に重ね合わせる画像処理を行う。

　なお、代表点のみの組が合成パラメータに含まれていてもよい。この場合、画像合成部２０３又は合成パラメータ演算部２０４において、それら代表点によって構成される多角形内部を直線補間によって求めることにより補完処理を行うことも可能である。

　なお、本実施の形態に係る全方位撮影システムは、死角補完部２０５に加えて、実施の形態２において詳細に説明する測位部１２０８を備えてもよい。本実施の形態に係る全方位撮影システムは、測位部１２０８を備えなくとも、死角補完画像を生成することができるが、測位部１２０８を備えることで、死角補完画像の生成と並行して、被写体の測位ができるようになる。

　図５、図６は、図１に示した全方位撮影システムによって撮影された画像に対して加える補完処理例のイメージ図である。

　図５において、死角補完部２０５は、主鏡画像領域６００の死角領域６０１に対して、各副鏡画像領域６０２～６０５の一部を切り出して貼り付けることで、死角領域６０１の画像を補完する。具体的には、副鏡画像領域６０２の一部画像領域６０６を対応する死角領域６０１の一部６０６’に対応付ける。また、副鏡画像領域６０３の一部画像領域６０７を対応する死角領域６０１の一部６０７’に対応付ける。また、副鏡画像領域６０４の一部画像領域６０８を対応する死角領域６０１の一部６０８’に対応付ける。また、副鏡画像領域６０５の一部画像領域６０９を対応する死角領域６０１の一部６０９’に対応付ける。以上の対応付けにより、死角補完部２０５は、死角領域６０１の補完を行う。

　図６の補完処理例では、死角補完部２０５は、主鏡画像領域７００の死角領域７０１に対して、各副鏡画像領域７０２～７０５の内の７０２及び７０４の一部を切り出して貼り付けることで、死角領域７０１の画像を補完する。具体的には、副鏡画像領域７０２の一部画像領域７１１を対応する死角領域７０１の一部７１１’に対応付ける。また、副鏡画像領域７０４の一部画像領域７１２を対応する死角領域７０１の一部７１２’に対応付ける。以上の対応付けにより、死角補完部２０５は、死角領域７０１の補完を行う。

　なお、本実施の形態において、補完処理のイメージ図である図５及び図６においては、それぞれ約１／４及び約１／２の領域の貼り合せの例を示したが、補完処理方法はこれらに限られない。例えば、図６の例を垂直に２分割して、上下どちらか半分を副鏡画像領域７０３、７０５から合成するような組合せ等も種々考えられる。

　なお、上記では画像出力は全方位画像としたが、一部切り出し画像など別の形式での出力としてもよい。

　また、死角補完の合成画像の生成には、任意視点画像による補完方法も考えられる。複数の副鏡はその内の二つのペアでステレオを構成できるため、測位が可能である。任意視点画像の生成方法は、例えば、直線経路の全方位動画像から、新しい視点からの画像に必要な光線と同等の光線を選ぶことにより生成することができる。より詳細には、非特許文献１には、セグメンテーションベースのステレオ処理で中間の任意視点画像を生成する技術が示されている。この手法によれば、複数の視点（複数の副鏡の内側焦点）から撮影した画像から任意視点画像を生成することができる。したがって、任意視点からの補完が可能となるため、本実施の形態における主鏡の内側焦点に視点を置いた死角部分の画像を合成することができる。

　（実施の形態２）
　図７は、本発明の実施の形態２における測位部１２０８の画像処理構成図である。

　測位部１２０８は、撮像光学系１２０１により撮影された被写体を測位するための処理部である。

　図７において、撮像光学系１２０１は図１に示した撮像光学系である。カメラ１２０２において映像化が行われ、全方位画像１２１０が出力される。

　得られた全方位画像１２１０から、マッチング元画像生成部１２０３及びマッチング対象画像生成部１２０４が、マッチング画像情報（すなわち、マッチング元画像情報１２１２及びマッチング対象画像情報１２１１）に従って、画像マッチングに利用するための画像を生成する。マッチング元画像生成部１２０３及びマッチング対象画像生成部１２０４が生成する画像マッチングに利用するための画像を、それぞれ、マッチング元画像、及びマッチング対象画像とよぶ。上記マッチング画像情報は、与えられた被写体指定情報及びキャリブレーションデータに従って、後述するマッチング画像情報演算方法によりマッチング画像情報演算部１２０５が生成する。

　画像マッチング部１２０６はマッチング対象画像に含まれる領域のなかから、マッチング元画像と最も一致度の高い領域を探索して、そのマッチング対象画像内の領域を特定するための座標を出力する。

　測位演算部１２０７は、マッチング画像情報演算部１２０５の出力するマッチング対象画像情報１２１１を参照して、画像マッチング部１２０６が出力するマッチング対象画像内の座標に対する逆変換を行う。この逆変換により、測位演算部１２０７は、全方位画像１２１０内の点の座標であって、マッチング対象画像内の点に対応する点の座標である対応点座標を求める。

　同様に、測位演算部１２０７は、マッチング画像情報演算部１２０５の出力するマッチング元画像情報１２１２を参照して画像マッチング部１２０６が出力するマッチング元画像内の座標に対する逆変換を行う。この逆変換により、測位演算部１２０７は、全方位画像１２１０内の点の座標であって、マッチング元画像内の点に対応する点の座標であるマッチング元座標を求める。測位演算部１２０７は、これら２つの座標（マッチング元座標、対応点座標）から、キャリブレーションデータに従って、後述する測位演算方法により概平面鏡、主鏡、及び副鏡での反射計算を行うことにより、被写体に向かう２本のベクトルを演算する。測位演算部１２０７は、この２本のベクトルにより三角測量の原理で被写体の３次元位置を特定し、測位結果として出力する。測位演算部１２０７の詳細は後述する。

　なお、本実施の形態に係る全方位撮影システムは、測位部１２０８に加えて、実施の形態１に係る死角補完部２０５を備えてもよい。本実施の形態に係る全方位撮影システムは、死角補完部２０５を備えなくとも、被写体を測位することができるが、死角補完部２０５を備えることで、被写体の測位と並行して死角補完画像の出力ができるようになる。

　次に、マッチング画像情報演算部１２０５でのマッチング画像情報演算方法について図８を参照して説明する。図８は、本発明の実施の形態１における測位ベクトル演算を説明するための概念図である。図８において、主鏡１３０１、副鏡１３０２、概平面鏡１３０３及び視点１３０５は、図１に示した主鏡１０１、副鏡１０２、概平面鏡１０３及び視点１０５とそれぞれ同一であり、説明は省略する。以後、例として主鏡上で被写体指定点が与えられる場合を説明する。

　ここで、カメラに取り付けたレンズの入射瞳位置であるカメラの視点１３０５、及び撮像面１３０６に対して、上記撮像面１３０６で撮影された画像上で被写体指定点１３０７の全方位画像内座標が被写体指定情報として与えられるとする。

　上記被写体指定点１３０７と視点１３０５とを結ぶ線上を被写体からの光が入射しているので、その延長線と概平面鏡１３０３との交点として概平面鏡上中間点ア１３０８が求まる。この概平面鏡上中間点ア１３０８で反射した光線上を被写体からの光が入射しているので、反射計算により直線を求め、上記直線と主鏡との交点として主鏡上中間点１３０９が求まる。主鏡での反射は単一視点性により、主鏡上中間点１３０９と主鏡内側焦点１３１０とを結ぶ直線となるので、その直線上に被写体１３１１が存在することになる。

　ここで、求められた主鏡内側焦点１３１０と主鏡上中間点１３０９とを結ぶ直線に平行で、副鏡内側焦点１３１２を通る直線を考えると、この直線は、被写体が無限遠に存在する場合の副鏡への入射光のベクトルとなる。この無限遠からの入射光に対応する直線と副鏡１３０２との交点として副鏡中間点ア１３１３が求まる。この副鏡中間点ア１３１３での反射は単一視点性により副鏡１３０２の外側焦点に向かう直線として求められる。上記副鏡１３０２での反射直線と概平面鏡１３０３との交点として、概平面鏡上中間点イ１３１４が求まる。この概平面鏡上中間点イ１３１４で反射された光は、副鏡１３０２の外側焦点を概平面鏡１３０３で反射させた点と一致しているカメラの視点１３０５を通り、撮像面１３０６に入る。したがって、この概平面鏡上中間点イ１３１４で反射された光と、撮像面１３０６との交点として無限遠点撮像点１３１５が求まる。

　一般に、ステレオ画像を構成する二つの視点と被写体とを含む面はエピポーラ面と呼ばれる。ここでは、主鏡内側焦点１３１０と副鏡内側焦点１３１２と主鏡上中間点１３０９とがエピポーラ面上に存在する。エピポーラ面の法線ベクトルがマッチング用の画像の生成に必要となるが、これは主鏡内側焦点１３１０から主鏡上中間点１３０９へのベクトルと主鏡内側焦点１３１０から副鏡内側焦点１３１２へのベクトルとの外積により求められる。上記エピポーラ面の法線ベクトルと、上記無限遠点撮像点１３１５の画像座標と、主鏡対副鏡の画像縮尺比（主鏡及び副鏡の全方位画像１２１０上での撮像半径比で概算できる）等とが図７のマッチング対象画像情報１２１１として、マッチング対象画像生成部１２０４に出力される。また、上記エピポーラ面の法線ベクトルと、被写体指定点１３０７の画像座標等とが図７のマッチング元画像情報１２１２として、マッチング元画像生成部１２０３に出力される。

　次に測位演算部１２０７における測位演算方法について図８を参照して説明する。被写体指定点１３０７に対して、画像マッチングにより求められたマッチング対象画像内座標を全方位画像１２１０内に戻した（逆変換した）点である対応点が、図８における全方位画像内対応点１３１６である。

　上記全方位画像内の対応点１３１６とカメラの視点１３０５とを結ぶ線上を被写体からの光が入射しているので、その延長線と概平面鏡１３０３との交点として概平面鏡上中間点ウ１３１７が求まる。この概平面鏡上中間点ウ１３１７で反射した光線上を被写体からの光が入射しているので、反射計算により直線を求め、上記直線と副鏡との交点として副鏡上中間点イ１３１８が求まる。副鏡での反射は単一視点性により、副鏡上中間点イ１３１８と副鏡内側焦点１３１２とを結ぶ直線となるので、その直線上に被写体１３１１が存在することになる。被写体１３１１は前述のように、主鏡内側焦点１３１０と主鏡上中間点１３０９とを結ぶ直線上にも存在するので、被写体１３１１を通るこれら２本の直線の交点として被写体１３１１の３次元座標が求められる。

　なお、上記測位部１２０８の処理は、主鏡上で被写体指定点が与えられる場合を説明したが、一つの副鏡上で被写体指定点が与えられる場合にも、その副鏡ともう一つの副鏡との間で同様の処理によって測位を行うことができる。

　さらに、本実施の形態に係る全方位撮影システムと、実施の形態１に係る死角補完部２０５と組み合わせることで、広視野角を維持しつつ、死角補完を行った全方位画像領域について測位が可能なシステムを実現することができる。この場合、死角補完を行った領域については、死角補完領域内で被写体指定点が与えられることになる。指定された被写体指定点は死角補完処理の逆演算によって、対応する副鏡上被写体指定点に対応付けられる。したがって、副鏡対副鏡の測位処理によって死角補完領域内で被写体指定点が与えられた場合にも測位が可能である。

　（実施の形態３）
　図９は、本発明の実施の形態３における全方位撮影システムの光学系概略構成図である。図９は、平面図と正面図とをそれぞれ上下に対応付けて示している。なお、本発明の実施の形態１における図１と同じ構成要素については数字の下２桁に同じ番号を付け、説明を省略する。

　図９において、副鏡１００２は平面図において主鏡１００１と重ならないように配置されている。このような配置とすることで、副鏡で反射される被写体の範囲が広がり、死角補完の自由度が広がる。

　図１０は、本発明の実施の形態３における、主鏡と複数の副鏡の内の一つについての位置関係を示す図であり、図３と同様に、主鏡及び副鏡の焦点を含む平面をＸＺ平面とした座標系で表現している。なお、この図１０では概平面鏡による反射は省略している。本発明の実施の形態１における図３と同じ構成要素については数字の下２桁に同じ番号を用い、説明を省略する。

　図１０において、副鏡傾斜角１１０７は図３の副鏡傾斜角９０７に比べて大きくとっており、副鏡全体で反射された全方位画像が、カメラにより撮像される。これにより後述のように死角補完の自由度が広がる。このように副鏡傾斜角１１０７を大きくしていくと副鏡で撮影できる範囲が広がるが、撮影画像としては、副鏡を画像内に収めるために相対的に主鏡の撮像サイズが小さくなってしまう。その結果、有効な画像が映っていない領域面積が大きくなることになる。そのため、外側参考角１１１２だけ傾けた外側参考直線１１１１のような限界を設定して、副鏡頂点１１０６の位置をそれまでの範囲で設計するのが実用的だと考えられる。本実施の形態においては、この外側参考角１１１２の目安を決定するに当たって、副鏡の見込み角である副鏡角１１１４を導入する。図１０において副鏡内側焦点１１０２ｂと主鏡・副鏡外側焦点１１０１とを結ぶ直線と、副鏡有効エッジ点１１０５ｂと主鏡・副鏡外側焦点１１０１とを結ぶ直線のなす角である副鏡角１１１４をθ₂とする。

　上記外側参考直線１１１１と主鏡中心軸（Ｚ軸）とのなす角である外側参考角１１１２をθ₃とし、内側限界角１１０８をθ₁とした時、θ₃＝θ₁＋ｋθ₂とすると、副鏡頂点１１０６の座標を（ｘ_T，０，ｚ_T）として、

を満たせば、副鏡頂点１１０６は外側参考直線１１１１より内側に存在することになり実用的な範囲に抑えることができる。上記係数ｋの範囲としては、０以上２～３以下が望ましい。

　図１１、図１２、図１３は、図９で示した本発明の実施の形態３における全方位撮影システムによって撮影された画像に対して加える補完処理例のイメージ図である。なお、本実施の形態に係る全方位撮影システムは、死角補完部２０５を備える。

　図１１においては、本発明の実施の形態１における図５と同様に、死角補完部２０５は、主鏡画像領域１４００の死角領域１４０１に対して、各副鏡画像領域１４０２～１４０５の一部を切り出して貼り付けることで、死角領域１４０１の画像を補完する。具体的には、死角補完部２０５は、副鏡画像領域１４０２の一部画像領域１４０６を対応する死角領域１４０１の一部１４０６’に対応付ける。また、副鏡画像領域１４０３の一部画像領域１４０７を対応する死角領域１４０１の一部１４０７’に対応付ける。また、副鏡画像領域１４０４の一部画像領域１４０８を対応する死角領域１４０１の一部１４０８’に対応付ける。また、副鏡画像領域１４０５の一部画像領域１４０９を対応する死角領域１４０１の一部１４０９’に対応付ける。死角補完部２０５は、こうした対応付けを行うことで、死角領域１４０１の補完を行う。

　図１２においては、本発明の実施の形態１における図６の補完処理例と同様に、死角補完部２０５は、主鏡画像領域１５００の死角領域１５０１に対して、各副鏡画像領域１５０２～１５０５の内の１５０２及び１５０４の一部を切り出して貼り付けることで、死角領域１５０１の画像を補完する。具体的には、死角補完部２０５は、副鏡画像領域１５０２の一部画像領域１５１１を対応する死角領域１５０１の一部１５１１’に対応付ける。また、副鏡画像領域１５０４の一部画像領域１５１２を対応する死角領域１５０１の一部１５１２’に対応付ける。死角補完部２０５は、こうした対応付けを行うことで、死角領域１５０１の補完を行う。

　図１３は、副鏡の主鏡に近い内側部分の画像を用いても死角補完が可能である例を示している。死角補完部２０５は、主鏡画像領域１６００の死角領域１６０１に対して、各副鏡画像領域１６０２～１６０５の一部を切り出して貼り付けることで、死角領域１６０１の画像を補完する。図１３は図１１と似ているが、死角領域１６０１と副鏡の対応付けが異なっている。具体的には、死角補完部２０５は、副鏡画像領域１６０２の一部画像領域１６０６を対応する死角領域１６０１の一部１６０６’に対応付ける。また、副鏡画像領域１６０３の一部画像領域１６０７を対応する死角領域１６０１の一部１６０７’に対応付ける。また、副鏡画像領域１６０４の一部画像領域１６０８を対応する死角領域１６０１の一部１６０８’に対応付ける。また、副鏡画像領域１６０５の一部画像領域１６０９を対応する死角領域１６０１の一部１６０９’に対応付ける。死角補完部２０５は、こうした対応付けを行うことで、死角領域１６０１の補完を行う。

　（実施の形態４）
　図１４は、本発明の実施の形態４における全方位撮影システムの光学系概略構成図である。図１４は、平面図と正面図とを上下に対応付けてそれぞれ示している。なお、本発明の実施の形態１における図１と同じ構成要素については数字の下２桁に同じ番号を用い、説明を省略する。

　図１４において、副鏡１７０２は６個あり、いずれも平面図において主鏡に重ならないように配置されている。このような配置とすることで、副鏡で反射される被写体の範囲が広がり、死角補完の自由度が広がる。

　図１５、図１６、図１７は、図１４で示した本発明の実施の形態４における全方位撮影システムによって撮影された画像に対して加える補完処理例のイメージ図である。なお、本実施の形態に係る全方位撮影システムは、死角補完部２０５を備える。

　図１５においては、本発明の実施の形態１における図５と同様に、死角補完部２０５は、主鏡画像領域１８００の死角領域１８０１に対して、各副鏡画像領域１８０２～１８０７の一部を切り出して貼り付けることで、死角領域１８０１の画像を補完する。具体的には、死角補完部２０５は、副鏡画像領域１８０２の一部画像領域１８０８を対応する死角領域１８０１の一部１８０８’に対応付ける。また、副鏡画像領域１８０３の一部画像領域１８０９を対応する死角領域１８０１の一部１８０９’に対応付ける。また、副鏡画像領域１８０４の一部画像領域１８１０を対応する死角領域１８０１の一部１８１０’に対応付ける。また、副鏡画像領域１８０５の一部画像領域１８１１を対応する死角領域１８０１の一部１８１１’に対応付ける。また、副鏡画像領域１８０６の一部画像領域１８１２を対応する死角領域１８０１の一部１８１２’に対応付ける。また、副鏡画像領域１８０７の一部画像領域１８１３を対応する死角領域１８０１の一部１８１３’に対応付ける。死角補完部２０５は、こうした対応付けを行うことで、死角領域１８０１の補完を行う。

　図１６においては、６個の副鏡の内の３個を利用する補完処理を示している。死角補完部２０５は、主鏡画像領域１９００の死角領域１９０１に対して、各副鏡画像領域１９０２～１９０７の内の１９０３、１９０５及び１９０７の一部を切り出して貼り付けることで、死角領域１９０１の画像を補完する。具体的には、死角補完部２０５は、副鏡画像領域１９０３の一部画像領域１９０９を対応する死角領域１９０１の一部１９０９’に対応付ける。また、副鏡画像領域１９０５の一部画像領域１９１１を対応する死角領域１９０１の一部１９１１’に対応付ける。また、副鏡画像領域１９０７の一部画像領域１９１３を対応する死角領域１９０１の一部１９１３’に対応付けること。死角補完部２０５は、こうした対応付けを行うことで、死角領域１９０１の補完を行う。

　図１７においては、副鏡の主鏡に近い内側部分の画像を用いても死角補完が可能である例を示している。死角補完部２０５は、主鏡画像領域２０００の死角領域２００１に対して、各副鏡画像領域２００２～２００７の一部を切り出して貼り付けることで、死角領域２００１の画像を補完する。図１７は図１５と似ているが、死角領域２００１と副鏡の対応付けが異なっている。具体的には、死角補完部２０５は、副鏡画像領域２００２の一部画像領域２００８を対応する死角領域２００１の一部２００８’に対応付ける。また、副鏡画像領域２００３の一部画像領域２００９を対応する死角領域２００１の一部２００９’に対応付ける。また、副鏡画像領域２００４の一部画像領域２０１０を対応する死角領域２００１の一部２０１０’に対応付ける。また、副鏡画像領域２００５の一部画像領域２０１１を対応する死角領域２００１の一部２０１１’に対応付ける。また、副鏡画像領域２００６の一部画像領域２０１２を対応する死角領域２００１の一部２０１２’に対応付ける。また、副鏡画像領域２００７の一部画像領域２０１３を対応する死角領域２００１の一部２０１３’に対応付ける。死角補完部２０５は、こうした対応付けを行うことで、死角領域２００１の補完を行う。

　（実施の形態５）
　図１８は、本発明の実施の形態５における全方位撮影システムの光学系構成図である。

　図１８において、カメラ２１０４は、複数の双曲面鏡２１０２で反射され、さらに概平面鏡２１０３で反射された全方位映像を撮影する。図１で示した本発明の実施の形態１や図９で示した本発明の実施の形態３に対して、本実施の形態５における光学系構成は、主鏡の死角部分が大きくなり主鏡全体を覆ってしまった状況に相当する。主鏡全体が死角となるので主鏡自体が不要となる。複数の双曲面鏡（副鏡に相当）の中心軸を、双曲面鏡の頂点が互いに向きあう方向である内側に傾けることによって、複数の双曲面鏡それぞれの双曲面の外側焦点を一致させている。その複数の双曲面鏡の外側焦点の位置、又は外側焦点を概平面鏡で反射された位置（すなわち、概平面鏡について外側焦点と対称な位置）にカメラの視点を置くのは、本発明の実施の形態１と同様である。

　図１９は、本発明の実施の形態５における全方位撮影システムによる撮影画像のイメージ図である。

　図１９において、撮影画像２２０１の中央にカメラ自身の画像２２０６が撮影されており、各双曲面鏡で反射された画像が双曲面鏡画像領域２２０２～２２０５として撮影されている。

　次に、図２０は、図１８で示した本発明の実施の形態５における全方位撮影システムによって撮影された画像に対して加える補完処理例のイメージ図である。

　図２０において、主鏡画像領域がすべて死角領域であるため、図２０（ａ）に示す撮影画像内に主鏡画像領域が存在しない。そこで、別途図２０（ｂ）に示す死角補完画像２３１１を生成し死角補完した全方位画像を生成する。各双曲面鏡は相互に他の双曲面の反射画像が映り込んでいるため一部に死角領域が存在する。死角補完部２０５は、これらの死角領域を除いて死角のない死角補完画像２３１１を得るため、撮影画像２３０１内の各双曲面鏡画像領域２３０２～２３０５の一部を切り出して貼り付けることで、死角補完画像２３１１を生成する。

　具体的には、死角補完部２０５は、双曲面鏡画像領域２３０２の一部画像領域２３０７を対応する死角補完画像２３１１の一部２３０７’に対応付ける。また、双曲面鏡画像領域２３０３の一部画像領域２３０８を対応する死角補完画像２３１１の一部２３０８’に対応付ける。また、双曲面鏡画像領域２３０４の一部画像領域２３０９を対応する死角補完画像２３１１の一部２３０９’に対応付ける。また、双曲面鏡画像領域２３０５の一部画像領域２３１０を対応する死角補完画像２３１１の一部２３１０’に対応付ける。死角補完部２０５は、こうした対応付けを行うことで、死角補完画像２３１１の合成を行う。

　これらの処理は、本発明の実施の形態１における図４の死角補完部の画像処理構成図の構成で処理することができる。ただし、図４の説明における合成パラメータに関しては、主鏡領域が存在しないため、合成パラメータは例えば死角補完画像２３１１上の座標値とその点に対応する撮影画像２３０１内の座標値の組となる。

　なお、図２０に示した合成のイメージは各双曲面鏡から１／４の領域を合成に利用しているが、本実施の形態５では、各双曲面鏡間での重なりが多いため、例えば、１／２、又は１／３など、これ以外にも種々の合成のための領域選択方法が考えられる。

　（実施の形態６）
　図２１は、本発明の実施の形態６における全方位撮影システムの撮像系構成外観図である。図２１において、４本の魚眼レンズ２４０１～２４０４と組み合わされた４台のカメラ２４１１～２４１４である４台の全方位撮影装置を用いて、それぞれの全方位撮影装置毎に全方位画像を撮影する。図２２は、本発明の実施の形態６における全方位撮影システムの撮影画像イメージ図である。すなわち、本実施の形態に係る全方位撮影システムによって撮影される映像は、図２２に示したように映像化され、具体的には、図２１の魚眼レンズ２４０１とカメラ２４１１とで撮影した映像は、撮影画像２５０１内に全方位画像領域２５１１として撮像される。また、図２１の魚眼レンズ２４０２とカメラ２４１２とで撮影した映像は、撮影画像２５０２内に全方位画像領域２５１２として撮像される。また、図２１の魚眼レンズ２４０３とカメラ２４１３とで撮影した撮影は、画像２５０３内に全方位画像領域２５１３として撮像される。また、図２１の魚眼レンズ２４０４とカメラ２４１４とで撮影した映像は、撮影画像２５０４内に全方位画像領域２５１４として撮像される。これらの全方位画像領域２５１１～２５１４には、それぞれ撮影した魚眼レンズ以外の３個の魚眼レンズが写り込んでおり、全方位画像内の死角となっている。この死角部分は写り込んでいる魚眼レンズにおいて撮影されているため、これら４台の魚眼レンズとカメラの組で撮影された撮影画像２５０１～２５０４の画像から死角のない部分を合成することにより、一つの死角領域のない画像である補完合成画像を生成することができる。

　なお、本実施の形態における死角領域のない画像とは、画像上に画像情報が欠けた死角領域が含まれていない画像のこという。

　図２３は、本発明の実施の形態６における死角補完部の画像処理構成図である。

　図２３は、本発明の実施の形態１の図４における撮像光学系、及びカメラが４台になったものであり、英文字ａ～ｄを除いた符号の下２桁が図４と同じものがそれぞれ対応している。４台の撮像光学系、及びカメラは符号にａ～ｄを付けて表現している。

　図４においては、一つの全方位画像２１０に、主鏡及び複数の副鏡による全方位画像が含まれていたが、本図２３ではそれぞれの全方位撮影装置（すなわち、撮像光学系（魚眼レンズ）、及びカメラ）による全方位画像２６１０ａ～２６１０ｄが得られ、画像合成部２６０３に入力される。画像合成部２６０３において後述する補完処理を加えて、死角補完画像を出力する。死角補完部２６０５は画像合成部２６０３と合成パラメータ演算部２６０４とからなり、カメラ画像を入力として死角補完画像を出力する。

　補完処理を行うための合成パラメータは、光学系の構造や特性を表すキャリブレーションデータ及び整合を取るべき条件（例えば整合を取るべき高さあるいはカメラからの距離、カメラ視点位置など）を指定する合成指示情報から合成パラメータ演算部２６０４において演算される。合成パラメータ演算部２６０４で演算された合成パラメータに従って画像合成部２０３において死角部分の補完合成処理が行われ、死角補完画像として出力される。合成パラメータは例えば死角補完画像上の座標値とその点に対応する全方位画像の番号及びその全方位画像内の座標値との組である。代表点のみの組を合成パラメータとして、画像合成部２６０３又は合成パラメータ演算部２６０４において、それらによって構成される多角形内部を直線補間によって求めて補完処理を行うことも可能であることは、実施の形態１における全方位撮影システムと同様である。また、画像合成部２６０３においては、死角補完画像の合成に先立ち、合成画質を高めるために各全方位画像２６１０ａ～２６１０ｄに対して全体輝度の平均を調整するなどの画像処理を加えることも考えられる。

　次に、図２４は、図２１で示した本発明の実施の形態６における全方位撮影システムによって撮影された画像に対して加える補完処理例のイメージ図である。

　図２４（ａ）に示す撮影画像は、本発明の実施の形態５の図２０（ａ）に示す撮影画像が４分割されたものと同様のものと考えられ、本発明の実施の形態５の場合と同様に、別途図２４（ｂ）に示す死角補完画像２７３１を合成する。各全方位画像には相互に他の魚眼カメラ自身が映り込んでいるため一部に死角領域が存在する。これらの死角領域を除いて死角のない死角補完画像２７３１を得るため、死角補完部２６０５は、撮影画像２７０１～２７０４内の各全方位画像領域２７１１～２７１４の一部を切り出して貼り付けることで、死角補完画像２７３１を生成する。

　具体的には、死角補完部２６０５は、全方位画像領域２７１１の一部画像領域２７２１を対応する死角補完画像２７３１の一部２７２１’に対応付ける。また、全方位画像領域２７１２の一部画像領域２７２２を対応する死角補完画像２７３１の一部２７２２’に対応付ける。また、全方位画像領域２７１３の一部画像領域２７２３を対応する死角補完画像２７３１の一部２７２３’に対応付ける。また、全方位画像領域２７１４の一部画像領域２７２４を対応する死角補完画像２７３１の一部２７２４’に対応付ける。死角補完部２６０５は、こうした対応付けを行うことで、死角補完画像２７３１の合成を行う。

　なお、図２４に示した合成のイメージは各魚眼カメラ画像から１／４の領域を合成に利用しているが、本実施の形態６では、各魚眼カメラ画像間での重なりが多いため、これ以外にも種々の合成のための領域選択方法が考えられる。例えば、各全方位画像領域２７１１～２７１４の内の一つを選んで、その死角領域のみをその他の全方位画像領域から合成することも可能である。

　次に、図２５を用いて魚眼カメラの撮影特性について説明する。非特許文献２に記載されているように、魚眼カメラの投影方式にはいくつかの種類があるが、よく使われるのは、等距離射影（ｆθ方式とも呼ばれる）である。図２５は、等距離射影の入射光の角度と撮影画像内の撮像点の関係を示すイメージ図である。図２５において、魚眼レンズ２９０１、魚眼レンズ２９０１の仮想視点２９０２、仮想視点２９０２を中心とする仮想球面２９０３、種々の角度からの入射光２９０４～２９０６、撮影画像２９０７、入射光２９０４～２９０６に対応する射影点２９０８～２９１０を示している。魚眼レンズ２９０１の仮想視点２９０２を中心に仮想球面２９０３を想定する。この球面の外側から仮想視点２９０２に向かって入射した光は魚眼レンズ２９０１によって射影され、光軸正面から入射した入射光２９０４は光軸とのなす角が０度であり、撮影画像２９０７の中心の射影点２９０８に射影される。また、光軸とのなす角が９０度の方向から入射した入射光２９０５は撮影画像２９０７の中心の射影点２９０８から一定距離だけ離れた射影点２９０９に射影される。この二つの入射光の中間の角度で入射した光は、撮影画像２９０７上で入射角に比例した位置に射影される。例えば光軸とのなす角が４５度の方向から入射した入射光２９０６は、射影点２９０８と射影点２９０９の中点となる射影点２９１０に射影される。なお、上記の説明では仮想視点２９０２は一点として説明したが、より正確には、入射角度によって光軸上を微小距離移動する。

　図２６は、本発明の実施の形態６における測位部２８０８の画像処理構成図である。

　図２６は、本発明の実施の形態１の図７における撮像光学系、及びカメラが４台になったものであり、英文字ａ～ｄを除いた符号の下２桁が図７と同じものがそれぞれ対応している。４台の撮像光学系、及びカメラは符号にａ～ｄを付けて表現している。

　図７においては、一つの全方位画像１２１０に、主鏡及び複数の副鏡による全方位画像が含まれていたが、本図２６ではそれぞれの全方位撮影装置（すなわち、撮像光学系（魚眼レンズ）、及びカメラ）による全方位画像２８１０ａ～２８１０ｄが得られ、マッチング元画像生成部２８０３及びマッチング対象画像生成部２８０４に入力される。得られた全方位画像２８１０ａ～２８１０ｄから、マッチング元画像生成部２８０３及びマッチング対象画像生成部２８０４が、マッチング画像情報（マッチング元画像情報２８１２及びマッチング対象画像情報２８１１）に従って、画像マッチングに利用する画像に加工する。上記マッチング画像情報は、マッチング画像情報演算部２８０５が、後述するマッチング画像情報演算方法により、与えられた被写体指定情報及びキャリブレーションデータ（各魚眼カメラの３次元位置や向きを含む）に従って演算する。

　画像マッチング部２８０６はマッチング対象画像に対してマッチング元画像と最も一致度の高い部分を探索してそのマッチング対象画像内の座標を求めて出力する。測位演算部２８０７は、マッチング画像情報演算部２８０５の出力するマッチング対象画像情報２８１１を利用して、画像マッチング部２８０６が出力するマッチング対象画像内座標に対する逆変換を行うことにより、全方位画像２８１０ａ～２８１０ｄ内の対応点座標を求める。また、測位演算部２８０７は、実施の形態２と同様に、マッチング元画像情報２８１２よりマッチング元座標を得る。測位演算部２８０７は、これら２つの座標（マッチング元座標、対応点座標）から、キャリブレーションデータに従って、後述する測位演算方法により、被写体に向かう２本のベクトルを演算する。測位演算部２８０７は、この２本のベクトルにより三角測量の原理で被写体の３次元位置を特定し、測位結果として出力する。

　次に、マッチング画像情報演算部２８０５でのマッチング画像情報演算方法について図２７を参照して説明する。図２７は、本発明の実施の形態６における測位ベクトル演算を説明するための概念図である。

　図２７において、複数の魚眼レンズの内の２個の魚眼レンズ３００１ａ及び３００１ｂ、魚眼レンズ３００１ａ及び３００１ｂのそれぞれの仮想視点３００２ａ及び３００２ｂ、図２５で説明した仮想球面３００３ａ及び３００３ｂを示している。また、魚眼レンズ３００１ａ及び３００１ｂによる撮影画像３００４ａ及び３００４ｂ、被写体指定点３００５、無限遠点撮像点３００６、仮想球面上交点３００７、全方位画像内対応点３００８、被写体３０１０を示している。

　魚眼レンズ３００１ａの撮影画像３００４ａにおいて被写体指定点３００５が与えられる場合を説明する。

　ここでは、魚眼レンズの３次元座標系（Ｘ，Ｙ，Ｚ）を、レンズの光軸方向をＺ軸にとり、光軸に垂直な平面上にＸ，Ｙ軸をとり、撮影画像の画像座標系（ｘ、ｙ）のｘ，ｙ軸と魚眼レンズの３次元座標系のＸ，Ｙ軸とを平行にとる。この時、被写体指定点３００５の画像座標（ｘ_t，ｙ_t）から、基準方向（例えばｘ軸方向）に対する方向角θは、

で求められる。

　また、図２５より、撮影画像３００４ａの中心から被写体指定点３００５の画像座標（ｘ_t，ｙ_t）までの距離は

により求められる。したがって、光軸からの傾き角度φを求めることができる。このθ、φと仮想視点３００２ａにより、被写体３０１０を通るベクトルが決定される。魚眼レンズ３００１ｂにおける無限遠点撮像点３００６はθ、φの一致する撮影画像３００４ｂ上の点であるが、同じ特性をもつ魚眼レンズを、向きを合わせて配置した場合には、被写体指定点３００５の座標と一致するので、無限遠点撮像点３００６の画像座標も（ｘ_t，ｙ_t）となる。エピポーラ面は仮想視点３００２ａと仮想視点３００２ｂと被写体３０１０とを含む面である。被写体３０１０の３次元座標はまだ計算できていないので、仮想視点３００２ａと被写体３０１０を結ぶ直線上の任意の点、例えば仮想球面との交点である仮想球面上交点３００７を含む面と考えることができる。

　エピポーラ面の法線ベクトルがマッチング用の画像の生成に必要となるが、これは仮想視点３００２ａから仮想球面上交点３００７へのベクトルと仮想視点３００２ａから仮想視点３００２ｂへのベクトルとの外積により求められる。

　上記エピポーラ面の法線ベクトルと、上記無限遠点撮像点３００６の画像座標とその魚眼カメラ番号等とが図２６のマッチング対象画像情報２８１１として、マッチング対象画像生成部２８０４に出力される。また、上記エピポーラ面の法線ベクトルと、被写体指定点３００５の画像座標等とが図２６のマッチング元画像情報２８１２として、マッチング元画像生成部２８０３に出力される。

　次に測位演算部２８０７における測位演算方法について図２７を参照して説明する。被写体指定点３００５に対して、画像マッチングにより求められたマッチング対象画像内座標を、全方位を撮影した撮影画像３００４ｂ内に戻した対応点が図２７における全方位画像内対応点３００８である。上記全方位画像内対応点３００８の画像座標から入射光の方向が決定でき、仮想視点３００２ｂを通り上記方向の直線上に被写体３０１０が存在する。前述のように、仮想視点３００２ａと仮想球面上交点３００７を結ぶ直線上に被写体３０１０が存在するので、測位演算部２８０７は、これら２本の被写体３０１０を通る直線の交点として被写体３０１０の３次元座標を求めることができる。

　なお、実施の形態１～６で説明した全方位撮影システムが備える死角補完部及び測位部等は、コンピュータにより実現することも可能である。図２８は、全方位撮影システムが備える死角補完部及び測位部等を実現するコンピュータシステムのハードウェア構成を示すブロック図である。

　全方位撮影システムが供える死角補完部及び測位部等は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６及びマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）装置４０及び通信モデム（図示せず）とを含む。

　全方位撮影システムが供える死角補完部及び測位部等が行う処理であるプログラムは、コンピュータで読取可能な媒体であるＣＤ－ＲＯＭ４２に記憶され、ＣＤ－ＲＯＭ装置４０で読み取られる。又は、コンピュータネットワークを通じて通信モデム５２で読み取られる。

　コンピュータ３４は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４４と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）４６と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。

　ＣＰＵ４４は、ＣＤ－ＲＯＭ装置４０又は通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメータなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８及びＣＤ－ＲＯＭ装置４０を相互に接続する。

　さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

　さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

　また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。また、コンピュータプログラムからなるデジタル信号であるとしてもよい。

　さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

　また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

　また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

　さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

　本発明に係る全方位撮影システムは、高視野角を確保しつつ死角領域を無くした映像の取得と測位を可能とすることができるため、監視用途向け全方位カメラ等として有用である。また人物動線検出等の用途にも応用できる。

　　３２　ディスプレイ
　　３４　コンピュータ
　　３６　キーボード
　　３８　マウス
　　４０　ＣＤ－ＲＯＭ装置
　　４２　ＣＤ－ＲＯＭ
　　４４　ＣＰＵ
　　４６　ＲＯＭ
　　４８　ＲＡＭ
　　５０　ハードディスク
　　５２　通信モデム
　　５４　バス
　　１０１、３０１、８０３ａ、９０３ａ、１００１、１３０１、１７０１　　主鏡
　　１０２、３０２、８０３ｂ、９０３ｂ、１００２、１３０２、１７０２　　副鏡
　　１０３、１００３、１３０３、１７０３、２１０３　　概平面鏡
　　１０４、２０２、５１０、１００４、１２０２、１７０４、２１０４、２４１１～２４１４、２６０２ａ～２６０２ｄ、２８０２ａ～２８０２ｄ　　カメラ
　　１０５、１３０５　　視点
　　２０１、１２０１、２６０１ａ～２６０１ｄ、２８０１ａ～２８０１ｄ　　撮像光学系
　　２０３、２６０３　　画像合成部
　　２０４、２６０４　　合成パラメータ演算部
　　２０５、２６０５　　死角補完部
　　２１０、１２１０、２６１０ａ～２６１０ｄ、２８１０ａ～２８１０ｄ　　全方位画像
　　３０３　　受光レンズ系
　　３０４　　撮像面
　　３０５　　透明管
　　４０１　　全方位ミラー
　　４０２ａ　半球面鏡
　　４０２ｂ　球面鏡
　　４０３　　撮像装置
　　５１２　　レンズ光学系
　　５１４　　撮像素子
　　６００、７００、１４００、１５００、１６００、１８００、１９００、２０００　　主鏡画像領域
　　６０１、７０１　　死角領域
　　６０２～６０５、７０２～７０５、１４０２～１４０５、１５０２～１５０５、１６０２～１６０５、１８０２～１８０７、１９０２～１９０７、２００２～２００７　　副鏡画像領域
　　６０６　　副鏡画像領域６０２の一部画像領域
　　６０６’　死角領域６０１の一部（一部画像領域６０６に対応）
　　６０７　　副鏡画像領域６０３の一部画像領域
　　６０７’　死角領域６０１の一部（一部画像領域６０７に対応）
　　６０８　　副鏡画像領域６０４の一部画像領域
　　６０８’　死角領域６０１の一部（一部画像領域６０８に対応）
　　６０９　　副鏡画像領域６０５の一部画像領域
　　６０９’　死角領域６０１の一部（一部画像領域６０９に対応）
　　７１１　　副鏡画像領域７０２の一部画像領域
　　７１１’　死角領域７０１の一部（一部画像領域７１１に対応）
　　７１２　　副鏡画像領域７０４の一部画像領域
　　７１２’　死角領域７０１の一部（一部画像領域７１２に対応）
　　８０１ａ　主鏡８０３ａの外側焦点
　　８０１ｂ　副鏡８０３ｂの外側焦点
　　８０２ａ　主鏡８０３ａの内側焦点
　　８０２ｂ　副鏡８０３ｂの内側焦点
　　８０４ａ　主鏡有効半径
　　８０４ｂ　副鏡有効半径
　　８０５ａ、９０５ａ　主鏡有効エッジ点
　　８０５ｂ、１１０５ｂ　副鏡有効エッジ点
　　８０６、９０６、１１０６　　副鏡頂点
　　９０１、１１０１　　主鏡・副鏡外側焦点
　　９０２ａ、１３１０　　主鏡内側焦点
　　９０７、１１０７　　副鏡傾斜角
　　９０８、１１０８　　内側限界角
　　９０９　　下側限界直線
　　９１０　　内側限界直線
　１１０２ｂ、１３１２　　副鏡内側焦点
　１１１１　　外側参考直線
　１１１２　　外側参考角
　１１１４　　副鏡角
　１２０３、２８０３　　マッチング元画像生成部
　１２０４、２８０４　　マッチング対象画像生成部
　１２０５、２８０５　　マッチング画像情報演算部
　１２０６、２８０６　　画像マッチング部
　１２０７、２８０７　　測位演算部
　１２０８、２８０８　　測位部
　１２１１、２８１１　　マッチング対象画像情報
　１２１２、２８１２　　マッチング元画像情報
　１３０６　　カメラの撮像面
　１３０７、３００５　　被写体指定点
　１３０８　　概平面鏡上中間点ア
　１３０９　　主鏡上中間点
　１３１１、３０１０　　被写体
　１３１３　　副鏡中間点ア
　１３１４　　概平面鏡上中間点イ
　１３１５、３００６　　無限遠点撮像点
　１３１６、３００８　　全方位画像内対応点
　１３１７　　概平面鏡上中間点ウ
　１３１８　　副鏡上中間点イ
　１４０１　　主鏡画像領域１４００の死角領域
　１４０６　　副鏡画像領域１４０２の一部画像領域
　１４０６’　死角領域１４０１の一部（一部画像領域１４０６に対応）
　１４０７　　副鏡画像領域１４０３の一部画像領域
　１４０７’　死角領域１４０１の一部（一部画像領域１４０７に対応）
　１４０８　　副鏡画像領域１４０４の一部画像領域
　１４０８’　死角領域１４０１の一部（一部画像領域１４０８に対応）
　１４０９　　副鏡画像領域１４０５の一部画像領域
　１４０９’　死角領域１４０１の一部（一部画像領域１４０９に対応）
　１５０１　　主鏡画像領域１５００の死角領域
　１５１１　　副鏡画像領域１５０２の一部画像領域
　１５１１’　死角領域１５０１の一部（一部画像領域１５１１に対応）
　１５１２　　副鏡画像領域１５０４の一部画像領域
　１５１２’　死角領域１５０１の一部（一部画像領域１５１２に対応）
　１６０１　　主鏡画像領域１６００の死角領域
　１６０６　　副鏡画像領域１６０２の一部画像領域
　１６０６’　死角領域１６０１の一部（一部画像領域１６０６に対応）
　１６０７　　副鏡画像領域１６０３の一部画像領域
　１６０７’　死角領域１６０１の一部（一部画像領域１６０７に対応）
　１６０８　　副鏡画像領域１６０４の一部画像領域
　１６０８’　死角領域１６０１の一部（一部画像領域１６０８に対応）
　１６０９　　副鏡画像領域１６０５の一部画像領域
　１６０９’　死角領域１６０１の一部（一部画像領域１６０９に対応）
　１８０１　　主鏡画像領域１８００の死角領域
　１８０８　　副鏡画像領域１８０２の一部画像領域
　１８０８’　死角領域１８０１の一部（一部画像領域１８０８に対応）
　１８０９　　副鏡画像領域１８０３の一部画像領域
　１８０９’　死角領域１８０１の一部（一部画像領域１８０９に対応）
　１８１０　　副鏡画像領域１８０４の一部画像領域
　１８１０’　死角領域１８０１の一部（一部画像領域１８１０に対応）
　１８１１　　副鏡画像領域１８０５の一部画像領域
　１８１１’　死角領域１８０１の一部（一部画像領域１８１１に対応）
　１８１２　　副鏡画像領域１８０６の一部画像領域
　１８１２’　死角領域１８０１の一部（一部画像領域１８１２に対応）
　１８１３　　副鏡画像領域１８０７の一部画像領域
　１８１３’　死角領域１８０１の一部（一部画像領域１８１３に対応）
　１９０１　　主鏡画像領域１９００の死角領域
　１９０９　　副鏡画像領域１９０３の一部画像領域
　１９０９’　死角領域１９０１の一部（一部画像領域１９０９に対応）
　１９１１　　副鏡画像領域１９０５の一部画像領域
　１９１１’　死角領域１９０１の一部（一部画像領域１９１１に対応）
　１９１３　　副鏡画像領域１９０７の一部画像領域
　１９１３’　死角領域１９０１の一部（一部画像領域１９１３に対応）
　２００１　　主鏡画像領域２０００の死角領域
　２００８　　副鏡画像領域２００２の一部画像領域
　２００８’　死角領域２００１の一部（一部画像領域２００８に対応）
　２００９　　副鏡画像領域２００３の一部画像領域
　２００９’　死角領域２００１の一部（一部画像領域２００９に対応）
　２０１０　　副鏡画像領域２００４の一部画像領域
　２０１０’　死角領域２００１の一部（一部画像領域２０１０に対応）
　２０１１　　副鏡画像領域２００５の一部画像領域
　２０１１’　死角領域２００１の一部（一部画像領域２０１１に対応）
　２０１２　　副鏡画像領域２００６の一部画像領域
　２０１２’　死角領域２００１の一部（一部画像領域２０１２に対応）
　２０１３　　副鏡画像領域２００７の一部画像領域
　２０１３’　死角領域２００１の一部（一部画像領域２０１３に対応）
　２１０２　　複数の双曲面鏡
　２２０１、２３０１、２７０１～２７０４、２９０７　　撮影画像
　２２０２～２２０５、２３０２～２３０５　　双曲面鏡画像領域
　２２０６　　カメラ自身の画像
　２３０７　　双曲面鏡画像領域２３０２の一部画像領域
　２３０７’　死角補完画像２３１１の一部（一部画像領域２３０７に対応）
　２３０８　　双曲面鏡画像領域２３０３の一部画像領域
　２３０８’　死角補完画像２３１１の一部（一部画像領域２３０８に対応）
　２３０９　　双曲面鏡画像領域２３０４の一部画像領域
　２３０９’　死角補完画像２３１１の一部（一部画像領域２３０９に対応）
　２３１０　　双曲面鏡画像領域２３０５の一部画像領域
　２３１０’　死角補完画像２３１１の一部（一部画像領域２３１０に対応）
　２３１１、２７３１　　死角補完画像
　２４０１～２４０４、２９０１、α１　　魚眼レンズ
　２５０１～２５０４　　魚眼レンズ２４０１とカメラ２４１１とで撮影した撮影画像
　２５１１～２５１４、２７１１～２７１４　　全方位画像領域
　２７２１　　全方位画像領域２７１１の一部画像領域
　２７２１’　死角補完画像２７３１の一部（一部画像領域２７２１に対応）
　２７２２　　全方位画像領域２７１２の一部画像領域
　２７２２’　死角補完画像２７３１の一部（一部画像領域２７２２に対応）
　２７２３　　全方位画像領域２７１３の一部画像領域
　２７２３’　死角補完画像２７３１の一部（一部画像領域２７２３に対応）
　２７２４　　全方位画像領域２７１４の一部画像領域
　２７２４’　死角補完画像２７３１の一部（一部画像領域２７２４に対応）
　２９０２　　魚眼レンズの仮想視点
　２９０３　　仮想球面
　２９０４～２９０６　　入射光
　２９０８　　入射光２９０４に対応する射影点
　２９０９　　入射光２９０５に対応する射影点
　２９１０　　入射光２９０６に対応する射影点
　３００１ａ　魚眼レンズ
　３００１ｂ　魚眼レンズ
　３００２ａ　魚眼レンズの仮想視点
　３００２ｂ　魚眼レンズの仮想視点
　３００３ａ　魚眼レンズの仮想球面
　３００３ｂ　魚眼レンズの仮想球面
　３００４ａ　魚眼レンズによる撮影画像
　３００４ｂ　魚眼レンズによる撮影画像
　３００７　　仮想球面上交点
　　　　δ　　回転体鏡

Claims

　双曲面鏡からなる主鏡と、
　前記主鏡の周囲に複数配置された、双曲面鏡からなる副鏡と、
　前記主鏡により反射された画像と、前記複数の副鏡により反射された画像とを撮影するカメラとを備え、
　前記主鏡の双曲面の外側焦点と、前記複数の副鏡の双曲面の外側焦点とが略一致しており、
　前記カメラは、前記カメラに取り付けたレンズの入射瞳位置である前記カメラの視点と、前記主鏡及び前記複数の副鏡の双曲面の外側焦点とが略一致するように配置されている
　全方位撮影システム。
　さらに、前記主鏡及び前記複数の副鏡の双曲面の外側焦点と、前記主鏡及び前記複数の副鏡の双曲面の内側焦点との間に配置された、概平面形状の概平面鏡を備え、
　前記カメラは、前記主鏡及び前記複数の副鏡の双曲面の外側焦点と、概平面鏡について対称の位置に前記カメラの視点が位置するように配置され、
　外光は、前記主鏡、又は、前記複数の副鏡により反射され、さらに、前記概平面鏡により反射されることにより、前記カメラに入射する
　請求項１に記載の全方位撮影システム。
　前記主鏡の前記双曲面の形状を表す双曲面方程式を

とし、上式におけるａ_m，ｂ_m，ｃ_mを双曲面係数とし、
　Ｘ軸－Ｚ軸平面内に前記主鏡の中心軸と前記複数の副鏡のうちの１つである第１の副鏡の中心軸とが含まれ、前記主鏡の中心軸がＺ軸と一致し、前記主鏡及び前記第１の副鏡の双曲面の外側焦点と前記Ｘ軸－Ｚ軸平面の原点とが一致している場合であって、
　前記主鏡の外径上の点のうち、前記外径が最大となる点を

とした時に、前記第１の副鏡は、前記第１の副鏡の頂点位置Ｔ（ｘ_T，ｚ_T）が、

を満たすように配置されている
　請求項１又は請求項２に記載の全方位撮影システム。
　前記主鏡の前記双曲面の形状を表す双曲面方程式を

とし、上式におけるａ_m，ｂ_m，ｃ_mを双曲面係数とし、
　Ｘ軸－Ｚ軸平面内に前記主鏡の中心軸と前記複数の副鏡のうちの１つである第２の副鏡の中心軸とが含まれ、前記主鏡の中心軸がＺ軸と一致し、前記主鏡及び前記第２の副鏡の双曲面の外側焦点と前記Ｘ軸－Ｚ軸平面の原点とが一致している場合であって、
　前記主鏡の中心軸と、前記第２の副鏡の中心軸とのなす角をθとし、前記主鏡の外径上の点のうち、前記外径が最大となる点

が上記第２の副鏡の中心軸上に存在する時のθをθ₁とした時に、前記第２の副鏡は、前記第２の副鏡の頂点位置Ｔ（ｘ_T，ｚ_T）が、

を満たすように配置されている
　請求項１～３のいずれか１項に記載の全方位撮影システム。
　さらに、前記複数の副鏡により反射された画像によって、前記主鏡により反射された画像における死角領域を補完するための画像である補完合成画像を生成する死角補完部を備える
　請求項１～４のいずれか１項に記載の全方位撮影システム。
　前記死角補完部は、前記複数の副鏡により反射された画像を用いて、前記主鏡の内側焦点に視点を置いた任意視点画像を生成し、前記任意視点画像により前記補完合成画像を生成する
　請求項５に記載の全方位撮影システム。
　さらに、前記主鏡により反射された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、前記複数の副鏡のうちいずれか１つにより反射された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備える
　請求項１～４のいずれか１項に記載の全方位撮影システム。
　さらに、前記複数の副鏡のうちいずれか１つの前記副鏡により反射された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、前記主鏡により反射された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備える
　請求項１～４のいずれか１項に記載の全方位撮影システム。
　さらに、前記複数の副鏡のうちいずれか１つの前記副鏡により反射された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、該副鏡を除く、いずれか１つの副鏡により反射された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備える
　請求項１～４のいずれか１項に記載の全方位撮影システム。
　さらに、前記複数の副鏡のうち少なくとも一部により反射された画像によって、前記主鏡により反射された画像における死角領域を補完するための画像である補完合成画像を生成する死角補完部を備える
　請求項７～９のいずれか１項に記載の全方位撮影システム。
　前記死角補完部は、前記複数の副鏡のうち少なくとも一部により反射された画像を用いて、前記主鏡の内側焦点に視点を置いた任意視点画像を生成することにより、前記死角領域を補完するための前記補完合成画像を生成する
　請求項１０に記載の全方位撮影システム。
　前記死角補完部は、前記補完合成画像を生成する際に使用した副鏡により反射された画像と、前記補完合成画像内の領域との対応関係を記録し、
　前記測位部は、前記補完合成画像上で指定された点が含まれる前記補完合成画像内の領域に対応する第１の副鏡により反射された画像上の点であって、前記補完合成画像上で指定された点に対応する被写体に対応する点である第１の点と、前記複数の副鏡のうち前記第１の副鏡を除く、いずれか１つの副鏡により反射された画像上の点であって、前記被写体に対応する点である第２の点とを画像マッチングにより算出し、前記第１の点と前記第２の点とから前記被写体の測位を行う
　請求項５又は請求項６に記載の全方位撮影システム。
　複数の双曲面鏡と、
　前記複数の双曲面鏡により反射された画像を撮影するカメラとを備え、
　前記複数の双曲面鏡は、それぞれの双曲面鏡の外側焦点が略一致するように、中心軸が傾いて配置され、
　前記カメラは、前記カメラに取り付けたレンズの入射瞳位置である前記カメラの視点が、前記複数の双曲面鏡の前記外側焦点と略一致するように配置されている
　全方位撮影システム。
　さらに、前記カメラの視点と略一致している前記複数の双曲面鏡の前記外側焦点と、該複数の双曲面鏡の内側焦点との間に配置された、概平面形状の概平面鏡を備え、
　前記カメラは、前記複数の双曲面鏡の前記外側焦点と、前記概平面鏡について対称の位置に前記カメラの視点が位置するように配置され、
　外光は、前記複数の双曲面鏡のそれぞれにより反射され、さらに、前記概平面鏡により反射されることにより、前記カメラに入射する
　請求項１３に記載の全方位撮影システム。
　さらに、前記複数の双曲面鏡のうちの少なくとも一部により反射された画像を合成することにより、画像上に死角領域のない画像である補完合成画像を生成する死角補完部を備える
　請求項１３又は請求項１４に記載の全方位撮影システム。
　前記死角補完部は、前記複数の双曲面鏡のうち、いずれか１つの双曲面鏡により反射された画像上の死角領域を、該双曲面鏡を除く、他の双曲面鏡のうちの少なくとも一部により反射された画像を用いて補完することによって前記補完合成画像を生成する
　請求項１５に記載の全方位撮影システム。
　前記死角補完部は、前記複数の双曲面鏡のうちの少なくとも一部により反射された画像を用いて、前記複数の双曲面鏡のうち補完対象である双曲面鏡の単一視点位置に視点を置いた任意視点画像を生成し、前記任意視点画像を用いて、前記補完合成画像を生成する
　請求項１５又は請求項１６に記載の全方位撮影システム。
　さらに、前記複数の双曲面鏡のうちいずれか１つの双曲面鏡により反射された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、該双曲面鏡を除く、いずれか１つの双曲面鏡により反射された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備える
　請求項１３又は請求項１４に記載の全方位撮影システム。
　さらに、前記複数の双曲面鏡のうち少なくとも一部により反射された画像を合成することにより、画像上に死角領域のない画像である補完合成画像を生成する死角補完部を備える
　請求項１８に記載の全方位撮影システム。
　前記死角補完部は、前記複数の双曲面鏡のうち少なくとも一部により反射された画像を用いて、全方位画像の視点における任意視点画像を生成し、前記任意視点画像を用いて、前記補完合成画像を生成する
　請求項１９に記載の全方位撮影システム。
　前記死角補完部は、前記補完合成画像を生成する際に使用した双曲面鏡により反射された画像と、前記補完合成画像内の領域との対応関係を記録し、
　前記測位部は、前記補完合成画像で指定された点が含まれる前記補完合成画像内の領域に対応する第１の双曲面鏡により反射された画像上の点であって、前記補完合成画像上で指定された点に対応する被写体に対応する点である第１の点と、前記複数の双曲面鏡のうち前記第１の双曲面鏡を除く、いずれか１つの双曲面鏡により反射された画像上の点であって、前記被写体に対応する点である第２の点とを画像マッチングにより算出し、前記第１の点と前記第２の点とから前記被写体の測位を行う
　請求項１９又は請求項２０に記載の全方位撮影システム。
　前記死角補完部は、前記複数の双曲面鏡のうち、いずれか１つの双曲面鏡により反射された画像上の死角領域を、該双曲面鏡を除く、他の双曲面鏡のうち少なくとも一部により反射された画像を用いて補完する
　請求項１９に記載の全方位撮影システム。
　前記死角補完部は、前記複数の双曲面鏡のうちの少なくとも一部により反射された画像を用いて、前記複数の双曲面鏡のうち補完対象である双曲面鏡の単一視点位置に視点を置いた任意視点画像を生成し、前記任意視点画像を用いて、前記補完合成画像を生成する
　請求項２２に記載の全方位撮影システム。
　前記死角補完部は、前記補完合成画像を生成する際に使用した双曲面鏡により反射された画像と、前記補完合成画像内の領域との対応関係を記録し、
　前記測位部は、前記補完合成画像で指定された点が含まれる前記補完合成画像内の領域に対応する第１の双曲面鏡により反射された画像上の点であって、前記補完合成画像上で指定された点に対応する被写体に対応する点である第１の点と、前記複数の双曲面鏡のうち前記第１の双曲面鏡を除く、いずれか１つの双曲面鏡により反射された画像上の点であって、前記被写体に対応する点である第２の点とを画像マッチングにより算出し、前記第１の点と前記第２の点とから前記被写体の測位を行う
　請求項２２又は請求項２３に記載の全方位撮影システム。
　全方位画像を撮影する、複数の全方位撮影装置と、
　前記複数の全方位撮影装置のうち少なくとも一部により撮影された画像を合成することによって、画像上に死角領域のない画像である補完合成画像を生成する死角補完部とを備える
　全方位撮影システム。
　さらに、前記複数の全方位撮影装置のうち、いずれか１つの全方位撮影装置により撮影された画像上の指定された点である指定点に対して、前記指定点に対応する被写体に対応する点であり、該全方位撮影装置を除く、いずれか１つの全方位撮影装置により撮影された画像上の点である対応点を画像マッチングにより算出し、前記指定点の座標と前記対応点の座標とから前記被写体の測位を行う測位部を備える
　請求項２５に記載の全方位撮影システム。
　前記死角補完部は、前記補完合成画像を生成する際に使用した全方位撮影装置により撮影された画像と、前記補完合成画像内の領域との対応関係を記録し、
　前記測位部は、前記補完合成画像で指定された点が含まれる前記補完合成画像内の領域に対応する第１の全方位撮影装置により撮影された画像上の点であって、前記補完合成画像上で指定された点に対応する被写体に対応する点である第１の点と、前記複数の全方位撮影装置のうち前記第１の全方位撮影装置を除く、いずれか１つの全方位撮影装置により撮影された画像上の点であって、前記被写体に対応する点である第２の点とを画像マッチングにより算出し、前記第１の点と前記第２の点とから前記被写体の測位を行う
　請求項２６に記載の全方位撮影システム。