WO2017212616A1 - 光学装置およびそれを搭載した撮影装置 - Google Patents

Abstract

専用のアプリケーションソフトによるソフトウェア処理を必要とせず、リアルタイムで全方位パノラマ画像を撮影する光学装置及び携帯型撮影装置を得る。周囲画像に基づく円環状画像を放射状の複数の画像領域に分割して生成する扇状画像セルを縮小し、かつ、各扇状画像セルにおいて放射状に傾斜している被写体像を全て所定の一方向に正立させて投影する第１光学ユニット（５）と、第１光学ユニットにより投影された扇状画像セルを矩形画像セルに変換して投影する機能を備えた第２光学ユニット（６）と、複数の矩形画像セルを所定の投影面に二次元状に配置して投影する第３光学ユニット（７）と、を具備した光学装置による。

Description

光学装置およびそれを搭載した撮影装置

　本発明は、周囲の全方位を撮影する撮影装置に適用可能な光学装置、該光学装置を装着して構成される撮影装置に関する。

　近年、周囲全方位（３６０度）の被写体を一度の撮影操作で撮影することができる撮影装置が知られている。特にスマートフォンなどの撮影機能を備えた一般的な携帯情報端末に装着することで、全方位撮影など特殊な撮影を行うことできるようにする光学装置も知られている。

　ところで前記の光学装置に関する技術として特許文献１には「周囲からの入射光を反射光として出力する円錐鏡と、円錐鏡の反射光を入力して撮影するカメラ本体と、カメラ本体により撮影された円状の全方位撮影画像を方形状の全方位画像に復調する画像処理部とを備える。（要約抜粋）」構成が開示されている。特許文献１に開示されている撮影装置は、円錐鏡（円錐ミラー）の円錐面に映し出される周囲の被写体の鏡像を携帯情報端末内に具備した撮像デバイスに投影することにより、全方位撮影を可能ならしめている

特開２０００－２６１７０５号公報

　円錐ミラーによって撮影面に投影される鏡像は、円環状に歪むので、全方位画像を撮影するには、この歪みを補正して、使用者が見易い通常の画像（矩形の画像）へと変換する必要がある。

　従来、円環状画像から矩形状画像への変換処理は、専ら携帯情報端末等に内蔵されたＣＰＵを用いるソフトウェア処理によって実行されていた。このため全方位撮影を行う携帯情報端末には、予め専用の画像処理アプリケーションソフトをインストールしておく必要がある。またソフトウェア処理だけで上記のような画像変換を実行するので、内蔵ＣＰＵの処理能力に限界のある携帯情報端末では、例えば撮影画像をモニタしながらリアルタイムに動画撮影をするなどのリアルタイム撮影は、困難である。

　本発明は、上記課題に鑑みたものであり、専用の画像処理アプリケーションソフトを用いることなく、画像処理能力の低い端末においても全方位画像をリアルタイムで撮影できる光学装置を提供することを目的とする。

　上記の課題を解決するために、本発明の一態様は、周囲画像に基づく円環状画像を放射状の複数の画像領域に分割して生成する扇状画像セルを縮小し、かつ、各扇状画像セルにおいて放射状に傾斜している被写体像を全て所定の一方向に正立させて投影する第１光学ユニットと、該第１光学ユニットにより投影された扇状画像セルを矩形画像セルに変換して投影する機能を備えた第２光学ユニットと、複数の前記矩形画像セルを所定の投影面に二次元状に配置して投影する第３光学ユニットと、を具備したことを特徴とする。

　本発明によれば、専用の画像処理アプリケーションソフトを用いることなく、画像処理能力の低い端末においても全方位画像をリアルタイムで撮影できる光学装置を提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る光学装置とそれを取り付けた携帯情報端末の第１の実施形態を示す概略斜視図である。 前記光学装置の概略構成を示す模式図である。 前記光学装置における円錐ミラー反射後の画像投影状況を示す概略斜視図である。 前記光学装置内の第１の仮想画像投影面における画像投影状況を示す概略平面図である。 前記光学装置における第１光学ユニットの一実施例を示す概略斜視図である。 前記第１光学ユニットの機能を説明するための概略斜視図である。 前記第１光学ユニットの機能を説明するための概略平面図および正面図である。 前記第１光学ユニットを構成するマイクロレンズアレイ内の各マイクロレンズセルが有する主軸、副軸方向の一例を示す模式図である。 前記光学装置内の第２の仮想画像投影面における画像投影状況を示す概略平面図である。 前記光学装置における第２光学ユニットの一実施例を示す概略斜視図である。 前記光学装置内の第３の仮想画像投影面における画像投影状況を示す概略平面図である。 前記光学装置における第３光学ユニットの一実施例を示す概略斜視図である。 前記光学装置における第４光学ユニットの一実施例を示す概略斜視図である。 前記光学装置を用いて撮影したパノラマ画像の例であって、（ａ）分割画像セルを撮像面において横一列直線状に再配置投影した例、（ｂ）分割セルを撮影面において縦方向の２段階以上に分割再配置投影した例、である。 本発明に係る光学装置とそれを取り付けた携帯情報端末の第２の実施形態を示す概略斜視図である。 本発明に係る光学装置とそれを取り付けた携帯情報端末の第３の実施形態を示す概略斜視図である。 本発明に係る携帯情報端末を用いたリアルタイム撮影において、任意の被写体画像を認識させる操作の例を示す概略斜視図である。

　以下、図面を用いて本発明の実施形態について説明する。図１は、本発明に係る光学装置と、該光学装置を取り付けた撮影装置に関する第１の実施形態を示している。図１において、本実施形態に係る全方位撮影用光学装置１は、例えば撮影装置の一実施形態である携帯情報端末に取り付けることができる。ここで、携帯情報端末２は、例えば、撮像機能を備えたスマートフォン等の携帯型端末でよい。

　図１に示すように、全方位撮影用光学装置１は、携帯情報端末２の一面に取り付けられる。全方位撮影用光学装置１の取り付け位置は、携帯情報端末２において画像表示面２１が配置されている側とは反対側である。携帯情報端末２は、画像表示面２１が配置されている側の反対側に撮影用のレンズが配置されている。全方位撮影用光学装置１から入射される被写体像は、この撮影用のレンズに入射するようになっている。これによって、携帯情報端末２は、全方位撮影用光学装置１から入射されるパノラマ画像からなる被写体像を画像表示面２１にリアルタイムで表示しつつ、撮影することができる。

　全方位撮影用光学装置１が撮影装置である携帯情報端末２に入射する周囲画像は、全方位撮影用光学装置１及び携帯情報端末２の周囲の全方向にある被写体の像を含む画像である。言い換えると、周囲画像とは、全方位撮影用光学装置１において捉えることができる全周の被写体像を含む画像である。

　全方位撮影用光学装置１を携帯情報端末２に組み合わせると、携帯情報端末２が備える撮影カメラにおいてリアルタイムで周囲画像を撮影できる。なお、図１に示す符合３０は、携帯情報端末２を保持している使用者の右手を表している。

　ここで、本実施形態の説明に用いる３次元直交座標系について定義する。図１に示すように、携帯情報端末２の撮影カメラ側から画像表示面２１に向かう方向をＹ軸方向とする。外形が長方形の筐体からなる携帯情報端末２において、その長手方向をＸ軸方向、短手方向をＺ軸方向とする。また、全方位撮影用光学装置１の長手方向をＺ軸方向とする。全方位撮影用光学装置１から携帯情報端末２に向かう方向であってＺ軸方向に直交する方向をＹ軸方向とし、Ｚ軸方向とＹ軸方向に直交する方向をＸ軸方向とする。

　なお、携帯情報端末２が備える撮影カメラの撮影面は、一般的に、図１におけるＸＺ平面と平行に配置される。

　次に、全方位撮影用光学装置１の構成について説明する。図２は、全方位撮影用光学装置１の概略構成を示している。図２に示すように、全方位撮影用光学装置１は、筐体の外部に反射ミラーである円錐ミラー４と、円錐ミラー４を保護する透明保護カバー３と、を備えている。透明保護カバー３は、円錐ミラー４を保護するための部材であって、周囲の全方位の光線を透過する素材からなる。透明保護カバー３は、円錐ミラー４の上部とその周囲を覆うように配置されている。なお、透明保護カバー３は、必ずしも必要な部材ではない。

　円錐ミラー４は、全方位撮影用光学装置１の周囲全方向に存在する被写体の像（以下「被写体像」という。）を円環状画像に変換する光学素子である。円錐ミラー４は、その反射面がＺ軸方向（下方向）に向かって先細りとなるテーパー状になっている。言い換えると、円錐ミラー４の反射面は、円錐台形状になっている。したがって、円錐ミラー４は、全方位撮影用光学装置１のＸ軸方向（横方向）に存在する被写体９０、被写体９１、被写体９２など周囲被写体の鏡像を下方（Ｚ軸方向）に投影する機能を備える。
以下の説明において、円錐ミラー４において投影される周囲全方位被写体の鏡像を、全方位被写体鏡像という。

　なお、本実施形態に係る全方位撮影用光学装置１は、図２において、円錐ミラー４の代わりに魚眼レンズを用いてもよい。すなわち、全方位撮影用光学装置１において、円環状画像である全方位被写体鏡像を作り出すことができるものであれば、円錐ミラー４に限ることはない。

　また、図１に示すように、全方位撮影用光学装置１は、円錐ミラー４の下方に、第１光学ユニットである画像正立ユニット５と、第２光学ユニットである画像補正ユニット６と、第３光学ユニットである画像再配置ユニット７と、を備えて構成される。全方位撮影用光学装置１は、上記の光学ユニットと第４光学ユニットである平板反射ミラー８が、Ｚ軸方向において上記の順番に配置して構成される。

　第１光学ユニットである画像正立ユニット５は、分割画像セル縮小＆姿勢正立光学ユニットである。画像正立ユニット５は、所定の光学部品により構成される光学ユニットである。画像正立ユニット５は、全方位被写体鏡像である円環状画像を複数の画像領域に分割して分割画像セルを生成し、この分割画像セルを縮小し、さらに縮小した分割画像セルを所定かつ一定の方向に正立させる機能を備える。

　次に配置される第２光学ユニットである画像補正ユニット６は、分割画像セル歪み補正光学ユニットである。画像補正ユニット６も、所定の光学部品により構成される光学ユニットである。画像補正ユニット６は、画像正立ユニット５において分割され縮小され正立した画像セルにおける放射状の歪みを補正して矩形状に変換する機能を備える。

　次に配置される第３光学ユニットである画像再配置ユニット７は、分割画像セル再配置光学ユニットである。画像再配置ユニット７は、所定の光学部品により構成される光学ユニットである。画像再配置ユニット７は、画像補正ユニット６において補正された矩形状の画像セル（矩形画像セル）の配置を、放射状から直線状の配置または二次元状の配置に変換して出射する機能を備える。

　画像再配置ユニット７から出射された画像は、平板反射ミラー８において反射されたのち、携帯情報端末２内に具備された撮影用カメラレンズである撮影レンズ９を経て所定の多分割受光素子（撮影素子）からなる撮影面１０に投影される。

　以上の構成を備える全方位撮影用光学装置１は、周囲全方向の被写体を同時に撮影装置に入射させることができる。全方位撮影用光学装置１は、円環状画像として受け入れた全方位画像を、上記の各光学ユニットを順次通過させることで、通常の撮影面の形状に合うような被写体像として撮影面１０へと出射する機能を備える。すなわち、本実施形態に係る全方位撮影用光学装置１を用いれば、いわゆるパノラマ撮影を行うときに、パノラマ画像を光学的に生成してから撮影レンズ９に入射させることができる。したがって、被写体像を画像信号に変換してからのソフトウェア処理を行うことでパノラマ画像を得る従来の方法とは異なり、リアルタイムな撮影においてパノラマ動画像を容易に得ることができる。

　なお、以下において、上記の各光学ユニットの機能の説明を判り易くする目的で、第１仮想面１０１と、第２仮想面１０２と、第３仮想面１０３と、を用いて説明する。第１仮想面１０１は、画像正立ユニット５への入射直前位置に配置される仮想の画像投影面である。第２仮想面１０２は、画像補正ユニット６への入射直前位置に配置される仮想の画像投影面である。第３仮想面１０３は、画像再配置ユニット７への入射直前位置に配置される仮想の画像投影面である。図１において、第１仮想面１０１と、第２仮想面１０２と、第３仮想面１０３は、いずれも一点鎖線で記している。

　なお、本実施形態に係る全方位撮影用光学装置１の構成は、図２に示した構成に限定されるものではない。全方位撮影用光学装置１は、円錐ミラー４などによって生成される全方位被写体鏡像に対して後述するような各画像変換機能を施すことができる光学ユニットであればよい。

　次に、上記にて説明した各光学ユニット（画像正立ユニット５、画像補正ユニット６、画像再配置ユニット７）における光学系の構成例とその機能の詳細について説明する。前述したように、本発明の全方位撮影用光学装置１は、被写体９０乃至９２など周囲全方位被写体が円錐ミラー４による鏡像として投影される構成になっている。したがって投影された全方位被写体鏡像は、図３に示すように、第１仮想面１０１上で円環状に大きく歪んだ画像になっている。なお図３において、図２と同じ構成要素には同じ番号を付している。

　画像正立ユニット５は、この第１仮想面１０１に投影されている円環状画像を、図４に示すように放射状の分割線（図中の破線）によって均等な扇状の画像セルに多分割する。図４に示した例では、円環状画像を８個の扇状画像セルに分割する例を示している。以下の説明において、８個の画像セルに対して分割画像セルＰ１、分割画像セルＰ２、分割画像セルＰ３、分割画像セルＰ４、分割画像セルＰ５、分割画像セルＰ６、分割画像セルＰ７、分割画像セルＰ８、というように個別の符合を付すこととする。

　なお、本実施形態における画像正立ユニット５における分割数は、８分割に限定されるものではない。この分割数に特段の制限はなく、例えば後述する画像補正ユニット６の歪み補正性能に応じて、適正な分割数を定めればよい。

　ところで分割画像セルＰ１乃至Ｐ８は、当然のことながら放射状に配置されているので、個々の画像セルの姿勢自体も放射状に傾斜している。第１仮想面１０１における分割画像セルＰ１乃至Ｐ８は、それぞれ、図４において示したように放射状配置になっている。また、分割画像セルＰ１乃至Ｐ２におけるそれぞれの被写体像は、それぞれが異なる方向に傾斜した姿勢（傾斜姿勢）になっている。このように、放射状であって傾斜姿勢である被写体を含む画像が、画像正立ユニット５に入射する。以下では、この画像正立ユニット５の具体的な光学系構成例のおよびその機能を説明する。

　図５は、画像正立ユニット５の具体的光学系構成例を示した概略斜視図である。図５に示すように、画像正立ユニット５は、特殊な形状からなる２個の（第１レンズ５１と第２レンズ５２）を所定距離Ｄだけ離間した状態で、Ｚ軸に対して直列に配置した構成を備える。第１レンズ５１および第２レンズ５２は、透明な光学ガラスもしくは光学用プラスチック素材で構成され、外形形状が開き角４５°である全て同一の扇形である。

　第１レンズ５１および第２レンズ５２を構成する扇形のレンズは、それぞれが互いに異なるレンズ形状を備えている。第１レンズ５１を構成する８つのレンズを、マイクロレンズセルＬ１１乃至Ｌ１８とする。第２レンズ５２を構成する８つのレンズを、マイクロレンズセルＬ２１乃至Ｌ２８とする。第１レンズ５１は、第１レンズアレイであって、マイクロレンズセルＬ１１乃至Ｌ１８が放射状に配置された特殊マイクロレンズアレイである。第２レンズ５２は、第２レンズアレイであって、マイクロレンズセルＬ２１乃至Ｌ２８が放射状に配置された特殊マイクロレンズアレイである。

　第１レンズ５１のマイクロレンズセルＬ１ｎと第２レンズ５２のマイクロレンズセルＬ２ｎ（以下、ｎは１から８までの任意整数を表す）は、Ｚ軸方向において、互いに対向する位置になるように配置されている。

　上記した第１仮想面１０１における分割画像セルＰ１乃至Ｐ８は、それぞれｎ番目の分割画像セルＰｎが第１レンズ５１のマイクロレンズセルＬ１ｎに入射するように構成されている。このマイクロレンズセルＬ１ｎに入射した画像光は、第２レンズ５２のマイクロレンズセルＬ２ｎを経て画像正立ユニット５から出射し、第２仮想面１０２に至る。

　マイクロレンズセルＬ１ｎは、それぞれにおいて、主軸と副軸の方向は異なる。マイクロレンズセルＬ１ｎの主軸方向である第１主軸方向は、マイクロレンズセルＬ１ｎのそれぞれにおける所定の方向である。また、マイクロレンズセルＬ１ｎの副軸方向である第１副軸方向は、ぞれぞれの第１主軸方向に直交する方向である。

　即ち、マイクロレンズセルＬ１１における所定の方向の第１主軸方向と、第１副軸方向を基準に説明すると、マイクロレンズセルＬ１２乃至Ｌ１８におけるそれぞれの第１主軸方向は、マイクロレンズセルＬ１１の第１主軸方向とは異なる方向である。したがって、マイクロレンズセルｌ１１における第１副軸方向とマイクロレンズセルＬ１２乃至Ｌ１８における第１副軸方向も当然に異なる。さらに、マイクロレンズセルＬ１２乃至Ｌ１８における第１主軸方向は、それぞれにおいて互いに異なる方向であって、第２副軸方向もそれぞれにおいて互いに異なる方向になっている。

　また、マイクロレンズセルＬ１ｎは主軸方向の焦点距離と副軸方向の焦点距離は互いに異なる。以上のように、第１レンズ５１を構成するマイクロレンズセルＬ１ｎは、非球面のアナモルフィック型収束レンズになっている。第１レンズ５１は、第１非球面マイクロレンズセルにより構成されている。

　一方、第２レンズ５２を構成するマイクロレンズセルＬ２ｎにおいて、それぞれの主軸と副軸の方向は、対向するマイクロレンズセルＬ１ｎが有する第１主軸方向及び第１副軸方向と同じ方向である。即ち、マイクロレンズセルＬ２ｎにおける主軸方向である第２主軸方向は第１副軸方向と略同一方向であり、副軸方向である第２副軸方向は第1副軸方向と略同一方向である。また、マイクロレンズセルＬ２ｎは、第２主軸方向において、所定の焦点距離の発散レンズ面（凹レンズ面）であり、第２副軸方向において、所定の焦点距離の収束レンズ面（凸レンズ面）である。以上のように第２レンズ５２を構成するマイクロレンズセルＬ２ｎは、鞍型非球面レンズになっている。第２レンズ５３は、第２非球面マイクロレンズセルにより構成されている。

　次に、図６を用いて、マイクロレンズセルＬ１ｎとマイクロレンズセルＬ２ｎの機能について説明する。図６に示す第１レンズセル１１は、第１レンズ５１を構成するマイクロレンズセルＬ１ｎと同様に、所定の第１主軸方向ｐおよび所定の第１副軸方向ｑを有する非球面のアナモルフィック型収束レンズである。また、第２レンズセル１２は、第２レンズ５２を構成するマイクロレンズセルＬ２ｎと同様に、第１レンズセル１１と同様の第２主軸方向ｐおよび第２副軸方向ｑを有する鞍型非球面レンズである。なお、実際のマイクロレンズセルＬ１ｎとマイクロレンズセルＬ２ｎの外形は、すでに説明したとおり、扇形の外形形状を備えているが、図６では説明をわかりやすくするために一般的な方形を用いて表現している。

　図５を用いて説明したとおり、第１レンズ５１と第２レンズ５２は、所定距離Ｄだけ離間した状態で配置されている。したがって、図６に示すように、第１レンズセル１１と第２レンズセル１２も光軸（Ｚ軸）に沿って所定距離Ｄだけ離間した状態で直列に配置された状態とする。このような例において、第１レンズセル１１と第２レンズセル１２におけるｐ-Ｚ断面、すなわちレンズの第１主軸方向及び第２主軸方向と光軸とからなる断面におけるレンズ面形状および光線の進行状況を図７（ａ）に示す。また、第１レンズセル１１と第２レンズセル１２におけるｑ－Ｚ断面、すなわちレンズの第１副軸方向及び第２副軸方向と光軸からなる断面におけるレンズ形状および光線の進行状況を図７（ｂ）に示す。

　図７（ａ）に示すように、第１レンズセル１１と第２レンズセル１２の第１主軸方向及び第２主軸方向を含むｐ－Ｚ断面において、第１レンズセル１１は所定の焦点距離ｆｐ１を有する収束レンズ（凸レンズ）になっている。一方、第２レンズセル１２は所定の焦点距離ｆｐ２を有する発散レンズ（凹レンズ）になっている。そしてｐ－Ｚ断面における収束レンズである第１レンズセル１１の焦点位置と発散レンズである第２レンズセル１２の焦点位置は共に、第２レンズセル１２の後方にある光軸上の所定位置Ｆｐにおいて一致する。以上のように、第１レンズセル１１の焦点距離ｆｐ１と、第２レンズセル１２の焦点距離ｆｐ２、及び第１レンズセル１１と第２レンズセル１２の配置は定められている。

　このような構成および配置のレンズ群において、収束レンズである第１レンズセル１１の前方から平行光が入射する場合、この入射光は第１レンズセル１１によって一旦収束光に変換されて進行し、発散レンズである第２レンズセル１２に入射する。そして、この入射光が、第２レンズセル１２によって再び略平行光に変換されて出射する。

　また、図７（ｂ）に示すように、第１レンズセル１１と第２レンズセル１２の第１副軸方向及び第２副軸方向を含むｑ－Ｚ断面において、第１レンズセル１１はｐ－Ｚ断面とは異なる所定の焦点距離ｆｑ１を有する収束レンズ（凸レンズ）になっている。同様に、第２レンズセル１２も所定の焦点距離ｆｑ２を有する収束レンズ（凸レンズ）になっている。そしてｑ－Ｚ断面における収束レンズである第１レンズセル１１の焦点距離ｆｑ１と第２レンズセル１２の焦点距離ｆｑ２は共に、第１レンズセル１１と第２レンズセル１２の中間にある光軸上の焦点位置Ｆｑにおいて一致する。以上のように、第１レンズセル１１の焦点距離ｆｑ１、第２レンズセル１２の焦点距離ｆｑ２、及び第１レンズセル１１と第２レンズセル１２の配置は定められている。

　このような構成および配置のレンズ群において、収束レンズである第１レンズセル１１の前方から平行光が入射する場合、この入射光は第１レンズセル１１によって一旦収束光に変換されて進行し、焦点位置Ｆｑで一点に集光する。その後、焦点位置Ｆｑから発散光となって発散レンズである第２レンズセル１２に入射する。そして、この入射光が、第２レンズセル１２によって再び略平行光に変換されて出射する。

　ここで、第１レンズセル１１と第２レンズセル１２の例を用いて、画像正立ユニット５の機能について説明する。図６に示すように、第１レンズセル１１の入射面における被写体像のｑ軸方向の寸法をｈｑとし、この被写体像のｐ軸方向の寸法をｈｐとする。また、第２レンズセル１２の出射面における被写体像のｑ軸方向の寸法をｈｑ’とし、この被写体像のｐ軸方向の寸法をｈｑ’とする。

　以上の前提において、すでに説明をした第１レンズセルの焦点距離ｆｐ１と焦点距離ｈｑ１、第２レンズセルの焦点距離ｆｑ１と焦点距離ｆｑ２を、以下に示す式（１）乃至（４）を満たすように定める。この場合、図６の出射側投影面１０６上には、入射画像に対して縮小倍率Ｍ倍で縮小し、かつ主軸（ｐ軸）まわりに反転した画像が表れる。

（式１）ｈｐ’／ｈｐ＝ｆｐ２／ｆｐ１＝Ｍ

（式２）┃ｆｐ１┃－┃ｆｐ２┃＝Ｄ

（式３）ｈｑ’／ｈｑ＝ｆｑ２／ｆｑ１＝Ｍ

（式４）┃ｆｑ１┃＋┃ｆｑ２┃＝Ｄ

　この結果、例えば図６に示すようにｐ軸に対して＋θだけ傾いた矢印画像を入射側投影面１０５から第１レンズセル１１に入射する場合を想定する。この場合、出射側投影面１０６には、所定の縮小倍率Ｍ倍で縮小されると共にｐ軸に対して逆向きに－θだけ傾いた矢印画像が出射される。

　そこで本実施形態に係る全方位撮影用光学装置１は、上記のような幾何光学的な特性を利用する。これによって、第１レンズ５１内の各マイクロレンズセルＬ１ｎと第２レンズ５２内の各マイクロレンズセルＬ２ｎの主軸方向と副軸方向、これら各々の方向に関する焦点の距離を上記にて説明したように適切に設定する。これら焦点の距離を適切に設定することにより、各マイクロレンズセルＬ１ｎに入射する分割画像セルＰ１乃至Ｐ８を所定の縮小倍率で縮小させることができる。また、上記のように焦点の距離を適切に設定することにより、放射状に傾斜した分割画像セルＰ１乃至Ｐ８における被写体像の姿勢を全て所定の一方向（同一方向）に正立させることができる。

　ここで、図８を用いて、放射状に傾斜した分割画像セルＰ１乃至Ｐ８における被写体像の姿勢を、正立させる画像正立ユニット５の機能について説明する。図８は、図１において示した座標系におけるＸ軸方向と略並行方向に、分割画像セルＰ１乃至Ｐ８における被写体像の姿勢を正立させる例について説明している。

　図８は、分割画像セルＰ１乃至Ｐ８の姿勢を全てＸ軸に略平行な方向に正立させる例について、第１レンズ５１内のマイクロレンズセルＬ１１乃至Ｌ１８の各々が有する主軸方向および副軸方向を示した模式図である。図８において、白抜き矢印８０１は各マイクロレンズセルの主軸方向を表し、黒塗り矢印８０２は前記主軸方向に直交する副軸方向を表している。

　本実施形態では、第１レンズ５１のレンズ中心Ｏと各レンズセルの光軸中心とを結ぶ直線がＸ軸と略平行なマイクロレンズセルＬ１１は、その主軸方向がＸ軸に略平行になっている。図８に示すマイクロレンズセルＬ１１に対して、向かって右隣にあるマイクロレンズセルＬ１２の主軸は、図中に示すようにＸ軸に対して＋２２．５°傾斜している。なお、本実施形態の説明において、光軸と並行のＺ軸方向に向かって時計回りを「＋（プラス）」とし、反時計回りを「－（マイナス）」として表す。

　さらに、マイクロレンズセルＬ１２の右隣にあるマイクロレンズセルＬ１３の主軸は、Ｘ軸に対して＋４５°傾斜している。以下同様に、マイクロレンズセルＬ１４は＋６７．５°、マイクロレンズセルＬ１５は＋９０°だけ傾斜した主軸方向を有している。つまりマイクロレンズセルＬ１５は、マイクロレンズセルＬ１１に対して、主軸方向と副軸方向が入れ替わっている。

　一方、マイクロレンズセルＬ１１に対して、向かって左隣にあるマイクロレンズセルＬ１８の第１主軸方向は、図中に示すようにＸ軸に対して－２２．５°傾斜した方向になっている。以下同様に、マイクロレンズセルＬ１７は－４５°、マイクロレンズセルＬ１６は－６７．５°だけＸ軸に対して傾斜した第１主軸方向になっている。

　なお、すでに説明したとおり、マイクロレンズセルＬ１１乃至Ｌ１８のそれぞれと対向する位置に配置されたマイクロレンズセルＬ２１乃至Ｌ２８の第２主軸方向と第２副軸方向は、第１主軸方向および第２副軸方向と同一である。

　以上説明したとおり、本実施形態における画像正立ユニット５は、第１レンズ５１と第２レンズ５２の２個の特殊マイクロレンズアレイから構成されている。マイクロレンズセルＬ１１乃至Ｌ１８及びマイクロレンズセルＬ２１乃至Ｌ２８は、それぞれ、所定の主軸、および副軸を有していて、各々が上記の式（１）～式（４）を満たすような適切な焦点距離を有する形状からなる。

　画像正立ユニット５を通過することにより、図９に示すように、画像正立ユニット５に入射される前の円環状画像（図中の破線で表示）が実線で示すような８個の分割画像セルＰ１乃至Ｐ８に分割される。この分割画像セルＰ１乃至Ｐ８はそれぞれ、所定の縮小倍率をもって縮小されていて、Ｘ軸に略平行な向きに被写体像を正立させた状態で、出射側にある第２仮想面１０２に投影される。

　なお、画像正立ユニット５の構成は、図５～図８を用いて例示した光学的構成に限定されるものではない。画像正立ユニット５は、円環状画像を所定の数の画像セルに分割し、所定の縮小倍率をもって縮小投影すると共に、放射状に配置された画像セルを全て略同一の向きに正立させる画像変換機能を備える光学ユニットであればよい。

　次に、本実施形態における画像補正ユニット６の具体的な光学系構成例および機能について説明する。すでに説明をしたとおり、画像正立ユニット５を出射した画像は、図２に示すように画像補正ユニット６に入射する。

　図１０は、画像補正ユニット６の具体的光学系構成例を示した概略斜視図である。図１０に示すように、画像補正ユニット６は、画像正立ユニット５と同様であって、８分割されたマイクロレンズセルが放射状に配置されたマイクロレンズアレイを１個もしくは複数個、光軸に沿って直列に配置した光学系である。画像補正ユニット６を構成する第３レンズ６１と第４レンズ６２は、特殊な形状からなるレンズであって、透明な光学ガラスもしくは光学用プラスチック素材で構成され、外形形状が全て開き角４５°の同一扇形である。

　第３レンズ６１を構成するマイクロレンズセルと第４レンズ６２を構成するマイクロレンズセルは、いずれも、所定の自由曲面（非軸対称非球面）からなるレンズ面を備えている。第３レンズ６１と第４レンズ６２を構成するマイクロレンズセルのレンズ面の形状は、その向きも含めて全て同一である。このマイクロセル群は、縮小されてＸ軸方向において正立した分割画像セルＰ１乃至Ｐ８の個々が有する扇状の画像歪みを光学的に補正し、正しい略矩形画像に変換する機能を備えている。このような機能を実現するため、第３レンズ６１及び第４レンズ６２を構成する８個のマイクロレンズセルのレンズ面は、最適な自由曲面形状になるよう光学設計されている。

　したがって、画像補正ユニット６を通過して第３仮想面１０３上に投影される画像は、図１１に示すように、分割画像セルＰ１乃至Ｐ８が持つ扇状の画像歪み（図１０において破線で表示）が正しく補正される。この補正された略矩形の分割画像セル（図１１において実線で表示）のそれぞれが整形された画像になる。

　以上の説明において、本実施形態に係る画像補正ユニット６として、面形状や向きが揃った所定の自由曲面マイクロレンズセルを放射状に配置したマイクロレンズアレイを例に挙げた。しかし、本実施形態における画像補正ユニット６はこれに限定されるものではない。例えば、すでに説明をしたようにマイクロレンズアレイに代えて、面形状や向きおよび設置角度が揃った所定の自由曲面形状の反射面を備えた小型の反射ミラーセルを、放射状に配置した多面体反射鏡を用いてもよい。この場合、分割画像セルＰ１乃至Ｐ８のそれぞれが、この反射ミラーセルの反射面において反射されることで、各分割画像セルが持つ扇状の画像歪みを補正するように、反射ミラーセルの反射面の最適自由曲面形状を設定すればよい。

　次に画像補正ユニット６を出射した略矩形の分割画像セルは、第３仮想面１０３を経て画像再配置ユニット７に入射する。この場合、分割画像セルは、図１１に示すように扇状の画像の歪みが補正されて略矩形の画像にはなっているが、その配置は依然放射状のままである。

　画像再配置ユニット７は、この放射状配置を解消し正しい矩形のパノラマ写真として撮影されるように、携帯情報端末２内に具備された撮影面１０上に向けて略矩形分割画像セル群を直線状に再配置投影する機能を備えている。以下、この画像再配置ユニット７の一実施形態として、その具体的な光学系構成例のおよびその機能を説明する。

　図１２は、本実施形態における画像再配置ユニット７の具体的光学系構成例を示した概略斜視図である。画像再配置ユニット７は、透明な光学ガラスもしくは光学用プラスチック素材で構成され、８面の傾斜面を備えた光学プリズム７１によって構成されている。ただしこの８面の傾斜面はそれぞれ互いに異なる所定の面法線を有しており、このため光学プリズム７１は非軸対称の８角錐もしくは８角錐台形状になっている。すなわち、光学プリズム７１が備える８つの傾斜面は、互いに異なる面法線方向を有する非軸対称型の略多角錐または略多角錐台形状の傾斜面である。画像再配置ユニット７は、光学プリズム７１に入射した略矩形の分割画像セルＰ１乃至Ｐ８がそれぞれ対応する別々の傾斜面に入射するように配置されている。

　そして、光学プリズム７１の各傾斜面に入射した略矩形の分割画像セルＰ１乃至Ｐ８は、各入射傾斜面の面法線方向と光学プリズム７１の屈折率によって決まる所定の屈折方向に屈折して光学プリズム７１から出射される。光学プリズム７１を出射した略矩形の分割画像セルＰ１乃至Ｐ８は、図１２に示すように画像セルごとに所定の光路を辿って撮影面１０に投影され、結像される。すなわち、平板反射ミラー８（図２参照）および携帯情報端末２が具備する撮影レンズ９（図２参照）を経て、同じく携帯情報端末２内に具備された所定の撮影面１０上で略直線状に再配置された状態で投影される。本実施形態において、略矩形の分割画像セルＰ１乃至Ｐ８は、光学プリズム７１の各傾斜面で屈折した画像光が、撮影面１０上に向けて直線状に再配置投影される。したがって、光学プリズム７１は、各傾斜面の面法線方向が上記のように画像セルを再配置するように最適な光学設計がなされている。

　ところで本発明において、分割画像セルＰ１乃至Ｐ８を撮影面１０に向けて直線状に再配置投影する機能を備えた画像再配置ユニット７は、図１２に示したような非軸対称型の多角錐の光学プリズム７１に限定されるものではない。例えば図２に示す通常の平板反射ミラー８に代えて、図１３に示すような特殊反射ミラー８１にしてもよい。特殊反射ミラー８１は、それぞれ異なる所定の面法線方向に最適設計された８面の傾斜反射面で構成される非軸対称八角錐台反射ミラーである。この特殊反射ミラー８１の各傾斜反射面によって、略矩形の分割画像セルＰ１乃至Ｐ８を撮影面１０において直線状に再配置するように投影することができる。

　以上のように、特殊反射ミラー８１を用いることで、平板反射ミラー８（図２参照）と画像再配置ユニット７の機能を兼ね備えさせることができる。これによって、光学プリズム７１を省略することができ、部品点数を削減できる。

　また図１２および図１３に示した例は、図１４（ａ）に示すように、分割画像セルが前記撮影面１０上において横一列の直線状に再配置投影される例である。しかし、本実施形態に係る全方位撮影用光学装置１は、これに限定されるものではない。例えば図１４（ｂ）に示すように、撮影面１０の縦方向（Ｚ軸方向）において、２段階以上に分割した配置を用いて再配置投影する構成にしてもよい。このように撮影面１０上で縦方向（Ｚ軸方向）も多分割して複数の分割画像セルを２次元に配置することで、パノラマ撮影画像を大きく表示することができる。また、撮影面１０で像が投影されない無駄な撮像領域を極力減らすこともでき、撮影面１０が有する画素数を有効に利用することができる。すなわち、より解像度の高いパノラマ画像を撮影することができる。

　なお、画像再配置ユニット７の機能は、これまで述べてきたような所定の光学系による光学的処理に限定されるものではなく、例えば円環状の配置のまま撮影面１０上に投影された各分割画像セルを撮影するように構成してもよい。この場合、分割画像セルを再配置して矩形画像に変換する処理を、前記情報携帯端末が具備する所定の回路あるいは組み込みソフト等によって電子的に実施すればよい。

　このような電子的再配置処理を併用することにより、前記画像補正ユニット６を削減できるので、全方位撮影用光学装置１の光学部品点数の削減、小型化が期待できる。

　以上説明したように、本実施形態に係る全方位撮影用光学装置１を用いることで、撮影機能を備えた一般的な携帯情報端末であっても、周囲全方向を含む被写体像が撮影面１０に投影されるので、その投影画像を動画、静止画の区別なく撮影できる。したがって、画像処理用アプリケーションソフト等を特に必要とすることなく、全方位画像をリアルタイムにパノラマ撮影することができる。

　ところで図１を用いて説明した第１の実施形態は、スマートフォン等の携帯情報端末２を横向きした保持した状態で全方位撮影行う場合を例示した。当然のことながら本発明はこれに限定されるものではない。

　例えば、図１５に示すように、通常の使用形態である縦向きで携帯情報端末２を保持した場合にも全方位撮影が可能なように、縦向きの携帯情報端末２に全方位撮影用光学装置１を装着できる構成でもよい。なお図１５において、図１と同じ構成部品には同じ番号を付している。

　なお本発明の全方位撮影用光学装置１は、最初に述べたように全方位撮影時に、例えば携帯情報端末２の所定位置に装着可能なものである。このため全方位撮影用光学装置１には、該全方位撮影用光学装置１を前記携帯情報端末２に対して着脱自在に固定できるようにするため、所定の着脱＆固定手段を具備することが望ましい。

　本実施形態において、全方位撮影用光学装置１を携帯情報端末２に固定する手段としては、特段の制限は無い。例えば、携帯情報端末２の側面を挟み込んで保持するような固定手段でもよい。

　次に、本発明に係る光学装置と、該光学装置を取り付けた撮影装置に関する第２の実施形態について説明する。図１６において、本実施形態に係る全方位撮影用光学装置１は、携帯情報端末２の落下や衝突に伴う破損を防ぐための保護カバー４０に、一体的に取り付けられていてもよい。また、所定のスライドおよびストッパ機構、あるいはねじ込み機構によって、全方位撮影用光学装置１を保護カバー４０の所定位置に装着できるようにしてもよい。

　さらにまた、全方位撮影用光学装置１の所定位置、例えば撮影レンズ９の直前などに、撮影レンズ９と組み合わせて魚眼レンズのような超広角レンズ機能を持たせることができる超広角化アダプタレンズを配置することもできる。これにより、水平方向の全方位だけではなく、垂直方向にも略全方位撮影が可能な全天型パノラマ撮影が可能になる。

　ところで全方位撮影を行う場合、撮影者からの距離が一定ではない各被写体のうちどの被写体にピントを合わせるかということが大きな課題となる。このような課題も全方位画像をリアルタイムにパノラマ撮影することができる本実施形態に係る全方位撮影用光学装置１を用いれば簡単に解決できる。

　例えば図１７に示すように、全方位撮影用光学装置１を装着した携帯情報端末２を用いてリアルタイム撮影をする場合を想定する。このときに、携帯情報端末２が具備しているタッチパネル機能を備えた画像表示面２１上に表示される撮影パノラマ画像の中から、任意の被写体画像をタッチする。これによって、タッチした被写体画像がピントを合わせる被写体として指定され、これを携帯情報端末２に認識させることができる。

　図１７の例では、車の画像をタッチすることで、この車がピントを合わせる被写体であることを携帯情報端末２に認識させる例を示している。このような手段で携帯情報端末２にピントを合わせる被写体を認識させると、その後、携帯情報端末２は自動的にこの被写体を追尾し、常にこの被写体にピントが合うよう自動的にフォーカス調整する。なお当然のことながら、このような自動ピント調節機能は、本実施形態に係る全方位撮影用光学装置１のようにパノラマ画像のリアルタイム撮影が可能な撮影装置でのみ有効な機能である。

　また、本実施形態に係る携帯情報端末２において、通常の撮影モードで動作しているときに全方位撮影用光学装置１からの画像が入射したことを識別し、この入射画像における再配置を行う機能を備えても良い。

　すでに説明したとおり、全方位撮影用光学装置１から携帯情報端末２に入射される画像は、第３光学ユニットである画像再配置ユニット７によって分割画像セルを二次元状に配置した画像である。この携帯情報端末２に入射される画像は、当該携帯情報端末２において通常の撮影時に入射される画像よりも細長い画像であるか、または、撮影面１０の有効画像領域に対して狭い範囲の画像である。

　そこで、全方位撮影用光学装置１を適用可能な携帯情報端末２において、入射画像が特定画像（分割画像セルを再配置した画像）であることを検知する機能を備えることもできる。この場合、携帯情報端末２において、特定画像検知部と、画像再配置部と、を備える。

　特定画像検知部は、入射画像が特定画像であるか否かを検知する検知処理を実行する。特定画像検知部は、携帯情報端末２が備える記憶装置に予め記憶されている画像検知プログラムを、携帯情報端末２が備える演算処理装置において実行し、これらソフトウェアとハードウェアの協働により実現される。

　画像再配置部は、特定画像検知部が検知した特定画像に対して、上記において説明した矩形を処理単位とし、この処理単位を画像表示面２１に対するタッチ操作により位置を移動させる再配置処理を実行する。画像再配置部は、携帯情報端末２が備える記憶装置に予め記憶されている画像再配置プログラムを、携帯情報端末２が備える演算処理装置において実行し、これらソフトウェアとハードウェアの協働により実現される。

　以上の構成を備える携帯情報端末２によれば、リアルタイムに撮影されたパノラマ画像の配置を任意に変更して記録することができる。

　本発明は、上記に示した実施形態の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。

１…全方位撮影用光学装置
２…携帯情報端末
４…円錐ミラー
５…画像正立ユニット
６…画像補正ユニット
７…画像再配置ユニット
８…平板反射ミラー
９…撮影レンズ
５１…第１レンズ
５２…第２レンズ
７１…光学プリズム
８１…特殊反射ミラー

Claims (12)

1. 　周囲画像に基づく円環状画像を放射状の複数の画像領域に分割した扇状画像セルを縮小し、かつ、該扇状画像セルにおける放射状の傾斜を所定の一方向に正立させて投影する第１光学ユニットと、
   　該第１光学ユニットにより投影された複数の前記扇状画像セルを矩形画像セルに変換して投影する機能を備えた第２光学ユニットと、
   　複数の前記矩形画像セルを所定の投影面に二次元状に配置して投影する第３光学ユニットと、
   　を具備したことを特徴とする光学装置。
2. 　前記第１光学ユニットは、第１レンズアレイと、第２レンズアレイと、を備え、
   　該第１レンズアレイは、放射状の配置された複数の第１非球面マイクロレンズセルからなり、
   　該第２レンズアレイは、前記第１レンズアレイが備える前記第１非球面マイクロレンズセルのそれぞれに対向するように配置された第２非球面マイクロレンズセルからなり、
   　前記第１レンズアレイと前記第２レンズアレイは、光軸において直列に配置されている、
   ことを特徴とする請求項１記載の光学装置。
3. 　前記第１非球面マイクロレンズセルは、
   それぞれが互いに異なる第１主軸方向と該第１主軸方向に直交する第１副軸方向とを有し、該第１主軸方向に沿ったレンズ面と該第１副軸方向に沿ったレンズ面に係る焦点距離が互いに異なるアナモルフィック型収束レンズであり、
   　前記第２非球面マイクロレンズセルは、
   それぞれに対向して配置される前記第１非球面マイクロレンズセルの前記第１主軸方向と略同一方向の第２主軸方向および前記第１副軸方向と略同一方向の第２副軸方向を有し、該第２主軸方向に沿ったレンズ面は所定の焦点距離を持つ発散レンズ面であると共に、該第２副軸方向に沿ったレンズ面は所定の焦点距離を持つ収束レンズ面である、
   ことを特徴とする請求項２記載の光学装置。
4. 　前記第２光学ユニットは、複数のマイクロレンズセルからなる少なくとも１つのマイクロレンズアレイを備え、該マイクロレンズアレイは、所定かつ同一の自由曲面形状を有し、かつ放射状の配置されている、
   ことを特徴とする請求項１記載の光学装置。
5. 　前記第３光学ユニットは、複数の傾斜面を備えたプリズムまたは反射ミラーを備え、該プリズムまたは反射ミラーを構成する前記傾斜面は、互いに異なる面法線方向を有する非軸対称型の略多角錐または略多角錐台形状である、
   ことを特徴とする請求項１記載の光学装置。
6. 　前記周囲画像を前記円環状画像に変換する光学素子を備える請求項１記載の光学装置。
7. 　前記光学素子は、円錐台形状の反射ミラーであることを特徴とする請求項６記載の光学装置。
8. 　前記光学素子は、魚眼レンズであることを特徴とする請求項６記載の光学装置。
9. 　前記投影面における複数の前記矩形画像セルの二次元状の配置は、各矩形画像セルを直線状に並べる配置、または、各矩形画像セルを矩形状に並べる配置である、
   ことを特徴とする請求項１記載の光学装置。
10. 　撮像機能を備える携帯情報端末に対して着脱自在に装着可能な機構を備え、前記第３光学ユニットにおける前記投影面は、該携帯情報端末が備える撮影面である、ことを特徴とする請求項１記載の光学装置。
11. 　撮影レンズと、該撮影レンズを介した画像が結像する撮影面を有する撮影素子と、該撮影面に対して、周囲全方位の画像から生成された矩形画像を投影する光学装置と、を備える撮影装置であって、
    　該光学装置は、請求項１乃至１０のいずれか一項に記載の光学装置であることを特徴とする撮影装置。
12. 　入射画像が特定画像であるか否かを検知する特定画像検知部と、
    　該特定画像検知部において該特定画像を検知したとき、前記矩形画像セルを単位として前記特定画像内に係る前記矩形画像セルの位置を移動させる画像再配置部と、
    を備える、請求項１１記載の撮影装置。

Images