JP3861855B2 - 画像入力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は広範囲の画像を複数の画像を合成することで取得する画像入力装置に関するものである。
【０００２】
【従来の技術】
通常用いられるビデオカメラ等の画像入力機器は、限られた視野を持つため、ユーザを取り囲む外界の情報の内、極一部のみを映し出していると考えられる。このような限られた視野を拡大し、広視野画像を取得可能な画像入力装置を用いると、例えば、店舗内や屋外の監視においては、従来は監視者が注視する近辺の映像しか得られなかったのに対し、周囲の状況も含めて一目で確認できるため視認性が著しく向上すると考えられる。また、広視野画像入力機器であれば一台で監視する範囲も広くなり全体としてのコストダウンにもつながると期待される。
【０００３】
旧来の広視野画像取得方法は円柱の側面に貼り付けられたフィルム上を、反対側の側面を移動するスリットから投影される光が走査する形態（いわゆるパノラマカメラ）や魚眼レンズ／広角レンズを用いて直接広視野画像を取得する形態が主であった。広視野画像はそのままパノラマ写真として用いるか、魚眼レンズ等の場合は逆変換を適用する光学系を通じてスクリーンに投射するのが主な目的であり、計算機において広視野画像を利用するためにはフィルムや写真をスキャナ等により入力するという手間を必要とした。
【０００４】
ハードウェアの進展により画像を直接計算機に入力可能となるに従い、計算機上に入力された画像に幾何変換や合成処理を適用することで広視野画像を得る形態が利用されるようになった。この計算機上における処理を前提とした広視野画像取得手法は、通常のカメラで撮った部分画像を合成して広視野画像を生成する画像合成型と、広角レンズまたはミラーを用いて直接広視野画像を取得する光学型に、大きく分類できる。
【０００５】
画像合成型はさらに、カメラが回転するように調整された三脚／雲台を用いて複数の部分画像を取得し、それらを合成して広視野画像を生成する手法、複数のカメラを用いて得た部分画像を合成する手法、に分類できる。前者では、通常のカメラで取得した複数の画像を合成するため、得られた広視野画像は高い解像度を持つが、従来の手法では視点移動に伴い画像間に発生する視差の問題を回避するために、レンズの主点を中心にカメラが回転するように構成された機構を必要とする（例えば、特許文献１、２参照。）。また、部分画像取得作業が煩雑であり、カメラの重量・サイズが大きく、信号・電源ケーブルの特性上カメラを継続的かつ高速に回転させられないため広視野画像を連続して取得するのが困難であるという問題があった。
【０００６】
後者は、カメラを固定的に配置するため一度正しい設定が得られれば画像取得そのものには時間を必要とせずリアルタイム性が高い反面、多数のカメラを配置するため装置サイズが大きくなり、また、カメラが固定されているため解像度や撮像範囲を変更するのが困難であるという問題がある。さらには、用いるカメラの数が増加した場合には各カメラの映像を計算機に入力する機構も大掛かりなものとなる。
【０００７】
光学型は広角レンズ／ミラーを用いて広視野画像を直接取得し、幾何変換により画像を再構成するものである。魚眼レンズを用いたもの、ミラーを用いたもの等が開発されている。いずれの手法においても、一度の撮像で広視野画像を取得できるためレンズ／ミラーは固定であり、かつ、リアルタイム性が高いが、得られた広視野画像の解像度が低いという問題がある。特に魚眼レンズを用いる手法では画像端部の歪みが大きく、幾何変換を適用しても非常に粗い画像しか得られない。ミラーを用いた広視野画像入力機器と注視点画像を取得するカメラを組み合わせた手法も存在するが、注視点画像の解像度は高いものの、広視野画像そのものの解像度不足を解決するには至っていない。従来の広視野画像入力手法の問題点を解決し、解像度が高く、継続的かつ高速に広視野画像を取得可能な手法として、カメラ前面でミラーを回転させて取得した複数の部分画像を合成する手法がある。画像と実際の上下左右の対応が変化することや幾何的な歪みを除けば、ミラーをカメラの光軸周りに回転させることはカメラのパン操作に、また、ミラーをカメラ光軸に垂直な軸周りに回転させることはカメラのチルト操作に相当することから、このミラーの回転を用いて複数の部分画像を取得し、得られた部分画像に幾何変換を適用して合成し、広視野画像を取得するものである。
【０００８】
【特許文献１】
特開平９−１８７５０号公報
【特許文献２】
特開平８−１１６４９０号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、先にあげた特開平９−１８７５０号公報に係る明細書にて指摘されているように、従来のミラーを回転させて取得した部分画像を合成することにより広視野画像を入力する画像入力装置には、
１． 撮影範囲を切り替えるためのミラーが大きくなる、
２． レンズ前面に配置されたミラーによって撮影範囲を切り替えると視差が生じるという問題があった。特に後者は、レンズ主点以外にてカメラを回転させた場合にも発生する問題であり、合成画像における連続性を損ない、広視野画像の画質を著しく低下させてしまうという問題が有った。
【００１０】
本発明は、このような事情に鑑みてなされたものであり、本発明は、ミラーをカメラ前面にて回転することにより取得した複数の部分画像を合成する際に、高速に広視野画像を入力することができる画像入力装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、カメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する際に、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像入力装置であって、前記ミラーは、側面のうち２面が反射面となっている三角柱ミラーであり、前記カメラは、前記ミラーの２面の前記反射面で光路変換された被写体からの反射光を撮像し、処理手段により前記カメラにより撮像された複数の各画像を前記ミラーの反射面に対応させて分離して独立に画像合成することを特徴とする。
【００１２】
また請求項２に記載の発明は、請求項１に記載の画像入力装置において、前記処理手段は、前記カメラにより撮像された画像を取得し、ディジタル処理する画像取得手段と、前記画像取得手段により取得されディジタル処理された各画像を前記ミラーの２つの反射面に対応させて分離する画像分離手段と、前記ミラーの２つの反射面のうち第１の反射面に対応して前記画像分離手段により分離された画像を合成する第１の画像合成手段と、前記ミラーの２つの反射面のうち第２の反射面に対応して前記画像分離手段により分離された画像を合成する第２の画像合成手段と、前記第１、第２の画像合成手段により合成された画像を広視野画像の上から重ね書きすることにより更新する画像更新手段とを有することを特徴とする。
【００１３】
請求項１、２に記載の発明によれば、カメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する際に、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像入力装置であって、前記ミラーは、側面のうち２面が反射面となっている三角柱ミラーであり、前記カメラは、前記ミラーの２面の前記反射面で光路変換された被写体からの反射光を撮像し、処理手段により前記カメラにより撮像された複数の各画像を前記ミラーの反射面に対応させて分離して独立に画像合成するようにしたので、２方向の画像を同時に撮像、合成及び更新することができ、それ故、ミラーをカメラ前面にて回転することにより取得した複数の部分画像を合成する際に、広視野画像を高速に入力することが可能となる。
【００１４】
また請求項３に記載の発明は、カメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する際に、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像入力装置であって、カメラレンズの光軸を一致させて互いに向き合うように配置され被写界を撮像する第１、第２の２台のカメラと、前記第１、第２のカメラの間に配置され、被写界からの反射光を前記第１、第２のカメラのカメラレンズ方向に光路変換する両面ミラーと、前記両面ミラーを前記第１、第２のカメラの光軸回りに回転させるミラー回転機構と、前記記ミラーの回転に伴って前記第１、第２のカメラより入力される複数の画像を合成して広視野角の画像を生成する処理手段とを有することを特徴とする。
【００１５】
また請求項４に記載の発明は、請求項３に記載の画像入力装置において、前記処理手段は、前記両面ミラーの第１の反射面からの反射光を撮像する前記第１のカメラにより撮像された画像を取得し、ディジタル処理する第１の画像取得手段と、前記両面ミラーの第２の反射面からの反射光を撮像する前記第２のカメラにより撮像された画像を取得し、ディジタル処理する第２の画像取得手段と、前記第１の画像取得手段によりディジタル処理された画像を合成する第１の画像合成手段と、前記第２の画像取得手段によりディジタル処理された画像を合成する第２の画像合成手段と、前記第１、第２の画像合成手段により合成された画像を広視野画像の上から重ね書きすることにより更新する画像更新手段と、を有することを特徴とする。
【００１６】
請求項３、４に記載の発明によれば、カメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する際に、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像入力装置であって、カメラレンズの光軸を一致させて互いに向き合うように配置され被写界を撮像する第１、第２の２台のカメラと、前記第１、第２のカメラの間に配置され、被写界からの反射光を前記第１、第２のカメラのカメラレンズ方向に光路変換する両面ミラーと、前記両面ミラーを前記第１、第２のカメラの光軸回りに回転させるミラー回転機構と、前記記ミラーの回転に伴って前記第１、第２のカメラより入力される複数の画像を合成して広視野角の画像を生成する処理手段とを有するので、ミラーをカメラ前面にて回転することにより取得した複数の部分画像を合成する際に、高速に広視野画像を入力することができると共に、本発明に係る他の画像入力装置により得られる広視野画像より高い解像度の広視野画像を生成することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施の形態を説明するための図である。
図１において、本発明における画像入力装置１００は、カメラ００５の撮影方向、すなわち向きを変更するためのカメラ移動手段０１４と、カメラ移動手段０１４に対してカメラ００５の向きを変更するよう指示を出すと共にカメラ００５の姿勢情報を各部に伝える姿勢制御手段０１５と、外界の画像を取得するカメラ００５と、カメラ００５の映し出した画像を装置内に取り込む撮像手段００６と、撮像手段００６を制御して部分画像を画像メモリ００８に格納し、かつ、部分画像取得時のカメラ００５の向きおよび部分画像と合成画像の属性情報を画像属性メモリ００４に格納する撮像制御手段００７と、撮像制御手段００７が格納した部分画像および、得られた部分画像を合成して作成した合成画像を格納する画像メモリ００８と、部分画像の属性情報、部分画像の取得時のカメラ００５の向きの情報を格納する画像属性メモリ００４と、部分画像に含まれる視差の影響を、カメラの回転中心を投影の中心とし、かつ、各部分画像上の画素に対応する空間上の直線の無限遠点を用いて投影点を決定することにより低減しながら、画像属性メモリ００４および画像メモリ００８を参照して各部分画像を合成して、合成画像を画像メモリ００８に格納する画像合成手段００９と、から構成される。尚、撮像手段００６及び撮像制御手段００７は本発明の部分画像取得手段に、画像メモリ００８は本発明の第１の記憶手段に、画像属性メモリ００４は本発明の第２の記憶手段に、それぞれ相当する。
【００１８】
本発明における画像入力装置１００の第１の実施の形態の動作の概略は以下の通りである。
カメラ００５はカメラ移動手段０１４により向きが変更可能となっている。カメラ移動手段０１４は姿勢制御手段０１５の指示に応じてカメラ００５の向きを変更する。
カメラ００５は外界の様子を撮像可能であり、カメラ００５が映し出す範囲はその向きに応じて変化する。
姿勢制御手段０１５は、カメラ移動手段０１４にカメラ００５の向きを変更するように指示を出し、カメラ移動手段０１４は姿勢制御手段０１５の指示を受け、カメラ００５の向きを移動させる。
【００１９】
次に、撮像制御手段００７は、撮像手段００６に部分画像を取得するように指示を出す。
また撮像手段００６は、撮像制御手段００７から指示を受け取ると、姿勢制御手段０１５の指示により向きを変えたカメラ００５により部分画像を撮影し装置内に取り込む。
撮像制御手段００７は、撮像手段００６が取り込んだ画像を画像メモリ００８に、画像取得時のカメラ００５の向きの情報を画像属性メモリ００４に、それぞれ格納する。
【００２０】
画像合成手段００９は、撮像制御手段００７により画像属性メモリ００４に格納された部分画像を取得した時のカメラ００５の姿勢情報を用いて部分画像の合成位置を求める。求めた合成位置に従って、画像メモリ００８に格納された部分画像を、カメラの回転中心を投影の中心とし、かつ、各部分画像上の画素に対応する空間上の直線の無限遠点を用いて投影点を決定することにより、すなわちカメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とすることにより、部分画像間に含まれる視差の影響を低減しながら画像メモリ００８に格納されている合成画像上に合成して、合成画像を更新する。
【００２１】
上記の各処理を繰り返すことで、本発明における画像入力装置１００は、広視野の合成画像を取得できる。
本画像入力装置１００により得られた部分画像や合成画像は、例えば、表示制御手段０１１により選択された後、表示手段０１２に表示され、ユーザに提示される。
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
図２は、本発明の第２の実施の形態の構成を説明するための図である。
第１の実施の形態と同じ名称を持つ構成要素は基本的に同じ機能を提供する。以下では、第１の実施の形態との差異について説明する。
【００２２】
第２の実施の形態は、第１の実施の形態に対して、画像メモリ００８内の部分画像間に位置合わせ処理を適用して部分画像間の位置関係を求め、その結果に基づいて、画像属性メモリ００４に格納されている各部分画像の取得位置の位置補正量を求めて、画像属性メモリ００４に格納する位置合わせ手段０１３が追加されている。
【００２３】
また、第２の実施の形態における各構成要素の内、画像属性メモリ００４は、カメラ００５および撮像手段００６を用いて撮像制御手段００７が取得した部分画像の取得時のカメラ００５の向きの情報と、部分画像と合成画像に関連する属性情報、および位置合わせ手段０１３により求められた各部分画像の合成位置の位置補正量、をそれぞれ格納する様に、また、画像合成手段００９は、撮像制御手段００７により画像属性メモリ００４に格納された部分画像を取得した時のカメラ００５の向き情報と、位置合わせ手段０１３により求めた合成位置の位置補正量とを用いて部分画像の合成位置を求め、求めた合成位置に従って、画像メモリ００８に格納された部分画像を、カメラの回転中心を投影の中心とし、かつ、各部分画像上の画素に対応する空間上の直線の無限遠点を用いて投影点を決定することにより、すなわちカメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とすることにより、部分画像間に含まれる視差の影響を低減しながら、画像メモリ００８に格納されている合成画像上に合成して、合成画像を更新する様に、それぞれ変更されている。
【００２４】
第２の実施の形態の動作の概略について説明する。
カメラ００５はカメラ移動手段０１４により向きを変更可能となっている。カメラ移動手段０１４は姿勢制御手段０１５の指示に応じてカメラ００５の向きを変更する。
カメラ００５は外界の様子を撮像可能であり、カメラ００５が映し出す範囲はその向きに応じて変化する。
姿勢制御手段０１５は、カメラ移動手段０１４にカメラ００５の向きを変更するように指示を出し、カメラ移動手段０１４は姿勢制御手段０１５の指示を受け、カメラ００５の向きを移動する。
【００２５】
次に、撮像制御手段００７は、撮像手段００６に部分画像を取得するように指示を出す。
次に、撮像手段００６は、撮像制御手段００７から指示を受け取ると、姿勢制御手段０１５の指示により向きを変えたカメラ００５により部分画像を撮影し装置内に取り込む。
撮像制御手段００７は、撮像手段００６が取り込んだ部分画像を画像メモリ００８に、画像取得時のカメラ００５の向きの情報を画像属性メモリ００４に、それぞれ格納する。
位置合わせ手段０１３は、画像メモリ００８内の部分画像間に位置合わせ処理を適用して部分画像間の位置関係を求め、その結果に基づいて、画像属性メモリ００４内の各部分画像の位置補正量を求めて、画像属性メモリ００４に格納する。
【００２６】
画像合成手段００９は、撮像制御手段００７により画像属性メモリ００４に格納された部分画像を取得した時のカメラ００５の向き情報と、位置合わせ手段０１３により求めた位置補正量とを用いて部分画像の合成位置を求め、求めた合成位置に従って、画像メモリ００８に格納された部分画像を、部分画像に含まれる視差の影響を、カメラの回転中心を投影の中心とし、かつ、各部分画像上の画素に対応する空間上の直線の無限遠点を用いて投影点を決定することにより、すなわちカメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とすることにより、低減しながら、同じく画像メモリ００８に格納されている合成画像上に合成して合成画像を更新する。
【００２７】
上記の各処理を繰り返すことで、本発明における画像入力装置１００は、広視野の合成画像を取得できる。
本画像入力装置１００により得られた部分画像や合成画像は、例えば、表示制御手段０１１により選択された後、表示手段０１２に表示され、ユーザに提示される。
図３は、本発明の第３の実施の形態を説明するための図である。
第１および第２の実施の形態と同じ名称を持つ構成要素は基本的に同じ機能を提供する。以下では、第１の実施の形態との差異について説明する。
【００２８】
第３の実施の形態は、第１の実施の形態に対して、カメラ移動手段０１４と姿勢制御手段０１５を削除し、カメラ００５のレンズ前に保持され、ミラー移動手段００２により向きを変更可能なミラー００１と、ミラー００１の向きを変更するためのミラー移動手段００２と、ミラー移動手段００２に対してミラー００１の向きを変更するよう指示を出すミラー制御手段００３と、追加されている。
【００２９】
また、第１の実施の形態における各構成要素の内、カメラ００５は、ミラー００１を経由して外界の様子を撮像可能であり、カメラ００５が映し出す範囲はミラー００１の向きに応じて変化するように、撮像制御手段００７は、撮像手段００６に部分画像を取得するように指示を出し、撮像手段００６が取り込んだ画像を画像メモリ００８に、画像取得時のミラー００１の向きの情報を画像位置メモリ００４に、それぞれ格納するように、画像位置メモリ００４は、カメラ００５および撮像手段００６を用いて撮像制御手段００７が取得した部分画像の取得時のミラーの向きの情報をそれぞれ格納するように、画像合成手段００９は、撮像制御手段００７により画像位置メモリ００４に格納された部分画像を取得した時のミラー００１の向き情報を用いて部分画像の合成位置を求め、部分画像に含まれる視差の影響を、ミラーの回転中心を投影の中心とし、かつ、各部分画像上の画素に対応する空間上の直線の無限遠点を用いて投影点を決定することにより、すなわちミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像の投影点とすることにより、低減しながら各部分画像を合成するように、それぞれ変更されている。
【００３０】
本発明における画像入力装置１００の第３の実施の形態の動作の概略は以下の通りである。
ミラー００１はカメラ００５の前面に保持されており、ミラー移動手段００２により向きを変更可能となっている。ミラー移動手段００２はミラー制御手段００３の指示に応じてミラー００１の向きを変更する。
カメラ００５はミラー００１を経由して外界の様子を撮像可能であり、カメラ００５が映し出す範囲はミラー００１の向きに応じて変化する。
ミラー制御手段００３は、ミラー移動手段００２にミラー００１の向きを変更するように指示を出し、ミラー移動手段００２はミラー制御手段００３の指示を受け、ミラー００１の向きを移動する。
【００３１】
次に、撮像制御手段００７は、撮像手段００６に部分画像を取得するように指示を出す。
次に、撮像手段００６は、撮像制御手段００７から指示を受け取ると、カメラ００５がミラー制御手段００３の指示により向きを変えたミラー００１を経由して部分画像を撮影し装置内に取り込む。
撮像制御手段００７は、撮像手段００６が取り込んだ画像を画像メモリ００８に、画像取得時のミラーの向きの情報および部分画像の属性情報を画像属性メモリ００４に、それぞれ格納する。
【００３２】
画像合成手段００９は、撮像制御手段００７により画像属性メモリ００４に格納された部分画像を取得した時のミラー００１の向き情報を用いて部分画像の合成位置を求める。求めた合成位置に従って、画像メモリ００８に格納された部分画像を、部分画像に含まれる視差の影響を、ミラーの回転中心を投影の中心とし、かつ、各部分画像上の画素に対応する空間上の直線の無限遠点を用いて投影点を決定することにより、すなわちミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像の投影点とすることにより、低減しながら、画像メモリ００８に格納されている合成画像上に合成して、合成画像を更新する。
【００３３】
上記の各処理を繰り返すことで、本発明における画像入力装置１００は、広視野の合成画像を取得できる。
本画像入力装置１００により得られた部分画像や合成画像は、例えば、表示制御手段０１１により選択された後、表示手段０１２に表示され、ユーザに提示される。
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。 図４は、本発明の第４の実施の形態の構成を説明するための図である。
第３の実施の形態と同じ名称を持つ構成要素は基本的に同じ機能を提供する。以下では、第３の実施の形態との差異について説明する。
【００３４】
第４の実施の形態は、第３の実施の形態に対して、
画像メモリ００８内の部分画像間に位置合わせ処理を適用して部分画像間の位置関係を求め、その結果に基づいて、画像属性メモリ００４内の各部分画像の合成位置補正量を求めて、画像属性メモリ００４に格納する位置合わせ手段０１３が追加されている。
また、第２の実施の形態における各構成要素の内、画像属性メモリ００４は、カメラ００５および撮像手段００６を用いて撮像制御手段００７が取得した部分画像の取得時のミラーの向きの情報と、部分画像と合成画像の属性情報および位置合わせ手段０１３により求められた各部分画像の合成位置の位置補正量、をそれぞれ格納する様に、また画像合成手段００９は、撮像制御手段００７により画像属性メモリ００４に格納された部分画像を取得した時のミラー００１の向き情報と、位置合わせ手段０１３により求めた合成位置の位置補正量とを用いて部分画像の合成位置を求め、求めた合成位置に従って、画像メモリ００８に格納された部分画像を、部分画像に含まれる視差の影響を、ミラーの回転中心を投影の中心とし、かつ、各部分画像上の画素に対応する空間上の直線の無限遠点を用いて投影点を決定することにより、すなわちミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像の投影点とすることにより、低減しながら、同じく画像メモリ００８に格納されている合成画像上に合成して、合成画像を更新する様に、それぞれ変更されている。
【００３５】
第４の実施の形態の動作の概略について説明する。
ミラー００１はカメラ００５の前面に保持されており、ミラー移動手段００２により向きを変更可能となっている。ミラー移動手段００２はミラー制御手段００３の指示に応じてミラー００１の向きを変更する。
カメラ００５はミラー００１を経由して外界の様子を撮像可能であり、カメラ００５の視野はミラー００１の向きに応じて変化する。
ミラー制御手段００３は、ミラー移動手段００２にミラー００１の向きを変更するように指示を出し、ミラー移動手段００２はミラー制御手段００３の指示を受け、ミラー００１の向きを移動する。
【００３６】
撮像制御手段００７は、撮像手段００６に部分画像を取得するように指示を出す。
撮像手段００６は、撮像制御手段００７から指示を受け取ると、カメラ００５がミラー制御手段００３の指示により向きを変えたミラー００１を経由して画像を撮影し装置内に取り込む。
撮像制御手段００７は、撮像手段００６が取り込んだ画像を画像メモリ００８に、画像取得時のミラーの向きの情報および部分画像の属性情報を画像属性メモリ００４に、それぞれ格納する。
【００３７】
位置合わせ手段０１３は、画像メモリ００８内の部分画像間に位置合わせ処理を適用して部分画像間の位置関係を求め、その結果に基づいて、画像属性メモリ００４内の各部分画像の合成位置の位置補正量を求めて、画像属性メモリ００４に格納する。
画像合成手段００９は、撮像制御手段００７により画像属性メモリ００４に格納された部分画像を取得した時のミラー００１の向き情報と、位置合わせ手段０１３により求めた合成位置の位置補正量とを用いて部分画像の合成位置を求め、求めた合成位置に従って、画像メモリ００８に格納された部分画像を、部分画像に含まれる視差の影響を、ミラーの回転中心を投影の中心とし、かつ、各部分画像上の画素に対応する空間上の直線の無限遠点を用いて投影点を決定することにより、すなわちミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像の投影点とすることにより、低減しながら、同じく画像メモリ００８に格納されている合成画像上に合成して合成画像を更新する。
【００３８】
上記の各処理を繰り返すことで、本発明における画像入力装置１００は、広視野の合成画像を取得できる。
本画像入力装置１００により得られた部分画像や合成画像は、例えば、表示制御手段０１１により選択された後、表示手段０１２に表示され、ユーザに提示される。
次に、本発明における画像入力装置１００の第１の実施の形態における画像入力装置を、具体的な実施例を挙げて各構成の処理内容を図面を参照しながら詳しく説明する。
図２５は、本実施例の構成を説明するための図であり、この図を用いて画像を入力する際の各構成の説明を行う。
【００３９】
図２５において、筐体１０１には、上記実施の形態における姿勢制御手段０１５、画像属性メモリ００４、撮像手段００６、撮像制御手段００７、画像メモリ００８、画像合成手段００９、表示制御手段０１１が格納されており、他の構成要素とケーブルにより接続されている。
カメラ００５は、カメラ移動手段０１４により保持されており、水平方向に回転可能である。カメラ移動手段０１４は、ステッピングモータ、原点検出器、ギア、カメラ保持治具を用いて、ステッピングモータの回転出力をギアを介して適切に減速して保持治具の回転として取り出すことで治具に接続されたカメラ００５の水平方向の回転を実現する。原点検出器は、カメラの水平方向の回転量を０とみなす基準点を検出するものであり、例えば、ギアに取りつけた磁石とホール素子を組み合わせてカメラの水平１回転毎に１パルスを発生させるような構成を利用可能である。このような原点検出器は、ステッッピングモータと共に頻繁に利用される機器であるため、詳細は省略する。
【００４０】
上記の構成を持つカメラ移動手段０１４の場合、カメラ００５の向き、すなわち水平方向における角度は、原点検出器の出力を基準として、ステッピングモータへの出力パルス数と１パルス辺りの回転量、ギアの減速比から求められる。当然のことながら、カメラ移動手段０１４はここにあげた以外の構成とすることも可能であり、例えば、ＤＣモータ、減速ギア、カメラ固定治具とロータリーエンコーダを用いる構成など様々な実現方法を利用可能である。
姿勢制御手段０１５は上記カメラ移動手段０１４へのパルス送出，送出パルス数の計算及び保持、原点検出器による原点検出を行なうものであり、通常のステッピングモータ制御に利用される機構と同様であり、詳細は割愛する。これはパーソナルコンピュータと、その出力をステッピングモータに適した形式へ変換する機構とを組み合わせることでも容易に実現可能である。
【００４１】
本実施例においては、ステッピングモータの１パルス当たりの回転量が１８度、ギアの減速比を１８分の１であるとする。この時、カメラ００５はステッピングモータへの出力１パルスにつき１度水平方向に回転する。これらは説明を容易にするために仮に設定するものであり、本発明の適用範囲を限定するものではない。当然のことながら、他の回転量を持つステッピングモータ、他の減速比を利用することが可能である。
また、本実施例の説明においてはカメラ００５は、水平方向に対してのみ回転するものとし、光軸上に回転中心が存在するものとするが、これは説明を容易にするために設定するものであり、本発明の実施例を規定するものではない。カメラ移動手段０１４の構成を変更することによりカメラ００５の水平および垂直方向への回転を適用することや、回転中心が光軸上に存在しない場合にも容易に対応可能である。
【００４２】
表示手段０１２は通常用いられるＴＶモニタであり、表示制御手段０１１が生成した表示用の画像をユーザに提示するものである。
図２６は、カメラ００５により撮像した部分画像を合成して合成画像を生成することを説明するためのイメージ図であり、カメラ００５、カメラ移動手段０１４、投影面３０６と座標系との関係を示している。図２６にあるように、本実施例においては、カメラ００５により撮像された部分画像３００は、カメラ００５の回転軸と軸を共有する円筒状の投影面３０６上に投影され他の部分画像と合成される。なお、本実施例においては投影面３０６として円筒面を用いるが、カメラ００５の回転中心を中心とする球面等に対応することも可能である。これらの投影面３０６を平面に展開したものを合成画像とする。
【００４３】
また、カメラ００５の回転範囲が１８０度未満の場合は、円筒面上や球面上ではなく、平面とすることも可能である。この場合は投影面３０６を展開するという処理が不要になる。
図２７は、投影による合成処理を説明するための図であり、カメラ００５の画像平面３０２と投影面３０６との関係を示している。
図２７においては、カメラの回転中心ｃ３１３を原点としてＸ、Ｙ、Ｚの各軸が設定されている。カメラ００５は、カメラ回転中心ｃ３１３から距離Ｌだけ離れた視点ｏ３０１と取得される部分画像に相当する画像平面３０２を用いたピンホールカメラモデルにて表現される。画像平面３０２上には部分画像座標系が設定されており、各軸をＸ’、Ｙ’とする。カメラ００５の焦点距離をｆとすると、画像平面３０２はカメラ回転中心ｃ３１３と視点ｏ３０１を結んだ直線上の、視点ｏ３０１から距離ｆの位置に存在する。投影面３０６はＺ軸を軸とする円筒面であり、その半径をＤとする。
【００４４】
カメラ００５の姿勢は、ＸＹ平面と画像平面３０２が平行、すなわち、カメラの視線方向とＺ軸の方向が同じで、かつ、Ｘ’軸とＸ軸、Ｙ’軸とＹ軸が平行な状態を基準に、Ｘ軸、Ｙ軸、Ｚ軸の各軸周りの回転量φ、ρ、θを用いて表現できる。
本実施例では水平方向のみの回転を考えるため、垂直方向への回転量に相当するφは固定であり、かつ、光軸周りの回転量に相当するρは、ρ＝０であるとみなせる。水平方向の回転量、すなわちＺ軸周りの回転量θはカメラ移動手段０１４により観測される値を用いる。
【００４５】
図５は、本実施例における処理の流れを説明するための図である。以下、図５に基づいて、本実施例における処理の流れを詳細に説明する。
本実施例における画像入力装置１００は、まず、１枚の広視野画像を構成する画像数、各部分画像を取得すべき位置、カメラ移動手段０１４の原点への移動、姿勢制御手段０１５内の出力パルス数を計数するカウンタの初期化等、各構成要素に必要な初期化を行う（ステップＡ０１）。本実施例においては、これらの値はあらかじめ装置内部に保持されているものとする。例えば、焦点距離＝５．５ｍｍ、水平画角５０度、垂直画角３８度程度のビデオカメラを用いて、周囲３６０度の広視野画像を取得する場合は１５枚程度の部分画像を取得すれば良い。この時各部分画像の取得間隔は約２４度である。当然のことながら、これらの値をユーザが外部から与えるように構成することや、画像数、取得位置のいずれかのみを外部より与えて他方を計算により求める構成など、様々な手法を実現可能である。
【００４６】
以下の説明では、１枚の広視野画像を構成する部分画像数をＮとし、各部分画像は番号ｉ（０≦ｉ≦Ｎ−１）により表現し、ステップＡ０１における初期化処理時にｉ＝０に初期化されているものとする。部分画像はすべて同じ大きさを持つものとし、Ｘ'方向、Ｙ'方向それぞれの大きさをＳx及びＳyと表現する。各画像は２５６階調で表現される濃淡画像とし、画素値が大きいほど明るくなるものとする。また、部分画像ｉを取得すべきカメラ００５の向きを水平方向の角度θiで表現するものとする。これらは説明のために仮に設定するものであり、本説明の適用範囲を限定するものではなく、他の表現手法を利用可能である。本発明は、カラー画像や２値画像等にも適用可能であり、さらに、カメラ００５の水平方向、すなわちＺ軸周り以外の回転も可能な場合は、各軸周りの回転量も含めて取得すべき向きを設定すれば良い。
【００４７】
また部分画像メモリ００８は、Ｎ枚の部分画像及び合成画像を格納するのに必要十分な大きさを持っており、画像属性メモリ００４には、部分画像の大きさ、部分画像取得時のカメラの姿勢、部分画像メモリ上の位置、合成画像の大きさ、画像メモリ上の位置の各属性情報が格納されているものとする。各部分画像や合成画像の画素値は、これらの属性情報を利用することで参照可能である。このような部分画像メモリ００８及び画像属性メモリ００４はメモリ素子の組み合わせや、または、コンピュータに搭載されている記憶装置を流用することで容易に実現可能である。
初期化終了後、本発明における画像入力装置１００は撮像処理を終了するまで、ステップＢ’００〜ステップＧ００の処理を繰り返す（ステップＡ０２）。処理を終了する条件については、ユーザからの指示、既定時間実行した後終了する等様々な手法を実施可能であるが、本発明の本質ではないので詳細は割愛する。
【００４８】
姿勢制御手段０１５は、カメラ移動手段０１４を用いてカメラ００５の向きを部分画像ｉの取得位置θiに移動する（ステップＢ’００）。
図６は、カメラ移動処理の処理の流れを説明するための図である。
図６において、姿勢制御手段０１５は、カメラ移動手段０１４に指示を出し、カメラ００５の移動を開始する。すなわち、カメラ移動手段０１４は、ステッピングモータにパルスを出力してカメラ００５の向きを移動し（ステップＢ’９２）、出力したパルス数を更新する（ステップＢ’９３）。そして出力パルス数からカメラ００５の向きθを求める（ステップＢ’９４）。ここでは、ステップＢ’９２においては１パルスを出力し、ステップＢ’９４においては、出力パルス数を示すカウンタ値を１増加させるものとする。ただし、これらは仮に設定するものであり、例えば、カメラの水平方向の回転の分解能がより細かな値を持つ場合などは２パルスを一度に出力するなど、ここにあげた例とは異なった値を利用することも可能である。
【００４９】
ステッピングモータへの出力１パルスにつき１度水平方向に回転することから、カメラの水平方向の向きθは、
θ←出力パルス数×１（度／パルス） ＭＯＤ ３６０
と求められる。ここでＭＯＤは剰余を求める演算子である。
その後、姿勢制御手段０１５は、求めたθと部分画像ｉを取得すべき位置を示すθiを比較することでカメラ００５が目的の向きに移動したか否かを監視し（ステップＢ’０２）、目的の向きに達した場合はカメラ００５の移動を終了する。そうでない場合は、再びステップＢ’９２に戻り、パルス出力以降の処理を繰り返す。
【００５０】
次に、撮像制御手段００７は、カメラ００５が取得した画像を装置内に取り込む（ステップＣ００）。すなわち、撮像制御手段００７は、カメラ００５が映し出している外界の映像を撮像手段００６により部分画像ｉとして装置内に取り込み、部分画像取得時のカメラ００５の向き、すなわちθiを画像属性メモリ００４に、部分画像ｉを画像メモリ００８に格納する。撮像手段００６として、ビデオ信号をＡＤ変換した後メモリに格納する装置や、パーソナルコンピュータとビデオキャプチャボードを組み合わせた装置を利用することが可能である。
【００５１】
続いて、画像合成手段００９は、取得した部分画像を、視差の影響が低減するように投影面３０６に投影し、この投影面３０６を展開して合成画像を更新する（ステップＥ００）。
図７は、合成処理の処理の流れを説明するための図である。
図７において、画像合成手段００９はまず、取得直後の部分画像を合成画像上に投影するために、画像メモリ００８内から部分画像ｉを、また、その取得位置θiを画像属性メモリ００４から取得する（ステップＥ９１）。本実施例においては、部分画像ｉに含まれる各画素には重複なく、かつ、０から順に番号ｊ（０≦ｊ≦Ｊ）が付加されており、このｊを指定することで、部分画像ｉ上の画素の位置が決定するものとする。これは説明を容易にするために仮に設定するものであり、各画素を重複なくかつ順番に選択できる手法であればどのようなものでも利用可能である。例えば、通常用いられるラスタスキャンのように、Ｘ'方向およびＹ'方向の各軸毎に値を変化させていく手法などを用いても、本発明の本質には影響を与えない。そのために、まず、部分画像上の画素を指定する変数ｊを初期化し、全画素数を示すＪを求める（ステップＥ９２）。具体的には、
ｊ←０
Ｊ←Ｓx×Ｓy
となる。
そして全ての画素について、ステップＥ９４以降の処理を適用する（ステップＥ９３）。
【００５２】
まず、番号Ｊに対応する、部分画像上の位置（ｘj，ｙj）を、
ｘj ← （ｊ ＭＯＤ Ｓx） − Ｓx÷２
ｙj ← （ｊ ＤＩＶ Ｓx） − Ｓy÷２
として求める。ここで、ＭＯＤはｊをＳxで割った余りを求める整数演算子であり、ＤＩＶはｊをＳxで割った際の商を求める整数演算子である。（ｘj，ｙj）は、図２７にあるように、両像の中心を原点とする座標系で表現されている。次に、得られた部分画像上の位置（ｘj，ｙj）に対応する合成画像上の位置（Ｘj，Ｙj）を求める（ステップＥ９５）。
【００５３】
以下、ステップＥ９５及びステップＥ９６における、部分画像上の画素の投影面３０６への投影処理を、図を用いて詳細に説明する。
まず、部分画像ｉ上の点ｐ３１１を考え、その部分画像座標系における座標を（ｘj，ｙj）とすると、その３次元空間における座標（ｘ，ｙ，ｚ）は、Ｘ軸、Ｙ軸、Ｚ軸の各軸周りの回転量φ、ρ、θを用いて、
【数１】

となる。ここでは、先に述べたように、φは固定、ρ＝０、θ＝θiであるため、
【数２】

となる。同様に視点ｏ３０１は、φ、ρ、θに対して、
【数３】

となるが、本実施例では、
【数４】

となる。ここで、数式においては各３次元空間上の列ベクトルを太字で表現し、特に大文字の場合は行列を示すものとする。また左上に置かれたｔは転置演算を表わすものとする。
【００５４】
視点ｏ３０１から点ｐ３１１を通る直線は、３次元座標系において、パラメータｓを用いて、
【数５】

と表現される。視点ｏ３０１から点ｐ３１１を通る直線３０７と投影面３０６との交点として定まる点ｐ’３０８は、視点ｏ３０１を投影の中心として点ｐ３１１を投影面３０６上に投影したものである。しかしながらこの投影点ｐ’３０８をそのまま利用すると、カメラ００５の向きによって視点ｏ３０１が移動するため、単一の３次元空間上の点がカメラ００５の向きによって異なった投影上の点に投影され、合成画像上に形状や位置の不連続が発生する場合がある。図２９は、この視差の問題を説明するための図であり、空間上の点ｑ３０９が、破線および実線で示されるようにカメラ００５が異なる向きの時に、投影面３０６上の異なる２点ｐ’３０８に投影されることを示している。この視差は、投影面３０６への投影の中心である視点ｏ３０１が移動することに起因するものである。
【００５５】
この問題を解決するために、本発明における画像入力装置では、画像合成手段００９における画像合成処理においてカメラ回転中心ｃ３１３を投影の中心として、各部分画像を投影面３０６上に投影することを最大の特徴とする。
図２８は、カメラ回転中心ｃ３１３を投影中心とする投影手法を説明するための図である。
式（５）で表現される直線３０７上の点ｑ３０９とカメラ回転中心ｃ３１３を結ぶ直線と、投影面３０６の交点ｐ’’３１０を考えると、式（５）中には点ｑ３０９の空間上の位置を定めるパラメータｓが含まれていることから、カメラ回転中心ｃ３１３を投影の中心とした場合には、図２８に示すように、パラメータｓの値、すなわち点ｑ３０９の視点ｏ３０１からの距離に応じて点ｐ’’３１０の位置が変化することを示している。
【００５６】
しかしながら、空間上の点ｑ３０９が遠方、すなわち、パラメータｓの値が大きくなっていく場合を考えると、カメラ回転中心ｃ３１３と点ｑ３０９を結ぶ直線の方向ベクトルは徐々に、直線３０７の方向ベクトルに近づき、最終的には平行な方向に収束するという特性がある。すなわち、カメラ回転中心ｃ３１３から見た直線３０７上の点を投影面３０６上に投影した場合、交点ｐ’３１０は、直線３０７と平行でカメラ回転中心ｃ３１３を通る直線と投影面３０６との交点に収束する。これは、視点ｏ３０１と画像平面３０２上の点ｐ３１１とを結ぶ直線上にある空間上の点のほとんどが、この交点に投影されることを示している。このことから、この収束点を投影点３１２とすることにより、上記の視差の問題を大幅に低減可能であり、得られる合成画像の品質を著しく向上させられる。
【００５７】
そこで、ステップＥ９５においては、部分画像ｉ上の各点（ｘj，ｙj）から、式（５）で示される直線３０７と同じ方向ベクトルを持ちカメラ回転中心ｃ３１３を通る直線と、投影面３０６である半径Ｄの円筒面との交点の位置ベクトル、すなわち、部分画像ｉ上の点ｐ３１１に対応する投影面３０６上の点３１２の３次元位置（Ｘ，Ｙ，Ｚ）を、まず、
【数６】

から求める。ここで、式（６）中における添字は、列ベクトルの成分であることを示している。そしてさらに、投影点３１２を、図３０に示すような投影面３０６上の円周に沿ってＸ’軸、Ｚ軸方向にＹ’軸を設定した座標系に変換することで投影面３０６を平面に展開した合成画像上における位置を求める。投影点３１２のＸ、Ｙ、Ｚの各成分から合成画像上の位置（Ｘj，Ｙj）への変換は、
【数７】

となる。
【００５８】
このようにして求めた合成画像上の位置（Ｘj，Ｙj）の画素値を、部分画像ｉ上の位置（ｘj，ｙj）の画素値で置換することで部分画像ｉ上の点を合成画像上に投影する（ステップＥ９６）。（Ｘj，Ｙj）が整数値でない場合は、少数点以下を四捨五入すれば良い。
なお、合成画像の大きさは、部分画像上の各画素を投影する際に必要に応じて適宜更新するものとするが、本実施例のように各部分画像の取得位置が決まっている場合には、ステップＡ０１の初期化処理において、各部分画像の大きさと取得位置から合成画像の大きさをあらかじめ決定しておくように構成することも可能である。すなわち、ステップＡ０１の初期化処理において、あらかじめすべての部分画像について、部分画像取得位置θiを用いて、含まれる画素の合成画像上の位置を計算し、得られたＸ方向、Ｙ方向それぞれの位置の最小値及び最大値から合成画像の大きさを決定し、その結果を画像メモリに格納しておくのである。この合成画像の大きさを示す値を参照することで、合成画像の大きさ更新等の処理が不要になり、画像合成処理をより高速に実現可能となる。
【００５９】
部分画像ｉ上の点（ｘj，ｙj）の合成画像上への投影が終了した後、次の点を処理するように、変数ｊの値を増加し、ステップＥ９３に戻る（ステップＥ９７）。
部分画像ｉ上の全画素の合成画像上への投影処理が終了したか否かを全画素数を示すＪと変数ｊの比較により判断し、全画素への処理が終了した場合には、画像合成処理を終了する（ステップＥ９３）。
合成処理（ステップＥ００）における部分画像ｉの合成画像への投影処理が終了した後、表示制御手段０１１は、更新された合成画像を画像メモリ００８から読み出し、表示手段０１２に表示する（ステップＧ００）。本実施例においては、合成画像全体を表示するものとするが、合成画像の一部だけをユーザの指示に応じて選択的に表示するように構成することも可能である。
【００６０】
更新された合成画像の表示が終了した後、次の部分画像を取得するべく、ｉの値を１増加し、図１８におけるステップＡ０２以降を繰り返す。なお、ｉの値がＮ−１を超えた場合には、０に初期化することで、Ｎ枚の部分画像の取得、合成画像の更新を継続的に行うことが可能となる。
図３１は、このような継続的に更新される合成画像を用いた機能の例を説明するための図であり、複数のユーザが同一の合成画像上から異なった地点を切り出して表示手段０１２に表示する例を示している。合成画像の更新とともに、各ユーザが選択した領域の画像も更新され、各ユーザは最新の情報を常に得ることができる。
このように、単一のカメラを用いた装置でありながら、擬似的に複数の異なる視点を提供可能なことも、本発明における画像入力装置の大きな特徴である。
【００６１】
なお、上記の説明においては、カメラ移動、撮像、画像合成、表示の各処理を順に実行するものとして説明したが、これらは並列に実行するように構成することも可能である。
以下、第２の実施例として、各処理を並列に構成した場合について、第１の実施例と比較しながら、図を用いて詳細に説明する。
第２の実施例においても、外観、各手段の構成、投影面、座標系の設定など、処理の流れに関わる個所以外は、第１の実施例とすべて同一とする。
図８は、各処理を並列に構成した場合の全体の処理の流れを説明するための図である。
図８における各処理は、図１８における第１の実施例における処理の流れと比較して、カメラ移動（ステップＢ’００），撮像（ステップＣ００）、画像合成（ステップＥ００）、表示（ステップＧ００）の各処理が同期をとりながら、並列に実行されることを特徴とする。
【００６２】
第１の実施例と同様の初期化処理（ステップＡ０１）、終了確認処理（ステップＡ０２）を経た後、各処理はそれぞれ動作を開始する。
図９は、第２の実施例におけるカメラ移動処理（ステップＢ’００）の処理の流れを詳細に説明するための図である。
第２の実施例におけるカメラ移動処理は、第１の実施例と比較して、カメラ００５を個々の画像取得位置に移動するのではなく、カメラ００５の向きを記録しながら継続的に移動することに特徴がある。
すなわち、カメラ移動処理は、図８における終了確認処理（ステップＡ０２）からの指示があるまで、パルス出力（ステップＢ’９２）からカメラ位置計算（ステップＢ’９４）の処理を継続して行ない、得られたカメラ位置を姿勢制御手段０１５内に記録（ステップＢ’９６）という処理を繰り返す。
【００６３】
撮像処理（ステップＣ００）はこのカメラ位置を参照して処理を行なう。ここではカメラ位置として水平方向の角度が伝えられるものとするが、出力パルス数を直接送出する等、撮像処理においてカメラの向きが確認できる手法であればどのような形態でもよい。また水平だけではなく、各軸周りの回転量を伝えるように構成することも可能である。
パルス出力（ステップＢ’９２）からカメラ位置計算（ステップＢ’９４）までの各処理は、第１の実施例における処理の流れを説明する図である図６において同一名称を持つ処理と同様の処理である。
【００６４】
図８における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＢ’９７）、第１の実施例と同様に、カメラ００５の移動を停止し、処理を終了する。
図１０は、第２の実施例における撮像処理（ステップＣ００）の処理の流れを詳細に説明するための図である。
第２の実施例における撮像処理は、第１の実施例と比較して、カメラ移動処理により送信された水平方向のカメラ００５の向きの情報と次に取得すべき部分画像の取得位置の情報とから、部分画像取得のタイミングを自ら判断して継続的に撮像を行うことに特徴がある。
【００６５】
すなわち、まず、姿勢制御手段０１５に記録されたカメラの水平方向の角度を参照し（ステップＣ９１）、得られた情報と次に取得すべき部分画像ｉの取得位置を比較して（ステップＣ９２）、部分画像ｉの取得位置であれば、第１の実施例と同様に、部分画像ｉを取得し、画像メモリ００８に部分画像を、取得時の位置および属性情報を画像属性メモリ００４に記録すると共に、新規に取得した部分画像に対して画像合成処理が必要なことを示す投影処理フラグをセットする（ステップＣ９３）。
投影処理フラグは、一般の計算機処理において利用されるフラグと同様に画像属性メモリ００４上の部分画像の属性を追加することで容易に実現可能であり、ステップＡ０１において初期化時にすべて解除されているものとする。セットされた投影処理フラグは、取得した部分画像への画像合成処理が終了した時に解除される。なお、投影処理フラグは一実施例であり、部分画像の取得および合成処理の適用を確認可能な手段であればどのような手段を用いてもよい。
【００６６】
ステップＣ９２において、カメラ００５の向きが、次の取得位置と異なっている場合は、ステップＣ９１〜ステップＣ９２を繰り返すことで、カメラ００５の向きが取得位置に達するまで待機する。
図８における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＣ９４）、第１の実施例と同様に、撮像処理を終了する。指示がない間は、次の部分画像を取得するべく、ｉの値を１増加し、図１０におけるステップＣ９１〜ステップＣ９３の処理を繰り返す。なお、ｉの値がＮ−１を超えた場合には、０に初期化することで、Ｎ枚の部分画像の取得、合成画像の更新を継続的に行う。
【００６７】
図１１は、第２の実施例における合成処理（ステップＥ００）の処理の流れを詳細に説明するための図である。
第２の実施例における合成処理は、第１の実施例と比較して、画像属性メモリ００４の部分画像ｉの投影処理フラグを監視することで、処理すべき部分画像の取得を判断し、部分画像とその取得位置から、部分画像の合成画像上への投影処理を継続的に行うことに特徴がある。
すなわち、まず、図１１において、処理の対象となる部分画像ｉの取得を画像属性メモリ００４に格納されている部分画像ｉの投影処理フラグがセットされているか否かにより判断し、セットされている場合は、第１の実施例における処理の流れを説明する図である図７において同一名称を持つ処理と同様に、ステップＥ９１〜ステップＥ９７の処理を適用し、部分画像を合成画像上に投影する。部分画像ｉの投影処理が終了した場合には、投影処理フラグを解除することにより部分画像ｉに対する処理が終わったことを記録する（ステップＥ９８）。
【００６８】
そして、図８における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＥ９９）、合成処理を終了する。指示がない間は、上記のステップＥ９０以降の処理を繰り返す。
表示処理は、表示制御手段０１１が、合成画像を継続的に画像メモリ００８から読み出し、表示手段０１２に表示する（ステップＧ００）。継続的に読み出し、表示されるため、更新された合成画像は直ちに表示手段０１２に表示される。なお、合成画像の一部だけをユーザの指示に応じて選択的に表示するように構成することや、複数のユーザが同一の合成画像上から異なった地点を切り出して表示手段０１２に表示する機能を提供可能なことは第１の実施例と同様である。
【００６９】
このように各処理を並列に構成することで、第１の実施例と比較して、画像取得から画像を合成するに至る一連の処理の流れにおいて、一つの処理の遅れが他の処理にも影響を与え全体の動作速度が低下するという問題を防げるという長所が生じる。
次に、本発明の画像入力装置における第２の実施の形態の実施例を、図を参照して詳細に説明する。
【００７０】
第１の実施の形態においては、部分画像の取得のすべき位置と実際に部分画像を取得した際のカメラの向きには差が発生しないものとして構成されている。しかしながら、カメラ移動手段０１４によるカメラ向き検出精度が低い場合、さらには、画像取得指示から実際に部分画像が取得されるまでの遅延が大きい場合には、特にカメラ００５を継続的に移動している時に部分画像の取得位置に大きな誤差が含まれる可能性が高く、合成画像の精度が著しく低下するという問題がある。
【００７１】
本発明の第２の実施の形態はこのような問題を解消するためになされたものであり、第１の実施の形態と比較して、各部分画像の取得位置に含まれる誤差を解消し高精度の合成画像を取得可能とするために、部分画像間に位置あわせを適用する位置あわせ手段が追加されたことを特徴とする。
【００７２】
本実施例においても、第１の実施の形態における実施例の構成を説明するための図である図２５と同様の外観を持つが、筐体１０１には、姿勢制御手段０１５、画像属性メモリ００４、撮像手段００６、撮像制御手段００７、画像メモリ００８、画像合成手段００９、表示制御手段０１１の各構成要素に加えて、さらに、位置合わせ手段０１３が格納されており、他の構成要素とケーブルにより接続されている。第１の実施の形態の第１の実施例と比較して、同じ名称を持つ構成要素は同じ機能を提供するが、画像属性メモリ００４は、部分画像取得時のカメラ００５の向きの情報および位置合わせ手段０１３により求められた各部分画像の合成位置の位置補正量、をそれぞれ格納する。また画像合成手段００９は、画像属性メモリ００４内の部分画像の取得位置と、位置合わせ手段０１３により求めた部分画像の位置補正量を利用して合成位置を求めるように構成されている。
【００７３】
図１２は、本実施例における処理の流れを説明するための図である。図１２において、第１の実施の形態の第１の実施例における処理の流れを説明するための図である図５と同じ名称を持つ構成要素は同じ機能を提供するものとする。なお、第２の実施の形態の実施例において、外観、各手段の構成、投影面、座標系の設定など、位置合わせ手段０１３および位置合わせ処理（ステップＤ００）に関わる個所以外は、第１の実施の形態の実施例とすべて同一とする。
図１２における初期化（ステップＡ０１）は、第１の実施の形態の第１の実施例と比較して、部分画像の合成位置を求める際の位置補正量値を０に初期化する処理が追加されている。終了確認（ステップＡ０２）、カメラ移動（ステップＢ’００）、撮像（ステップＣ００）は、第１の実施の形態の第１の実施例と同様である。
【００７４】
図１３は、本発明の第２の実施の形態の実施例における位置合わせ処理（ステップＤ００）の処理の流れを説明するための図である。
図１３において、まず位置合わせ処理は、部分画像ｉおよび、部分画像ｉの位置補正量を求める際の基準となる基準画像を求める（ステップＤ９１）。ここでは直前に撮像した部分画像、すなわち、部分画像ｉ−１を基準画像とする。ｉ−１が０未満の場合は、部分画像ｉ−１＋Ｎを基準画像とする。なお、ここで用いた基準画像選択手法は仮に設定したものであり、処理対象である部分画像ｉと相関がある画像であれば他の選択手法を用いても良い。また、部分画像ではなく、合成画像そのものを基準画像とすることも、当然のことながら、可能である。なお、基準となる画像が存在しない場合は（ステップＤ９１１）、位置合わせ処理を行わずに、位置補正量を０として（ステップＤ９１２）処理を終了する。
【００７５】
本実施例では、位置合わせ処理として、通常の画像処理にて用いられる手法と同様に相互相関係数を用いた逐次探索手法を利用する。すなわち、部分画像ｉの取得位置θiとその最大誤差ｄθに対して、θi−ｄθ≦θ≦θi＋ｄθとなる範囲内から、基準画像と部分画像ｉの重複部における相互相関係数が最も高くなるθを求める処理として実装される。ｄθは用いるカメラ移動手段の駆動精度および位置検出精度から決定される値であるが、ここでは撮像間隔２４度の３分の１とする。カメラ移動手段の駆動精度および位置検出精度が高い場合にはより小さく、低い場合にはより大きくすれば良い。
【００７６】
まず、変数θを範囲内の最小値である、θi−ｄθに、最大の相互相関係数示すＣmaxを相互相関係数の下限値よりもさらに小さい値（ここでは−２）に、最大の相互相関係数を与えた時の位置θmaxを取得位置θiに、それぞれ初期化する（ステップＤ９２）。そして変数θが所定の範囲内に収まっている間、ステップＤ９４以降の処理を適用することで、部分画像ｉが基準画像と最も良く重なり合う位置を求める（ステップＤ９３）。
【００７７】
そのために、まず、基準画像と部分画像を、第１の実施の形態の実施例における合成処理と同様の手法で投影した際に少なくとも両者を包含可能な大きさを持つ作業用の画像を画像メモリ００８上に確保し、各画素をすべて空白にし、基準画像を第１の実施の形態の実施例における合成処理と同様の視差の影響を低減する手法により作業用の画像上に投影する。次に、変数θに対して、同様の投影手法により部分画像ｉの各画素の投影位置を求め、基準画像と部分画像ｉが重複する領域を求める（ステップＤ９４）。得られた重複領域において相互相関係数Ｃを求め（ステップＤ９５）、それまでに得られていた最大の相互相関係数を示すＣmaxとＣとを比較し（ステップＤ９６）、ＣがＣmaxを上回っていた場合には、ＣmaxをＣで置き換え、更にθmaxをθで置き換える（ステップＤ９７）。そして、次の位置における相互相関係数を求めるために、
θ←θ＋Δθ
としてθを更新し、ステップＤ９３以降の処理を繰り返す（ステップＤ９８）。
【００７８】
ここでΔθは、必要な精度に応じて設定されるべき値であり、ここでは、位置検出の最小分解能である１度の半分である０．５度とする。
範囲内のすべての位置について相互相関係数を求めた後、Ｃmaxには最大の相互相関係数が、θmaxにはＣmaxを与えた時の位置が格納されている。位置合わせ処理は、このθmaxから部分画像ｉの位置補正量を、
θmax−θi
として求め、画像属性メモリ００４に格納する（ステップＤ９９）。
ここでは、位置合わせ処理と画像合成処理を並列に実行する場合にも対応できるように、部分画像ｉの予め定められた取得位置とその補正量を明確に区別するために、位置補正量を求める形態で実行しているが、両者を明確に区別する必要が無い場合には、部分画像ｉの部分画像ｉの取得位置を直接θと置き換えるように処理を構成してもよい。
なお、ここでは、カメラの水平方向の移動量をのみを対象範囲としたが、他の座標軸についても変動が見られる時は、各座標軸の可動範囲から構成される３次元領域を候補とすればよい。
【００７９】
また上で述べた以外の位置合わせ手法を用いることも可能であり、例えば、相互相関係数は計算量が多いため、より簡便な、対応する画素値の差の絶対値の和や、この和を重複領域の面積で平均化したものなどが利用可能である。また３次元空間の単純な逐次検索ではなく、対応点を利用したより計算量の少ない手法も利用可能である。これらの処理は、位置合わせまたはマッチング処理として、通常の画像処理にて用いられる手法であり、従来の技術を利用可能である。従来の位置合わせ処理技術については、「共立出版、ｂｉｔ別冊『コンピュータ・サイエンス』，エーシーエム・コンピューティング・サーベイズ’９２、７７〜１１９頁」に詳しく述べられているため、詳細は割愛する。
【００８０】
ステップＤ００における位置合わせ処理結果を利用して、画像合成手段００９は、第１の実施の形態における実施例と同様に、部分画像に含まれる視差の影響を低減しながら各部分画像を合成画像上に投影する（ステップＥ００）。本実施例においては、第１の実施の形態の第１の実施例における合成処理の処理の流れを説明する図である図７のステップＥ９１において、画像属性メモリ００４に格納された部分画像を取得した時のカメラ００５の向き情報と、位置合わせ手段０１３により求めた位置補正量とを足しあわせることで部分画像の位置を求める点が異なるのみであり、その他の投影手法に関しては第１の実施の形態と同様である。
【００８１】
このように、位置合わせ手段０１３により部分画像ｉの取得位置に含まれる誤差を解消し、高精度の合成画像を生成することが可能となる。
第２の実施の形態においても、第１の実施の形態と同様に、各処理が並列に実行されるように構成することが可能である。この時、位置合わせ処理は、図８における処理の流れを示す図におけるカメラ移動処理、撮像処理、画像合成処理と同様に並列に実行され、図１５に示すような処理の流れとなる。
位置合わせ処理は、第１の実施の形態において各処理が並列に実行されるように構成された実施例における画像合成処理と同様に、画像属性メモリ００４に格納されている位置合わせ処理を適用するか否かを示す位置合わせ処理フラグを参照して位置合わせ処理が実行される。
【００８２】
すなわち、撮像処理（ステップＣ００）において、新規に取得した部分画像に対して、画像メモリ００８に部分画像を、取得時の位置および属性情報を画像属性メモリ００４に記録すると共に、位置合わせ処理が必要なことを示す位置合わせ処理フラグが画像属性メモリ００４にセットされる（ステップＣ９３）。位置合わせ処理フラグは、ここでは一般の計算機処理において利用されるフラグと同様に画像属性メモリ００４上の部分画像の属性を追加することで容易に実現可能であり、ステップＡ０１における初期化時にすべて解除されているものとする。この位置合わせ処理フラグは、取得した部分画像への位置合わせ処理が終了した時に解除される。なお、位置合わせ処理フラグは一実施例であり、部分画像の取得および位置合わせ処理の適用を確認可能な手段であれば、どのような手段を用いてもよい。
【００８３】
位置合わせ処理は、第２の実施の形態の上記の実施例と比較して、画像属性メモリ００４の部分画像ｉの位置合わせ処理フラグを監視することで、処理すべき部分画像の取得を判断し、部分画像とその取得位置から、部分画像の合成画像上への投影処理を継続的に行うことに特徴がある。
すなわち、まず、図１５において、処理の対象となる部分画像ｉの取得を画像属性メモリ００４に格納されている部分画像ｉの位置合わせ処理フラグがセットされているか否かにより判断し、セットされている場合は、第２の実施の形態の上記の実施例における処理の流れを説明する図である図１３において同一名称を持つ処理と同様に、ステップＤ９１〜ステップＤ９１２の処理を適用し、部分画像の位置補正量を決定する。部分画像ｉの位置合わせ処理が終了した場合には、位置合わせ処理フラグを解除し、投影処理フラグを設定することにより部分画像ｉに対する位置合わせ処理が終了し合成処理の適用が必要なことを記録する（ステップＤ９１３）。
【００８４】
そして図８における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＤ９１０）、合成処理を終了する。指示がない間は、上記のステップＤ９０以降の処理を繰り返す。
画像合成処理（ステップＥ００）は、この位置合わせ処理により設定された投影処理フラグを参照して、第１の実施の形態の第２の実施例と同様の処理の流れで、画像合成処理を実行する。
【００８５】
また、部分画像の取得および画像合成が継続的に、かつ、同じ位置を目標に行われる場合には、各部分画像の取得位置に含まれる誤差は安定すると考えられる。すなわち、継続的に画像取得および合成が行われている時、ある時点で求めた部分画像ｉに対する位置補正量は、次に部分画像ｉを取得する時にも高い精度で利用できると考えられる。このことを利用して、第１の実施例に対して、図１４のように、位置合わせ処理（ステップＤ００）と合成処理（ステップＥ００）が並列に実行されるように構成可能である。この時、合成処理における合成位置を求める際には（ステップＥ０２）、以前に部分画像ｉに対して求めた位置補正量が利用されることになる。この構成により、他の処理と比較して処理コストが高く、全体の処理速度を低下させる原因となりやすい位置合わせ処理の影響を低減できる。
【００８６】
また、上記の各実施の形態の実施例における画像合成処理では、部分画像ｉを合成画像上に投影するという手法を説明したが、逆に、合成画像上の点を画像平面上に投影することで合成画像上の点の画素値を決定するように構成することも可能である。
図１６は合成画像上の点を画像平面上に投影することで合成画像上の点の画素値を決定するように構成した画像合成処理の処理の流れの例を説明するための図である。
なお、合成画像の大きさは、ステップＡ０１の初期化処理において予め決定されており、Ｘ方向、Ｙ方向の大きさをＭx、Ｍyとする。この値は、すべての部分画像について、取得位置θiを用いて、部分画像に含まれる画素の合成画像上の位置を上記実施例における合成処理と同様の手法により求めた位置のＸ方向、Ｙ方向それぞれの最小値および最大値から決定可能である。
【００８７】
上記の実施例における画像合成処理における処理の流れを説明するための図である図７と同様に画像合成手段００９は、画像メモリ００８内から取得直後の部分画像ｉと合成画像を、それぞれの取得位置θiを始めとする属性情報を画像属性メモリ００４から取得する（ステップＥ'９１）。ここで、合成画像に含まれる各画素には重複がなく、かつ、０から順に番号ｋ（０≦ｋ≦Ｋ）が付加されており、このｋを指定することで、合成画像上の画素の位置が決定するものとする。これは、説明を容易にするために仮に設定するものであり、各画素を重複なくかつ順番に選択できる手法であればどのようなものでも利用可能である。例えば、通常用いられるラスタスキャンのようにＸ方向およびＹ方向の各軸毎に値を変化させていく手法等を用いても、本発明の本質に影響を与えない。
【００８８】
画像合成手段は、画像合成上の画素を指定する変数ｋを初期化し、全画素数を示すＫを求める（ステップＥ'９２）。具体的には、
ｋ←０
Ｋ←Ｍx×Ｍy
となる。
そして、すべての画素について、ステップＥ'９４以降の処理を適用する（Ｅ'９３）。まず、番号ｋに対応する、合成画像上の位置（Ｘk，Ｙk）を、
Ｘk ← （ｋ ＭＯＤ Ｍx） −Ｍx÷２
Ｙk ← （ｋ ＤＩＶ Ｍx） −Ｍy÷２
として求める。ここで、ＭＯＤはｋをＭxで割った余りを求める整数演算子であり、ＤＩＶはｋをＭxで割った際の商を求める整数演算子である。（Ｘk，Ｙk）は、合成画像の中心を原点とする座標系で表現されている。
【００８９】
そして得られた合成画像上の画素位置（Ｘk，Ｙk）を示す点に対応する部分画像上の画素位置（ｘk，ｙk）を示す点を求める（ステップＥ'９５）。すなわち、合成画像上の点（Ｘk，Ｙk）から投影面３０６上の投影点３１２の３次元座標（Ｘ，Ｙ，Ｚ）が、式（７）の逆変換として
【数８】

と表現されることから、この投影点３１２とカメラ回転中心ｃ３１３とを結ぶ直線に平行で、視点ｏ３０１を通る直線と画像平面３０２との交点として点ｐ３１１を求めることができる。ここで、カメラ回転中心ｃ３１３から投影点３１２に向かうベクトルを方向ベクトルに持ち、視点ｏ３０１を通る直線３０７上の点ｑ３０９の位置ベクトルは、変数ｓを用いて、
【数９】

と書ける。
【００９０】
また画像平面３０２の法線ベクトルが視点ｏ３１２の位置ベクトルと平行で、かつ、光軸と画像平面の交点、すなわち、φ＝ρ＝θ＝０の時に（０，０，ｆ＋Ｌ）に相当する点を、φ、ρ、θに従って回転させた点を通ることから、画像平面３０２上の点ｐ３１１の位置ベクトルは、
【数１０】

を満たす。これに、ρ＝０、θ＝θiを代入すると、
【数１１】

となる。
【００９１】
合成画像上の点（Ｘk，Ｙk）に対応する画像平面３０２上の点は、直線３０７と画像平面３０２の交点として求められることから、点ｐ３１１の３次元座標を定める定数ｓは
【数１２】

にρ＝０、θ＝θiを代入した、
【数１３】

となる。このｓを式（９）に代入して定まる点ｐ３１１の３次元座標（x，ｙ，ｚ）を式（１）の逆、すなわち、Ｘ、Ｙ、Ｚの各軸周りに（−φ，−ρ，−θ）回転させる変換
【数１４】

にρ＝０、θ＝θiを代入した、
【数１５】

を適用して得られる３次元座標のＸ、Ｙ成分（ｘk，ｙk）が、部分画像座標系における合成画像上の点（Ｘk，Ｙk）に対応する位置になる。
【００９２】
そこで画像合成処理では、上記の計算手法に従って各合成画像上の画素に対応する部分画像座標系上の座標値を求め（ステップＥ'９５）、その値が部分画像の存在する範囲、すなわち、（−Ｓx／２，−Ｓy／２）〜（Ｓx／２，Ｓy／２）に収まっているか否かを判断して（ステップＥ'９６）、収まっている場合には、共一次内挿処理により部分画像の点（ｘk，ｙk）の周囲の４点の画素値から合成画像上の点（Ｘk，Ｙk）の画素値を決定する。これらの内挿処理は、通常の画像処理に利用されているものであればどのようなものでも利用可能である。内挿処理については、「『画像解析ハンドブック』、ｐｐ．４４１−４４４、東京大学出版会、１９９２」に詳しく説明されているため、詳細は割愛する。
【００９３】
ｋに対応する合成画像上の画素値を決定した後、画像合成処理は、ｋの値を１増やし、次の画素を処理対象に、上記の処理の実行を継続する（ステップＥ'９７）。
このように合成画像上の点から部分画像上の対応点を求める場合は、座標の丸め誤差に伴う空白画素の発生が合成画像上に生じないという特徴がある。
また上記画像合成処理では合成画像の大きさを予め部分画像の投影位置から計算しておくものとしたが、合成画像の大きさをユーザからの指示などにより別途、設定したい場合がある。このような場合にも、計算により求めた合成画像サイズが指定サイズに収まるように拡大・縮小比率を求め、この比率を合成画像の座標系に適用することで上記の画像投影手法を利用することが可能である。例えば、計算により求めた大きさが２０００×２００画素であり、指定された大きさが５００×５０画素の場合、指定された大きさの座標値をＸ，Ｙ成分とも４倍することで、計算により求めた大きさの合成画像を用いた場合の座標に変換可能であり、この座標値を用いることで部分画像上の対応点を求められる。
【００９４】
なお、このように合成画像上の座標から部分画像上の対応点を求める画像合成処理も、他の処理と並列に実行されるように構成可能であり、図１７がこの画像合成処理を並列に実行する場合の処理の流れを示している。図１７に示された処理の流れは、図７で示される画像合成処理に対する図１１の並列処理向けの画像合成処理と同様に、処理対象の画像の存在を投影処理フラグを参照して行うように図１６で示される画像合成処理に変更を加えたものであり、詳細は割愛する。
【００９５】
また、第２の実施の形態の実施例においては、カメラ移動手段０１４が部分画像取得時のカメラ００５の向きを検出するとしたが、位置合わせ手段０１３を構成要素とする場合は、θの存在範囲を適切に設定することでカメラ００５の向きの検出機構を省くことも可能である。
【００９６】
次に、本発明における画像入力装置１００の第３および第４の実施の形態における画像入力装置を、具体的な実施例を挙げて各構成の処理内容を図面を参照しながら詳しく説明する。
第３および第４の実施の形態は、第１および第２の実施の形態が、カメラ００５そのものを回転して得た複数の部分画像を合成するのに対し、カメラ００５の前面でミラー００１を回転させて複数の部分画像を取得することに特徴がある。図３２は、ミラー００１の回転とカメラ００５の回転の対応を説明するための図であり、右側がカメラを回転した場合、左側がカメラ前面でミラーを回転した場合の視野を図示している。
【００９７】
図３２に示すように、画像と実際の上下左右の対応が変化することや幾何的な歪みを除けば、ミラー００１をカメラ００５の光軸周りに回転させることはカメラ００５のパン操作に、また、ミラー００１をカメラ光軸に垂直な軸周りに回転させることはカメラ００５のチルト操作に相当する。そのため、ミラー００１を用いた場合においても、単純に合成したのでは視差の影響を受けて合成画像上に形状や位置の不連続が発生する場合がある。第３および第４の実施の形態では、この視差による画質低下の影響を、第１および第２の実施の形態と同様の合成手法を適用することで低減する。
【００９８】
以下の説明において、第１および第２の実施の形態の実施例と同じ名称を持つ構成要素は基本的に同じ機能を提供する。特に説明の無い個所は、第１および第２の実施の形態の実施例とすべて同一とし、第１および第２の実施の形態の実施例との差異を中心に説明する。
図３３は、第３の実施の形態の実施例の構成を説明するための図であり、この図を用いて画像を入力する際の各構成の説明を行う。
図３３において、筐体１０１には、上記実施の形態におけるミラー制御手段００３、画像属性メモリ００４、撮像手段００６、撮像制御手段００７、画像メモリ００８、画像合成手段００９、表示制御手段０１１が格納されており、他の構成要素とケーブルにより接続されている。
【００９９】
ミラー００１は、ミラー移動手段００２により保持されており、水平方向に回転可能である。ミラー移動手段００２は、第１および第２の実施の形態の実施例におけるカメラ移動手段０１４と同様に、ステッピングモータ、原点検出器、ギア、ミラー保持治具を用いて、ステッピングモータの回転出力をギアを介して適切に減速して保持治具の回転として取り出すことで治具に接続されたミラー００１の水平方向の回転を実現する。原点検出器は、ミラーの水平方向の回転量を０とみなす基準点を検出するものであり、例えば、ギアに取り付けた磁石とホール素子を組み合せてミラーの水平方向１回転毎に１パルスを発生させるような構成を利用可能である。このような原点検出器は、ステッピングモータと共に頻繁に利用される機器であるため、詳細は割愛する。
【０１００】
上記の構成を持つミラー移動手段００２の場合、ミラー００１の向き、すなわち水平方向における角度は、原点検出器の出力を基準として、ステッピングモータへの出力パルス数と１パルス辺りの回転量、ギアの減速比から求められる。当然のことながら、ミラー移動手段００２はここにあげた以外の構成とすることも可能であり、例えば、ＤＣモータ、減速ギア、ミラー固定治具とロータリーエンコーダを用いる構成など様々な実現方法を利用可能である。
ミラー制御手段００３は、上記ミラー移動手段００２へのパルス送出、送出パルス数の計算および保持、原点検出器による原点検出を行うものであり、通常のステッピングモータ制御に利用される機構と同様であり詳細は割愛する。これはパーソナルコンピュータと、その出力をステッピングモータに適した形式へ変換する機構とを組み合せることでも容易に実現可能である。
【０１０１】
本実施例においては、ステッピングモータの１パルス当たりの回転量が１８度、ギアの減速比１８分の１であるとする。この時、ミラー００１はステッピングモータへの出力１パルスにつき１度水平方向に回転する。これらは説明を容易にするために仮に設定するものであり、本発明の適用範囲を限定するものではない。当然のことながら、他の回転量を持つステッピングモータ、他の減速比を利用することが可能である。
また、本実施例の説明においてはミラー００１は、水平方向に対してのみ回転するものとし、光軸上に回転中心が存在するものとするが、これは説明を容易にするために設定するものであり、本発明の実施例を規定するものではない。ミラー移動手段００２の構成を変更することによりミラー００１の水平および垂直方向への回転を適用することや、回転中心が光軸上に存在しない場合にも容易に対応可能である。
【０１０２】
カメラ００５は通常のビデオカメラであり、支柱４００を介してカメラ００５の光軸とミラー００１の回転軸が一致するように固定されており、ミラー００１を経由した外界の映像がカメラ００５により入力されるように配置されている。図３４は、カメラ００５により撮像した部分画像を合成して合成画像を生成することを説明するためのイメージ図であり、ミラー００１、カメラ００５、ミラー移動手段００２、投影面３０６と座標系の関係を示している。
【０１０３】
図３４にあるように、本実施例においては、ミラー００１を経由してカメラ００５により撮像された部分画像３００は、ミラー００１の回転軸と軸を共有する円筒状の投影面３０６上に投影され、他の部分画像と合成される。なお、本実施例においては投影面３０６として円筒面を用いるが、ミラー００１の回転中心を中心とする球面等に対応することも可能である。これらの投影面３０６を平面に展開したものを合成画像とする。
また、ミラー００１の回転範囲が１８０度未満の場合は、円筒面上や球面上ではなく、平面とすることも可能なことは、第１および第２の実施の形態の実施例と同様である。
【０１０４】
図３５は、投影による合成処理を説明するための図であり、ミラー００１を経由してカメラ００５の画像平面と投影面との関係を示している。
図３５においては、ピンホールカメラモデルにて表現したカメラ００５の視点ｏ３０１を原点として、カメラ００５により取得される部分画像に相当する画像平面３０２の各軸と平行なＸ軸、Ｙ軸、および、カメラ００５の光軸方向にＺ軸を持つ３次元座標系が設定されている。カメラ００５の焦点距離をｆとすると、画像平面３０２はＺ軸方向の距離ｆの位置に存在する。ミラー００５は平面として表現され、Ｚ軸上の回転中心ｃ３０４を中心に回転し、その単位法線ベクトルをｎ３０３とする。投影面３０６はＺ軸を軸とする円筒面であり、その半径をＤとする。
【０１０５】
ミラー００１の単位法線ベクトルｎ３０３は、水平、すなわちＸＹ平面と平行な状態を基準に、Ｘ軸、Ｙ軸、Ｚ軸の各軸周りの回転量φ、ρ、θを用いて、
【数１６】

と求められる。本実施例では水平方向のみの回転を考えるため、垂直方向への回転量に相当するφは固定であり、かつ、Ｙ軸周りの回転量に相当するρ＝０であるとみなせる。水平方向の回転量、すなわちＺ軸周りの回転量θはミラー移動手段００２により観測される値を用いる。
【０１０６】
図１８は、本実施例における処理の流れを説明するための図である。
以下、図１８に基づいて、本実施例における処理の流れを詳細に説明する。
本実施例における画像入力装置１００は、まず、１枚の広視野画像を構成する画像数、各部分画像を取得すべき位置、ミラー移動手段００２の原点への移動、ミラー制御手段００３内の出力パルス数を計数するカウンタの初期化等、各構成要素に必要な初期化を行う（ステップＡ０１）。第１および第２の実施の形態の実施例と同様であるため詳細は割愛する。
なお、部分画像ｉを取得すべきミラー００１の向きを水平方向の角度θiで表現するものとする。これらは説明のために仮に設定するものであり、本説明の適用範囲を限定するものではなく、他の表現手法を利用可能である。ミラー００１の水平方向、すなわちＺ軸周り以外の回転も可能な場合は、各軸周りの回転量も含めて取得すべき向きを設定すれば良い。
【０１０７】
また、画像メモリ００８は、Ｎ枚の部分画像及び合成画像を格納するのに必要十分な大きさを持っており、画像属性メモリ００４は、部分画像の大きさ、取得時のミラーの姿勢、部分画像が格納されている画像メモリ上の位置、合成画像の大きさ、合成画像が格納される画像メモリ上の位置の各属性情報が格納されているものとする。各部分画像や合成画像の画素値は、これらの属性情報を利用することで参照可能である。このような画像メモリ００８および画像属性メモリ００４はメモリ素子の組み合わせや、または、コンピュータに搭載されている記憶装置を流用することで容易に実現可能である。
【０１０８】
初期化終了後、本発明における画像入力装置１００は撮像処理を終了するまで、ステップＢ００〜ステップＧ００の処理を繰り返す（ステップＡ０２）。処理を終了する条件については、ユーザからの指示、既定時間実行した後終了する等様々な手法を実施可能であるが、本発明の本質ではないので詳細は割愛する。
ミラー制御手段００３は、ミラー移動手段００２を用いてミラー００１の向きを部分画像ｉの取得位置θiに移動する（ステップＢ００）。
【０１０９】
図１９は、ミラー移動処理の処理の流れを説明するための図である。
図１９において、ミラー制御手段００３は、まず、ミラー移動手段００２に指示を出し、ミラー００１の移動を開始する。すなわち、ミラー移動手段００２は、ステッピングモータにパルスを出力してミラーの向きを移動し（ステップＢ９２）、出力パルス数を更新する（ステップＢ９３）。そして出力パルス数から、第１のおよび第２の実施の形態のカメラの角度を求める場合と同様の計算に基づき、ミラー００１の向きθを求める（ステップＢ９４）。
【０１１０】
ここでは、ステップＢ９２においては１パルスを出力し、ステップＢ９４においては、出力パルス数を示すカウンタ値を１増加させるものとする。ただし、これらは仮に設定するものであり、例えば、カメラの水平方向の回転の分解能がより細かな値を持つ場合などは２パルスを一度に出力するなど、ここにあげた例とは異なった値を利用することも可能なことは、第１および第２の実施の形態における実施例と同様である。
その後、ミラー制御手段００３は、求めたθと部分画像ｉを取得すべき位置を示すθiを比較することでミラー００１が目的の向きに移動したか否かを監視し（ステップＢ９５）、目的の向きに達した場合はミラー００１の移動を終了する。そうでない場合は、再びステップＢ９２に戻り、パルス出力以降の処理を繰り返す。
【０１１１】
次に、撮像制御手段００７は、第１および第２の実施の形態の実施例における撮像処理と同様に、ミラー００１を経由してカメラ００５が取得した外界の映像を撮像手段００６により部分画像として画像メモリ００８に、取得時のミラー００１の向き、すなわちθiを画像属性メモリ００４に、それぞれ取り込む（ステップＣ００）。ここで、撮像手段の構成は、第１および第２の実施の形態における実施例と同様である。
続いて、画像合成手段００９は、取得した部分画像を、視差の影響が低減するように投影面３０６に投影し、この投影面３０６を展開して合成画像を更新する（ステップＥ００）。
【０１１２】
本実施例における合成処理の流れは、第１および第２の実施の形態の実施例の合成処理の流れを示す図である図７と同様の処理の流れであるが、第１および第２の実施の形態の実施例では、カメラ００５の向きを利用したのに対して、本実施例ではミラー００１の向きを利用する点およびステップＥ９５における投影手法がミラーの回転中心ｃ３０４を利用する点が異なっている。
図７において、画像合成手段００９はまず、取得直後の部分画像ｉを合成画像上に投影するために、画像メモリ００８内から部分画像ｉを、また、その取得位置θiを画像属性メモリ００４から取得する（ステップＥ９１）。本実施例において、部分画像の各画素に付加された番号、およびその番号を用いて部分画像ｉ上の画素の位置を決定する処理（ステップＥ９２、ステップＥ９３、およびステップＥ９４）は、第１および第２の実施の形態における実施例と同様である。
【０１１３】
以下、ステップＥ９５およびステップＥ９６における、部分画像上の画素の投影面３０６への投影処理を、図を用いて詳細に説明する。
まず、部分画像ｉ取得時のミラー位置θiから、部分画像ｉを取得した時のミラー００１の単位法線ベクトルｎ３０３を式（１６）に対して、θ＝θi、ρ＝０を代入した、
【数１７】

に従って求める。これはφ＝ρ＝θ＝０の時に（０，０，１）である単位ベクトルを、Ｘ、Ｙ、Ｚ軸周りに回転する変換を示している。ここで、部分画像ｉ上の点ｐ３１１（ｘj，ｙj）を考えると、その３次元空間における座標は（ｘj，ｙj，ｆ）となる。すなわち、
【数１８】

である。
視点ｏ３０１から点ｐ３１１を通る直線は、パラメータｓを用いて、
【数１９】

と表現される。
【０１１４】
ミラー００１上の点ｒ３０５と、単位法線ベクトルｎ３０３と、回転中心ｃ３０４の間の関係は、内積を用いて、
【数２０】

と表現でき、特に点ｒ３０５が式（１９）で示される直線と、ミラー００１との交点である場合は、
【数２１】

と表現できる。
【０１１５】
ここで、直線の方向ベクトルｌが、単位法線ベクトルｎで示される平面において反射した後の方向ベクトルは、単位法線ベクトルのＸ、Ｙ、Ｚ成分により構成される反射を示す行列Ｒを用いて
【数２２】

と表現できることから、視点ｏ３０１から点ｐ３１１を通る直線が、ミラー００１上の点ｒ３０５において反射した後の直線（＝反射直線３０７）上の点ｑ３０９は、行列Ｒとパラメータｓを用いて、
【数２３】

と表現できる。この反射直線３０７と投影面３０６との交点として定まる投影点ｐ’３０８は、視点ｏ３０１を投影の中心として点ｐ３１１を投影面３０６上に投影したものである。本発明において、ミラー００１の回転はカメラ００５前方にある軸周りの回転と同じ効果をもたらすため、ミラー００１の回転に伴う視点ｏ３０１の移動により視差が発生するという問題がある。すなわち、３次元空間上の点がミラー００１の向きによって異なった投影上の点に投影されるため、形状や位置の不連続が発生する場合がある。
【０１１６】
図３７は、この視差の問題を説明するための図であり、上記の投影手法では、空間上の点ｑ３０９が、破線および実線で示されるようにミラー００１が異なる向きの時に、投影面３０６上の異なる２点ｐ’３０８に投影されることを示している。この視差は、ミラー００１の回転中心ｃ３０４と投影面３０６への投影の中心が一致していないことに起因するものである。
この問題を解決するために、本発明における画像入力装置では、第１および第２の実施の形態の実施例において、カメラ回転中心を投影の中心としたのと同様に、画像合成手段００９における画像合成処理において回転中心ｃ３０４を投影の中心として、各部分画像を投影面３０６上に投影する。
【０１１７】
図３６は、回転中心ｃ３０４を投影中心とする投影手法を説明するための図である。回転中心ｃ３０４から式（２３）で表現される反射直線３０７上の点ｑ３０９へのベクトルは、
【数２４】

であり、このベクトルを延長して得られる直線は媒介変数tを用いて、
【数２５】

と書ける。この直線と投影面３０６の交点ｐ’’３１０を考えると、式（２５）中には点ｑ３０９の空間上の位置を定めるパラメータｓが含まれていることから、回転中心ｃ３０４を投影の中心とした場合には、図３６に示すように、パラメータｓの値、すなわち点ｑ３０９の点ｒ３０５からの距離に応じて点ｐ’’３１０の位置が変化することを示している。
【０１１８】
しかしながら、空間上の点ｑ３０９が遠方、すなわち、パラメータｓの値が大きくなっていく場合を考えると、回転中心ｃ３０４と点ｐ’’３１０を結ぶベクトルは徐々に、反射直線３０７の方向ベクトルに近づき、最終的には平行な方向に収束するという特性がある。例えば、レンズの焦点距離５．５、回転中心が（０，０，３０）の時には、反射点からの距離が約１０００程度でほぼ収束する。すなわち、回転中心ｃ３０４から見た反射直線３０７上の点を投影面３０６上に投影した場合、交点ｐ’３１０は、反射直線３０７と平行で回転中心ｃ３０４を通る直線と投影面３０６との交点に収束する。これは、視点ｏ３０１と画像平面３０２上の点ｐ３１１とを結ぶ直線がミラー００１により反射した反射直線３０７上にある空間上の点のほとんどが、この交点に投影されることを示している。このことから、この収束点を投影点３１２とすることにより、上記の視差の問題を大幅に低減可能であり、得られる合成画像の品質を著しく向上させられる。
【０１１９】
そこで、ステップＥ９５においては、部分画像ｉ上の各点（ｘj，ｙj，ｆ）から、式（２３）で示される反射直線３０７と同じ方向ベクトルを持ち回転中心ｃ３０４を通る直線と、投影面３０６である半径Ｄの円筒面との交点の位置ベクトルを、
【数２６】

として求めて、まず、部分画像ｉ上の点ｐ３１１に対応する投影面３０６上の投影点３１２の３次元位置（Ｘ，Ｙ，Ｚ）を求める。そしてさらに、第１および第２の実施の形態の実施例と同様に、式（７）に従って投影点３１２に対応する投影面３０６を平面に展開した合成画像上における位置（Ｘj，Ｙj）を求める。そして、ステップＥ９６において、画像メモリ００８に格納されている合成画像の対応する位置の画素値を部分画像ｉ上の画素値で置換することで部分画像ｉ上の各点を合成画像上に投影する。（Ｘj，Ｙj）が整数値でない場合は、少数点以下を四捨五入すれば良いのも、第１及び第２の実施の形態の実施例と同様である。
【０１２０】
また、合成画像の大きさの更新タイミングおよび手法についても第１および第２の実施の形態の実施例と同様である。
部分画像ｉ上の全画素の合成画像上への投影処理が終了したか否かを全画素数を示すＪと変数ｊの比較により判断し、全画素への処理が終了した場合には、画像合成処理を終了する（ステップＥ９３）。
合成処理（ステップＥ００）における部分画像ｉの合成画像への投影処理が終了した後、表示制御手段０１１は、更新された合成画像を画像メモリ００８から読み出し、第１および第２の実施の形態の実施例と同様に、表示手段０１２に表示する（ステップＧ００）。
【０１２１】
更新された合成画像の表示が終了した後、第１および第２の実施の形態の実施例と同様に、次の部分画像を取得するべく、図１８におけるステップＡ０２以降を繰り返す。図３１に示したような、継続的に更新される合成画像を用いた機能の例を利用可能なことも第１および第２の実施の形態の実施例と同様である。
なお、上記の説明においては、ミラー移動、撮像、画像合成、表示の各処理を順に実行するものとして説明したが、これらは並列に実行するように構成することも可能である。
【０１２２】
以下、第３の実施の形態の第２の実施例として、各処理を並列に構成した場合について、第３の実施の形態の第１の実施例と比較しながら、図を用いて詳細に説明する。
第３の実施の形態の第２の実施例においても、外観、各手段の構成、投影面、座標系の設定など、処理の流れに関わる個所以外は、第３の実施の形態の第１の実施例とすべて同一とする。
図２０は、各処理を並列に構成した場合の全体の処理の流れを説明するための図である。
図２０における各処理は、図１８における第３の実施の形態の第１の実施例における処理の流れと比較して、ミラー移動（ステップＢ００），撮像（ステップＣ００）、画像合成（ステップＥ００）、表示（ステップＧ００）の各処理が同期をとりながら、並列に実行されることを特徴とする。
【０１２３】
第３の実施の形態の第１の実施例と同様の初期化処理（ステップＡ０１）、終了確認処理（ステップＡ０２）を経た後、各処理はそれぞれ動作を開始する。
図２１は、第３の実施の形態の第２の実施例におけるミラー移動処理（ステップＢ００）の処理の流れを詳細に説明するための図である。
第２の実施例におけるミラー移動処理は、第１の実施例と比較して、ミラー００１を個々の画像取得位置に移動するのではなく、ミラーの向きを記録しながら継続的に移動することに特徴がある。
すなわち、ミラー移動処理は、図２０における終了確認処理（ステップＡ０２）からの指示があるまで、パルス出力（ステップＢ９２）からミラー位置計算（ステップＢ９４）の処理を継続して行い、得られたミラー位置をミラー制御手段０１５内に記録（ステップＢ９６）という処理を繰り返す。撮像処理（ステップＣ００）は、第１および第２の実施の形態における実施例と同様に、このミラー位置を参照して処理を行う。ここではミラー位置として水平方向の角度が伝えられるものとするが、出力パルス数を直接送出する等、撮像処理においてミラーの向きが確認できる手法であれば、どのような形態でも良い。また、水平だけでなく、各軸周りの回転量を伝えるように構成可能なことも、第１および第２の実施の形態における実施例と同様である。
【０１２４】
パルス出力（ステップＢ９２）からミラー位置計算（ステップＢ９４）までの各処理は、第３の実施の形態の第１の実施例における処理の流れを説明する図である図１９において同一名称を持つ処理と同様の処理である。
図２０における終了確認処理（ステップＡ０２）の指示があった場合は（ステップＢ９７）、第３の実施の形態における第１の実施例と同様に、ミラー００１の移動を停止し、処理を終了する。
【０１２５】
図２２は、第３の実施の形態の第２の実施例における撮像処理（ステップＣ００）の処理の流れを詳細に説明するための図である。
本実施例における撮像処理の流れは、第１の実施の形態の第２の実施例における撮像処理の流れを示す図である図１０と同様の処理の流れであるが、先の実施例ではカメラ００５の向きを取得したのに対して（ステップＣ９１）、本実施例ではミラー００１の向きを取得し（ステップＣ９５）、利用する点が異なっているのみであり、詳細は割愛する。
【０１２６】
本実施例における合成処理の流れは、第１の実施の形態の第２の実施例における合成処理の流れを示す図である図１１と同様の処理の流れであるが、第１の実施の形態の第２の実施例ではカメラ００５の向きを利用したのに対して、本実施例ではミラー００１の向きを利用する点、およびステップＥ０４における投影手法が、第３の実施の形態の第１の実施例における処理と同様に、ミラーの回転中心ｃ３０４を利用する点が異なっている。
表示処理は、表示制御手段０１１が、合成画像を継続的に画像メモリ００８から読み出し、表示手段０１２に表示する（ステップＧ００）。継続的に読み出し、表示されるため、更新された合成画像は直ちに表示手段０１２に表示される点や、合成画像の一部だけをユーザの指示に応じて選択的に表示するように構成することや、複数のユーザが同一の合成画像上から異なった地点を切り出して表示手段０１２に表示する機能を提供可能なことは先の実施例と同様である。
【０１２７】
このように各処理を並列に構成することで、第３の実施の形態の第１の実施例と比較して、画像取得から画像を合成するに至る一連の処理の流れにおいて、一つの処理の遅れが他の処理にも影響を与え全体の動作速度が低下するという問題を防げるという長所が生じる。
次に、本発明の画像入力装置における第４の実施の形態の実施例を、図を参照して詳細に説明する。
【０１２８】
第３の実施の形態においては、部分画像の取得のすべき位置と実際に部分画像を取得した際のミラーの向きには差が発生しないものとして構成されている。しかしながら、ミラー移動手段００２によるミラー向き検出精度が低い場合、さらには、画像取得指示から実際に部分画像が取得されるまでの遅延が大きい場合には、部分画像の取得位置に大きな誤差が含まれる場合があり、合成画像の精度を著しく低下させるという問題が発生する場合がある。
【０１２９】
本発明の第４の実施の形態は、第１の実施の形態に対する第２の実施の形態と同様に、このような取得位置に含まれる誤差の問題を解消するためになされたものであり、第３の実施の形態と比較して、各部分画像の取得位置に含まれる誤差を解消し高精度の合成画像を取得可能とするために、部分画像間に位置あわせを適用する位置あわせ手段が追加されたことを特徴とする。
【０１３０】
本実施例においても、第３の実施の形態における実施例の構成を説明するための図である図３３と同様の外観を持つが、筐体１０１には、ミラー制御手段００３、画像属性メモリ００４、撮像手段００６、撮像制御手段００７、画像メモリ００８、画像合成手段００９、表示制御手段０１１の各構成要素に加えて、さらに、位置合わせ手段０１３が格納されており、他の構成要素とケーブルにより接続されている。第３の実施の形態の第１の実施例と比較して、同じ名称を持つ構成要素は同じ機能を提供するが、画像属性メモリ００４は、部分画像取得時のミラーの向きの情報および位置合わせ手段０１３により求められた各部分画像の位置補正量をそれぞれ、格納する。また画像合成手段００９は、画像属性メモリ００４内の部分画像の取得位置と、位置合わせ手段０１３により求めた部分画像の位置補正量を利用して合成位置を求めるように構成されている。
【０１３１】
図２３は、本実施例における処理の流れを説明するための図である。図２３において、第３の実施の形態の第１の実施例における処理の流れを説明するための図である図１８と同じ名称を持つ構成要素は同じ機能を提供するものとする。なお、第４の実施の形態の実施例において、外観、各手段の構成、投影面、座標系の設定など、位置合わせ手段０１３および位置合わせ処理（ステップＤ００）に関わる個所以外は、第３の実施の形態の実施例とすべて同一とする。
図２３における初期化（ステップＡ０１）は、第３の実施の形態の第１の実施例と比較して、部分画像の合成位置を求める際の位置補正量値を０に初期化する処理が追加されている。終了確認（ステップＡ０２）、ミラー移動（ステップＢ００）、撮像（ステップＣ００）は、第３の実施の形態の第１の実施例と同様である。
【０１３２】
本実施例における位置合わせ処理（ステップＤ００）の流れは、第２の実施の形態の実施例における位置合わせ処理の流れを示す図である図１３と同様の処理の流れであるが、第２の実施の形態の実施例ではカメラ００５の向きを利用したのに対して、本実施例ではミラー００１の向きを利用する点が異なっている。
ステップＤ００における位置合わせ処理結果を利用して、画像合成手段００９は、第３の実施の形態における実施例と同様に、部分画像に含まれる視差の影響を低減しながら各部分画像を合成画像上に投影する（ステップＥ００）。本実施例においては、第３の実施の形態の第１の実施例における合成処理の処理の流れを説明する図である図７と、ステップＥ０２において、画像属性メモリ００４に格納された部分画像を取得した時のミラー００１の向き情報と、位置合わせ手段０１３により求めた合成位置補正量とを用いて部分画像の合成位置を求める点が異なるのみであり、その他の投影手法に関しては第３の実施の形態の第１の実施例と同様である。
【０１３３】
このように、位置合わせ手段０１３により部分画像ｉの取得位置に含まれる誤差を解消し、高精度の合成画像を生成することが可能となる。
第４の実施の形態においても、第３の実施の形態と同様に、各処理が並列に実行されるように構成することが可能であり、この時、ステップＤ００における位置合わせ処理は、第２の実施の形態の実施例における位置合わせ処理の流れを示す図である図１５と同じ処理の流れとなるが、第２の実施の形態の実施例ではカメラ００５の向きを利用したのに対して、本実施例ではミラー００１の向きを利用する点が異なっている。
【０１３４】
また、第２の実施の形態の実施例と同様に、部分画像の取得および画像合成が継続的に、かつ、同じ位置を目標に行われる場合には、各部分画像の取得位置に含まれる誤差は安定すると考えられるため、継続的に画像取得および合成が行われている時、ある時点で求めた部分画像ｉに対する位置補正量は、次に部分画像ｉを取得する時にも高い精度で利用できる。このことから、第４の実施の形態の第１の実施例に対して、図２４のように、位置合わせ処理（ステップＤ００）と合成処理（ステップＥ００）が並列に実行されるように構成可能である。図２４は、第２の実施の形態の実施例における処理の流れを示す図である図１４と同様の処理の流れであるが、カメラ００５ではなく、ミラー００１の移動を行う点（ステップＢ’００）と、各処理においてカメラ００５の向きではなくミラー０００１の向きの情報を利用する点が異なっている。
【０１３５】
また、第３および第４の実施の形態の実施例における画像合成処理では、部分画像ｉを合成画像上に投影するという手法を説明したが、第１および第２の実施の形態の実施例と同様に、合成画像上の点を画像平面上に投影することで合成画像上の点の画素値を決定するように構成することも可能である。
このときの画像合成処理の流れは、第１及び第２の実施の形態における実施例と同様に、図１６および図１７となる。図１７は、画像合成処理を他の処理と並列に実行する場合を示している。
【０１３６】
この画像合成処理における各処理は、第１および第２の実施の形態の実施例においてはカメラ００５の向きを利用したのに対してミラー００１の向きを利用するように構成される点、および、合成画像上の位置（Ｘk，Ｙk）から部分画像上の位置（ｘk，ｙk）を求める際の計算が異なるのみである。以下、第３及び第４の実施の形態の実施例において、合成画像上の点を画像平面上に投影することで合成画像上の点の画素値を決定する場合の計算手法について説明する。
【０１３７】
合成画像上の点（Ｘk，Ｙk）から投影面３０６上の投影点３１２の３次元座標（Ｘ，Ｙ、Ｚ）は、第１および第２の実施の形態における実施例と同様に、
【数２７】

と表現される。この投影点３１２に対応する部分画像ｉ上の点は、投影点３１２とミラー回転中心ｃ３０４を通る直線に平行で、かつミラー００１によって反射した場合に視点ｏ３０１を通る直線と、画像平面３０２との交点として求められる。
【０１３８】
投影点３１２とミラー回転中心３０４を通る直線の方向ベクトルは、
【数２８】

であり、ミラー００１において反射した直線の方向ベクトルは、反射を示す行列Ｒを用いて、
【数２９】

と書ける。
【０１３９】
この方向ベクトルを持ち、視点ｏ３０１、すなわち、原点を通る直線は、パラメータｓを用いて
【数３０】

となる。画像平面３０２との交点ｐ３１１の座標（ｘ，ｙ，ｚ）はこの直線上の点のうち、Ｚ成分が焦点距離ｆと一致する点として求められ、その時のＸ成分およびＹ成分が部分画像ｉ上の点の位置（ｘk，ｙk）となる。すなわち、
【数３１】

と表現される。
求めた位置（ｘk，ｙk）から合成画像上の画素値を決定する手法は、第１および第２の実施の形態における実施例と同様であり、詳細は割愛する。
【０１４０】
このように合成画像上の点から部分画像上の対応点を求める場合は、座標の丸め誤差に伴う空白画素の発生が合成画像上に生じないという特徴があるのは、第１および第２の実施の形態における実施例と同様である。また計算により求めた合成画像サイズが指定サイズに収まるように拡大・縮小比率を求め、この比率を合成画像の座標系に適用することで上記の画像投影手法を利用可能なことも、同様である。さらには、他の処理と並列に実行されるように構成可能なことも、第１および第２の実施の形態における実施例と同様である。
【０１４１】
図４０は第４の実施の形態における実施例において、合成画像上の画素値を部分画像上の対応点から共一次内挿により求めた画像の例を示している。図４０（Ａ）が画像合成処理において得られる合成画像の一状態を示しており、図４０（Ｂ）は表示処理において、合成画像から中央部のみを切り出して表示される様子を示している。
【０１４２】
また、各第３および第４の実施の形態における実施例においては、図３３に示すように、カメラ００５が上方に、ミラー００１が下方にある形態について説明したが、本発明の適用範囲はこれに限定されるものではない。図３８および図３９は、他の実施の例を示したものであり、カメラ００５を下方に、ミラー００１を上方に設置する場合の例を示している。図３９が外観を、図３８が断面図をそれぞれ示している。このような構成とした場合、ミラー移動手段００２の構成要素であるミラー保持治具をミラー両端にして各部分画像に治具が映り込まないようにすることで、カメラ００５を支える支柱４００が視界に入ることを防ぐことが可能となる。
【０１４３】
また、第４の実施の形態における実施例においては、ミラー移動手段００２が部分画像取得時のミラー００１の向きを検出するとしたが、位置合わせ手段０１３を構成要素とする場合は、θの存在範囲を適切に設定することでミラー００１の向きの検出機構を省くことも可能である。
また、上記の各実施の形態における実施例においては、ビデオカメラを、固定焦点距離を持つものとして扱ったが、ズームレンズ等により焦点距離が可変な場合にも、現在の焦点距離を装置に伝える手段を設けることで容易に対応可能である。
【０１４４】
また、上記各実施の形態における実施例においてはカメラ００５の光学系を周辺減光や歪曲収差を持たない単純なピンホールモデルにて説明したが、これらの歪みを取り除く手段を撮像制御手段００７に追加することによりこのような光学系に起因する歪みを生じるカメラ００５に対しても本発明は適用可能である。このようなカメラパラメータの測定技術については、「出口『カメラキャリブレーション手法の最近の動向』、情処研報Vol.93、No.25、ＣＶ８２−１、１９９３」に詳しく紹介されているため、ここでは割愛する。
また、各実施例において、カメラ００５またはミラー００１を、それぞれカメラ移動手段０１４またはミラー移動手段００２により自動的に移動するものとしたが、これらを簡略化してユーザが手動でカメラ００５またはミラー００１を移動可能な構成にすることも可能である。
【０１４５】
次に本発明の第５の実施の形態に係る画像入力装置の構成を図４１及び図４２に示す。図４１は画像入力装置の機構部を含む全体構成を示し、図４２は図４１に示す機構部の側面を示している。これらの図において、本実施の形態に係る画像入力装置は、機構部と制御部とからなり、具体的には、機構部は、カメラ本体６１０とカメラレンズ６１１からなり被写界を撮像するカメラ６００と、その側面のうち２面に反射面６０２ａ−１、６０２ａ−２が形成され、被写界からの反射光をカメラ６００のカメラレンズ６１１方向に光路変換するためにカメラ６００の前方に配置された三角柱ミラー６０２ａと、三角柱ミラー６０２ａをカメラ６００の光軸回りに回転させるミラー回転機構６０３とを有している。尚、カメラ６００、ミラー６０２ａは図４に示す第４の実施の形態に係る画像入力装置のカメラ００５、ミラー００１に相当し、ミラー回転機構６０３は図４に示す第４の実施の形態に係る画像入力装置におけるミラー移動手段００２に相当する。
【０１４６】
また制御部は、三角柱ミラー６０２ａの回転に伴ってカメラより入力される複数の画像を合成して広視野角画像を生成する処理手段５００と、処理手段５００からの制御信号に従ってミラー回転機構６０３を制御するミラー回転制御手段５０１とを有している。ミラー回転制御手段５０１は、図４に示す第４の実施の形態に係る画像入力装置のミラー制御手段００３に相当する。
【０１４７】
処理手段５００は、カメラ６００により撮像された画像を取得して処理する画像取得手段５０２と、画像取得手段５０２で処理された画像を反射面６０２ａ−１からの反射光を撮像することにより得られた画像と反射面６０２ａ−２からの反射光を撮像することにより得られる画像に分離する画像分離手段５０５と、画像分離手段５０５で分離された画像をそれぞれ独立に合成処理する画像合成手段５０３−１、５０３−２と、画像合成手段５０３−１、５０３−２で合成された画像を、それぞれの更新部分が広視野画像に反映されるように統合することで合成画像を更新する画像更新手段５０４とを有している。画像合成手段５０３−１は第１の画像合成手段に、画像合成手段５０３−２は本発明の第２の画像合成手段に、それぞれ相当する。
尚、画像取得手段５０２は図４に示す第４の実施の形態に係る画像入力装置の撮像手段００６及び撮像制御手段００７に相当する。画像合成手段５０３−１及び５０３−２は、図４に示す第４の実施の形態に係る画像入力装置の画像合成手段００９に相当する。
【０１４８】
上記構成からなる本発明の第５の実施の形態に係る画像入力装置の動作について説明する。上記構成において、処理手段５００は、ミラー回転制御手段５０１を介してミラー回転機構６０３を制御し、三角柱ミラー６０２ａを回転制御する。
処理手段５００は、三角柱ミラー６０２ａの回転速度を自由に設定できるが、通常は一定速度で回転させるように制御する。被写界からの反射光は、三角柱ミラー６０２ａの反射面６０２ａ−１と反射面６０２ａ−２で光路変換されてカメラ６００に入力され、この結果、カメラ６００により被写界が撮像され、その映像信号がカメラ本体６１０から画像取得手段５０２に送出される。
【０１４９】
画像取得手段５０２は、三角柱ミラー６０２ａが回転した状態で、カメラ本体６１０より順次、画像を取得し処理する。三角柱ミラー６０２ａが一定速度で回転している場合は、一定時間毎に画像を取得すれば、画像入力装置の周囲における被写界の画像を一定間隔で取得することが可能となる。
さて、画像取得手段５０２で取得された画像は、三角柱ミラー６０２ａの反射面６０２ａ−１からの反射光を撮像することにより得られた画像と、反射面６０２ａ−２からの反射光を撮像することにより得られた画像が合わさったものである。
【０１５０】
そこで画像分離手段５０５は、画像取得手段５０２により取得され処理された各画像を三角柱ミラー６０２ａの２つの反射面６０２ａ−１、６０２ａ−２に対応させて分離して、分離された画像をそれぞれ画像合成手段５０３−１と画像合成手段５０３−２に送出する。
画像合成手段５０３−１、５０３−２では、それぞれ独立に画像の合成処理を行い、合成された結果を画像更新手段５０４へ送出する。
画像更新手段５０４では、画像合成手段５０３−１、５０３−２から送られてきた各画像から更新された部分を広視野画像上に重ね書きすることで順次広視野画像を更新し、図示していない表示手段に出力する。
【０１５１】
画像合成手段５０３−１及び５０３−２における合成処理は、本発明における第１〜第４の実施の形態における合成処理と同様である。
【０１５２】
図４３は、図４１に示した画像入力装置におけるカメラ６００で撮像された各画像Ｍ１、Ｍ２、Ｍ３、Ｍ４、…の例を示しており、上下方向が一致するように回転して配置した様子を示している。
図４３にあるように三角柱ミラー６０２ａの２つの反射面６０２ａ−１と反射面６０２ａ−２を介して撮像された各画像領域における境界線Ｌの位置は，カメラ６００のカメラレンズ６１１の光軸に対する三角柱ミラー６０２ａの相対角度で決まる。画像分離手段５０５は、この境界線Ｌに従って撮像した画像を２つに分離する。分離された各画像は取得時のミラー角度が１８０度異なる２枚の部分画像とみなすことができるため、画像合成手段５０３−１及び５０３−２において、本発明における第１〜第４の実施の形態における画像合成処理と同様の処理でそれぞれ独立に合成される。
【０１５３】
画像更新手段５０４は、画像合成手段５０３−１及び５０３−２において生成された各合成画像のうち、撮像した画像が反映されている部分のみを抜き出して広視野画像上の対応部分に重ね書きすることで広視野画像を更新する。撮像した画像が反映されている部分は、例えば、分離後の画像上の各画素が合成画像上に投影される領域の外接矩形とすることで容易に判断可能である。また図４４は図４３における画像Ｍ２が広視野画像に合成される様子を説明するための図である。 図４４において、画像Ｍ２は、三角柱ミラー６０２ａの反射面６０２ａ−１を介して撮像された画像Ｍ２−１と、反射面６０２ａ−２を介して撮像された画像Ｍ２−２とに分離された後、それぞれ独立に合成画像１及び合成画像２上に合成される。この時、両者の合成位置は互いに１８０度異なっている。画像更新手段５０４は、合成画像１、合成画像２それぞれの更新された部分の外接矩領域Ｒ−１とＲ−２を抜き出して重ね書きすることで広視野画像を更新する。
以上のように、本実施の形態においては、個々の撮像した画像には、カメラから見たある方向の被写体と、それと１８０度反対方向の被写体がそれぞれ同時に撮像されている。したがって、三角柱ミラー６０２ａが１８０度回転しただけで３６０度全方位の広視野画像を取得することができる。すなわち、三角柱ミラー６０２ａが３６０度回転する度に、広視野画像は２回更新されることになる。すなわち、本発明の第４の実施の形態に係る画像入力装置に比べて、広視野画像を入力する際のフレームレートを２倍、高速化することができる。ここでは、２つの独立した画像合成手段が存在するものとして説明したが、各合成処理を並列に行う必要がない場合は、本発明における第１〜第４の実施の形態において利用した画像合成手段を、分離後の各画像に順番に適用するように構成することも可能である。
【０１５４】
以上説明したように本発明の第５の実施の形態に係る画像入力装置によれば、三角柱ミラーを用いてカメラにより撮像した２方向の画像を同時に合成し、更新することにより、ミラーがカメラの光軸回りを１回転するのに要する時間の１／２で３６０度全方位の広視野画像を１回、更新することが可能となる。
【０１５５】
次に本発明の第６の実施の形態に係る画像入力装置の構成を図４５及び図４６に示す。図４５は画像入力装置の機構部を含む全体構成を示し、図４６は図４５に示す機構部の側面を示している。これらの図において、本実施の形態に係る画像入力装置は、機構部と制御部とからなり、具体的には、機構部は、カメラ本体６１０ｕとカメラレンズ６１１ｕからなるカメラ６０１ｕと、カメラ本体６１０ｄとカメラレンズ６１１ｄからなり、カメラ６０１ｕとカメラレンズの光軸を一致させて互いに向き合うように配置されたカメラ６０１ｄと、カメラ６０１ｕとカメラ６０１ｄとの間に配置され反射面６０２ｂ−１、６０２ｂ−２を有し、被写界からの反射光をカメラ６０１ｕ、６０１ｄのカメラレンズ方向に光路変換する両面ミラー６０２ｂと、両面ミラー６０２ｂをカメラ６０１ｕ、６０１ｄの光軸回りに回転させるミラー回転機構６０３と、ミラー回転機構６０３の回転を両面ミラー６０２ｂに伝達するための両面ミラー６０２ｂを保持している中空ギア６０４及びギア６０５とを有している。カメラ６０１ｕは、本発明の第１のカメラに、カメラ６０１ｄは、本発明の第２のカメラに、それぞれ相当する。
尚、両面ミラー６０２ｂは、図４に示す本発明の第４の実施の形態に係る画像入力装置のミラー００１に、ミラー回転機構６０３は図４のミラー移動手段００２に、それぞれ相当する。
【０１５６】
また制御部は、ミラーの回転に伴ってカメラ６０１ｕ、６０１ｄより入力される複数の画像を合成して広視野角の画像を生成する処理手段５００と、処理手段５００から出力される制御信号に従ってミラー回転機構６０３を制御するミラー回転制御手段５０１とを有している。
処理手段５００は、カメラ６０１ｕにより撮像された画像を取得して処理する画像取得手段５０２ｕと、画像取得手段５０２ｕで処理された画像を合成処理する画像合成手段５０３ｕと、カメラ６０１ｄにより撮像された画像を取得して処理する画像取得手段５０２ｄと，画像取得手段５０２ｄで処理された画像を合成処理する画像合成手段５０３ｄと、画像合成手段５０３ｕ、５０３ｄにより合成された各画像から更新された部分を広視野画像に重ね書きして更新する画像更新手段５０４とを有している。尚、ミラー回転制御手段５０１は、図４に示す本発明の第４の実施の形態に係る画像入力装置のミラー制御手段００３に、画像取得手段５０２ｕ、５０２ｄは、図４に示す本発明の第４の実施の形態に係る画像入力装置の撮像手段００６及び撮像制御手段００７に、画像合成手段５０３ｕ、５０３ｄは、図４に示す本発明の第４の実施の形態に係る画像入力装置の画像合成手段００９に、それぞれ相当する。
【０１５７】
ここで、画像取得手段５０２ｕは本発明の第１の画像取得手段に、画像取得手段５０２ｄは本発明の第２の画像取得手段に、画像合成手段５０３ｕは本発明の第１の画像合成手段に、画像合成手段５０３ｄは本発明の第２の画像合成手段に、それぞれ相当する。
【０１５８】
次に上記構成からなる本発明の第６の実施の形態に係る画像入力装置の動作について説明する。上記構成において、処理手段５００は、ミラー回転制御手段５０１を介してミラー回転機構６０３を制御し、ギア６０５を回転駆動する。ギア６０５の回転は、中空ギア６０４を介して両面ミラー６０２ｂに伝達される．中空ギア６０４は、両面ミラー６０２ｂの反射面６０２ｂ−２で反射された光をカメラ６０１ｄに入力されるように中空形状をしている。
【０１５９】
処理手段５００は、両面ミラー６０２ｂの回転速度を自由に設定できるが、通常は一定速度で回転させるように制御する。被写界からの反射光は、両面ミラー６０２ｂの反射面６０２ｂ−１と反射面６０２ｂ−２で光路変換されてそれぞれ、カメラ６０１ｕ及びカメラ６０１ｄに入力され、この結果、カメラ６０１ｕ及びカメラ６０１ｄにより被写界が撮像され、その映像信号がカメラ本体６１０ｕ及びカメラ本体６１０ｄから、画像取得手段５０２ｕ及び画像取得手段５０２ｄに送出される。
【０１６０】
画像取得手段５０２ｕ及び画像取得手段５０２ｄは、両面ミラー６０２ｂが回転した状態で、カメラ本体６１０ｕ及びカメラ本体６１０ｄから順次、画像を取得し、処理する。両面ミラー６０２ｂが一定速度で回転している場合は、一定時間毎に画像を取得すれば、画像入力装置の周囲における被写界の画像を一定間隔で取得することが可能となる。
画像取得手段５０２ｕ及び画像取得手段５０２ｄで取得された画像は、それぞれ画像合成手段５０３ｕ及び画像合成手段５０３ｄで合成処理され、画像更新手段５０４へ送出される。
画像更新手段５０４では、画像合成手段５０３ｕ及び画像合成手段５０３ｄから送られてきた各画像から更新された部分を広視野画像上に重ね書きすることで順次広視野画像を更新し、図示していない表示手段に出力する。
【０１６１】
図４７は、本実施の形態における撮像から広視野画像更新に至る処理を説明するための図である。本実施の形態では、２つのカメラと、それらに挟まれた両面ミラー６０２ｂを用いているため、あるミラー位置に対して撮像位置が１８０度異なる２枚の画像が取得されることを特徴とする。この２枚の画像を、本発明における第５の実施の形態と同様に、画像合成手段５０３ｕ及び画像合成手段５０３ｄによりそれぞれ合成して合成画像を生成し、画像更新手段５０４により各合成画像の更新された部分を広視野画像上に重ね書きすることで広視野画像を更新する。すなわち、図４７において、あるミラー角度に対して両面ミラー６０２ｂの反射面６０２ｂ−１を経由して撮像された画像Ｍ１−１と、同じく反射面６０２ｂ−２を経由して撮像された画像Ｍ１−２は、それぞれ合成画像１及び合成画像２に合成される。この時、両者の合成位置は互いに１８０度異なっている、それぞれの更新領域の外接矩形領域Ｒ−１とＲ−２に相当する部分画像が広視野画像上に重ね書きされる。
本実施の形態における画像合成は、カメラ６０１ｕとカメラ６０１ｄのそれぞれの処理系統に対して本発明の第４の実施の形態に係る画像入力方法をそのまま適用できる。
本実施の形態では、２つのカメラと、それらに挟まれた両面ミラー６０２ｂを用いているため、ミラーが１回転する間に２つの３６０度全方位広視野画像が生成される。言い換えれば，両面ミラー６０２ｂが１回転する間に、３６０度全方位広視野画像が２回更新されることになる。すなわち、第５の実施の形態と同様に、第４の実施の形態に係る画像入力装置に比べて，広視野画像を入力する際のフレームレートを２倍、高速化することができる。
尚、ここでは、２つの独立した画像合成手段が存在するものとして説明したが、各合成処理を並列に行う必要がない場合は、本発明における第１〜第４の実施の形態において利用した画像合成手段を、各画像に順番に適用するように構成することも可能である。
【０１６２】
以上 説明したように本発明の第６の実施の形態に係る画像入力装置によれば、両面ミラーを用いてカメラにより撮像した２方向の画像を同時に合成し、更新することにより、ミラーがカメラの光軸回りを１回転するのに要する時間の１／２で３６０度全方位の広視野画像を１回、更新することが可能となる。
また２台のカメラと両面ミラーを組み合せることによりで広視野画像を高速に入力することが可能になると共に、更に本発明の第４の実施の形態に係る画像入力装置と同様の解像度の広視野画像を生成することができる。
【０１６３】
尚、回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、前記複数の部分画像の合成時に前記カメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像合成手段を有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られる。
【０１６４】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するカメラ移動手段と、前記カメラ移動手段にカメラの撮影方向を変更するように指示すると共にカメラの姿勢情報を各部に伝達する姿勢制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時のカメラの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記姿勢制御手段より受け取った前記カメラの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、カメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とするように投影点を決定し、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピューシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られる。
【０１６５】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するカメラ移動手段と、前記カメラ移動手段にカメラの撮影方向を変更するように指示すると共にカメラの姿勢情報を各部に伝達する姿勢制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時のカメラの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記姿勢制御手段より受け取った前記カメラの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記第１の記憶手段に格納されている各部分画像間の位置関係を求め、求められた位置関係に基づいて前記第２の記憶手段に格納されている各部分画像の合成位置の位置補正量を求め、前記第２の記憶手段に格納する位置合わせ手段と、前記第２の記憶手段に格納されている各部分画像を取得した時のカメラの姿勢情報及び前記位置合わせ手段により求められた位置補正量を用いて各部分画像の合成位置を求め、求めた合成位置に従って、カメラの回転中心を投影の中心とし、前記カメラの視点と前記複数の各部分画像が形成される画像平面上における部分画像上の画素とを結ぶ直線に平行で、かつ前記カメラの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とするように投影点を決定し、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
【０１６６】
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、カメラ移動手段を構成するカメラの角度検出機構の誤差を低減し、高精度の合成画像を作成することが可能となる。
また部分画像取得時におけるカメラの向きの存在範囲を適切に設定することにより、画像入力装置の構成上、カメラ移動手段を構成するカメラの角度検出機構を省くことができる。
【０１６７】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像合成手段を有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られる。
【０１６８】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するように前記ミラーの向きを変更するミラー移動手段と、前記ミラー移動手段に前記ミラーの向きを変更するように指示すると共に前記ミラーの姿勢情報を各部に伝達するミラー制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時の前記ミラーの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記ミラー制御手段より受け取った前記ミラーの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とするように投影点を決定し、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られる。
【０１６９】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するように前記ミラーの向きを変更するミラー移動手段と、前記ミラー移動手段に前記ミラーの向きを変更するように指示すると共に前記ミラーの姿勢情報を各部に伝達するミラー制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時の前記ミラーの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記ミラー制御手段より受け取った前記ミラーの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記第１の記憶手段に格納されている各部分画像間の位置関係を求め、求められた位置関係に基づいて前記第２の記憶手段に格納されている各部分画像の合成位置の位置補正量を求め、前記第２の記憶手段に格納する位置合わせ手段と、前記第２の記憶手段に格納されている各部分画像を取得した時のカメラの姿勢情報及び前記位置合わせ手段により求められた合成位置の位置補正量を用いて各部分画像の合成位置を求め、求めた合成位置に従って、前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とするように投影点を決定し、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、ミラー移動手段を構成するミラーの角度検出機構の誤差を低減し、高精度の合成画像を作成することが可能となる。
また部分画像取得時におけるミラーの向きの存在範囲を適切に設定することにより、画像入力装置の構成上、ミラー移動手段を構成するミラーの角度検出機構を省くことができる。
【０１７０】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、前記複数の部分画像の合成時に空間上に設定された投影面上の点と前記カメラの回転中心とを結ぶ直線に平行で、かつカメラの視点を通る直線と前記取得した複数の各部分画像が形成される画像平面との交点から前記投影面上の点に対応する合成画像面上の画素を求める画像合成手段を有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
【０１７１】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するカメラ移動手段と、前記カメラ移動手段にカメラの撮影方向を変更するように指示すると共にカメラの姿勢情報を各部に伝達する姿勢制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時のカメラの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記姿勢制御手段より受け取った前記カメラの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記複数の部分画像の合成時に空間上に設定された投影面上の点と前記カメラの回転中心とを結ぶ直線に平行で、かつカメラの視点を通る直線と前記取得した複数の各部分画像が形成される画像平面との交点から前記投影面上の点に対応する合成画像面上の画素を求め、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
【０１７２】
また回転可能に保持されたカメラを回転駆動することにより撮影方向を変化させながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するカメラ移動手段と、前記カメラ移動手段にカメラの撮影方向を変更するように指示すると共にカメラの姿勢情報を各部に伝達する姿勢制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時のカメラの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記姿勢制御手段より受け取った前記カメラの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記第１の記憶手段に格納されている各部分画像間の位置関係を求め、求められた位置関係に基づいて前記第２の記憶手段に格納されている各部分画像の合成位置の位置補正量を求め、前記第２の記憶手段に格納する位置合わせ手段と、前記第２の記憶手段に格納されている各部分画像を取得した時のカメラの姿勢情報及び前記位置合わせ手段により求められた合成位置の位置補正量を用いて各部分画像の合成位置を求め、求めた合成位置に従って、空間上に設定された投影面上の点と前記カメラの回転中心とを結ぶ直線に平行で、かつカメラの視点を通る直線と前記取得した複数の各部分画像が形成される画像平面との交点から前記投影面上の点に対応する合成画像面上の画素を求め、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
【０１７３】
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、レンズの主点以外の点を中心としてカメラを回転した場合にも、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
またカメラ移動手段を構成するカメラの角度検出機構の誤差を低減し、高精度の合成画像を作成することが可能となる。
更に部分画像取得時におけるカメラの向きの存在範囲を適切に設定することにより、画像入力装置の構成上、カメラ移動手段を構成するカメラの角度検出機構を省くことができる。
【０１７４】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、前記複数の部分画像の合成時に空間上に設定された投影面上の点と前記ミラーの回転中心とを結ぶ直線を前記ミラー上で反射した反射光線を示す直線と平行で、かつ前記カメラの視点に入射する直線と前記部分画像が形成される画像平面上との交点から前記投影面上の点に対応する合成画像面上の画素を求める画像合成手段を有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
【０１７５】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するように前記ミラーの向きを変更するミラー移動手段と、前記ミラー移動手段に前記ミラーの向きを変更するように指示すると共に前記ミラーの姿勢情報を各部に伝達するミラー制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時の前記ミラーの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記ミラー制御手段より受け取った前記ミラーの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記複数の部分画像の合成時に空間上に設定された投影面上の点と前記ミラーの回転中心とを結ぶ直線を前記ミラー上で反射した反射光線を示す直線と平行で、かつ前記カメラの視点に入射する直線と前記部分画像が形成される画像平面上との交点から前記投影面上の点に対応する合成画像面上の画素を求め、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
【０１７６】
またカメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を合成し、広視野の合成画像を入力する画像入力装置において、カメラの撮影方向を変更するように前記ミラーの向きを変更するミラー移動手段と、前記ミラー移動手段に前記ミラーの向きを変更するように指示すると共に前記ミラーの姿勢情報を各部に伝達するミラー制御手段と、部分画像及び該部分画像を合成して作成した合成画像が格納される第１の記憶手段と、部分画像及び合成画像に関連する属性情報及び部分画像取得時の前記ミラーの姿勢情報が格納される第２の記憶手段と、前記カメラが撮影した画像を取り込み該取り込んだ画像から部分画像を取得し、該部分画像を前記第１の記憶手段に格納し、前記ミラー制御手段より受け取った前記ミラーの部分画像取得時の姿勢情報及び、部分画像と合成画像に関連する属性情報を前記第２の記憶手段に格納する部分画像取得手段と、前記第１の記憶手段に格納されている各部分画像間の位置関係を求め、求められた位置関係に基づいて前記第２の記憶手段に格納されている各部分画像の合成位置の位置補正量を求め、前記第２の記憶手段に格納する位置合わせ手段と、前記第２の記憶手段に格納されている各部分画像を取得した時のカメラの姿勢情報及び前記位置合わせ手段により求められた合成位置の位置補正量を用いて各部分画像の合成位置を求め、求めた合成位置に従って、空間上に設定された投影面上の点と前記ミラーの回転中心とを結ぶ直線を前記ミラー上で反射した反射光線を示す直線と平行で、かつ前記カメラの視点に入射する直線と前記部分画像が形成される画像平面上との交点から前記投影面上の点に対応する合成画像面上の画素を求め、前記第１、第２の記憶手段の記憶内容を参照して各部分画像を合成し、合成画像を前記第１の記憶手段に格納する画像合成手段とを有することを特徴とする画像入力装置の機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力を行うようにしてもよい。
この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、部分画像に含まれる視差の影響を低減した良好な広視野の合成画像が得られると共に、合成画像上の画素値を例えば、線形補間等の演算処理により決定する際に画素の位置を示す座標値の丸め誤差に伴う空白画素が合成画像上に生じない、という効果が有る。
更にミラー移動手段を構成するミラーの角度検出機構の誤差を低減し、高精度の合成画像を作成することが可能となる。
また部分画像取得時におけるミラーの向きの存在範囲を適切に設定することにより、画像入力装置の構成上、ミラー移動手段を構成するミラーの角度検出機構を省くことができる。
【０１７７】
【発明の効果】
請求項１、２に記載の発明によれば、カメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する際に、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像入力装置であって、前記ミラーは、側面のうち２面が反射面となっている三角柱ミラーであり、前記カメラは、前記ミラーの２面の前記反射面で光路変換された被写体からの反射光を撮像し、処理手段により前記カメラにより撮像された複数の各画像を前記ミラーの反射面に対応させて分離して独立に画像合成するようにしたので、２方向の画像を同時に撮像、合成及び更新することができ、それ故、ミラーをカメラ前面にて回転することにより取得した複数の部分画像を合成する際に、広視野画像を高速に入力することが可能となる。
【０１７８】
請求項３、４に記載の発明によれば、カメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する際に、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像入力装置であって、カメラレンズの光軸を一致させて互いに向き合うように配置され被写界を撮像する第１、第２の２台のカメラと、前記第１、第２のカメラの間に配置され、被写界からの反射光を前記第１、第２のカメラのカメラレンズ方向に光路変換する両面ミラーと、前記両面ミラーを前記第１、第２のカメラの光軸回りに回転させるミラー回転機構と、前記記ミラーの回転に伴って前記第１、第２のカメラより入力される複数の画像を合成して広視野角の画像を生成する処理手段とを有するので、ミラーをカメラ前面にて回転することにより取得した複数の部分画像を合成する際に、高速に広視野画像を入力することができると共に、本発明に係る他の画像入力装置により得られる広視野画像より高い解像度の広視野画像を生成することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係る画像入力装置の構成を示すブロック図。
【図２】 本発明の第２の実施の形態に係る画像入力装置の構成を示すブロック図。
【図３】 本発明の第３の実施の形態に係る画像入力装置の構成を示すブロック図。
【図４】 本発明の第４の実施の形態に係る画像入力装置の構成を示すブロック図。
【図５】 本発明の第１の実施の形態の第１実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図６】 本発明の第１の実施の形態の実施例に係る画像入力装置のカメラ移動処理の内容を示すフローチャート。
【図７】 本発明の第１の実施の形態の実施例に係る画像入力装置の画像合成処理の内容を示すフローチャート。
【図８】 本発明の第１の実施の形態の第２実施例に係る画像入力装置の処理内容を示すフローチャート。
【図９】 本発明の第１の実施の形態の第２実施例に係る画像入力装置のカメラ移動処理の内容を示すフローチャート。
【図１０】 本発明の第１の実施の形態の第２実施例に係る画像入力装置の撮像処理の内容を示すフローチャート。
【図１１】 本発明の第１の実施の形態の第２実施例に係る画像入力装置の画像合成処理の内容を示すフローチャート。
【図１２】 本発明の第２の実施の形態の第１実施例に係る画像入力装置の処理内容を示すフローチャート。
【図１３】 本発明の第２の実施の形態の第１実施例に係る画像入力装置の位置合わせ処理の内容を示すフローチャート。
【図１４】 本発明の第２の実施の形態の第２実施例に係る画像入力装置の処理内容を示すフローチャート。
【図１５】 本発明の第２の実施の形態の第２実施例に係る画像入力装置の位置合わせ処理の内容を示すフローチャート。
【図１６】 本発明の実施の形態に係る画像入力装置における画像合成処理の他の例の内容を示すフローチャート。
【図１７】 本発明の実施の形態に係る画像入力装置における画像合成処理の更に他の例の内容を示すフローチャート。
【図１８】 本発明の第３の実施の形態の第１実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図１９】 本発明の第３の実施の形態の実施例に係る画像入力装置のミラー移動処理の内容を示すフローチャート。
【図２０】 本発明の第３の実施の形態の第２実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図２１】 本発明の第３の実施の形態の第２実施例に係る画像入力装置のミラー移動処理の内容を示すフローチャート。
【図２２】 本発明の実第３の実施の形態の第２実施例に係る画像入力装置の撮像処理の内容を示すフローチャート。
【図２３】 本発明の第４の実施の形態の第１実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図２４】 本発明の第４の実施の形態の第２の実施例に係る画像入力装置の画像入力処理の内容を示すフローチャート。
【図２５】 本発明の第１および第２の実施の形態の実施例に係る画像入力装置の外観の一例を示す説明図。
【図２６】 本発明の第１および第２の実施の形態の実施例に係る画像入力装置と投影面との関係を示す説明図。
【図２７】 本発明の第１および第２の実施の形態の実施例に係る画像入力装置に適用される投影手法を説明するためのモデル図。
【図２８】 本発明の第１および第２の実施の形態の実施例に係る画像入力装置に適用されるカメラの回転中心を投影中心とする投影手法を説明するためのモデル図。
【図２９】 画像入力装置において、カメラの視点が移動することに起因して視差が生じる状態を説明するためのモデル図。
【図３０】 本発明の各実施の形態に係る画像入力装置において投影面を平面に展開する手法を示す説明図。
【図３１】 本発明に係る画像入力装置を利用した機能の一例を示す説明図。
【図３２】 本発明における画像入力装置において、カメラを回転させた
場合、およびカメラ前面でミラーを回転させた場合の各々について撮像範囲を示す説明図。
【図３３】 本発明の第３および第４の実施の形態の実施例に係る画像入力装置の外観の一例を示す説明図。
【図３４】 本発明の第３および第４の実施の形態の実施例に係る画像入力装置と投影面との関係を示す説明図。
【図３５】 本発明の第３および第４の実施の形態の実施例に係る画像入力装置に適用される投影手法を説明するためのモデル図。
【図３６】 本発明の第３および第４の実施の形態の実施例に係る画像入力装置に適用されるミラーの回転中心を投影中心とずる投影手法を説明するためのモデル図。
【図３７】 カメラ前面に設けられたミラーの回転中心と投影中心とが一致しないために視差が生じる状態を説明するためのモデル図。
【図３８】 本発明の第３および第４の実施の形態の実施例に係る画像入力装置の他の構成例を示す断面図。
【図３９】 図３８に示す画像入力装置の外観を示す説明図。
【図４０】 本発明の第４の実施の形態に係る画像入力装置により、合成画像上の画素値を部分画像上の対応点から求めた合成画像の一例を示す図。
【図４１】 本発明の第５の実施の形態に係る画像入力装置の機構部を含む構成を示すブロック図。
【図４２】 図４１に示した画像入力装置の機構部の側面を示す説明図。
【図４３】 図４１に示した画像入力装置におけるカメラにより撮像される画像例を示す説明図。
【図４４】 本発明の第５の実施の形態に係る画像入力装置による撮像から広視野画像更新に至る処理を示す説明図。
【図４５】 本発明の第６の実施の形態に係る画像入力装置の機構部を含む構成を示すブロック図。
【図４６】 図４５に示した画像入力装置の機構部の側面を示す説明図。
【図４７】 本発明の第６の実施の形態に係る画像入力装置による撮像から広視野画像更新に至る処理を示す説明図。
【符号の説明】
１００…画像入力装置
００１…ミラー
００２…ミラー移動手段
００３…ミラー制御手段
００４…画像属性メモリ
００５…カメラ
００６…撮像手段
００７…撮像制御手段
００８…画像メモリ
００９…画像合成手段
０１１…表示制御手段
０１２…表示手段
０１３…位置合わせ手段
０１４…カメラ移動手段
０１５…姿勢制御手段
１０１…筐体
５００…処理手段
５０２，５０２ｕ，５０２ｄ…画像取得手段
５０３−１，５０３−２，５０３ｕ，５０３ｄ…画像合成手段
５０４…画像更新手段
５０５…画像分離手段
６００，６０１ｕ，６０１ｄ…カメラ
６０２ａ…三角柱ミラー
６０２ｂ…両面ミラー
６０３…ミラー回転機構

Claims (4)

1. カメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する際に、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像入力装置であって、
   前記ミラーは、側面のうち２面が反射面となっている三角柱ミラーであり、
   前記カメラは、前記ミラーの２面の前記反射面で光路変換された被写体からの反射光を撮像し、
   処理手段により前記カメラにより撮像された複数の各画像を前記ミラーの反射面に対応させて分離して独立に画像合成することを特徴とする画像入力装置。
2. 前記処理手段は、
   前記カメラにより撮像された画像を取得し、ディジタル処理する画像取得手段と、
   前記画像取得手段により取得されディジタル処理された各画像を前記ミラーの２つの反射面に対応させて分離する画像分離手段と、
   前記ミラーの２つの反射面のうち第１の反射面に対応して前記画像分離手段により分離された画像を合成する第１の画像合成手段と、
   前記ミラーの２つの反射面のうち第２の反射面に対応して前記画像分離手段により分離された画像を合成する第２の画像合成手段と、
   前記第１、第２の画像合成手段により合成された画像を広視野画像の上から重ね書きすることにより更新する画像更新手段と、
   を有することを特徴とする請求項１に記載の画像入力装置。
3. カメラの前面に回転可能に保持されたミラーを回転駆動することにより、前記カメラの被写界における撮影範囲を変更しながら被写界の部分を撮影し、取得した被写界の複数の部分画像を投影面上に投影し、その投影結果に基づいて合成画像面上に合成し、広視野の合成画像を入力する際に、前記複数の部分画像の合成時に前記ミラーの回転中心を投影の中心とし、前記カメラの視点から部分画像が形成される画像平面上における部分画像の画素を通る光線が前記ミラー上で反射した後の反射光線を示す反射直線に平行で、かつ前記ミラーの回転中心を通る直線と空間上に設定された投影面との交点を前記部分画像上の画素の投影点とする画像入力装置であって、
   カメラレンズの光軸を一致させて互いに向き合うように配置され被写界を撮像する第１、第２の２台のカメラと、
   前記第１、第２のカメラの間に配置され、被写界からの反射光を前記第１、第２のカメラのカメラレンズ方向に光路変換する両面ミラーと、
   前記両面ミラーを前記第１、第２のカメラの光軸回りに回転させるミラー回転機構と、
   前記記ミラーの回転に伴って前記第１、第２のカメラより入力される複数の画像を合成して広視野角の画像を生成する処理手段と、
   を有することを特徴とする画像入力装置。
4. 前記処理手段は、
   前記両面ミラーの第１の反射面からの反射光を撮像する前記第１のカメラにより撮像された画像を取得し、ディジタル処理する第１の画像取得手段と、
   前記両面ミラーの第２の反射面からの反射光を撮像する前記第２のカメラにより撮像された画像を取得し、ディジタル処理する第２の画像取得手段と、
   前記第１の画像取得手段によりディジタル処理された画像を合成する第１の画像合成手段と、
   前記第２の画像取得手段によりディジタル処理された画像を合成する第２の画像合成手段と、
   前記第１、第２の画像合成手段により合成された画像を広視野画像の上から重ね書きすることにより更新する画像更新手段と、
   を有することを特徴とする請求項３に記載の画像入力装置。

Images