JP4995092B2 - ステレオカメラの画像の歪み補正装置、及びその方法 - Google Patents

Description

本発明は、ステレオカメラの画像の歪み補正装置、及びその方法に関し、更に詳しくは、ステレオカメラを介して獲得された３次元画像の歪み（左右の画像間の色分布の不一致、レンズの歪み、視差の歪み）を補正することによって、３次元画像の観察者において、目の疲労がなく、安らかに３次元画像を観察することができるようにする、ステレオカメラの画像の歪み補正装置、及びその方法に関する。

通常、人間が立体感を感じる最も大きな要因は、１つの物体に対して、左右の目が別の方向から物体を見るために発生する左右の網膜上の空間的な差による効果のためである。このような効果を利用して、左右の眼にそれぞれ互いに異なる画像、すなわち、立体画像（３次元画像）をディスプレイする方法が用いられるようになった。このような立体画像（３次元画像）のディスプレイ方法は、眼鏡を掛けて３次元画像を観察する方法と、眼鏡を掛けずに３次元画像を観察する方法とに分けられる。

第１に、眼鏡を掛けて３次元画像を観察する方法は、映画館のような広い空間で３次元画像を観察する方法であって、この方法としては、観察者が偏光眼鏡を掛けて２眼式の立体画像（３次元画像）が観察され得る偏光眼鏡方式がある。

第２に、眼鏡を掛けずに３次元画像を観察する方法は、主に、少人数の観察者が決まった観察位置で３次元画像を観察する方法であって、この方法には、パララックスバリア、又はレンティキュラを画像ディスプレイ板に付着して３次元画像を観察する方法がある。

３次元画像を獲得するため、２つ以上のカメラを使用して３次元画像を獲得する。このとき、使用されるカメラのレンズの焦点距離は、一般的に２８ｍｍ以上である。しかし、携帯端末装置のディスプレイ技術の発展に伴い、携帯端末装置に２つ以上のカメラを付着して３次元画像を獲得するシステムの開発が活発に行われており、携帯端末装置に付着されるカメラは、焦点距離が５ｍｍ程度の魚眼レンズ（ｆｉｓｈ−ｅｙｅ ｌｅｎｓ）を用いる。

すなわち、カメラの焦点距離が短くなるほど視野角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）は大きくなり、視野角（ＦＯＶ）が大きくなることに応じて視差の歪み（ｐａｒａｌｌａｘ ｄｉｓｔｏｒｔｉｏｎ）も増加する。そして、近年、端末装置のディスプレイの小型化が進んでおり、端末装置にステレオカメラを付着して、視野角（ＦＯＶ）の大きいカメラを用いて３次元画像を獲得する技術が開発されつつある。

しかし、このように、獲得された画像には、カメラレンズの焦点距離に応じて変化する視野角（ＦＯＶ）によって視差の歪みが発生し、このため、３次元画像の観察時の目の疲労を引き起こす問題があった。

本発明は、上記問題を解決するためになされたものであって、その目的は、ステレオカメラを介して獲得された３次元画像の歪み（左右の画像間の色分布の不一致、レンズの歪み、視差の歪み）を補正することによって、３次元画像の観察者において、目の疲労もなく、安らかに３次元画像を観察することができるようにする、ステレオカメラの画像の歪み補正装置、及びその方法を提供することにある。

本発明の他の目的及び長所は、下記の説明によって理解することができ、本発明の実施例によって、更に詳しく理解し得るはずである 。また、本発明の目的及び長所は、特許請求の範囲に示す手段及びその組み合わせによって実現することが分かるであろう。

上記の目的を達成するための本発明は、ステレオカメラの画像の歪みを補正する装置において、前記ステレオカメラによって獲得された左右の画像及びカメラ情報を受信する入力手段と、前記カメラ情報から前記左右の画像間の視差の誤差を示す視差の歪み補正パラメータを算出して格納する第１カメラパラメータ生成・格納手段と、前記左右の画像間の視差の歪みを除去するため、前記視差の歪み補正パラメータを用いて前記左右の画像を補正する視差の歪み補正手段とを備える。

また、前記本発明の装置は、前記左右の画像間の色分布を一致させる画像色補正手段と、前記カメラ情報からレンズの歪みパラメータを算出して格納する第２カメラパラメータ生成・格納手段と、前記レンズの歪みパラメータを用いて、前記左右の画像のそれぞれに対してレンズの歪みを補正するレンズの歪み補正手段とを更に備える。

そして、前記本発明の装置は、前記入力手段が受信した左右の画像を３次元画像フォーマットによって多重化し１つの３次元画像を生成する３次元画像多重化手段を更に備え、前記視差の歪み補正手段、前記画像色補正手段、及びレンズの歪み補正手段が、前記３次元画像内の左右の画像を識別して左右の画像のそれぞれに対して当該補正過程を行うことを特徴とする。

一方、本発明は、ステレオカメラの画像の歪みを補正する方法において、前記ステレオカメラによって獲得された左右の画像及びカメラ情報を受信する入力ステップと、前記カメラ情報から前記左右の画像間の視差の誤差を示す視差の歪み補正パラメータを算出する視差の歪み補正パラメータ算出ステップと、所定の距離にあるオブジェクトの両眼視差（ｄｉｓｐａｒｉｔｙ）の分布が等しくなるように、前記視差の歪み補正パラメータを用いて前記左右の画像を補正する視差の歪み補正ステップとを含む。

また、前記本発明の方法は、前記左右の画像間の色分布を一致させる画像色補正ステップと、前記カメラ情報からレンズの歪みパラメータを算出するレンズの歪みパラメータ算出ステップと、前記レンズの歪みパラメータを用いて、前記左右の画像のそれぞれに対してレンズの歪みを補正するレンズの歪み補正ステップとを更に含む。

そして、前記本発明の方法は、前記入力ステップで受信した左右の画像を、３次元画像フォーマットに応じて多重化して１つの３次元画像を生成する３次元画像多重化ステップを更に備え、前記視差の歪み補正ステップ、前記画像色補正ステップ、及びレンズの歪み補正ステップが、前記３次元画像内の左右の画像を識別した後、前記識別された左右の画像のそれぞれに対して当該補正過程を行うことを特徴とする。

本発明は、３次元画像の視差の歪みを補正することによって、すなわち、一定の距離にある撮影オブジェクトの両眼視差の分布を均一にすることによって、３次元画像の観察者において、目の疲労なく、安らかに３次元画像が観察できる効果がある。

また、本発明にしたがって、歪みの補正された３次元画像を３次元画像ディスプレイなどに活用する場合、歪みによって中央の突出感及び色の不一致による不自然さ、レンズの歪みによる不自然な３次元立体効果などの除去による、自然で、目の疲労度の低い３次元立体画像を提供する効果がある。

上述した目的、特徴及び長所は、添付した図面に係る次の詳細な説明を介してさらに明確になり、それに応じて、本発明が属する技術分野において、通常の知識を有する者が、本発明の技術的思想を容易に実施できるものである。また、本発明を説明するにあたり、本発明に係る公知の技術に対する具体的な説明が不要に本発明の要旨を濁すものと判断される場合、その詳細な説明を省略することにする。以下、添付した図面を参照して本発明の好ましい一実施形態を詳しく説明することにする。

図１は、本発明に係るステレオカメラの画像の歪み補正装置の第１実施例を示す構成図である。以下では、ステレオカメラの画像の歪み補正装置で実行されるステレオカメラの画像の歪み補正方法も共に説明する。

本発明に係る第１実施例のステレオカメラの画像の歪み補正装置は、図１に示すように入力部１００、立体画像補正部１１０、及び出力部１２０を備えて構成されるものであって、左画像（以下、第１画像とする）と右画像（以下、第２画像とする）とをそれぞれ個別的に補正する方式を用いるものである。

まず、入力部１００は、カメラから獲得した第１画像を受信する第１画像入力部１０１、カメラから獲得した第２画像を受信する第２画像入力部１０２、及び外部（例えば、カメラ及びユーザなど）からカメラの情報を受信するカメラ情報入力部１０３を備えて構成される。

そして、立体画像補正部１１０は、第１画像の補正に関する第１画像色補正部１１１、第１レンズ歪み補正部１１２、及び第１視差歪み補正部１１３と、第２画像の補正に関する第２画像色補正部１１５、第２レンズ歪み補正部１１６、及び第２視差歪み補正部１１７と、カメラパラメータ生成・格納部１１４とを備える。

第１画像色補正部１１１及び第２画像色補正部１１５は、第１画像及び第２画像を受信して両画像間の色分布が等しくなるように色補正を行う。このとき、第１画像を基にした第２画像の色補正が可能であり、又は第２画像を基にした色補正も可能である。

すると、第１レンズ歪み補正部１１２及び第２レンズ歪み補正部１１６は、カメラパラメータのルックアップテーブルを用いて第１画像色補正部１１１及び第２画像色補正部１１５で色補正された第１画像及び第２画像のバレル歪み（ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）及びピンクッション歪み（ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）を補正するようになる。ここで、レンズの歪み補正に用いられるパラメータは、レンズの歪みパラメータ（ｋ）である。

第１視差歪み補正部１１３及び第２視差歪み補正部１１７は、カメラパラメータのルックアップテーブルを用いて、第１レンズ歪み補正部１１２及び第２レンズ歪み補正部１１６でレンズの歪みが補正された第１画像及び第２画像におけるカメラの視野角（ＦＯＶ）による歪みを補正する。すなわち、第１視差歪み補正部１１３及び第２視差歪み補正部１１７は、ステレオカメラを用いて左右の画像を獲得するとき、カメラのレンズの焦点距離に応じて変化する視野角（ＦＯＶ）によって発生する視差の歪みを補正するものである。

一方、カメラパラメータ生成・格納部１１４は、カメラ情報を受信してレンズの歪みの補正に必要なパラメータを算出してルックアップテーブルに格納する。

最後に、出力部１２０は、第１補正画像出力部１２１及び第２補正画像出力部１２２を備える。第１補正画像出力部１２１及び第２補正画像出力部１２２は、立体画像補正部１１０を介して色補正、レンズの歪み補正、視差の歪み補正がなされた第１補正画像及び第２補正画像を出力する機能を行う。

以下、立体画像補正部１１０における各補正過程を詳しく説明する。

左カメラ及び右カメラを用いて獲得したステレオ画像（立体画像）、すなわち、第１画像（左画像）及び第２画像（右画像）は、物理的に互いに異なるカメラ、互いに異なる位置、及び互いに異なる角度で撮影して獲得したものであるため、第１画像及び第２画像は、色の不一致、レンズの歪み、視差（両眼視差）の歪みなどが発生する。したがって、立体画像補正部１１０は、上記のような歪みを補正して、歪みの補正された第１画像及び第２画像を生成する。

まず、第１画像色補正部１１１及び第２画像色補正部１１５における色補正過程を詳しく説明する。

第１画像及び第２画像は、物理的に互いに異なるカメラと互いに異なる位置とで獲得した画像であるため、カメラに入射される光量及び光成分の分布が互いに異なるようになり、このため、第１画像及び第２画像は、互いに異なる色分布を有する。

したがって、互いに異なる色分布特性を有する第１画像及び第２画像を用いて３次元画像を観察するとき、人間はすぐ疲労感を感じやくす、また、不自然さを感じる。

これを解決するため、第１画像色補正部１１１及び第２画像色補正部１１５は、ヒストグラムマッチングなどの色補正アルゴリズムを用いて第１画像と第２画像との間の色分布が等しくなるように造成する。ここで、第１画像と第２画像との色分布を等しくする方法としては、第１画像を基にして第２画像の色分布を補正する方式と、第２画像を基にして第１画像の色分布を補正する方式とがある。

前記のような過程を介して色分布が等しく補正されたそれぞれの第１画像及び第２画像は、カメラレンズによる歪みを補正するために第１レンズ歪み補正部１１２及び第２レンズ歪み補正部１１６に入力される。

次は、第１レンズ歪み補正部１１２及び第２レンズ歪み補正部１１６におけるレンズの歪み過程を詳しく説明する。

カメラを用いて近距離のオブジェクト（ｏｂｊｅｃｔ）又は遠距離のオブジェクトに対する画像を獲得するが、このとき、望遠レンズ（ｔｅｌｅｐｈｏｔｏ ｌｅｎｓ）又は魚眼レンズなどを用いる。このようなレンズを用いて画像を獲得する場合、レンズによるバレル歪み又はピンクッション歪みが発生する（図３参照）。

図３のように、歪んだ３次元画像を観察するとき、観察者は歪んだ画像を見ることになり、このため、目の疲労感も高くなる。したがって、本発明では、第１レンズ歪み補正部１１２及び第２レンズ歪み補正部１１６を介して前記のような歪みを補正する。

次の［数式１］は、バレル歪みのモデルを示す。

ここで、ｒ_ｕは、復元された画像において、中央から任意のポイントまでの距離を意味し、ｒ_ｄは、歪んだ画像において、中央から任意のポイントまでの距離を意味する。そしてｋは、レンズの歪みパラメータである。

したがって、入力部１００から受信したカメラ情報を用いてレンズの歪みパラメータ（ｋ）を算出した後、これをルックアップテーブルに格納する。

そして、第１レンズ歪み補正部１１２及び第２レンズ歪み補正部１１６は、カメラパラメータテーブルのレンズの歪みパラメータ（ｋ）を用いてレンズの歪みを補正する。

前記のような方法によって、バレル歪み及びピンクッション歪みが補正された第１画像及び第２画像は、第１視差歪み補正部１１３及び第２視差歪み補正部１１７に入力される。

次に、第１視差歪み補正部１１３及び第２視差歪み補正部１１７における視差の歪み補正を詳しく説明すると、次のとおりである。

第１画像及び第２画像は、互いに異なる位置及び互いに異なる角度で獲得されるため、視差の歪みを有する（図６参照）。

レンズの歪みのないカメラを用いて交差軸式で立体画像を獲得するとき、輻輳点（ｖｅｒｇｅｎｃｅ ｐｉｏｎｔ）が距離Ｄの分離れた同一面に位置しなくなる（図６参照）。すなわち、３次元画像を獲得する際、距離Ｄにあるオブジェクトの画像を獲得するとき、輻輳点の距離における両眼視差（ｄｉｓｐａｒｉｔｙ）が非線形に分布する。輻輳点における両眼視差の分布が異なるということは、同一面における深さの感覚が異なるという意味である。

したがって、全ての光経路において、輻輳点が距離Ｄに位置するように（図７参照）視差の歪みを補正する必要がある。すなわち、目の疲労が少なく、安定した３次元画像を獲得するためには、視差の歪みを補正しなければならない。

図６に示すように、両眼視差の誤差（ＤＥ：Ｄｉｓｐａｒｉｔｙ Ｅｒｒｏｒ）は、次の［数式２］のように示すことができる。

ここで、Ｄはカメラから輻輳点までの距離、ＦＯＶはカメラの視野角、θはカメラの回転角度、Ｂはステレオカメラにおけるカメラ間の距離（ｂａｓｅ ｌｉｎｅ）を示す。

したがって、［数式２］によって、ＦＯＶ及びＢが大きくなるにつれて、両眼視差の誤差の増加により視差の歪みが増加することが分かる。これは、図８に示すとおりである。

このような視差の歪みは、次の［数式３］及び［数式４］を介して計算した視差の歪み補正パラメータ（視差の誤差）の分補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）することによって補正され得る。すなわち、［数式３］及び［数式４］を用いて視差の歪み補正パラメータ（視差の誤差）を計算し、その計算された視差の歪み補正パラメータ（視差の誤差）の分を補間することによって視差の歪みを補正することができる。

ここで、Ｐ_{ｍｏｖｅ＿Ｎ}、Ｐ_{ｍｏｖｅ＿Ｐ}は、視差の歪み補正パラメータであって、視差の誤差を意味する。すなわち、左側のカメラから獲得した画像（左画像）の場合は、［数式３］のＰ_{ｍｏｖｅ＿Ｐ}は、画像を中心に、カメラのある方向の画像領域（画像の真ん中を中心とした左側領域）内における補正のためのピクセル移動数値を示しており、［数式４］のＰ_{ｍｏｖｅ＿Ｎ}は、画像を中心にカメラの反対方向の画像領域（画像の真ん中を中心とした右側領域）内における補正のためのピクセル移動数値を示す。そして、Ｄ_ｃは補正されるべき位置、Ｄ_ｖはカメラとメインオブジェクトとの距離、Ｂはカメラ間の距離の半分を示す。

右側のカメラから獲得した画像（右画像）の場合は、［数式３］のＰ_{ｍｏｖｅ＿Ｐ}は、画像の真ん中を中心に右側領域内における補正のためのピクセル移動数値を示しており、［数式４］のＰ_{ｍｏｖｅ＿Ｎ}は、画像の真ん中を中心に左側領域内における補正のためのピクセル移動数値を示す。

上記Ｐ_{ｍｏｖｅ＿Ｐ}及びＰ_{ｍｏｖｅ＿Ｎ}に対する視差の歪みの分布は、図９に示すとおりである。

図２は、本発明に係るステレオカメラの画像の歪み補正装置の第２実施例を示す構成図である。

図１に示すようなステレオカメラの画像の歪み補正装置（第１実施例）は、第１画像と第２画像とをそれぞれ個別的に補正する方式を用いる。このように個別的に補正された第１画像及び第２画像は、多重化によって様々な３次元画像になるだろう。

一方、図２に示すようなステレオカメラの画像の歪み補正装置（第２実施例）は、図２に示すように、入力部２００、立体画像補正部２１０、及び出力部２２０を備えて構成されるものであって、予め第１画像（左画像）及び第２画像（右画像）を多重化して１つの３次元画像を生成した後に補正する方式を用いるものである。

まず、入力部２００を詳しく説明すると、次のとおりである。

入力部２００は、カメラから獲得した第１画像を受信する第１画像入力部２０１、カメラから獲得した第２画像を受信する第２画像入力部２０２、外部（例えば、カメラ及びユーザなど）からカメラの情報を受信するカメラ情報入力部２０３、及び第１画像と第２画像とをＳｉｄｅ−ｂｙ−Ｓｉｄｅ、又はＴｏｐ−Ｄｏｗｎ、及びＦｉｅｌｄ−ｂｙ−Ｆｉｅｌｄなどの３次元画像フォーマットによって多重化して１つの３次元画像を生成する３次元画像多重化部２０４を備えて構成される。

次は、立体画像補正部２１０について説明する。

立体画像補正部２１０は、画像色補正部２１１、レンズ歪み補正部２１２、視差歪み補正部２１３、及びカメラパラメータテーブル生成・格納部２１４を備える。

画像色補正部２１１は、３次元画像多重化部２０４で多重化された３次元画像内の第１画像（左画像）と第２画像（右画像）との間の色分布が等しくなるように色補正を行う。

それから、レンズ歪み補正部２１２は、カメラパラメータのルックアップテーブルを用いて、色補正された３次元画像のバレル歪み及びピンクッション歪みを補正する。

その後、視差歪み補正部２１３は、カメラパラメータのルックアップテーブルを用いて、レンズの歪みの補正された３次元画像において、カメラの視野角（ＦＯＶ）による視差の歪みを補正する。

一方、カメラパラメータ生成・格納部２１４は、カメラ情報入力部２０３からカメラ情報を受信し、この情報からレンズの歪みの補正に必要なパラメータを生成（算出）してルックアップ（ｌｏｏｋ−ｕｐ）テーブルに格納する。これについては、図１０で詳しく説明する。

最後に、出力部２２０は、立体画像補正部２１０によって色補正、レンズの歪み補正、視差の歪み補正がなされた３次元補正画像を出力する機能を行う。

要するに、図２に示すような第２実施例に係る画像の歪み補正装置における補正方法は、基本的には、第１実施例に係る画像の歪み補正装置（図１参照）における補正方法と同じである。すなわち、第２実施例では、３次元画像内の左右の画像を識別し、その識別したそれぞれの左右の画像に対して補正を行うが、その補正方法は、第１実施例と同じである。ただし、第２実施例によると、システムが簡単で、メモリの占有率も低いという長所がある。

図３は、バレル歪みについての説明図であり、図４は、バレル歪みが補正された画像についての説明図である。

カメラを用いて近距離のオブジェクト又は遠距離のオブジェクトに対する画像を獲得するが、このとき、望遠レンズ、又は魚眼レンズなどを用いる。このようなレンズを用いて画像を獲得する場合、図３に示すようなレンズによるバレル歪み又はピンクッション歪みが発生する。図３のように歪んだ３次元画像を観察するとき、観察者は、歪んだ画像を見ることになり、これによる目の疲労も増加する。

図５は、距離Ｄに位置する面上におけるＩ間隔ごとの光経路についての説明図であって、図６は、距離Ｄに位置する面でステレオ画像を獲得する際の光経路についての説明図であり、図７は、距離Ｄに位置する面でステレオ画像を獲得する際の輻輳点が同一面に位置するように補正された光経路についての説明図である。以下、図５〜図７を共に説明する。

図５は、レンズの歪みのないカメラを用いて距離Ｄ（カメラから離れた距離）に位置する面で画像を獲得したとき、距離Ｄに位置する面上におけるＩ間隔ごとに光経路を示すものである。これは、レンズの収差及びレンズの歪みを補正したものと同じものであることを意味する。

このようなレンズの歪みのないカメラを用いて交差軸式で立体画像を獲得するとき、図６に示すように、輻輳点が距離Ｄだけ離れた同一面に位置しなくなる。すなわち、３次元画像を獲得するとき、距離Ｄにあるオブジェクトの画像を獲得する場合、輻輳点の距離における両眼視差は、非線形に分布する。これを補正したとき、図７に示すように、全ての光経路で輻輳点が距離Ｄに位置する。

図８は、視野角（ＦＯＶ）に係る両眼視差の誤差の分布図であって、カメラのレンズの焦点距離に応じて視野角（ＦＯＶ）が変化することを示しており、また、視野角（ＦＯＶ）が大きくなるにつれて、両眼視差の誤差が増加して視差の歪みが増加することを示す。

図９は、視差の歪み分布についての説明図であって、Ｐ_{ｍｏｖｅ＿Ｐ}及びＰ_{ｍｏｖｅ＿Ｎ}に対する視差の歪みの分布を示す（［数式３］及び［数式４］参照）。図９において、ｘ軸（横軸）は画像の大きさを示し、ｙ軸（縦軸）は歪みの程度を示す。

図１０は、本発明に係るカメラパラメータ生成・格納部の一実施例を示す構成図である。

カメラパラメータ生成・格納部９００は、図１０に示すように、カメラパラメータ生成部９０１及びカメラパラメータ格納部９０２を含む。

カメラパラメータ生成部９０１は、カメラ情報入力部１０３が外部から入力されるカメラ情報を受信して 、その受信したカメラ情報と、事前に入力されたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサの直径情報を用いてカメラパラメータを生成する。そして、カメラ情報などが更新された場合は、それに応じてカメラパラメータも生成し直す。ここで、カメラ情報としては、カメラレンズの焦点距離（ｆ：ｌｅｎｓ ｆｏｃａｌ ｌｅｎｇｔｈ）、カメラの回転角（θ：ｃａｍｅｒａ ｒｏｔａｔｉｏｎ ａｎｇｌｅ）、カメラとメインオブジェクトとの距離（Ｄ_ｖ：ｏｂｊｅｃｔ ｄｉｓｔａｎｃｅ）、及びカメラ間の距離（Ｂ：ｂａｓｅ ｌｉｎｅ）などが含まれる。

更に詳しくは、カメラパラメータ生成部９０１は、焦点距離に応じるレンズの歪みパラメータ（ｋ）を予め演算を介して生成して格納しておく。すなわち、カメラパラメータ生成部９０１は、カメラのＣＣＤ直径情報及び焦点距離（ｆ）を用いて視野角（ＦＯＶ）を算出し、その算出された視野角（ＦＯＶ）を用いてレンズの歪みパラメータ（ｋ）を算出してカメラパラメータ格納部９０２に格納する。

一方、カメラパラメータ生成部９０１は、カメラとメインオブジェクトとの距離（Ｄ_ｖ）及びカメラ間の距離（Ｂ）を用いて視差の歪みが補正されるべき位置であるＤ_Ｃを算出する。そして、カメラとメインオブジェクトとの距離（Ｄ_ｖ）、カメラ間の距離（Ｂ）、及び算出されたＤ_Ｃを用いて視差の歪み補正パラメータであるＰ_{ｍｏｖｅ＿Ｐ}、Ｐ_{ｍｏｖｅ＿Ｎ}を算出する。

一方、カメラパラメータ格納部９０２は、カメラパラメータ生成部９０１で生成（算出）されたカメラパラメータをルックアップテーブルとして構成して格納する。したがって、カメラレンズによるレンズの歪み補正及び視差の歪み補正を行う際、このルックアップテーブルのみを参照するため、高速補正が可能となる。

上述のように本発明の方法は、プログラムとして実現され、コンピュータで読み出すことのできる形で記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなど）に格納され得る。このような過程は、本発明の属する技術分野における通常の知識を有する者が容易に実施することができるため、これ以上詳しく説明しない。

以上で説明した本発明は、本発明の属する技術分野における通常の知識を有する者において、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能なため、上述の実施形態及び添付された図面によって限定されるものではない。

本発明に係るステレオカメラの画像の歪み補正装置の第１実施例を示す構成図である。 本発明に係るステレオカメラの画像の歪み補正装置の第２実施例を示す構成図である。 バレル歪み（ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）についての説明図である。 バレル歪みが補正された画像についての説明図である。 距離Ｄに位置する面上における一定間隔ごとの光経路についての説明図である。 距離Ｄに位置する面におけるステレオ画像の獲得の際の光経路についての説明図である。 距離Ｄに位置する面におけるステレオ画像を獲得する際の輻輳点が同一面に位置するように補正した光経路についての説明図である。 視野角（ＦＯＶ）に係る両眼視差の誤差を示す分布図である 視差の歪みの分布についての説明図である。 本発明に係るカメラパラメータ生成・格納部の一実施例を示す構成図である。

Claims (13)

1. ステレオカメラの画像の歪みを補正する装置において、
   前記ステレオカメラによって獲得された左右の画像を受信し、前記ステレオカメラのカメラ情報を受信する入力部と、
   前記カメラ情報から前記画像歪み補正のためのパラメータを算出し、前記算出したパラメータをルックアップテーブル（ｌｏｏｋ−ｕｐ ｔａｂｌｅ）に格納するカメラパラメータ生成・格納部と、
   前記左右の画像間の色分布を一致させる画像色補正部と、
   前記ルックアップテーブルでレンズ歪みパラメータを用いて前記左右の画像のレンズ歪みを補正するレンズ歪み補正部と、
   前記ルックアップテーブルで視差歪み補正パラメータを用いて前記左右の画像の視差歪みを補正する視差歪み補正部と、を備え、
   前記カメラパラメータ生成・格納部が、
   前記左画像に対し、前記左画像の左側領域の補正のためのピクセル移動数値及び前記左画像の右側領域の補正のためのピクセル移動数値をそれぞれ算出し、
   前記右画像に対し、前記右画像の右側領域の補正のためのピクセル移動数値及び前記右画像の左側領域の補正のためのピクセル移動数値をそれぞれ算出し、
   前記カメラパラメータ生成・格納部が、
   前記ステレオカメラとメインオブジェクトとの距離（Ｄ _ｖ ）及び前記ステレオカメラで前記左画像を獲得したカメラと前記右画像を獲得したカメラ間の距離（Ｂ）を用いて、前記左右の画像で視差の歪みの補正されるべき補正位置（Ｄ _Ｃ ）を算出し、前記ステレオカメラとオブジェクトと間の距離（Ｄ _ｖ ）、前記カメラ間の距離（Ｂ）、及び前記補正位置（Ｄ _Ｃ ）を用いて、前記視差の歪み補正パラメータを算出して格納、且つ、更新し、
   前記カメラパラメータ生成・格納部が、
   前記左画像に対しては、下記［数式１］によって前記左側領域の補正のためのピクセル移動数値（Ｐ _{ｍｏｖｅ＿Ｐ} ）と、下記［数式２］によって前記右側領域の補正のためのピクセル移動数値（Ｐ _{ｍｏｖｅ＿Ｎ} ）とをそれぞれ算出し、
   前記右画像に対しては、下の［数式１］によって前記右側領域の補正のためのピクセル移動数値（Ｐ _{ｍｏｖｅ＿Ｐ} ）と、下記［数式２］によって前記左側領域の補正のためのピクセル移動数値（Ｐ _{ｍｏｖｅ＿Ｎ} ）とをそれぞれ算出することを特徴とするステレオカメラの画像の歪み補正装置。
   

   
2. 前記カメラ情報が、
   前記ステレオカメラのレンズの焦点距離（ｆ）、前記ステレオカメラとメインオブジェクトとの距離（Ｄ_ｖ）、前記ステレオカメラで前記左画像を獲得したカメラと前記右画像を獲得したカメラ間の距離（Ｂ）を含むことを特徴とする請求項１に記載のステレオカメラの画像の歪み補正装置。
3. 前記画像色補正部が、ヒストグラムマッチングを用いて前記左右の画像間の色分布を一致させることを特徴とする請求項１に記載のステレオカメラの画像の歪み補正装置。
4. 前記画像色補正部が、
   前記左画像と前記右画像とのうちのいずれか１つの画像を基準画像にして、残りの画像の色分布を前記基準画像の色分布と一致させることを特徴とする請求項３に記載のステレオカメラの画像の歪み補正装置。
5. 前記レンズ歪み補正部は、前記レンズ歪みパラメータを用いて前記ステレオカメラによって発生するバーレル歪み（Ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）またはピンクッション歪み（Ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）を補正することを特徴とする請求項１に記載のステレオカメラの画像の歪み補正装置。
6. 前記カメラパラメータ生成・格納部が、
   前記ステレオカメラのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサの直径及び前記ステレオカメラのレンズの焦点距離（ｆ）を用いて視野角（ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ））を算出し、前記算出した視野角を用いて前記レンズ歪みパラメータを算出することを特徴とする請求項５に記載のステレオカメラの画像の歪み補正装置。
7. 前記視差の歪み補正部が、
   前記左右の画像のそれぞれに対して個別的に前記視差の歪み補正パラメータ値の分補間することによって、前記左右の画像の視差の歪みを補正することを特徴とする請求項１に記載のステレオカメラの画像の歪み補正装置。
8. 前記入力部に入力された左右の画像を３次元画像フォーマットによって多重化し、１つの３次元画像を生成する３次元画像の多重化部を更に備え、前記視差の歪み補正部、前記画像色補正部、及び前記レンズの歪み補正部が、それぞれ前記３次元画像内の左右の画像を識別し、前記左右の画像のそれぞれに対して当該補正を行うことを特徴とする請求項７に記載のステレオカメラの画像の歪み補正装置。
9. ステレオカメラの画像の歪みを補正する方法において、
   前記ステレオカメラによって獲得された左右の画像を受信し、前記ステレオカメラのカメラ情報を受信する入力ステップと、
   前記カメラ情報から前記画像歪み補正のためのパラメータを算出する算出ステップと、
   前記左右の画像間の色分布を一致させる画像色補正ステップと、
   前記算出したパラメータでレンズ歪みパラメータを用いて前記左右の画像のレンズ歪みを補正するレンズ歪み補正ステップと、
   前記算出したパラメータで視差歪み補正パラメータを用いて前記左右の画像の視差歪みを補正する視差歪み補正ステップと、を含み、
   前記算出ステップが、
   前記左画像に対し、前記左画像の左側領域の補正のためのピクセル移動数値及び前記左画像の右側領域の補正のためのピクセル移動数値をそれぞれ算出し、
   前記右画像に対し、前記右画像の右側領域の補正のためのピクセル移動数値及び前記右画像の左側領域の補正のためのピクセル移動数値をそれぞれ算出し、
   前記算出ステップが、
   前記ステレオカメラとメインオブジェクトとの距離（Ｄ _ｖ ）及び前記ステレオカメラで前記左画像を獲得したカメラと前記右画像を獲得したカメラ間の距離（Ｂ）を用いて、前記左右の画像で視差の歪みの補正されるべき補正位置（Ｄ _Ｃ ）を算出する補正位置算出ステップと、
   前記ステレオカメラとオブジェクトと間の距離（Ｄ _ｖ ）、前記カメラ間の距離（Ｂ）、及び前記補正位置（Ｄ _Ｃ ）を用いて、前記視差の歪み補正パラメータを算出する補正パラメータ算出ステップと
   を含み、
   前記補正パラメータ算出ステップが、
   前記左画像に対しては、下の［数式３］及び［数式４］を用いて前記左側領域の補正のためのピクセル移動数値（Ｐ _{ｍｏｖｅ＿Ｐ} ）及び前記右側領域の補正のためのピクセル移動数値（Ｐ _{ｍｏｖｅ＿Ｎ} ）をそれぞれ算出するステップと、
   前記右画像に対しては、前記［数式３］及び前記［数式４］を用いて前記右側領域の補正のためのピクセル移動数値（Ｐ _{ｍｏｖｅ＿Ｐ} ）及び前記左側領域の補正のためのピクセル移動数値（Ｐ _{ｍｏｖｅ＿Ｎ} ）をそれぞれ算出するステップと、
   を含むことを特徴とするステレオカメラの画像の歪み補正方法。
   

   
10. 前記画像色補正ステップが、ヒストグラムマッチングを用いて前記左右の画像間の色分布を一致させることを特徴とする請求項９に記載のステレオカメラの画像の歪み補正方法。
11. 前記レンズ歪み補正ステップが、前記レンズ歪みパラメータを用いて前記ステレオカメラによって発生するバーレル歪み（Ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）またはピンクッション歪み（Ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）を補正することを特徴とする請求項９に記載のステレオカメラの画像の歪み補正方法。
12. 前記視差の歪み補正ステップが、
    前記左右の画像のそれぞれに対して前記ピクセル移動数値（Ｐ_{ｍｏｖｅ＿Ｎ}、Ｐ_{ｍｏｖｅ＿Ｐ}）の分補間することによって、前記左右の画像の視差の歪みを補正することを特徴とする請求項９に記載のステレオカメラの画像の歪み補正方法。
13. 前記入力ステップで受信した左右の画像を、３次元画像フォーマットに応じて多重化して１つの３次元画像を生成する３次元画像多重化ステップを更に備え、
    前記視差の歪み補正ステップ、前記画像色補正ステップ、及びレンズの歪み補正ステップが、前記３次元画像内の左右の画像を識別した後、前記識別された左右の画像のそれぞれに対して当該補正を行うことを特徴とする請求項１２に記載のステレオカメラの画像の歪み補正方法。

Images