JP6255968B2 - 画像処理装置、陽炎補正方法及びプログラム - Google Patents

Description

本発明は画像処理装置、陽炎補正方法及びプログラムに関する。

陽炎という大気の屈折率揺らぎによる影響で動画像内に生じる像の歪みを補正するため、複数フレーム分の動画像を平均化して歪みを補正する（陽炎補正を行う）技術が知られている。但し、この技術では、動画像内に動体の像が含まれる場合、当該動体の軌跡が見えてしまう。

このため、例えば特許文献１には、動画像内に含まれる動体の像を検出し、検出した動体の像をマスクして陽炎補正を行う手法が提案されている。

しかしながら、特許文献１に開示された技術では、動体の像の検出に失敗した場合、動体の軌跡が見えてしまい、画質が低下する。また、特許文献１に開示された技術では、動体の像はマスクされ、陽炎補正が施されないため、周囲の像に対し動体の像の位置がずれてしまい、画質が低下するおそれがある。

本発明は、上記事情に鑑みてなされたものであり、陽炎補正に伴う画質の低下を抑えることができる画像処理装置、陽炎補正方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる画像処理装置は、複数の撮像部が対象物を撮像した複数の撮像画像を、所定視点から前記対象物までの距離に関する距離情報を用いて、前記所定視点から撮像したと仮定した複数の仮想画像に変換する変換部と、前記複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正部と、前記補正画像を出力する出力部と、を備える。

本発明によれば、陽炎補正に伴う画質の低下を抑えることができるという効果を奏する。

図１は、本実施形態の画像処理システムのハードウェア構成の一例を示すブロック図である。 図２は、本実施形態の画像処理システムの一例を示す摸式図である。 図３は、本実施形態の制御装置の詳細構成の一例を示すブロック図である。 図４は、本実施形態の画像処理装置で実行される処理の一例を示すフローチャート図である。 図５は、本実施形態の画像処理装置で実行される陽炎補正処理の一例を示すフローチャート図である。

以下、添付図面を参照しながら、本発明にかかる画像処理装置、陽炎補正方法及びプログラムの実施形態を詳細に説明する。

図１は、本実施形態の画像処理システム１のハードウェア構成の一例を示すブロック図である。図１に示すように、画像処理システム１は、ＣＰＵ（Central Processing Unit）などの制御装置１０と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置２０と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの外部記憶装置３０と、キーボードやマウスなどの入力装置４０と、ディスプレイなどの表示装置５０と、ＮＩＣ（Network Interface Card）などの通信インタフェースである通信装置６０と、レーザセンサなどの計測装置７０（計測部の一例）と、ビデオカメラなどの複数の撮像装置８０−１〜８０−Ｎ（複数の撮像部の一例、Ｎは２以上の自然数）とを備える。

図２は、本実施形態の画像処理システム１の一例を示す摸式図である。図２に示すように、画像処理システム１は、画像処理装置３と、配置部材４とを、備える。

配置部材４は、計測装置７０及び撮像装置８０−１〜８０−Ｎを配置する板などの部材である。配置部材４（計測装置７０及び撮像装置８０−１〜８０−Ｎ）は、通信ケーブルなどを介して画像処理装置３と接続されていてもよいし、無線（無線ＬＡＮや近距離無線通信など）で画像処理装置３と接続されていてもよい。

撮像装置８０−１〜８０−Ｎは、それぞれ、対象物の動画像を撮像する。本実施形態では、説明を簡便にするため、撮像装置８０−１〜８０−Ｎの内部パラメータは、全て同一であるものとするが、これに限定されるものではない。内部パラメータは、例えば、焦点距離、画像中心、アスペクト比、及びスキュー歪みなどが挙げられる。また本実施形態では、撮像装置８０−１〜８０−Ｎの撮像タイミングは、同期が取られ、同一であるものとする。

また本実施形態では、撮像装置８０−１〜８０−Ｎは、矩形を成すように（図２に示す例では、２次元アレイ上に）配置部材４に配置されている。但し、撮像装置８０−１〜８０−Ｎの配置は、これに限定されず、例えば、円形（例えば、同心円）を成すように配置部材４に配置してもよい。

また本実施形態では、撮像装置８０−１〜８０−Ｎのうち中心部に配置された撮像装置を基準撮像装置８０’とするが、基準撮像装置８０’はこれに限定されるものではない。また以下では、基準撮像装置８０’の視点を所定視点とするが、所定視点は、これに限定されるものではない。

計測装置７０は、所定視点から対象物までの距離を計測して距離情報を生成する。本実施形態では、計測装置７０は、図２に示すように、基準撮像装置８０’に密接するように配置部材４に配置されている。これにより、計測装置７０は、所定視点から対象物までの距離を計測できる。

画像処理装置３は、画像処理を実行可能なコンピュータであり、制御装置１０、記憶装置２０、外部記憶装置３０、入力装置４０、表示装置５０、及び通信装置６０を備えている。また画像処理装置３は、通信装置６０を介してネットワーク２に接続されている。ネットワーク２は、例えば、ＬＡＮ（Local Area Network）やインターネットなどが挙げられる。

図３は、本実施形態の制御装置１０の詳細構成の一例を示すブロック図である。図３に示すように、制御装置１０は、設定部１１と、画像取得部１２と、距離情報取得部１３と、変換部１４と、補正部１５と、出力部１６とを、含む。

設定部１１は、撮像装置８０−１〜８０−Ｎの外部パラメータを設定する。外部パラメータは、例えば、回転行列や並進行列などが挙げられる。設定部１１は、例えば、基準撮像装置８０’以外の撮像装置８０−１〜８０−Ｎそれぞれに基準撮像装置８０’を基準とするキャリブレーションを行わせることで、撮像装置８０−１〜８０−Ｎの外部パラメータ（基準撮像装置８０’に対する相対位置及び相対姿勢）を設定する。

画像取得部１２は、撮像装置８０−１〜８０−Ｎそれぞれから画像を取得する。例えば、画像取得部１２は、フレーム毎に、撮像装置８０−１〜８０−Ｎそれぞれから動画像を取得する。

距離情報取得部１３は、計測装置７０から距離情報を取得する。

変換部１４は、画像取得部１２により取得された複数の撮像画像それぞれを、所定視点から撮像したと仮定した仮想画像に変換する。具体的には、変換部１４は、距離情報取得部１３により取得された距離情報を用いて、複数の撮像画像を複数の仮想画像に変換する。

本実施形態では、変換部１４は、距離情報と撮像装置８０−１〜８０−Ｎのカメラパラメータ（外部パラメータ）とを用いて、撮像装置８０−１〜８０−Ｎのうち基準撮像装置８０’により撮像された撮像画像と当該撮像画像以外の撮像装置８０−１〜８０−Ｎそれぞれとの対応点のマッチングを行い、複数の撮像画像を複数の仮想画像に変換する。

ここで、基準撮像装置８０’が撮像した画像上の点ｘ０（＝（ｘ０１，ｘ０２，１））と、ｘ０に対応する撮像装置８０−ｉ（ｉは、１〜Ｎのいずれか、但し、基準撮像装置８０’は除く）が撮像した画像上の点ｘｉ（＝（ｘｉ１，ｘｉ２，１））との関係は、基準撮像装置８０’に対する撮像装置８０−ｉの相対座標（平行移動ベクトル）、相対姿勢（回転行列）を、それぞれ、Ｔｉ，Ｒｉ、基準撮像装置８０’から対象物までの距離をλ０、撮像装置８０−ｉから対象物までの距離をλｉとすると、数式（１）で表される。なお、Ｔｉ，Ｒｉは、外部パラメータに相当し、λ０は、距離情報に相当する。

λ０ｘ０＝Ｒｉλｉｘｉ＋Ｔｉ …（１）

そして、数式（１）を変形することで、数式（２）が求まる。

λｉｘｉ＝Ｉｎｖ（Ｒｉ）（λ０ｘ０−Ｔｉ） …（２）

なお、Ｉｎｖ（Ｒｉ）は、Ｒｉの逆行列である。

本実施形態では、数式（２）の右辺の値が全て既知であるため、λｉｘｉが求まる。そして、ｘｉの第３成分が１となるようにλｉｘｉを定数倍することでｘｉが求まる。

変換部１４は、基準撮像装置８０’が撮像した画像上の全ての点について、上述した処理により、撮像装置８０−ｉが撮像した画像上の対応点を求めることで、撮像装置８０−ｉが撮像した画像を、所定視点から撮像したと仮定した仮想画像に変換できる。

補正部１５は、変換部１４により変換された複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する。ここで、補正部１５は、複数の仮想画像にエッジ強調処理を施し、当該エッジ強調処理後の複数の仮想画像を用いて陽炎補正を行ってもよい。このようにすれば、補正画像をより鮮明にすることができる。なお本実施形態では、陽炎補正は、αブレンドであるものとするが、これに限定されず、他の陽炎補正アルゴリズムを用いてもよい。

出力部１６は、補正部１５により生成された補正画像を出力する。例えば、出力部１６は、補正画像を外部記憶装置３０に出力し、外部記憶装置３０に記憶させたり、補正画像を表示装置５０に出力し、表示装置５０に表示させたり、通信装置６０に出力し、通信装置６０にネットワーク２を介した転送をさせたりする。

図４は、本実施形態の画像処理装置３で実行される処理の一例を示すフローチャート図である。

まず、画像処理装置３は、陽炎補正を開始する場合（ステップＳ１０１でＹｅｓ）、陽炎補正を終了するまで（ステップＳ１０５でＮｏ）、陽炎補正処理を継続する（ステップＳ１０３、ステップＳ１０５でＹｅｓ）。

陽炎補正を開始しない場合（ステップＳ１０１でＮｏ）、画像処理装置３は、撮像装置８０−１〜８０−Ｎの外部パラメータを設定するのであれば（ステップＳ１０７でＹｅｓ）、撮像装置８０−１〜８０−Ｎの外部パラメータを設定し（ステップＳ１０９）、ステップＳ１０１へ戻り、撮像装置８０−１〜８０−Ｎの外部パラメータを設定しないのであれば（ステップＳ１０７でＮｏ）、そのまま、ステップＳ１０１へ戻る。

図５は、本実施形態の画像処理装置３で実行される陽炎補正処理の一例を示すフローチャート図である。

まず、画像取得部１２は、撮像装置８０−１〜８０−Ｎそれぞれから画像（複数の画像）を取得する（ステップＳ２０１）。

続いて、距離情報取得部１３は、計測装置７０から距離情報を取得する（ステップＳ２０３）。

続いて、変換部１４は、距離情報と撮像装置８０−１〜８０−Ｎの外部パラメータとを用いて、撮像装置８０−１〜８０−Ｎのうち基準撮像装置８０’により撮像された撮像画像と当該撮像画像以外の撮像装置８０−１〜８０−Ｎそれぞれとの対応点のマッチングを行い（所定視点を基準とした射影変換を行い）、複数の撮像画像を複数の仮想画像に変換する（ステップＳ２０５）。

続いて、補正部１５は、陽炎補正アルゴリズムを用いて射影変換後の複数の仮想画像を合成し、陽炎補正が施された補正画像を生成する（ステップＳ２０７）。

続いて、出力部１６は、補正部１５により生成された陽炎補正後の補正画像を出力する（ステップＳ２０９）。

以上のように本実施形態では、複数の撮像部で撮像した複数の撮像画像それぞれを所定視点から撮像したと仮定した仮想画像に変換し、変換した複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する。

このように本実施形態では、時系列（フレーム）が一致し、かつ視点が一致する複数の画像を用いて陽炎補正を行い、補正画像を生成するので、補正画像内に動体の像が写っている場合であっても、動体の軌跡が見えず、周囲の像に対し動体の像の位置がずれないので、画質の低下を抑えることができる。

なお、撮像部の数が多いほど陽炎の影響で動画像内に生じる像の歪みの除去効果が大きくなるため、撮像部の数は多いことが好ましい。

（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。

上記実施形態では、距離情報の生成に計測装置７０を用いたが、変換部１４がステレオカメラの原理を用いて距離情報を生成するようにしてもよい。具体的には、変換部１４は、三角測量などの原理に基づき、基準撮像装置８０’により撮像された撮像画像と、撮像装置８０−１〜８０−Ｎのうち基準撮像装置８０’以外の撮像部により撮像された撮像画像とを用いて、距離情報を生成してもよい。この場合、画像処理システム１は、計測装置７０を備える必要はない。

また上記実施形態では、撮像装置８０−１〜８０−Ｎが撮像する撮像画像が動画像であることを想定して説明したが、これに限定されず、静止画などであってもよい。

また上記実施形態では、設定部１１、画像取得部１２、距離情報取得部１３、変換部１４、補正部１５、及び出力部１６を制御装置１０がソフトウェア的に実現することを想定して説明したが、これに限定されず、設定部１１、画像取得部１２、距離情報取得部１３、変換部１４、補正部１５、及び出力部１６をハードウェアで実現してもよいし、ソフトウェアとハードウェアとを併用して実現してもよい。

（プログラム）
上記実施形態の画像処理装置３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記実施形態の画像処理装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の画像処理装置３で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態の画像処理装置３で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記実施形態の画像処理装置３で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

１ 画像処理システム
２ ネットワーク
３ 画像処理装置
４ 配置部材
１０ 制御装置
１１ 設定部
１２ 画像取得部
１３ 距離情報取得部
１４ 変換部
１５ 補正部
１６ 出力部
２０ 記憶装置
３０ 外部記憶装置
４０ 入力装置
５０ 表示装置
６０ 通信装置
７０ 計測装置
８０−１〜８０−Ｎ 撮像装置
８０’ 基準撮像装置

特許第４２４５０４５号公報

Claims (10)

1. 複数の撮像部が対象物を撮像した複数の撮像画像を、所定視点から前記対象物までの距離に関する距離情報を用いて、前記所定視点から撮像したと仮定した複数の仮想画像に変換する変換部と、
   前記複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正部と、
   前記補正画像を出力する出力部と、
   を備える画像処理装置。
2. 前記複数の撮像部は、矩形又は円形を成すように配置されている請求項１に記載の画像処理装置。
3. 前記所定視点から前記対象物までの距離を計測して前記距離情報を生成する計測部を更に備える請求項１又は２に記載の画像処理装置。
4. 前記変換部は、前記複数の撮像部のうち前記所定視点に配置された撮像部により撮像された撮像画像と、前記複数の撮像部のうち当該撮像部以外の撮像部により撮像された撮像画像とを用いて、前記距離情報を生成する請求項１又は２に記載の画像処理装置。
5. 前記変換部は、前記距離情報と前記複数の撮像部のカメラパラメータとを用いて、前記複数の撮像部のうち前記所定視点に配置された撮像部により撮像された撮像画像と当該撮像画像以外の前記複数の撮像画像それぞれとの対応点のマッチングを行い、前記複数の撮像画像を前記複数の仮想画像に変換する請求項１〜４のいずれか１つに記載の画像処理装置。
6. 前記補正部は、前記複数の仮想画像にエッジ強調処理を施し、当該エッジ強調処理後の複数の仮想画像を用いて陽炎補正を行う請求項１〜５のいずれか１つに記載の画像処理装置。
7. 前記陽炎補正は、αブレンドである請求項１〜６のいずれか１つに記載の画像処理装置。
8. 複数の撮像部が対象物を撮像した複数の撮像画像を、所定視点から前記対象物までの距離に関する距離情報を用いて、前記所定視点から撮像したと仮定した複数の仮想画像に変換する変換ステップと、
   前記複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正ステップと、
   前記補正画像を出力する出力ステップと、
   を含む陽炎補正方法。
9. 前記変換ステップは、前記複数の撮像部のうち前記所定視点に配置された撮像部により撮像された撮像画像と、前記複数の撮像部のうち当該撮像部以外の撮像部により撮像された撮像画像とを用いて、前記距離情報を生成する、請求項８に記載の陽炎補正方法。
10. 複数の撮像部が対象物を撮像した複数の撮像画像を、所定視点から前記対象物までの距離に関する距離情報を用いて、前記所定視点から撮像したと仮定した複数の仮想画像に変換する変換ステップと、
    前記複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正ステップと、
    前記補正画像を出力する出力ステップと、
    をコンピュータに実行させるためのプログラム。

Images