JP7168895B2

JP7168895B2 - 画像処理方法、画像処理装置、画像処理システムおよびプログラム

Info

Publication number: JP7168895B2
Application number: JP2021524553A
Authority: JP
Inventors: 和宮川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-06-04
Filing date: 2019-06-04
Publication date: 2022-11-10
Anticipated expiration: 2039-06-04
Also published as: US20220329730A1; WO2020245927A1; US11856298B2; JPWO2020245927A1

Description

本発明は、無人航空機に搭載されたカメラにより撮影されたフレーム画像を合成する画像処理方法、画像処理装置、画像処理システムおよびプログラムに関する。

機器の小型化、精度向上およびバッテリ容量の増加などに伴い、アクションカメラに代表される小型カメラを用いたライブ配信が盛んに行われている。このような小型カメラでは、水平視野角が１２０°を超えるような超広角レンズが用いられることが多い。超広角レンズを用いることで、臨場感溢れる広範な映像（高臨場パノラマ映像）を撮影することができる。一方、超広角レンズにより広範な情報を１レンズ内に収めるため、レンズの周辺歪みにより情報量が多く失われてしまい、映像周辺ほど画像が荒くなるなど、画質の劣化が生じる。

上述したように、１台のカメラで高臨場パノラマ映像を高品質に撮影することは困難である。そこで、複数台の高精細カメラにより撮影した映像を結合することで、あたかも１台のカメラで風景を撮影したように見せる技術が開発されている（非特許文献１参照）。

非特許文献１に記載の技術では、各カメラは、広角レンズよりも狭い一定の範囲内をレンズに収める。各カメラにより撮影された映像を合成して得られるパノラマ映像は、広角レンズを用いた場合と比較して、隅々まで高精細なパノラマ映像となる。

このようなパノラマ映像合成においては、複数台のカメラは、ある点を中心として別々の方向に向かって撮影する。各カメラの映像をパノラマ映像として合成する際には、フレーム画像間の特徴点の対応関係を用いた射影変換（ホモグラフィ）が行われる。射影変換は、ある四角形（平面）を、四角形の辺の直進性を維持したまま別の四角形（平面）に移す変換である。ある特徴点からある特徴点への対応関係を複数用いることにより、射影変換を行うための変換パラメータが推定される。この変換パラメータを用いて射影変換を行うことで、フレーム画像群におけるカメラの向きによる歪みが取り除かれ、１つのレンズで撮影されたかのように１つの平面に射影することができ、違和感の無い合成を行うことができる（図１参照）。

一方、特徴点の対応関係の誤りなどにより変換パラメータが正しく推定されない場合、各カメラのフレーム画像間にずれが生じ、結合部分に不自然な線が生じたり、画像に矛盾が生じたりしてしまう。そのため、複数台のカメラによるパノラマ映像撮影は、カメラ群を接地して強固に固定した状態で行うのが一般的である。

「超ワイド映像合成技術」、［online］、［２０１９年５月２７日検索］、インターネット＜ＵＲＬ：http://www.ntt.co.jp/svlab/activity/pickup/qa53.html＞

近年、数キログラム程度の小型の無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）が広く用いられるようになっている。例えば、無人航空機に搭載した小型のカメラなどによる撮影が一般化している。無人航空機は小型であることから、様々な場所で容易に撮影を行うことができるという特徴がある。

無人航空機による撮影は、被災地における迅速な情報収集などの公益用途向けにも利用が期待されていることから、広範な映像をできる限り高精細に撮影することが望ましい。そのため、非特許文献１に記載されているような複数台のカメラを用いて高臨場パノラマ映像を撮影する技術が望まれている。

無人航空機は、高度なモータ制御技術や測位技術などを用いて自身の位置を安定的に保とうとするが、突風などの外乱やモータ制御時の遅延や誤差などにより、僅かながら振動する。このような振動を吸収する機器としては、ジンバル機構がよく用いられる。

ジンバルは、１つの軸を中心として物体を回転させられる回転台の一種である。複数のジンバルを回転軸が直交するように取り付けると、内側の軸は外部からの回転の影響を受けなくなる。特に、３軸が直角に交わる場合、内側の軸は外部のあらゆる回転の影響を受けない。カメラが設置されるジンバルは、ジンバル雲台と呼ばれ、カメラ撮影を行う無人航空機の多くに採用されている。

無人航空機に採用されるジンバル雲台は、一台のカメラを搭載することを前提としており、その重心が軸の交点と一致するよう調整される。この調整により、ジンバルは、安定的にカメラの位置を固定でき、また、軸にモータを設けることによってカメラの姿勢制御も容易としている。

一方で、複数のカメラをジンバルに搭載する場合、複数のカメラが異なる方向を向くことや水平方向に並べられることから、ジンバル雲台は、重心が取りづらく、また、回転時のモーメントも大きくなる。そのため、無人航空機の振動をジンバルが十分に吸収できない場合がある。その場合、カメラごとに生じる振動に起因して、フレーム画像間にずれが生じてしまい、上述のように、結合部分に不自然な線や画の矛盾などが生じてしまう。フレーム画像間のずれを抑えるには、カメラ群を強固に固定する必要があるが、固定具などにより重量が増加することでモーメントが大きくなり、ジンバルによる素早い振動の吸収が難しくなる。モータによる姿勢制御を行っている場合、モーメントの増加によりモータが発振し、制御不能な状態に陥ることもある。ジンバルや無人航空機には、搭載可能重量が設定されるため、重量多寡により、そもそもカメラ群を強固に固定できない場合もあり得る。

上記のような問題点に鑑みてなされた本発明の目的は、無人航空機に搭載された複数のカメラを強固に固定しなくても、高精度なパノラマ画像を生成可能な画像処理方法、画像処理装置、画像処理システムおよびプログラムを提供することにある。

上記課題を解決するため、本発明に係る画像処理方法は、無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理方法であって、第１のカメラにより撮影された第１のフレーム画像および第２のカメラにより撮影された第２のフレーム画像を取得する取得ステップと、第１の時刻における前記第１のフレーム画像および前記第１の時刻における前記第２のフレーム画像の差分値に基づいて、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との間にずれが生じているか否かを判定する判定ステップと、前記判定ステップにより前記ずれが生じていると判定された場合、前記第１の時刻における前記第１のフレーム画像に対する前記第１の時刻における前記第２のフレーム画像のずれ量に基づいて、補正値を算出する算出ステップと、前記補正値に基づいて、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像を補正する補正ステップと、補正済みの第１のフレーム画像と補正済みの第２のフレーム画像とを合成する合成ステップと、を含む。

また、上記課題を解決するため、本発明に係る画像処理装置は、無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理装置であって、第１の時刻における、第１のカメラにより撮影された第１のフレーム画像、および、前記第１の時刻における、第２のカメラにより撮影された第２のフレーム画像の差分値に基づいて、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との間にずれが生じているか否かを判定するずれ判定部と、前記ずれ判定部により前記ずれが生じていると判定された場合、前記第１の時刻における前記第１のフレーム画像に対する、前記第１の時刻における前記第２のフレーム画像のずれ量に基づいて、補正値を算出する補正値算出部と、前記補正値に基づいて、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像を補正するフレーム画像補正部と、補正済みの第１のフレーム画像と補正済みの第２のフレーム画像とを合成するフレーム画像補正部合成部と、を備える。

また、上記課題を解決するため、本発明に係る画像処理システムは、無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理システムであって、第１のカメラにより撮影された第１のフレーム画像および第２のカメラにより撮影された第２のフレーム画像を取得するフレーム画像取得部と、第１の時刻における前記第１のフレーム画像および前記第１の時刻における前記第２のフレーム画像の差分値に基づいて、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との間にずれが生じているか否かを判定するずれ判定部と、前記ずれ判定部により前記ずれが生じていると判定された場合、前記第１の時刻における前記第１のフレーム画像に対する前記第１の時刻における前記第２のフレーム画像のずれ量に基づいて、補正値を算出する補正値算出部と、前記補正値に基づいて、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像を補正するフレーム画像補正部と、補正済みの第１のフレーム画像と補正済みの第２のフレーム画像とを合成するフレーム画像合成部と、を備える。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の画像処理装置として機能させる。

本発明に係る画像処理方法、画像処理装置、画像処理システムおよびプログラムによれば、無人航空機に搭載された複数のカメラを強固に固定しなくても、高精度なパノラマ画像を生成することができる。

射影変換によるフレーム画像の合成について説明するための図である。本発明の一実施形態に係るパノラマ映像合成システムの構成例を示す図である。本発明の一実施形態に係るパノラマ映像合成システムの構成例を示すブロック図である。本発明の一実施形態に係る画像処理方法について説明するためのフローチャートである。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

＜画像処理システムの構成＞
図２は、本発明の一実施形態に係るパノラマ映像合成システム（画像処理システム）１の構成例を示す図である。

図２に示すパノラマ映像合成システム１は、無人航空機２と、複数のカメラ３（図２では、２台のカメラ３ａ，３ｂ）と、無線受信装置４と、計算機（画像処理装置）５と、表示装置６と、を備える。本実施形態に係るパノラマ映像合成システム１は、無人航空機２に搭載されたカメラ（第１のカメラ）３ａ、カメラ（第２のカメラ）３ｂにより撮影されたフレーム画像を合成することで、高臨場パノラマ映像を生成するものである。

無人航空機２は、重さ数キログラム程度の小型の無人飛行体であり、カメラ３ａ，３ｂが搭載される。

カメラ３ａ，３ｂは、それぞれ異なる方向に向かって撮影を行う。カメラ３ａ，３ｂにより撮影された映像の映像データは、無人航空機２から無線受信装置４に無線送信される。本実施形態においては、無人航空機２には２台のカメラ３ａ，３ｂが搭載される例を用いて説明するが、３台以上のカメラ３が無人航空機２に搭載されていてもよい。

無線受信装置４は、無人航空機２から無線送信された、カメラ３ａ，３ｂにより撮影された映像の映像データをリアルタイムに受信し、計算機５に出力する。無線受信装置４は、無線送信された信号を受信する機能を有する一般的な無線通信装置である。

計算機５は、無線受信装置４が受信した映像データに示される、カメラ３ａ，３ｂにより撮影された映像を合成して高臨場パノラマ映像を生成する。

表示装置６は、計算機５により生成された高臨場パノラマ映像を表示する。

次に、無人航空機２、無線受信装置４、計算機５および表示装置６の構成について図３を参照して説明する。

まず、無人航空機２の構成について説明する。

図３に示すように、無人航空機２は、フレーム画像取得部２１と、フレーム画像送信部２２とを備える。なお、図３においては、無人航空機２の構成の内、本発明に特に関連する構成のみを示し、例えば、無人航空機２が飛行するための構成については記載を省略している。

フレーム画像取得部２１は、時刻ｔ（第１の時刻）において、カメラ３ａにより撮影されたフレーム画像ｆ_ｔ ^３ａ（第１のフレーム画像）およびカメラ３ｂにより撮影されたフレーム画像ｆ_ｔ ^３ｂ（第２のフレーム画像）を取得し、フレーム画像送信部２２へ出力する。また、フレーム画像取得部２１は、時刻ｔよりも前の時刻である時刻ｔ－１（第２の時刻）において、カメラ３ａにより撮影されたフレーム画像ｆ_ｔ－１ ^３ａおよびカメラ３ｂにより撮影されたフレーム画像ｆ_ｔ－１ ^３ｂを取得し、フレーム画像送信部２２へ出力する。

フレーム画像送信部２２は、フレーム画像取得部２１から入力されるフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを無線受信装置４へ無線送信する。また、フレーム画像送信部２２は、フレーム画像取得部２１から入力されたフレーム画像ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂを無線受信装置４へ無線送信する。本実施形態においては、フレーム画像送信部２２が、各種のフレーム画像を、無線受信装置４へ無線送信する場合を一例に挙げて説明するが、フレーム画像送信部２２は、各種のフレーム画像を、ケーブルなどを介して、計算機５へ送信してもよい。

次に、無線受信装置４の構成について説明する。無線受信装置４は、フレーム画像受信部４１を備える。

フレーム画像受信部４１は、無人航空機２から無線送信されてきたフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを受信する。また、フレーム画像受信部４１は、無人航空機２から送信されてきたフレーム画像ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂを受信する。フレーム画像受信部４１は、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂおよびフレーム画像ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂを、計算機５へ送信する。

次に、計算機５の構成について説明する。

図３に示すように、計算機５は、フレーム画像補正値算出部５１と、フレーム画像補正部５２と、フレーム画像合成部５３と、を備える。フレーム画像補正値算出部５１、フレーム画像補正部５２およびフレーム画像合成部５３の各機能は、計算機５が有するメモリに記憶されたプログラムを、プロセッサなどで実行することで実現可能である。本実施形態において、「メモリ」は、例えば、半導体メモリ、磁気メモリ又は光メモリなどであるが、これらに限られない。また、本実施形態において、「プロセッサ」は、汎用のプロセッサ、特定の処理に特化したプロセッサなどであるが、これらに限られない。

フレーム画像補正値算出部５１は、ずれ判定部５１１と、補正値算出部５１２と、を備える。フレーム画像補正値算出部５１は、無線受信装置４から入力されるフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂおよびフレーム画像ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂを取得する。また、フレーム画像補正値算出部５１は、フレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂを補正するための補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを算出し、算出した補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを、フレーム画像補正部５２へ出力する。

ずれ判定部５１１は、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する。ずれ判定部５１１は、判定結果を、補正値算出部５１２へ出力する。

具体的には、まず、ずれ判定部５１１は、無線受信装置４から入力されるフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する。ずれ判定部５１１は、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂにおいて、対応する画素における画素値の差の平均値Ａを算出する。フレーム画像ｆ_ｔ ^３ａの一部である重複画像は、重複画像ｄ_ｔ ^３ａと表すことができる。フレーム画像ｆ_ｔ ^３ｂの一部である重複画像は、重複画像ｄ_ｔ ^３ｂと表すことができる。通常、パノラマ画像を生成する場合、上述のような射影変換に必要となる変換パラメータを推定するため、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとを、一定程度（例えば、２０％程度）重複させる。平均値Ａは、次式（１）のように表すことができる。

ｉは、画素の位置を表している。Ｎは、画素の数を表している。ｐ_ｔ，ｉ ^３ａは、フレーム画像ｆ_ｔ ^３ａの一部である重複画像ｄ_ｔ ^３ａに含まれる画素の画素値を表している。ｐ_ｔ，ｉ ^３ｂは、フレーム画像ｆ_ｔ ^３ｂの一部である重複画像ｄ_ｔ ^３ｂに含まれる画素の画素値を表している。

ずれ判定部５１１は、次式（２）を用いて、平均値Ａが、第１閾値ｐ_{ｌ＿ｔｈｒｅ}より大きく第２閾値ｐ_{ｕ＿ｔｈｒｅ}より小さいか否かを判定する。ずれ判定部５１１は、平均値Ａが、第１閾値ｐ_{ｌ＿ｔｈｒｅ}より大きく第２閾値ｐ_{ｕ＿ｔｈｒｅ}より小さい場合、疑義状態であると判定する。疑義状態とは、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを、ずれ判定部５１１が確実に判定することができない状態を指す。

ずれ判定部５１１は、平均値Ａが、第１閾値ｐ_{ｌ＿ｔｈｒｅ}以下である場合、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じていないと判定する。第１閾値ｐ_{ｌ＿ｔｈｒｅ}は、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが確実に生じていないと判定するための予め設定された下限閾値である。また、ずれ判定部５１１は、平均値Ａが、第２閾値ｐ_{ｕ＿ｔｈｒｅ}以上である場合、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じていると判定する。第２閾値ｐ_{ｕ＿ｔｈｒｅ}は、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが確実に生じていると判定するための予め設定された上限閾値である。

第１閾値ｐ_{ｌ＿ｔｈｒｅ}および第２閾値ｐ_{ｕ＿ｔｈｒｅ}は、任意に設定される値であるが、第２閾値ｐ_{ｕ＿ｔｈｒｅ}＞第１閾値ｐ_{ｌ＿ｔｈｒｅ}の関係を有する。

重複画像ｄ_ｔ ^３ａと重複画像ｄ_ｔ ^３ｂとの間にずれが生じていない場合、重複画像ｄ_ｔ ^３ａに含まれる画素値ｐ_ｔ，ｉ ^３ａと重複画像ｄ_ｔ ^３ｂに含まれる画素値ｐ_ｔ，ｉ ^３ｂとが一致する数は、多くなる。パノラマ画像を生成する場合、複数のカメラは、ある点を中心として、各々異なる方向に向かって撮影を行うため、重複画像ｄ_ｔ ^３ａと重複画像ｄ_ｔ ^３ｂとが、完全に一致することはない。従って、ずれ判定部５１１が、２つの閾値（第１閾値ｐ_{ｌ＿ｔｈｒｅ}、第２閾値ｐ_{ｕ＿ｔｈｒｅ}）を用いて、平均値Ａが所定範囲を満たすか否かを判定することで、１つの閾値を用いて判定を行う場合と比較して、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを高精度に判定することができる。

次に、ずれ判定部５１１は、疑義状態であると判定した場合、更に、異なる時刻の情報（例えば、時刻ｔよりも前の時刻である時刻ｔ－１の情報）を加えて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する。即ち、ずれ判定部５１１は、疑義状態であると判定した場合、無線受信装置４から入力されるフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂおよびフレーム画像ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する。同一時刻の情報（例えば、時刻ｔの情報）のみならず異なる時刻の情報を用いることで、ずれ判定部５１１は、疑義状態であっても、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを高精度に判定することができる。

例えば、ずれ判定部５１１は、オプティカルフローなどを利用した公知の画像解析技術を用いて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する。すなわち、ずれ判定部５１１は、フレーム画像ｆ_ｔ－１ ^３ａに含まれる所定の画素（第１画素）のフレーム画像ｆ_ｔ ^３ａに対する移動量、および、フレーム画像ｆ_ｔ－１ ^３ｂに含まれる所定の画素（第２画素）のフレーム画像ｆ_ｔ ^３ｂに対する移動量に基づいて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する。

ずれ判定部５１１は、フレーム画像ｆ_ｔ－１ ^３ａに含まれる所定の画素の画素値と、フレーム画像ｆ_ｔ ^３ａに含まれる該所定の画素に対応する画素の画素値と、を結ぶオプティカルフローベクトルｏ_ｔ ^３ａ（第１のオプティカルフローベクトル）を算出する。フレーム画像ｆ_ｔ ^３ａに含まれる該所定の画素に対応する画素の画素値とは、フレーム画像ｆ_ｔ－１ ^３ａに含まれる所定の画素が、Δｔ（時刻ｔ－１から時刻ｔまでの間）後に位置し、フレーム画像ｆ_ｔ ^３ａに含まれる画素の画素値を指す。また、ずれ判定部５１１は、フレーム画像ｆ_ｔ－１ ^３ｂに含まれる所定の画素の画素値と、フレーム画像ｆ_ｔ ^３ｂに含まれる該所定の画素に対応する画素の画素値と、を結ぶオプティカルフローベクトルｏ_ｔ ^３ｂ（第２のオプティカルフローベクトル）を算出する。フレーム画像ｆ_ｔ ^３ｂに含まれる該所定の画素に対応する画素の画素値とは、フレーム画像ｆ_ｔ－１ ^３ｂに含まれる所定の画素が、Δｔ（時刻ｔ－１から時刻ｔまでの間）後に位置し、フレーム画像ｆ_ｔ ^３ｂに含まれる画素の画素値を指す。

ずれ判定部５１１は、次式（３）を用いて、平均値Ａとオプティカルフローベクトルｏ_ｔ ^３ａおよびオプティカルフローベクトルｏ_ｔ ^３ｂに基づく判定関数Ｏとの和が、第３閾値ｐ_{ｆ＿ｔｈｒｅ}より大きいか否かを判定する。

ずれ判定部５１１は、平均値Ａと判定関数Ｏとの和が、第３閾値ｐ_{ｆ＿ｔｈｒｅ}以下である場合、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じていないと判定する。ずれ判定部５１１は、平均値Ａと判定関数Ｏとの和が、第３閾値ｐ_{ｆ＿ｔｈｒｅ}より大きい場合、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じていると判定する。第３閾値ｐ_{ｆ＿ｔｈｒｅ}は、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じていないと判定するための予め設定された閾値である。第３閾値ｐ_{ｆ＿ｔｈｒｅ}は、任意に設定される値である。

式（３）の左辺の第１項は、平均値Ａを表している。即ち、同一時刻（例えば、時刻ｔ）でのフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂに基づくフレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂの空間（画像平面）におけるずれ具合を表している。

式（３）の左辺の第２項は、判定関数Ｏを表している。即ち、異なる時刻（例えば、時刻ｔ、時刻ｔよりも前の時刻である時刻ｔ－１）での、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂおよびフレーム画像ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂに基づくフレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂの空間（画像平面）におけるずれ具合を表している。

ここで、判定関数Ｏは、次式（４）のように表すことができる。

なお、本実施形態では、ずれ判定部５１１が、疑義状態であると判定した場合、式（４）に示す判定関数Ｏを利用して、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する場合を一例に挙げて説明したが、これに限定されるものではない。例えば、ずれ判定部５１１は、市販のデジタルカメラなどで一般的に用いられる手ブレ補正用の判定アルゴリズムなどを採用してもよい。

上述のように、まず、ずれ判定部５１１は、同一時刻（例えば、時刻ｔ）での重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂに基づいて、疑義状態であること、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じていること、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じていないこと、の何れかを判定する。次に、ずれ判定部５１１は、疑義状態である場合、異なる時刻（例えば、時刻ｔ、時刻ｔよりも前の時刻である時刻ｔ－１）でのフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂ，ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する。これにより、疑義状態でない場合には、高速且つ高精度な判定を行うことができ、疑義状態である場合であっても高精度な判定を行うことができる。

補正値算出部５１２は、ずれ判定部５１１から入力される判定結果が、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているという判定結果であった場合、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出する。そして、補正値算出部５１２は、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量に基づいて、フレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂを補正するための補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを算出する。補正値算出部５１２は、算出した補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを、フレーム画像補正部５２へ出力する。

一方、補正値算出部５１２は、ずれ判定部５１１から入力される判定結果が、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じていないという判定結果であった場合、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出しない（フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量をゼロと算出する）。なお、補正値算出部５１２は、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量がゼロの場合は、補正値を算出しない。

ずれ量とは、ずれが生じている画素の数、および、ずれが生じている方向を含むフレーム画像間の差分を表すベクトルを指す。補正値とは、ずれ量を補正するために使用される値であり、ずれ量とは異なる値を指す。例えば、ずれ量が、ある画像に対して別の画像が「右方向に１画素」ずれるという画像間の差分を表すベクトル指す場合、補正値は、別の画像をある画像に対して「左方向に１画素」戻すための値を指す。

例えば、補正値算出部５１２は、重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂにテンプレートマッチングなどの手法を適用して、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出する。補正値算出部５１２は、ずれ判定部５１１が判定を行ったときと同様に、必要な画素の絶対量（情報量）が、重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂのみでは足らず、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出できない場合がある。

このような状況は、例えば、判定式（５）、（６）を用いることにより判定できる。

この場合、補正値算出部５１２は、重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂを含むフレーム画像全体の画素（情報）を用いて、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出する。例えば、オプティカルフローなどを利用した公知の画像解析技術を用いて、時刻ｔ－１における補正済みのフレーム画像ｆ_ｔ－１ ^３ａ’に対するフレーム画像ｆ_ｔ ^３ａのオプティカルフローベクトルＯ_ｔ ^３ａ、および、時刻ｔ－１における補正済みのフレーム画像ｆ_ｔ－１ ^３ｂ’に対するフレーム画像ｆ_ｔ ^３ｂのオプティカルフローベクトルＯ_ｔ ^３ｂ、を算出し、オプティカルフローベクトルＯ_ｔ ^３ａとオプティカルフローベクトルＯ_ｔ ^３ｂとの差を用いて、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出する。重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂのみを用いて、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出する場合よりも、フレーム画像全体を用いて、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出する場合の方が、より多くの画素（情報）を用いて、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量を算出することができるため、算出精度も高めることができる。

フレーム画像補正部５２は、フレーム画像補正部５２から入力される補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを補正する。フレーム画像補正部５２は、補正済みのフレーム画像ｆ_ｔ ^３ａ’および補正済みのフレーム画像ｆ_ｔ ^３ｂ’を生成し、フレーム画像合成部５３に出力する。

フレーム画像合成部５３は、フレーム画像補正部５２から入力された補正済みのフレーム画像ｆ_ｔ ^３ａ’とフレーム画像補正部５２から入力された補正済みのフレーム画像ｆ_ｔ ^３ｂ’とを合成する。フレーム画像合成部５３は、補正済みのフレーム画像ｆ_ｔ ^３ａ’と補正済みのフレーム画像ｆ_ｔ ^３ｂ’とが合成された画像を表示装置６に出力する。

表示装置６は、フレーム画像表示部６１を備える。フレーム画像表示部６１は、補正済みのフレーム画像ｆ_ｔ ^３ａ’と補正済みのフレーム画像ｆ_ｔ ^３ｂ’とが合成された画像を表示する。

本実施形態に係るパノラマ映像合成システム１では、無人航空機２の振動に起因して、複数のカメラ３ａ，３ｂにより撮影されたフレーム画像間に生じるずれを高精度に検出する。これにより、フレーム画像間に生じるずれを解消するための補正値を高精度に算出することができるため、複数のカメラ３ａ，３ｂを強固に固定しなくても、高精度なパノラマ画像を生成することができる。

＜画像処理方法＞
次に、本発明の一実施形態に係る画像処理方法について、図４に示すフローチャートを参照して説明する。

ステップＳ１１：フレーム画像受信部４１は、時刻ｔにおいて、カメラ３ａにより撮影されたフレーム画像ｆ_ｔ ^３ａおよびカメラ３ｂにより撮影されたフレーム画像ｆ_ｔ ^３ｂを取得する。

ステップＳ１２：ずれ判定部５１１は、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂにおいて、対応する画素における画素値の差の平均値Ａが、第１閾値ｐ_{ｌ＿ｔｈｒｅ}より大きく第２閾値ｐ_{ｕ＿ｔｈｒｅ}より小さいか否かを判定する。ずれ判定部５１１は、平均値Ａが、第１閾値ｐ_{ｌ＿ｔｈｒｅ}より大きく第２閾値ｐ_{ｕ＿ｔｈｒｅ}より小さい場合、ステップＳ１３の処理を行う。ずれ判定部５１１は、平均値Ａが、第１閾値ｐ_{ｌ＿ｔｈｒｅ}以下又は第２閾値ｐ_{ｕ＿ｔｈｒｅ}以上である場合、ステップＳ１４の処理を行う。

ステップＳ１３：ずれ判定部５１１は、平均値Ａと判定関数Ｏとの和が、第３閾値ｐ_{ｆ＿ｔｈｒｅ}より大きいか否かを判定する。ずれ判定部５１１は、平均値Ａと判定関数Ｏとの和が、第３閾値ｐ_{ｆ＿ｔｈｒｅ}より大きい場合、ステップＳ１５の処理を行う。ずれ判定部５１１は、平均値Ａと判定関数Ｏとの和が、第３閾値ｐ_{ｆ＿ｔｈｒｅ}以下である場合、ステップＳ１７の処理を行う。

ステップＳ１４：ずれ判定部５１１は、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂにおいて、対応する画素における画素値の差の平均値Ａが、第２閾値ｐ_{ｕ＿ｔｈｒｅ}以上であるか否かを判定する。ずれ判定部５１１は、平均値Ａが、第２閾値ｐ_{ｕ＿ｔｈｒｅ}以上である場合、ステップＳ１５の処理を行う。ずれ判定部５１１は、平均値Ａが、第２閾値ｐ_{ｕ＿ｔｈｒｅ}より小さい場合、ステップＳ１８の処理を行う。

ステップＳ１５：補正値算出部５１２は、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量に基づいて、フレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂを補正するための補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを算出する。

ステップＳ１６：フレーム画像補正部５２は、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを補正し、補正済みのフレーム画像ｆ_ｔ ^３ａ’および補正済みのフレーム画像ｆ_ｔ ^３ｂ’を生成する。

ステップＳ１７：フレーム画像合成部５３は、補正済みのフレーム画像ｆ_ｔ ^３ａ’と補正済みのフレーム画像ｆ_ｔ ^３ｂ’とを合成する。

ステップＳ１８：フレーム画像合成部５３は、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとを合成する。

このように、本実施形態に係る画像処理方法は、カメラ３ａにより撮影されたフレーム画像およびカメラ３ｂにより撮影されたフレーム画像を取得する取得ステップと、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂにおいて、対応する画素における画素値の差の平均値Ａが、第１閾値ｐ_{ｌ＿ｔｈｒｅ}より大きく第２閾値ｐ_{ｕ＿ｔｈｒｅ}より小さい場合、平均値Ａ、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂ、および、フレーム画像ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する判定ステップと、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じている場合、フレーム画像ｆ_ｔ ^３ａに対するフレーム画像ｆ_ｔ ^３ｂのずれ量に基づいて、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを算出する算出ステップと、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを補正する補正ステップと、補正済みのフレーム画像ｆ_ｔ ^３ａ’と補正済みのフレーム画像ｆ_ｔ ^３ｂ’とを合成する合成ステップと、を含む。

本実施形態に係る画像処理方法によれば、まず、同一時刻での重複画像ｄ_ｔ ^３ａ，ｄ_ｔ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定し、疑義状態である場合、同一時刻でのフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂおよび異なる時刻でのフレーム画像ｆ_ｔ－１ ^３ａ，ｆ_ｔ－１ ^３ｂに基づいて、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを判定する。これにより、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間にずれが生じているか否かを高精度に判定することができるため、フレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂを補正するための補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを高精度に算出することができる。即ち、無人航空機２に搭載された複数のカメラ３ａ，３ｂを強固に固定しなくても、高精度なパノラマ画像を生成可能な画像処理方法を実現できる。

なお、上述の計算機５において行われる処理は、無人航空機２において行われてもよい。

実施形態では特に触れていないが、計算機５として機能するコンピュータが行う各処理を実行するためのプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭあるいはＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１パノラマ映像合成システム
２無人航空機
３ａカメラ（第１のカメラ）
３ｂカメラ（第２のカメラ）
４無線受信装置
５計算機（画像処理装置）
６表示装置
２１フレーム画像取得部
２２フレーム画像送信部
４１フレーム画像受信部
５１フレーム画像補正値算出部
５１１ずれ判定部
５１２補正値算出部
５２フレーム画像補正部
５３フレーム画像合成部
６１フレーム画像表示部

Claims

無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理方法であって、
第１のカメラにより撮影された第１のフレーム画像および第２のカメラにより撮影された第２のフレーム画像を取得する取得ステップと、
第１の時刻における前記第１のフレーム画像および前記第１の時刻における前記第２のフレーム画像の差分値に基づいて、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との間にずれが生じているか否かを判定する判定ステップと、
前記判定ステップにより前記ずれが生じていると判定された場合、前記第１の時刻における前記第１のフレーム画像に対する前記第１の時刻における前記第２のフレーム画像のずれ量に基づいて、補正値を算出する算出ステップと、
前記補正値に基づいて、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像を補正する補正ステップと、
補正済みの第１のフレーム画像と補正済みの第２のフレーム画像とを合成する合成ステップと、を含む、画像処理方法。
前記判定ステップは、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との差分値に対して、閾値を用いてずれの有無を判定できないと判断する場合、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像と、前記第１の時刻とは異なる第２の時刻における前記第１のフレーム画像および前記第２のフレーム画像とに基づいて、前記ずれが生じているか否かを判定する、請求項１に記載の画像処理方法。
前記算出ステップは、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像の想定されるずれ量が、閾値を用いて正しく求められないと判断する場合、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像と、前記第１の時刻とは異なる第２の時刻における前記第１のフレーム画像および前記第２のフレーム画像とに基づいて、前記第１の時刻における前記第１のフレーム画像に対する前記第１の時刻における前記第２のフレーム画像のずれ量を算出する、請求項１に記載の画像処理方法。
無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理装置であって、
第１の時刻における、第１のカメラにより撮影された第１のフレーム画像、および、前記第１の時刻における、第２のカメラにより撮影された第２のフレーム画像の差分値に基づいて、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との間にずれが生じているか否かを判定するずれ判定部と、
前記ずれ判定部により前記ずれが生じていると判定された場合、前記第１の時刻における前記第１のフレーム画像に対する、前記第１の時刻における前記第２のフレーム画像のずれ量に基づいて、補正値を算出する補正値算出部と、
前記補正値に基づいて、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像を補正するフレーム画像補正部と、
補正済みの第１のフレーム画像と補正済みの第２のフレーム画像とを合成するフレーム画像補正部合成部と、を備える、画像処理装置。
前記ずれ判定部は、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との差分値に対して、閾値を用いてずれの有無を判定できないと判断する場合、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像と、前記第１の時刻とは異なる第２の時刻における前記第１のフレーム画像および前記第２のフレーム画像とに基づいて、前記ずれが生じているか否かを判定する、請求項４に記載の画像処理装置。
前記補正値算出部は、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像の想定されるずれ量が、閾値を用いて正しく求められないと判断する場合、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像と、前記第１の時刻とは異なる第２の時刻における前記第１のフレーム画像および前記第２のフレーム画像とに基づいて、前記第１の時刻における前記第１のフレーム画像に対する前記第１の時刻における前記第２のフレーム画像のずれ量を算出する、請求項４に記載の画像処理装置。
無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理システムであって、
第１のカメラにより撮影された第１のフレーム画像および第２のカメラにより撮影された第２のフレーム画像を取得するフレーム画像取得部と、
第１の時刻における前記第１のフレーム画像および前記第１の時刻における前記第２のフレーム画像の差分値に基づいて、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との間にずれが生じているか否かを判定するずれ判定部と、
前記ずれ判定部により前記ずれが生じていると判定された場合、前記第１の時刻における前記第１のフレーム画像に対する前記第１の時刻における前記第２のフレーム画像のずれ量に基づいて、補正値を算出する補正値算出部と、
前記補正値に基づいて、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像を補正するフレーム画像補正部と、
補正済みの第１のフレーム画像と補正済みの第２のフレーム画像とを合成するフレーム画像合成部と、を備える、画像処理システム。
前記ずれ判定部は、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像との差分値に対して、閾値を用いてずれの有無を判定できないと判断する場合、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像と、前記第１の時刻とは異なる第２の時刻における前記第１のフレーム画像および前記第２のフレーム画像とに基づいて、前記ずれが生じているか否かを判定する、請求項７に記載の画像処理システム。
前記補正値算出部は、前記第１の時刻における前記第１のフレーム画像と前記第１の時刻における前記第２のフレーム画像の想定されるずれ量が、閾値を用いて正しく求められないと判断する場合、前記第１の時刻における前記第１のフレーム画像および前記第２のフレーム画像と、前記第１の時刻とは異なる第２の時刻における前記第１のフレーム画像および前記第２のフレーム画像とに基づいて、前記第１の時刻における前記第１のフレーム画像に対する前記第１の時刻における前記第２のフレーム画像のずれ量を算出する、請求項７に記載の画像処理システム。
コンピュータを、請求項４から６のいずれか一項に記載の画像処理装置として機能させるためのプログラム。