JP7221360B2

JP7221360B2 - チャネル別色相情報外挿法アルゴリズムとカラーホイールを活用した電子光学装備フレームレート向上方法

Info

Publication number: JP7221360B2
Application number: JP2021183992A
Authority: JP
Inventors: ノ，サンウ; キム，テファン; アン，ジンウ
Original assignee: Defense Agency for Technology and Quality
Current assignee: Defense Agency for Technology and Quality
Priority date: 2020-12-02
Filing date: 2021-11-11
Publication date: 2023-02-13
Anticipated expiration: 2041-11-11
Also published as: KR102273612B1; US20220174212A1; JP2022088323A

Description

本発明はベイヤーパターン（Ｂａｙｅｒｐａｔｔｅｒｎ）基盤のＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）が搭載された電子光学装備にカラーホイール（ｃｏｌｏｒｗｈｅｅｌ）フィルタとモータを付着して映像資料を獲得した後、チャネル別色相情報外挿法アルゴリズム（ｃｏｌｏｒｃｈａｎｎｅｌｅｘｔｒａｐｏｌａｔｉｏｎａｌｇｏｒｉｔｈｍ）を活用した後処理を通じて解像度の損失なく電子光学装備のフレームレート（ｆｒａｍｅｒａｔｅ）を３倍向上させる方法に関する。

電子光学センサは、偵察衛星および中高度／高高度無人機のような大型監視偵察体系から地上無人ロボットおよび個人用観測装備に至るまで、多様な監視偵察武器体系に活用されている。

各武器体系別作戦要求性能により必要とする電子光学センサの空間的解像度と時間的解像度が変わる。殆どの映像センサが３０～６０フレーム／秒で映像を撮影するため、標的の移動および変化がこれよりさらにはやい場合、フレームレートの増加が必要である。フレームレートを増加させるための方法としては、高速カメラのような高仕様のハードウェアを使う方法と、映像処理アルゴリズムを活用した時間的超解像度（ｔｅｍｐｏｒａｌｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ）技法がある。高仕様のハードウェアは高い性能は保証されるものの、装備の価格が非常に高い。時間的超解像度技法を活用すれば、性能は高仕様ハードウェアに対比して足りないが、一般的な電子光学センサにおいてもフレームレートを増加させることができる。

本発明の目的は、電子光学装備のフレームレートを向上させる方法を提供することである。

本発明は前述した目的を達成するために、カラーホイールフィルタを活用して電子光学装備の各チャネルで獲得されるデータを時間軸で連続する他の時間帯のデータとなるように制御する第１段階；および獲得された各チャネル間のデータを活用してすべての時間帯で各チャネルのデータを生成する第２段階を含む電子光学装備フレームレート向上方法を提供する。

本発明で電子光学装備は、ベイヤーパターン基盤のＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサが搭載された電子光学装備であり得る。

本発明の第１段階で、カラーホイールフィルタを活用してＣＣＤセンサのＲＧＢ（ＲｅｄＧｒｅｅｎＢｌｕｅ）各チャネルが連続する他の時間帯の情報を獲得するように調整することができる。

本発明の第１段階で、カラーホイールの色相境界線を越えていく瞬間と映像撮影の開始点が同時になされるようにシーケンスが合わせられた状態で、ＲＧＢ３分割カラーホイールが映像撮影フレームレートと同じ周期で回転することになることによって、ＣＣＤのＲ、Ｇ、Ｂセンサそれぞれの露出時間が１／３に減りながら、各チャネル間の露出時間が連続的につながるようになり得る。

本発明の第１段階でカラーホイールを活用して撮影された映像はＲ、Ｇ、Ｂチャネルが連続するそれぞれ異なる時間情報を保有することになり、第２段階では特定フレームの前後に連続する異なるチャネルの時間情報を活用して特定の時点に該当する仮想の完成されたＲＧＢ情報を生成することができる。

本発明の第２段階でＲＧＢ各チャネルの映像をそれぞれ移動物体探知技法で前景と背景を分離し、前景情報を連続する異なるチャネルの情報を活用して再構成することによって、連続する各時点別に特定の時点のＲＧＢ前景の形態を生成し、生成されたＲＧＢ前景を活用して１フレームから仮想の３フレームを生成することができる。

本発明の第２段階では、第１段階で獲得した情報から移動する物体を探知する技法と敵対的生成ネットワーク（ＧＡＮ）アルゴリズムを順次活用して仮想のＲＧＢフレームを生成することができる。

本発明の第２段階で移動物体を探知して背景除去処理した後の移動物体のみを活用し、異なるチャネルの連続した情報を活用した敵対的生成ネットワーク（ＧＡＮ）アルゴリズムを通じて該当時点の異なるチャネル情報を生成することができる。

本発明の第２段階では第１段階で獲得した情報から移動する物体を探知する技法とオプティカルフロー技法を順次活用して仮想のＲＧＢフレームを生成することができる。

本発明の第２段階で移動物体を探知して背景除去処理した後の移動物体のみを活用し、異なるチャネルの連続した情報を活用したオプティカルフロー技法を通じて該当時点の異なるチャネル情報を生成することができる。

本発明で電子光学装備のフレームレートを３倍向上させることができる。

本発明によると、ベイヤーパターン基盤のＣＣＤが搭載された電子光学装備にカラーホイールフィルタとモータを付着して映像資料を獲得した後、チャネル別色相情報外挿法アルゴリズムを活用した後処理を通じて解像度の損失なく電子光学装備のフレームレートを３倍向上させることができる。

ＣＣＤのベイヤーパターンを示したものであり、（Ｒ）はＲｅｄ、（Ｇ）はＧｒｅｅｎ、（Ｂ）はＢｌｕｅである。３分割カラーホイールを示したものである。色相情報外挿法を活用したフレームレート向上方法を示したものである。連続するＲ、Ｇ、Ｂチャネルのイメージを統合して作った仮想のイメージを示したものである。左側の映像を活用して色相情報外挿法を通じて再構成した結果映像（右側）を示したものである。

以下、本発明を詳細に説明する。

本発明はベイヤーパターン（図１）基盤のＣＣＤが搭載された電子光学装備にカラーホイールフィルタとモータを付着して映像資料を獲得した後、チャネル別色相情報外挿法アルゴリズムを活用した後処理を通じて解像度の損失なく電子光学装備のフレームレートを３倍向上させる方法に関する。フレームレートは画面表示装置で映像信号を伝送する時、人の視覚特性とチャネルの帯域幅などを考慮して秒当たり伝送するフレームの個数である。

本発明に係る電子光学装備フレームレート向上方法は、カラーホイールフィルタを活用して電子光学装備の各チャネルで獲得されるデータを時間軸で連続する他の時間帯のデータとなるように制御する第１段階；および獲得された各チャネル間のデータを活用してすべての時間帯で各チャネルのデータを生成する第２段階を含む。

電子光学装備はベイヤーパターン基盤のＣＣＤセンサが搭載された電子光学装備であり得る。ベイヤーパターンは図１のように人間の視覚特性に倣ってＧが５０％、ＲとＢがそれぞれ２５％となるように交差配置されたパターンである。

第１段階では、カラーホイールフィルタを活用してＣＣＤセンサのＲＧＢ各チャネルが連続する他の時間帯の情報を獲得するように調整することができる。カラーホイールは図２のように、ＲＧＢが円に沿って均等に３分割されたカラーホイールである。

具体的には、第１段階で電子光学装備に付着されたカラーホイールの色相境界線を越えていく瞬間と映像撮影の開始点が同時になされるようにシーケンスが合わせられた状態で、ＲＧＢ３分割カラーホイール（図２）が映像撮影フレームレートと同じ周期で回転することになると、図３（ａ）の左側図のように、ＣＣＤのＲ、Ｇ、Ｂセンサそれぞれの露出時間が１／３に減りながら、各チャネル間の露出時間が連続的につながるようになり得る。前記のような方法で撮影された毎フレームは、互いに異なる時間帯の単一チャネル情報のみを有している三つのフレームに分離することができる。

前記のように、第１段階でカラーホイールを活用して撮影された映像はＲ、Ｇ、Ｂチャネルが連続するそれぞれ異なる時間情報を保有することになるが、本発明の第２段階では図３（ｂ）のように、特定フレームの前後に連続する異なるチャネルの時間情報を活用して特定の時点に該当する仮想の完成されたＲＧＢ情報を図３（ａ）右側図のように生成することができる。

具体的には、分離された単一チャネル映像の三つのフレームと色相情報外挿法アルゴリズムを活用して仮想の単一チャネル映像の六つのフレームを生成し、図３（ａ）の右側のようにフレームレートを３倍に増加させることができる。さらに具体的には、図３（ｂ）のように、ｔ_０時点のＧチャネル映像を基準としてｔ_－１時点のＲチャネル映像とｔ_＋１時点のＢチャネル映像から色相情報外挿法アルゴリズムを利用してｔ_０時点の仮想のＲチャネル映像とＢチャネル映像を生成することができる。このように、存在していなかった時点別チャネルの映像を隣接したチャネルの映像から外挿法を通じて再構成することができる。

色相情報外挿法アルゴリズムは、映像の中の連続するフレームがそれぞれ異なる一つのチャネルの情報を有していても、連続するフレームに対しては隣接した異なるチャネルの情報を活用して該当フレームに存在していなかったチャネルの情報を仮想で作り出す方式で、毎フレーム別にすべてのチャネルの情報を有している映像を再構成することをいう。本発明で使用可能な色相情報外挿法アルゴリズムは、敵対的生成ネットワーク（ＧＡＮ：ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ）アルゴリズム、オプティカルフロー（ｏｐｔｉｃａｌｆｌｏｗ）推定技法などである。

敵対的生成ネットワーク（ＧＡＮ）は生成モデルと判別モデルが競争しながら実際に近いイメージ、動映像などを自動で作り出す機械学習（ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ）方式の一つである。具体的には、下記の式で学習をして、フレームレートが３倍向上した次のフレームの移動を推定する関数Ｐとデータのチャネルを変換する生成器Ｇ１（Ｒ－＞Ｇ）、Ｇ２（Ｒ－＞Ｂ）、Ｇ３（Ｇ－＞Ｂ）、Ｇ４（Ｇ－＞Ｒ）、Ｇ５（Ｂ－＞Ｒ）、Ｇ６（Ｂ－＞Ｇ）を作ることができる。

数１及び数２の数式において、ｍｉｎは最小値関数、Ｔは映像の全体時間、ｘ_ｔｎはｔ時刻のｎ番目のデータ値、Ｐ_ｉは予測関数、Ｇ_ｉは生成関数、ｘ_{ｔ（ｎ＋ｉ）}はｔ時刻のｎ＋ｉ番目のデータ値、ＬＴは損失関数、ｘ_{（ｔ＋１）ｎ}はｔ＋１時刻のｎ番目のデータ値である。

オプティカルフロー推定技法は異なるチャネル間の動きを測定するためのアルゴリズムであり、本発明では微細な動きを保存するオプティカルフロー推定技法を活用して仮想チャネル映像を生成することができる。微細な動きを保存するオプティカルフロー推定技法は、初期値の設定時に漸進的向上技法の他に特徴点整合とパッチ整合を追加してオプティカルフローの動きとして推定され得る対象を増やし、入力データによって、領域別に色相情報を基準として最適化を進めるか境界線情報を基準として最適化を進めるかを選択することができる。

２枚の映像Ｉ_１とＩ_２から両映像間の動きを推定したオプティカルフローをｕで表す。漸進的正確度向上技法体系のみを使って求めたオプティカルフローをｕ^ｃという。既存のオプティカルフローは候補群ｕ^ｃの中で下記の数３の数式を最小化させる最適化を通じてｕを求めるのである。

ここでτは色相値と境界線値が結果に及ぼす影響を一方に偏らないようにするための定数であり、∇は境界線近似化をさせる演算子である。Ｅｄは目的関数、ｘは座標値である。

特徴点整合によって、密度は少ないがこの特徴点の移動を示したシフトフローｕ^ｉとパッチ整合を利用したパッチフローｕ^ｎを求めて候補群ｕ^ｃ、ｕ^ｉ、ｕ^ｎの中で数４の数式を最小化することができる。

ａ（ｘ）は境界線と色相情報を選択的に選ぶ２進関数である。パッチ整合を利用したパッチフローｕ^ｎは数５の数式を最小化させることによって求めることができるが、このうちＮ（ｘ）はｘを中心とする５×５大きさのパッチを意味する。Ｅは目的関数であり、ｙおよびｋは定義が不要である。

ｕ^ｉは二つの映像間の特徴点整合を通じて、各特徴点が座標平面上でどのように移動したか行列を求め、行列が集合で求められる。

電子光学装備の前面部にカラーホイールを付着して映像を撮影すると、映像の中の動きがない背景については一般映像を撮影したのと類似し、映像の中の移動前景についてはＲＧＢブラー（ｂｌｕｒ）が発生した図４と類似する映像を獲得することができる。図４は、一般のビデオ映像のうち連続する３フレームのＲ、Ｇ、Ｂチャネルに該当する各チャネルの情報を集合して、チャネル別に映像が撮影された時点が異なる仮想のフレームである。

第２段階でＲＧＢ各チャネルの映像をそれぞれ移動物体探知技法で前景と背景を分離し、前景情報を連続する異なるチャネルの情報を活用して再構成すると、連続する各時点別に特定の時点のＲＧＢ前景の形態を生成することができる。生成されたＲＧＢ前景を活用して図５のように、１フレームから仮想の３フレームを生成することができる。図５の左側は上で生成した仮想のフレームであって８フレーム／秒であり、右側は左側映像のＲ、Ｇ、Ｂと微細な動きを保存するオプティカルフロー技法を適用して生成した仮想のチャネル映像を結合して２４フレーム／秒にフレームレートを３倍増加させた実験結果である。

前景と背景の誤整合を減らすために、前景と背景を分離した後、前景のみを対象に外挿法アルゴリズムを使うことができる。移動物体探知機法としては強靭な主成分分析（ＲｏｂｕｓｔＰｒｉｎｃｉｐｌｅＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）アルゴリズムを背景削減に利用することができる。具体的には、背景が映る時には主成分として抽出することができ、動く物体が映る時にはこれをアウトライヤー（ｏｕｔｌｉｅｒ）で表現して背景と分離することができる。外挿法で得た仮想の前景映像を、該当するチャネル別に既存の背景映像と合わせて一フレームのチャネル映像を作ることができる。

一つの実施形態によると、第２段階では第１段階で獲得した情報から移動する物体を探知する技法と敵対的生成ネットワーク（ＧＡＮ）アルゴリズムを順次活用して仮想のＲＧＢフレームを生成することができる。この場合、移動物体を探知して背景除去処理した後の移動物体のみを活用し、異なるチャネルの連続した情報を活用した敵対的生成ネットワーク（ＧＡＮ）アルゴリズムを通じて該当時点の異なるチャネル情報を生成することができる。

他の実施形態によると、第２段階では第１段階で獲得した情報から移動する物体を探知する技法とオプティカルフロー技法を順次活用して仮想のＲＧＢフレームを生成することができる。この場合、移動物体を探知して背景除去処理した後の移動物体のみを活用し、異なるチャネルの連続した情報を活用したオプティカルフロー技法を通じて該当時点の異なるチャネル情報を生成することができる。

このように、カラーホイールフィルタと色相情報外挿法アルゴリズムを活用して一般的なベイヤーパターンＣＣＤが搭載された電子光学センサのフレームレートを３倍増加させることができる。本発明で提案した技法は、既存の方法とは異なって色相情報を活用してフレームレートを向上させるため、一般のカメラを使う既存の方法と併用可能であり、これを通じて既存の方法の限界値でフレームレートを３倍向上させることができる。

Claims

カラーホイールフィルタを活用して電子光学装備の各チャネルで獲得されるデータを時間軸で連続する他の時間帯のデータとなるように制御する第１段階；および
獲得された各チャネル間のデータを活用してすべての時間帯で各チャネルのデータを生成する第２段階を含む、電子光学装備フレームレート向上方法。
電子光学装備はベイヤーパターン基盤のＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサが搭載された電子光学装備である、請求項１に記載の電子光学装備フレームレート向上方法。
第１段階でカラーホイールフィルタを活用してＣＣＤセンサのＲＧＢ（ＲｅｄＧｒｅｅｎＢｌｕｅ）各チャネルが連続する他の時間帯の情報を獲得するように調整する、請求項２に記載の電子光学装備フレームレート向上方法。
第１段階でカラーホイールの色相境界線を越えていく瞬間と映像撮影の開始点が同時になされるようにシーケンスが合わせられた状態で、ＲＧＢ３分割カラーホイールが映像撮影フレームレートと同じ周期で回転することになることによって、ＣＣＤのＲ、Ｇ、Ｂセンサそれぞれの露出時間が１／３に減りながら、各チャネル間の露出時間が連続的につながるようになる、請求項３に記載の電子光学装備フレームレート向上方法。
第１段階でカラーホイールを活用して撮影された映像はＲ、Ｇ、Ｂチャネルが連続するそれぞれ異なる時間情報を保有することになり、
第２段階では特定フレームの前後に連続する異なるチャネルの時間情報を活用して特定の時点に該当する仮想の完成されたＲＧＢ情報を生成する、請求項４に記載の電子光学装備フレームレート向上方法。
第２段階でＲＧＢ各チャネルの映像をそれぞれ移動物体探知技法で前景と背景を分離し、前景情報を連続する異なるチャネルの情報を活用して再構成することによって、連続する各時点別に特定の時点のＲＧＢ前景の形態を生成し、生成されたＲＧＢ前景を活用して１フレームから仮想の３フレームを生成する、請求項５に記載の電子光学装備フレームレート向上方法。
第２段階では第１段階で獲得した情報から移動する物体を探知する技法と敵対的生成ネットワーク（ＧＡＮ）アルゴリズムを順次活用して仮想のＲＧＢフレームを生成する、請求項１に記載の電子光学装備フレームレート向上方法。
第２段階で移動物体を探知して背景除去処理した後の移動物体のみを活用し、異なるチャネルの連続した情報を活用した敵対的生成ネットワーク（ＧＡＮ）アルゴリズムを通じて該当時点の異なるチャネル情報を生成する、請求項７に記載の電子光学装備フレームレート向上方法。
第２段階では第１段階で獲得した情報から移動する物体を探知する技法とオプティカルフロー技法を順次活用して仮想のＲＧＢフレームを生成する、請求項１に記載の電子光学装備フレームレート向上方法。
第２段階で移動物体を探知して背景除去処理した後の移動物体のみを活用し、異なるチャネルの連続した情報を活用したオプティカルフロー技法を通じて該当時点の異なるチャネル情報を生成する、請求項９に記載の電子光学装備フレームレート向上方法。
電子光学装備のフレームレートを３倍向上させる、請求項１に記載の電子光学装備フレームレート向上方法。