JP7301893B2 - 可視画像と熱画像のデータ処理装置及び処理方法 - Google Patents

Description

本発明の実施形態は、可視画像と熱画像のデータ処理装置及び処理方法に関する。

可視光で映像を捕らえる可視画像カメラと、赤外線で映像を捕らえる熱画像カメラとの両方を用いて、可視画像データと熱画像データを取得する装置がある。この画像データ処理装置は、可視画像データと熱画像データを合成して、表示器に表示する。この種の画像データ処理装置は、例えば工場内の各所の監視、山岳地帯の危険個所の監視など様々な用途で用いられる。

米国特許第９１７１３６１号明細書 特表２０１６－５１４３０５号公報 特開２０１７－０４６３４９号公報 特許第５５３７９９５号公報

本発明が解決しようとする課題は、可視画像から作成したエッジ画像と熱画像を合成して認識し易く表示することができる可視画像と熱画像のデータ処理装置及び処理方法を提供することである。

一実施形態によれば、
可視画像データを取得し、フレーム単位の可視画像のエッジ画像を生成する可視画像処理部と、
熱画像データを取得し、フレーム単位の熱画像を生成する熱画像処理部と、
前記エッジ画像の画素の輝度が高くなるに従い合成係数（alpha）が０から１へ変化し、
前記エッジ画像の全体の輝度の平均値を基点としてその平均値が大きくなるほど、前
記０から１へ変化する前記エッジ画像の画素の輝度の範囲が広くなるジグモイド曲線
の特性を用いて、前記エッジ画像の画素単位の輝度に対応する前記合成係数を０から
１の範囲で求め、
以下の式
Yc ＝ Yap + Ybp × alpha
（但し、Yapは前記熱画像の画素の輝度、Ybpは前記エッジ画像の画素の輝度、alpha
は画素単位の前記合成係数）
を用いて、前記エッジ画像の画素毎の輝度と前記熱画像の画素毎の輝度を合成した
輝度合成画像のための画素毎の輝度（前記Yｃ）を求める輝度合成画像作成部と、
前記輝度合成画像の画素毎の輝度（前記Yｃ）を用いた前記輝度合成画像の表示データを表示器に出力する出力部と、
を備える、可視画像と熱画像のデータ処理装置が提供される。

図１は本発明の一実施形態である可視画像と熱画像のデータ処理装置の使用例を示すブロック図である。 図２は本発明の一実施形態である可視画像と熱画像のデータ処理装置の基本構成の例と動作手順の例を一体的に示す説明図である。 図３は図２の可視画像処理部の基本構成と処理フローを一体的に示す説明図である。 図４は図２の熱画像処理部の基本構成と処理フローを一体的に示す説明図である。 図５は図２の合成画像作成部の基本構成と処理フローを一体的に示す説明図である。 図６は図３乃至図５の各基本構成と各処理フローの全体を一体的に示す説明図である。 図７は実施形態をソフトウエアで構成した場合の基本構成の例を示す構成説明図である。 図８は実施形態をハードウエアで構成した場合の基本構成の例を示す構成説明図である。 図９は図５で説明した合成画像作成部の特徴を活かした実施形態の例を示す図である。 図１０は図３に示したエッジ抽出部３３４の動作イメージを説明するために示す画素及びフィルタ係数の説明図である。 図１１は図３に示したエンボス加工処理部３３５及びエッジ抽出部３３６の動作イメージを説明するために示すフィルタ係数の説明図である。 図１２は本実施形態の合成画像作成部において、エッジ画像の輝度合成割合を求めるための手法を説明するために示した係数変化グラフの例を示す説明図である。 図１３は可視カメラで撮像されたシーンの画像の例を示す図である。 図１４は可視カメラで撮像されたシーンの画像をアファイン変換した例を示す図である。 図１５はアファイン変換した画像からエッジ抽出部３３４によりエッジ抽出したエッジ画像の例を示す図である。 図１６はアファイン変換した画像に対してエンボス加工部３３５によりエンボス加工し、この加工した画像からエッジ抽出部３３６によりエッジ抽出したエッジ画像の例を示す図である。 図１７は熱画像カメラにより可視画像カメラが撮像したシーンと同じシーンを撮像して取得した熱画像の例を示す図である。 図１８は熱画像と図１５のエッジ画像を合成した合成画像の例を示す図である。 図１９は熱画像と図１６のエッジ画像を合成した合成画像の例を示す図である。 図２０は図１５のエッジ画像の写真を示す図である。 図２１は図１６のエッジ画像の写真を示す図である。 図２２は図１７の熱画像の写真を示す図である。 図２３は図１８の合成画像の写真を示す図である。 図２４は図１９の合成画像の写真を示す図である。

以下、本発明を実施するための形態について、図面を参照して説明する。
図１は本発明の一実施形態である可視画像と熱画像のデータ処理装置の概略的な構成例を示している。入力部１１に可視画像データが供給され、入力部２１に熱画像データが供給される。

可視画像データと熱画像データは、例えばいずれか一方若しくは両方がサーバから供給されてもよい。或は、可視画像データと熱画像データは、例えばいずれか一方若しくは両方が監視カメラから供給されてもよい。監視カメラは、例えば可視画像カメラと熱画像カメラが一体となり構成されていてもよいし、独立分離されていてもよい。いずれにしても両カメラは、互いに近い位置に配置され、同一方向にその撮像視野を向けたカメラである。

入力部１１と入力部２１から取り込まれた可視画像データと、熱画像データとは、可視画像と熱画像のデータを処理するデータ処理装置２０へ取り込まれる。データ処理装置２０は、これから説明する画像処理を実行し、可視画像から得られたエッジ画像と、熱画像とを合成し、合成画像を作成する。合成画像は、出力部１３を介して表示器３０に供給されることができる。なお、データ処理装置２０は、合成画像のみならず、操作入力部（図示せず）からの操作に応じて、可視画像、可視画像から得られたエッジ画像と、熱画像のいずれも単独で選択的に表示器３０に向けて出力することができる。

図２は、可視画像と熱画像のデータ処理装置２０の基本構成の例と処理手順（工程）の例を一体的に示している。スタート２１０は、先の入力部１１と入力部１２に対応する。可視画像処理部２３１は、可視画像のフレームを蓄積する。可視画像の例えば１フレームが蓄積されたかどうかの判定は判定部（更新判定部、或は更新判定工程とも称する）２５１が判定する。熱画像処理部２４１は、熱画像のフレームを蓄積する。この場合も熱画像の例えば１フレームが蓄積されたかどうかの判定は判定部２５１が判定する。

上記のようにフレームの蓄積状態を管理する理由は、必ずしも可視画像カメラと熱画像カメラの動作が同期しているとは限らないこと、また両カメラの機能においてフレーム周波数が同一とは限らないことを想定しているからである。また、可視画像と熱画像とは、両方がリアルタイムで同時に撮像されたものでない場合もあり、片方或は両方が例えばサーバやサービスプロバイダーから送られてくる場合があることを想定しているからである。

判定部２５１が、可視画像と熱画像の両方のフレームが揃ったことを判定すると、合成画像作成部２６１は、次の処理を実行する。合成画像作成部２６１は、可視画像をモノクロ画像に変換し、このモノクロ画像から撮影した対象物のエッジ画像を作成し、このエッジ画像と、熱画像とを合成し、合成画像を作成する。

この合成画像作成部２６１は、可視画像から得られたエッジ画像と、熱画像とを合成する場合、前記エッジ画像の輝度の画素単位で合成係数を求めて合成するという特有の処理を行っている。この具体的手法の例については後述する。

このため得られた合成画像は、熱画像の解像度が低くても（即ち、安価な熱画像カメラで取得した熱映像を用いても）、対象物のエッジの画素の輝度が良好に表示されるようになり、１つの合成画像内で、複数の対象物の識別が極めて良好となる。また合成画像作成部２６１から出力する合成画像全体は、熱画像から得られたカラー成分を合成されている。このために、エッジ成分により識別された複数の対象物にある温度差も容易に識別可能で、全体としては見やすい合成画像となる。

そして温度差が小さい対象物間のエッジ（輪郭）が良好であることは、監視システムにとって極めて価値のある効果となる。また配置関係が前後関係で一部が重なり、かつ、他の部分が左右にずれている対象物ＡとＢが、熱画像カメラの熱画像によると区別が付かない場合があるが、上記のエッジ画像が重ねられることで、両者のエッジが明確に識別可能となる。

また、本装置は、（１）合成画像のみならず、操作に応じて、（２）可視画像、（３）可視画像から得られたエッジ画像、（４）熱画像のいずれも選択的に表示器３０に向けて出力することができる。このため、ユーザは、例えば温度差のある複数の対象物を詳しく確認することが可能である。例えば上記の３種類或は４種類の画像を、次々とサイクリックに切り替えて表示器３０に表示し、複数の対象物を識別しながらかつ複数の対象物の温度差などを確認することが容易となる。

しかしながら、例えば、照明の照度が低い夜間（例えば星空の下）においては、可視画像カメラにより取得される可視画像であっても、ノイズが多くなり対象物のエッジが不鮮明となる場合がある。このような場合、エッジ画像の作成についてはさらに工夫を施してもよい。そこで、本実施形態においては、さらなる次のアイデアを提供するものである。

図３は、図２に示した可視画像処理部２３１の基本構成と処理フローを一体的に示す説明図である。

映像キャプチャ３３１は、可視画像カメラからの映像データをキャプチャし、フレーム単位の可視画像を生成する。次に変換部３３２は、可視画像をモノクロ画像に変換する。セレクタ３３３は、ユーザの設定に応じて、モノクロ画像をエッジ抽出部３３４、又はエンボス加工部３３５に入力する。エッジ抽出部３３４は、可視画像からエッジ画像を生成し、エッジ画像の位置合わせ部３３７に入力する。

一方、エンボス加工処理部３３５は、モノクロ画像に対してエンボス加工処理を施し、画像エッジを強調し、エッジを強調したモノクロ画像をエッジ抽出部３３６に入力する。エッジ抽出部３３６は、エンボス加工した可視画像からエッジ画像を生成し、エッジ画像の位置合わせ部３３７に入力する。

エッジ画像の位置合わせ部３３７は、エッジ画像に対してリサイズ処理及びアファイン変換処理を行う。リサイズ処理は、エッジ画像と熱画像の大きさを同じ大きさとなるようにサイズを調整する処理である。調整では、画素補完処理或は画素低減処理などが行われる。アファイン変換処理は、エッジ画像と熱画像とに対する視点位置が近い位置、或は同じ位置になるように画像処理を行うことであり、フレームに対する回転処理、或は拡大、縮小などの幾何学的な処理を行うことである。したがって、予め、熱画像と可視画像に対して同じ基準点を複数きめて、双方の画像の対応する基準点が一致するように、例えばモノクロ画像或はエッジ画像に対する前記幾何学的な変形処理を行っている。

このアファイン変換処理は、モノクロ画像の段階で実施されてもよいし、エッジ画像に対して実施されてもよい。エッジ画像に対して実施する場合、モノクロ画像の全部のピクセルに対して実施する場合よりも処理負荷は低減される。これはモノクロ画像全体よりも、エッジ画像を利用した場合、輝度のない画素のアフィン変換処理を実施しないで済むためである。また、リサイズ前の画像を用いてアフィン変換処理を実施してもよいし、リサイズ後にアフィン変換処理を実施してもよい。リサイズ前の画像にアフィン変換処理を実施する場合、一般的にサイズの小さい画像に対する処理となるため処理負荷は低減される。

上記の処理においては、モノクロ画像からエッジ画像を生成する場合、２つの処理形態のいずれかを選択することが可能である。第１の処理形態は、モノクロ画像に対して例えばカーネルフィルタを用いて畳み込み演算処理を実行するエッジ抽出部３３４を選択することができる。他の第２の処理形態は、モノクロ画像に対して、まずエンボス加工処理部３３５でエンボス加工を施し、次にフィルタ処理を実施するエッジ抽出部３３６を選択することができる。

上記のように合成画像作成部２６１は、可視画像から第１のエッジ画像を生成する第１のエッジ抽出部を有する第１の系路と、可視画像に対してエンボス加工を行ったのち第２のエッジ画像を生成する第２のエッジ抽出部を有する第２の系路とを備える。そして、第１の系路若しくは第２の系路がユーザにより任意に選択可能に構成されている。

第１の処理形態は、可視画像にノイズ成分が多く含まれるような場合に有効であり、エッジ成分からノイズ成分を排除したい場合に有効である。例えば、照明の照度が低い夜間（例えば星空の下）においては、可視画像にノイズ成分が多くなりエッジが不鮮明となる場合がある。つまり例えば星の画像がノイズとなることがあるからである。また、ギラギラする水面を背景にした対象物（被写体）を監視する場合、さらには、夜間の車道で車のライトが点在するような環境を背景にした対象物（被写体）を監視する場合は、可視画像にノイズ成分が多くなることがある。このような場合も第１の処理形態が効果的である。

一方、可視画像はノイズが少なく極めて鮮明である場合において、さらに細かいエッジをより一層強調したい場合は、第２の処理形態が好ましい。エンボス加工により、画像のエッジを浮き出させ（強調し）、これにより細かいエッジまで浮き出るので、被写体の細部までをみることが可能となる。この処理は、撮影する対象が、細かい複雑な凹凸個所を有するけれども撮影は良好であり鮮明な映像が得られるような場合に有効である。例えば室内で繊細な棚、或はその棚の上の装飾品などが監視の対象物（被写体）となる場合が有効である。さらには、倉庫内の各種の大きさの異なる保管物が監視の対象物（被写体）となる場合が有効である。

図４は、図２に示した熱画像処理部２４１の基本構成と処理フローを一体的に示す説明図である。

熱画像キャプチャ４３１は、熱画像カメラからの熱映像データをキャプチャし、フレーム単位の熱画像を生成する。次にリサイズ処理部４３２は、熱画像を出力画像（表示器に向けて出力する画像）と同じサイズにするためにリサイズ処理を行う。調整では、画素補完処理などが行われる。リサイズされた熱画像は、ＹＵＶ変換部４３３に入力する。ＹＵＶ変換部は、熱画像を、Ｙ（輝度）、Ｕ（青色成分の色差）、Ｖ（赤色成分の色差）に変換する。これにより、可視画像から得られたエッジ画像と、熱画像の輝度成分とを合成する準備が整う。

図５は、図２に示した合成画像作成部２６１の基本構成と処理フローを一体的に示す説明図である。輝度成分を合成する合成部６３１は、リサイズした熱画像の輝度画像と可視画像から得られたエッジ画像との合成処理を行う。この合成処理では、輝度の画素単位での合成処理行う。この場合、エッジ画像の各画素に関しては、エッジ画像全体の平均輝度の強度に応じて、各画素単位の合成係数（輝度混合割合alpha）を計算している。この輝度混合割合alphaを対応する画素（輝度値）に乗算した結果と、対応する熱画像の画素（輝度値）とを加算することで、合成画素（合成輝度値）を生成している。上記した処理、つまり輝度の画素単位で合成係数を求めて合成するという特有の処理の具体的手法の例については、再度後述する。

上記のように得られた輝度合成画像は、次に、ＲＧＢ変換処理部６３２において、ＹＵＶ変換部４３３に得られた熱画像のＵ（青色成分の色差）、Ｖ（赤色成分の色差）を用いてＲＧＢのカラー画像に変換される。そしてこのカラー画像のデータが出力部６３３を介して表示データとして表示器に出力される。

図６は図３乃至図５の各基本構成と各処理フローの全体を一体化して示す説明図である。図６において、図２、図３、図４及び図５に示したブロックと対応するブロックには、図２、図３、図４及び図５に示したブロックに付した符号と同じ符号を付している。したがって、この実施形態は、図２、図３、図４及び図５で説明した実施形態の特徴的な機能（効果）をすべて含むことになる。また、サーバ側から、可視画像フレームを整えられ、かつ熱画像との整合がとられているデータが送られてくる方法でも、本発明の実施形態を実施することができる。その場合、既存の可視画像データを取得する装置と熱画像データを取得する装置を用いて、エッジ画像の抽出と、熱画像との輝度単位合成を行うソフトウエアを追加することによっても、本発明の実施形態を実施することができる。また、図２乃至図６で示した各構成要件は、プログラムを用いたソフトウエアで実施することも可能である。この実施形態の詳細は後でさらに説明する。

以下、図６の実施形態を簡単に説明する。映像キャプチャ３３１は、可視画像カメラからの映像データをキャプチャし、フレーム単位の可視画像を生成する。次に変換部３３２は、可視画像をモノクロ画像に変換する。セレクタ３３３は、ユーザの設定に応じて、モノクロ画像をエッジ抽出部３３４又はエンボス加工部３３５に入力する。エッジ抽出部３３４は、可視画像から得られたエッジ画像を生成し、エッジ画像の位置合わせ部３３７に入力する。

一方、エンボス加工部３３５は、モノクロ画像に対してエンボス加工処理を施し、画像エッジを強調し、エッジを強調したモノクロ画像をエッジ抽出部３３６に入力する。エッジ抽出部３３６は、エンボス加工した可視画像から得られたエッジ画像を生成し、エッジ画像の位置合わせ部３３７に入力する。

エッジ画像の位置合わせ部３３７は、エッジ画像に対してリサイズ処理及びアファイン変換処理を行う。

上記の処理においては、モノクロ画像からエッジ画像を生成する場合、２つの形態のいずれかを選択することが可能である。第１の実行形態は、モノクロ画像に対して例えばカーネルフィルタを用いて畳み込み演算処理を実行するエッジ抽出部３３４を選択することができる形態である。他の第２の形態は、モノクロ画像に対して、まずエンボス加工処理部３３５でエンボス加工を施し、次にフィルタ処理を実施するエッジ抽出部３３６を選択することができる実行形態である。

熱画像キャプチャ４３１は、熱画像カメラからの熱映像データをキャプチャし、フレーム単位の熱画像を生成する。次にリサイズ処理部４３２は、熱画像を出力画像（表示器に向けて出力する画像）と同じサイズとするためにリサイズ処理を行う。リサイズされた熱画像は、ＹＵＶ変換部４３３に入力する。ＹＵＶ変換部は、熱画像を、Ｙ（輝度）、Ｕ（青色成分の色差）、Ｖ（赤色成分の色差）に変換する。これにより、可視画像から得られたエッジ画像と、熱画像の輝度成分とを合成する準備が整う。

輝度成分を合成する合成部６３１は、リサイズした熱画像の輝度画像と可視画像から得られたエッジ画像との合成処理を行う。この合成処理では、双方の画像の輝度の画素単位での合成処理行う。この場合、エッジ画像の各画素に関しては、エッジ画像全体の平均輝度の強度に応じて、各画素単位の合成係数（輝度混合割合alpha）を計算し、画素単位の輝度混合割合alphaを使用している。つまり輝度混合割合alphaを対応する画素（輝度値）に乗算した結果と、対応する熱画像の画素（輝度値）とを加算することで、合成画素（合成輝度値）を生成するという特有の処理を行っている。

上記輝度の合成画像は、次に、ＲＧＢ変換処理部６３２において、ＹＵＶ変換部４３３に得られた熱画像のＵ（青色成分の色差）、Ｖ（赤色成分の色差）を用いてＲＧＢのカラー画像に変換される。そしてこのカラー画像のデータが出力部６３３を介して表示データとして表示器３００に出力される。この場合、上記の特有の処理のために、可視画像のエッジ画像がフレーム全体にわたり良好に表示されるようになり、解像度の低い熱画像とエッジ画像とが合成された場合、複数の対象物の輪郭（エッジ）を明瞭に表示可能となる。

図７は、上記の主な機能をソフトウエアＳＷにより実現した場合の説明図である。この実施形態では、可視画像カメラ７０１（例えば６４０×４８０pixelの解像度）、熱画像カメラ７０２（例えば８０×６０pixel、又は１６０×１２０pixelの解像度）が使用される。可視画像はキャプチャ処理ＳＷ１１される。この可視画像処理において、ハードウエア要素としては第１の作業メモリ（バッファメモリを含む）７１２が利用される。

キャプチャされたフレーム単位の可視画像は、モノクロ画像変換ＳＷ１２される。モノクロ画像変換されたモノクロ画像はエッジ抽出処理ＳＷ１３を受け、エッジ画像となる。ここでモノクロ画像がエッジ抽出処理を受けるときには、処理情報設定ファイル７１３に格納されているエッジ抽出種別設定データ７１４が利用される。エッジ抽出種別は、ユーザの操作に応答する切り替え制御部７１１からの切り替え信号により決定される。つまりエッジ抽出は、図６で示したように、エッジ抽出部３４４によるエッジ抽出か、或はエンボス加工部３３５及びエッジ抽出部３３６によるエッジ抽出かのいずれかが決定される。

エッジ画像は、位置合わせ画像作成処理ＳＷ１４を受ける。ここでエッジ画像が位置合わせを受ける場合、処理情報設定ファイル７１３に格納されているアファイン変換パラメータ７１５が少なくとも利用される。

一方、熱画像もキャプチャ処理ＳＷ２１される。この熱画像処理において、ハードウエア要素としては、第２の作業メモリ（バッファメモリを含む）７１６が利用される。キャプチャされたフレーム単位の熱画像は、リサイズ処理ＳＷ２２を受け、次にＹＵＶ変換処理を受ける。

ＹＵＶ変換処理を受けたデータのうち、Ｙ（輝度）画像は、先のエッジ画像と、画像合成処理ＳＷ３０を受ける。

画像合成処理を受けた合成輝度画像は、ＲＧＢ変換ＳＷ３１を受ける。この時は、例えば第２の作業メモリに格納されていたＵ（青色成分の色差）及びＶ（赤色成分の色差）が使用される。ＲＧＢ変換ＳＷ３１により得られたＲ、Ｇ、Ｂデータは、出力部を介して表示器３０（例えば６４０×４８０pixelの解像度）に入力する。なお上記Ｕ成分はＣｂまたはＰｂ、上記Ｖ成分はＣｒまたはＰｒ成分であってもよい。

図８は、実施形態をハードウエアで構成した場合の基本構成の例を示す構成説明図である。この実施形態でも、可視画像カメラ７０１（例えば６４０×４８０pixelの解像度）、熱画像カメラ７０２（例えば８０×６０pixel、又は１６０×１２０pixelの解像度）が使用される。可視画像は画像バッファ８１１でキャプチャされる。キャプチャされた可視画像は、モノクロ画像変換部８１２で、モノクロ画像に変換される。モノクロ画像は、エッジ抽出処理部８１３で、エッジ抽出処理を受け、エッジ画像となる。

ここでモノクロ画像がエッジ抽出処理を受けるときには、処理情報設定ファイル７１３に格納されている、エッジ抽出種別設定データ７１４が利用される。エッジ抽出種別は、ユーザの操作に応答する切り替え制御部７１１からの切り替え信号により決定される。つまりエッジ抽出は、図６で示したように、エッジ抽出部３４４によるエッジ抽出か、或はエンボス加工部３３５及びエッジ抽出部３３６によるエッジ抽出かのいずれかが決定される。

エッジ画像は、位置合わせ画像作成処理部８１４において、位置合わせ処理を受ける。ここでエッジ画像が位置合わせを受ける場合、処理情報設定ファイル７１３に格納されているアファイン変換パラメータ７１５が少なくとも利用される。位置合わせ処理を受けたエッジ画像は、エッジ画像バッファ８１５に入力される。

一方、熱画像も画像バッファ８２１にキャプチャされる。キャプチャされた熱画像は、リサイズ処理部８２２でリサイズ処理を受け、次にＹＵＶ変換部８２３で、ＹＵＶ変換処理を受ける。ＹＵＶ変換処理を受けたデータのうち、Ｕ、Ｖ画像は、画像バッファ８２５に入力し待機する。

またＹＵＶ変換処理を受けたデータのうち、Ｙ（輝度）画像は、画像バッファ８２４に入力される。そして先に述べたエッジ画像バッファ８１５からのエッジ画像と、画像バッファ８２４からの輝度画像は、同期がとられて、合成部８３１において合成される。この合成処理においては、輝度の画素単位での合成処理行う。そのために、エッジ画像の各画素に関しては、エッジ画像全体の平均輝度の強度に応じて、各画素単位の合成係数（輝度混合割合alpha）を計算している。この輝度混合割合alphaは、混合割合算出部８３２が自動的に算出している。合成部８３１で得られた合成画素（合成輝度値）による合成画像は、ＲＧＢ変換部８３４に入力する。

ＲＧＢ変換部８３４は、ＹＵＶ画像を所定の演算式にもとづいて、ＲＧＢ画像に変換する。変換されたＲＧＢ画像は、出力部としてのセレクタ８３５を介して表示器３０（解像度６４０×４８０pixel以上）に入力し、カラーの監視画像として表示される。

セレクタ８３５は、ユーザ操作に応じて表示器３０に対してモノクロ画像、エッジ画像、熱画像を選択的に入力することができる。上記のブロック構成全体は、制御部８４０により統括的に制御されている。

なお上記の説明では、フレーム単位で１種類のエッジ抽出タイプが設定される旨を説明した。しかし、フレーム内において、ノイズが多いエリアと、ノイズが少ないエリアが存在する場合がある。このような場合、エリアごとに適応的にエッジ抽出タイプが切り替わるように構成してもよい。例えば画面の上半分と下半分とで、エッジ抽出タイプが切り替わってもよい。

図９は、図５で説明した合成画像作成部２６１の特徴を活かした実施形態の例を示す図である。データ処理装置１２００は、受信部１２１０を有する。受信部１２１０は、インターネット７２１に接続可能である。

インターネット７２１には、サーバ７２０が接続されている。サーバ７２０は、例えば会社のサーバである。会社には、場所Ａ（例えば部屋）を監視する可視画像カメラ７０１Ａと熱画像カメラ７０２Ａが設置されている。また会社には、場所Ｂ（例えば作業現場）を監視する可視画像カメラ７０１Ｂと熱画像カメラ７０２Ｂが設置されている。

可視画像カメラ７０１Ａと熱画像カメラ７０２Ａからの可視画像データと熱画像データおよび、可視画像カメラ７０１Ｂと熱画像カメラ７０２Ｂからのからの可視画像データと熱画像データとは、それぞれサーバ７２０に送られて格納される。

サーバ７２０は、各場所Ａ、Ｂの監視データをデータ処理装置１２００へ提供することができる。この場合、サーバ７２０は、データ処理装置１２００からのアクセスに応じて、監視データを提供してもよいし、サーバ７２０自身が積極的にデータ処理装置１２００をアクセスして監視データを送信してもよい。

さらにまた、データ処理装置１２００は、インターネット７２１を介してクラウドサーバ（プラットホームと称してもよい）７１３に接続することが可能である。クラウドサーバ７１３は、例えば地域Ｃを監視する可視画像カメラ７０１Ｃと熱画像カメラ７０２Ｃからのからの可視画像データと熱画像データとを格納することができる。そして、クラウドサーバ７１３は、可視画像データと熱画像データとをデータ処理装置１２００に送信することができる。

可視画像カメラ７０１Ｃと熱画像カメラ７０２Ｃは、例えば山岳地帯や牧場などに設置されており、可視画像データと熱画像データとを無線装置７１１、中継器７１２を介してクラウドサーバ７１３へ送信している。

データ処理装置１２００は、受信部１２１０で受信した可視画像データと熱画像データとを可視画像格納部１２１１と、熱画像格納部１２１３に一旦格納する。可視画像データがモノクロ画像であれば、エッジ抽出部１２１２で可視画像データのエッジが抽出され、エッジ画像が生成される。エッジ抽出部１２１２は、図３、図６のそれぞれで説明した２つのタイプの機能を備えていてもよい。２つのタイプのうちいずれのタイプが使用されるかは、ユーザの操作に一任される。

受信した可視画像データがカラー画像であった場合は、付属処理部１０２０にカラー画像が送られて、ここで、モノクロ画像に変換されて可視画像格納部１２１１に戻される。

付属処理部１０２０は、アファイン変換機能も含み、可視画像データと熱画像データとの間でアファイン変換が必要な場合は、画像に対する視点を一致或は近似させるためのアファイン変換処理を実行する。このアファイン変換処理は、例えば操作部１０４０からの指令に応じて実行されてもよい。

熱画像データは、付属処理部１０２０にて、輝度Ｙの成分、色差Ｕ，Ｖの成分に分離される。そして熱画像データの輝度Ｙのデータと可視画像データから得られたエッジ画像のデータとは、画素単位で合成部１２１４において合成される。この合成方法は、図５，図６のそれぞれで説明した方法と同じである。
合成部１２１４では、入力されたエッジ画像の輝度に応じて画素単位で合成係数（alpha）を求め、この合成係数（alpha）を用いて前記エッジ画像と前記熱画像を合成する。このため、合成部１２１４は、場所（撮影環境）に応じたパラメータ（合成係数等）を保有する必要がなく、異なる撮影環境のあらゆる入力データに対して適応的に処理が可能なシステムとして利用できる。

また可視画像データと熱画像データとが合成されたモノクロ画像データは、カラー画像データに変換される。モノクロ画像データからカラー画像データへの変換処理は、付属処理部１０２０で行われてもよいし、データ処理装置１２００の内部にＲＧＢ変換部が設けられてもよい。

ＲＧＢ変換された後のカラー合成画像は、表示器１３００にて表示される。また操作部１０４０の操作に応じて、所望するユーザへ、送信部１０３０を介して送信されることもできる。

上記したデータ処理装置１２００は、監視画像データを明瞭化するビジネス用装置として採用することが可能となる。即ち、熱画像カメラを所有する利用者は、データ処理装置１２００の所有者と契約を行い、監視画像データの解析を委託することができる。この場合、監視エリアの可視画像データとしては、予め事前にデータ処理装置１２００へ良好な画像として提供されてもよいし、ライブで熱画像データとともに送信されてもよい。

図１０は、図３で示したエッジ抽出部３３４における動作イメージを説明するための説明図である。図１０において、uは画像の水平ライン方向、ｖは画像の垂直方向を示し、白丸は輝度画素を示すものとする。点線の四角の枠Ｆ１は、フィルタ処理を施すエリアの単位を示している。この１つのエリアは（３×３）個の画素（１乃至９）を含む。

フィルタ処理は、上記の９つの画素を計算ユニットとしており、そして計算ユニットを水平方向へ１画素ピッチでシフトしながら畳み込み演算処理行い、エッジ成分を抽出する。１水平ライン分の計算が終わると、計算ユニットが垂直方向へ１画素ピッチシフトし、再び水平方向へ１画素ピッチでシフトしながら畳み込み演算処理行い、エッジ成分を抽出する。このようにエッジ成分が抽出されることでエッジ画像が構築される。

１つの計算ユニットに対して、２つのカーネルフィルタが用いられ、ここではuValueフィルタ３３４aとvValueフィルタ３３４ｂの例を示している。フィルタ３３４aと３３４ｂは、（３×３）個の画素のそれぞれに乗じるための係数を有する。フィルタ３３４aと３３４ｂは、中心の画素(図の例では5番目)の画素の値pixelValue（以下この値を第１pixelValueとする）を求めるもので、以下の計算式が用いられる。

-第１pixelValue = sqrt( uValue × uValue+ vValue × vValue )
（sqrtは平方根を意味する）
つぎにこの第１-pixelValueは、正規化され、第２-pixelValueとなる。正規化のためには、
まず全画面の第１-pixelValueの最大値（maxValu）と最小値（minValue）を求めて、その値を用いて０乃至２５５の値に正規化する。即ち、
第２-pixelValue = 255 / （ maxValu － minValue ） × ( 第１pixelValue － minValue )
で求められる。
上記の第２-pixelValueの1フレーム分の集合体がエッジ画像となる。

図１１は図３に示したエンボス加工処理部３３５及びエッジ抽出部３３６の動作イメージを説明するために示すフィルタ係数の説明図である。エンボス加工処理においては、エッジ強調を行うカーネルフィルタ３３５aが用いられる。カーネルフィルタ３３５aは、モノクロ画像の画素に対して、図１０で説明したuValueフィルタ３３４aとvValueフィルタ３３４ｂと同様な振る舞いをする。ただし、このフィルタ３３５aは、uValueフィルタ３３４aとvValueフィルタ３３４ｂとは異なる係数を有する。

モノクロ画像は、このフィルタ３３５aによりエンボス加工処理（畳み込み演算処理）を受け、次にエッジ抽出用のuValueフィルタ３３６aとvValueフィルタ３３６ｂによりエッジ抽出処理を受ける。uValueフィルタ３３６aとvValueフィルタ３３６ｂは、（２×２）画素を計算ユニットとしているが、これに限定されるものではない。

この時の計算式は以下の式が用いられる。

-第１pixelValue = (abs( uValue)+ abs( vValue ))/2
（abs は絶対値を意味する）
次に全画面の第１-pixelValueの最大値（maxValu）と最小値（minValue）を求めて、その値を用いて０乃至２５５の値に正規化する。即ち、
第２-pixelValue = 255 / （ maxValu － minValue ） × ( 第１pixelValue － minValue )
で求められる。
上記の第２-pixelValueの1フレーム分の集合体がエッジ画像となる。
以上がエンボス加工とエッジ抽出処理の計算手順である。

図１２は、合成画像作成部２６１において行われる特有の合成画像作成処理を説明するために示したジグモイド曲線である。

今、熱画像のＹＵＶ変換を行った後の熱輝度画像の画素輝度をＹａｐとし、可視画像から得られたエッジ画像の画素輝度をＹｂｐとする。
すると画素毎の合成輝度Ｙｃｐは、
合成輝度Ｙｃ＝
（熱画素の輝度Ｙａｐ）＋（可視画素の輝度Ｙｂｐ）×（輝度合成割合alpha）
で求められる。ここで、輝度合成割合（合成係数とも言う）alphaを求める必要がある。
輝度混合割合alphaは、画素毎に可視画像から得られたエッジ画像の画素の画素輝度Ｙｂの値を利用して計算されるもので、図１２のグラフに示すジグモイド曲線を利用する。

グラフの横軸はエッジ画像の全部の画素の輝度Ｙｂｐである。縦軸がalphaである。またエッジ画像の全部の画素の平均値Ｙｂｍを得る場合、ノイズ成分を排除するために
デルタＹｂｐ（固定値）以上の輝度Ｙｂｐを用いて計算する。

エッジ画像の全部の画素の輝度Ｙｂｐの平均値Ｙｂｍが小さい場合は、エッジが弱いエッジ画像であり、平均値Ｙｂｍが大きい場合は、エッジが強いエッジ画像であることを意味する。この平均値Ｙｂｍを中心としてジグモイド曲線を生成する。ジグモイド曲線は、予め決められた関数に基づいて描かれる曲線である。

このグラフにおいて、ジグモイド曲線α１は、輝度の平均値がＹｂｍ＝１６の場合の曲線、ジグモイド曲線α２は、輝度の平均値がＹｂｍ＝３２の場合の曲線、ジグモイド曲線α３は、輝度の平均値がＹｂｍ＝６２の場合の曲線である。

そして画素毎の輝度混合割合alphaは、次のように計算される。即ち、 alpha ＝ 1.0 / ｛1.0 + exp (－1.0 × (Ybp － Ybm) / (Ybm / Range))｝ただし、expは指数関数を意味し、Ybpは、画素毎の輝度であり、Rangeは、固定値（例えば6.0、或は12.0）である。

上記したように、合成画像作成部２６１は、可視画像から得られたエッジ画像と、熱画像とを合成する場合、前記エッジ画像の輝度の画素単位で求められた輝度合成割合（合成係数）alphaを用いて合成する。

即ち、本実施形態は、画像合成処理において、単純に一定の係数をすべてのエッジ画素に与えて合成画像を得るのではなく、画素毎に輝度混合割合alfhaを計算して、画素毎の合成処理を行っている。

これにより熱画像カメラの解像度の低いものを使用したとしても、合成画像において、カラー熱画像上の対象物のエッジが明確化し、観察者は対象物を認識し易くなる。勿論、
本実施形態においては、解像度の高い熱画像カメラの採用を排除するものではない。

図１３から図１９は、上記した可視画像と熱画像のデータ処理装置において、各段階で得られた画像の例を示している。

図１３は、例えば会社のオフィスであり、従業員がいないときを撮像している。このオフィスは、中央に通路があり、左右の複数の机（図示せず）が、パーティションにより囲まれている。可視画像処理部２３１でキャプチャされ、モノクロに変換されたモノクロ画像の例を示している。

図１４はモノクロ画像がアファイン変換とリサイズ処理された例を示している。先の実施形態の説明においては、エッジ画像をアファイン変換するものとして説明したが、このモノクロ画像に変換した段階でアファイン変換とリサイズ処理を行ってもよい。アファイン変換したために図１４の画像は、図の上部と左右に額縁が生じている。

図１３、図１４において、１２０１は、通路であり、この通路１２０１は、パーティション１２０３と１２０４の間に形成されている。１２０５は天井であり、天井１２０５には、複数の蛍光灯を用いた照明の列１２０６，１２０７，１２０８，１２０９が配置されている。このオフィスには、外光が入ってくる窓１２１１があり、また空調機１２１２が配備されている。なお図１３と図１４では、オフィス内には他の対象物も多数あるが、本実施形態に関連性が高い主な対象物に符号をつけて説明した。

図１５は、図３で示したエッジ抽出部３３４により、モノクロ画像（図１４）からエッジ抽出が行われた場合のエッジ画像の例を示している。このエッジ画像は、先に説明した第１の処理形態による結果であり、ノイズ成分の低減処理が優れている。このために、対象物のエッジが鋭くなめらかで鮮明に得られている画像となる。図では、白と黒が反転して絵が描かれている。しかし実際のモノクロのエッジ画像では、図の黒いラインが白いエッジとして現れ、背景がグレーである。

図１６は、図３で示したエンボス加工部３３５，エッジ抽出部３３６の系路でエッジ抽出が行われた場合のエッジ画像の例を示している。エンボス加工により、画像のエッジを浮き出させ（強調し）、これにより細かいエッジまで浮き出るので、被写体の細部までをみることが可能となる。このためエッジ画像では、細かいエッジが浮き出ている。この図においても、白と黒が反転して絵が描かれている。実際のモノクロのエッジ画像では、図の黒いラインが白いエッジとして現れ、背景がグレーである。

図１５と図１６を比較するとわかるように、図１５のエッジ画像に比べて図１６のエッジ画像のほうのエッジラインが細かいラインまで強調された状態となっている。

図１７は、熱画像の例を示している。撮像した風景は、図１４、図１５、図１６に示した風景と同じ風景である。図の画像では、窓１２１１があり、また空調機１２１２の領域、複数の蛍光灯を用いた照明の列１２０６，１２０７，１２０８，１２０９からの熱線が強いことを表している。実際のカラー画像では、窓１２１１の領域は白がぼんやりし、空調機１２１２の領域は赤がぼんやりし、照明の列１２０６，１２０７，１２０８，１２０９は緑がぼんやりした状態で撮影されている。色の違いは、温度差に基づいて現れる。

図１８は、図１５のエッジ画像と図１７の熱画像を画素単位で合成した合成画像である。このように熱画像の対象物が例え不鮮明であっても熱分布が撮像されていれば、エッジ画像を合成することにより、熱分布上で対象物が明瞭となる。

図１９は、図１６のエッジ画像と図１７の熱画像を画素単位で合成した合成画像である。このように熱画像の対象物が例え不鮮明であっても熱分布が撮像されていれば、エッジ画像を合成することにより、熱分布上で対象物が明瞭となる。

図２０は図１５のエッジ画像の写真を示す図である。図では、図１５に示した符号に対応した個所に同じ符号を付している。エッジ抽出部３３４により、モノクロ画像（図１４）からエッジ抽出が行われた場合のエッジ画像の例を示している。このエッジ画像は、ノイズ成分の低減処理が優れているために、対象物のエッジが鋭くなめらかで鮮明に得られている画像となる。

図２１は図１６のエッジ画像の写真を示す図である。図では、エンボス加工により、画像のエッジを浮き出させ、強調しているために、細かいエッジまで浮き出ている。これにより被写体の細部までをみることが可能となる。

図２２は図１７の熱画像の写真を示す図である。図の画像では、窓１２１１があり、また空調機１２１２の領域、複数の蛍光灯を用いた照明の列１２０６，１２０７，１２０８，１２０９からの熱線が強いことを表している。

図２３は図１８の合成画像の写真を示す図である。図１５のエッジ画像と図１７の熱画像を画素単位で合成した合成画像である。熱画像の対象物が例え不鮮明であっても、エッジ画像を合成することにより、熱分布上で対象物が明瞭となる
図２４は図１９の合成画像の写真を示す図である。この場合も熱画像の対象物が例え不鮮明であっても熱分布が撮像されていれば、エッジ画像を合成することにより、熱分布上で対象物が明瞭となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合があるが、一例であって、本発明の解釈を限定するものではない。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。

２０・・・可視画像と熱画像のデータ処理装置、２３１・・・可視画像処理部、２４１・・・熱画像処理部、２５１・・・判定部、２６１・・・合成画像作成部、３３１・・・映像キャプチャ、３３２・・・変換部、３３３・・・セレクタ、３３４、３３６・・・エッジ抽出部、２２５・・・エンボス加工部、３３７・・・位置合わせ部、４３１・・・熱画像キャプチャ、４３２・・・リサイズ処理部、４３３・・・ＹＵＶ変換部、６３１・・・合成部、６３２・・・ＲＧＢ変換部、６３３・・・出力部。

Claims (10)

1. 可視画像データを取得し、フレーム単位の可視画像のエッジ画像を生成する可視画像処理部と、
   熱画像データを取得し、フレーム単位の熱画像を生成する熱画像処理部と、
   前記エッジ画像の画素の輝度が高くなるに従い合成係数（alpha）が０から１へ変化し、
   前記エッジ画像の全体の輝度の平均値を基点としてその平均値が大きくなるほど、前
   記０から１へ変化する前記エッジ画像の画素の輝度の範囲が広くなるジグモイド曲線
   の特性を用いて、前記エッジ画像の画素単位の輝度に対応する前記合成係数を０から
   １の範囲で求め、
   以下の式
   Yc ＝ Yap + Ybp × alpha
   （但し、Yapは前記熱画像の画素の輝度、Ybpは前記エッジ画像の画素の輝度、alpha
   は画素単位の前記合成係数）
   を用いて、前記エッジ画像の画素毎の輝度と前記熱画像の画素毎の輝度を合成した
   輝度合成画像のための画素毎の輝度（前記Yｃ）を求める輝度合成画像作成部と、
   前記輝度合成画像の画素毎の輝度（前記Yｃ）を用いた前記輝度合成画像の表示データを表示器に出力する出力部と、
   を備える、可視画像と熱画像のデータ処理装置。
2. 前記可視画像処理部は、
   前記可視画像から第１の前記エッジ画像を生成する第１のエッジ抽出部を有する第１の系路と、
   前記可視画像に対してエンボス加工を行ったのち第２の前記エッジ画像を生成する第２のエッジ抽出部を有する第２の系路と、を備え、
   前記第１の系路若しくは前記第２の系路が選択可能に構成されている、
   請求項１に記載の可視画像と熱画像のデータ処理装置。
3. 前記合成係数（alpha）は、以下の式
   alpha ＝ 1.0 /｛ 1.0 + exp (－1.0 × (Ybp － Ybm) / (Ybm / Range)) ｝
   （但し、expは指数関数、Ybpは前記エッジ画像の画素毎の輝度、Ybm は前記エッジ画像全体の輝度の平均値、Rangeは固定値）
   を用いて求める、
   請求項１に記載の可視画像と熱画像のデータ処理装置。
4. 前記可視画像データ及び又は前記熱画像データは、外部から取得したデータである、
   請求項１に記載の可視画像と熱画像のデータ処理装置。
5. 前記可視画像と前記熱画像が更新されたか否かを判定する更新判定部を更に有し、前記更新されたことが判定された場合に、前記輝度合成画像作成部は前記合成係数（alpha）を用いて前記エッジ画像の画素毎の輝度と前記熱画像の画素毎の輝度を合成する、
   請求項１乃至請求項４のいずれか１項に記載の可視画像と熱画像のデータ処理装置。
6. 可視画像データを取得し、フレーム単位の可視画像のエッジ画像を生成する可視画像処理工程と、
   熱画像データを取得し、フレーム単位の熱画像を生成する熱画像処理工程と、
   前記エッジ画像の画素の輝度が高くなるに従い合成係数（alpha）が０から１へ変化し、
   前記エッジ画像の全体の輝度の平均値を基点としてその平均値が大きくなるほど、前
   記０から１へ変化する前記エッジ画像の画素の輝度の範囲が広くなるジグモイド曲線
   の特性を用いて、前記エッジ画像の画素単位の輝度に対応する前記合成係数を０から１の範囲で求め、
   以下の式
   Yc ＝ Yap + Ybp ×alpha
   （但し、Yapは前記熱画像の画素の輝度、Ybpは前記エッジ画像の画素の輝度、alphaは画素単位の前記合成係数）
   を用いて、前記エッジ画像の画素毎の輝度と前記熱画像の画素毎の輝度を合成した輝度合成画像のための画素毎の輝度（前記Yｃ）を求める輝度合成画像作成工程と、
   前記輝度合成画像の画素毎の輝度（前記Yｃ）を用いた前記輝度合成画像の表示データを表示器に出力する出力工程と、
   を備える、可視画像と熱画像のデータ処理方法。
7. 前記可視画像処理工程は、
   前記可視画像から第１のフィルタ処理に基づいて第１の前記エッジ画像を得る第１の工程と、
   前記可視画像に対してエンボス加工を行った後、第２のフィルタ処理に基づいて第２の前記エッジ画像を得る第２の工程と、を備え、
   ユーザ設定に応じて前記第１の工程又は前記第２の工程で得られた画像が、前記輝度合成画像作成工程で用いられる、
   請求項６記載の可視画像と熱画像のデータ処理方法。
8. 前記合成係数（＝alpha）は、以下の式
   alpha ＝ 1.0 /｛ 1.0 + exp (－1.0 ×(Ybp － Ybm) / (Ybm / Range)) ｝
   （但し、expは指数関数、Ybpは前記エッジ画像の画素毎の輝度、Ybm は前記エッジ画像全体の輝度の平均値、Rangeは固定値）
   を用いて求める、
   請求項７に記載の可視画像と熱画像のデータ処理方法。
9. 前記可視画像データ及び又は前記熱画像データは、外部から取得したデータである、
   請求項６に記載の可視画像と熱画像のデータ処理方法。
10. 前記熱画像処理工程と前記輝度合成画像作成工程との間に、前記可視画像と前記熱画像が更新されたか否かを判定する更新判定工程を更に有し、
    前記更新されたことが判定された場合に、前記輝度合成画像作成工程を実施する、
    請求項６乃至請求項９のいずれか１項に記載の可視画像と熱画像のデータ処理方法。

Images