JP6967160B2 - 画像処理方法および関連デバイス - Google Patents

Description

この出願は、「IMAGE PROCESSING METHOD AND RELATED DEVICE」と題する、２０１８年２月９日に中国国家知的所有権管理局に出願された中国特許出願第２０１８１０１３５７３９．１号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。

この出願は、画像分野、特に画像処理方法および関連デバイスに関する。

撮影技術の発達により、高照度でカメラデバイスは明瞭な画像を撮影することができる。し かしながら、低照度では、撮影された画像は通常不明瞭である。従って、低照度での画像定義の改善は、カメラデバイスにとって解決されるべき緊急の問題である。

既存の解決策では、光学撮像システムにおいて、光分離装置を用いて、バンドと比率に基づいて光線が分離され、分離から得られた周波数成分を別々に撮像することにより、可視光画像と赤外光画像が得られる。可視光画像は色画像であり、赤外光画像は非色画像である。次に、事前設定された融合アルゴリズムを用いて、可視光画像と赤外光画像に画像融合が行われる、つまり、得られた可視光画像と赤外光画像の周波数成分で画像が融合され、融合後のターゲット画像を得る。ターゲット画像の色成分は可視光画像に由来する。ターゲット画像の輝度とテクスチャが決定された後、色成分に基づいて融合が行され、ターゲット画像を得る。

赤外光画像と可視光画像は輝度分布が大きく異なり、材料の異なる物体は可視光と赤外光の下で反射係数が異なるため、赤外光画像と可視光画像は明瞭な輝度差がある。特に低照度では、赤外光画像と可視光画像はテクスチャ分布と輝度分布が大きく異なる。通常、赤外光画像は可視光画像よりも明瞭であり、赤外光画像はテクスチャが豊富である。従って、赤外光画像のテクスチャ情報は、画像融合中に比較的大きな割合を占める。その結果、融合後のターゲット画像の画像テクスチャは、赤外光下での画像テクスチャにより近く、画像の実際のテクスチャとは大きく異なり、ひどい歪みが引き起こされる。

この出願の一実施形態は、光学撮像システムによって得られた画像を処理するための画像処理方法および関連デバイスを提供し、具体的には、画像に対してコントラスト、テクスチャ、および色処理を行って、得られた画像のテクスチャがより明瞭になり、テクスチャおよび色が実際のテクスチャおよび実際の色に近くなるようにする。これは、特に低照度のシナリオにおいて当てはまる。

この観点から、この出願の第１の態様によれば、画像処理方法が提供され、画像処理方法は、
可視光画像および赤外光画像を得ることとと、第１の輝度情報および第２の輝度情報を得ることであって、第１の輝度情報が可視光画像の輝度情報であり、第２の輝度情報が赤外光画像の輝度情報である、得ることと、第１の輝度情報と第２の輝度情報とを融合して、コントラスト融合画像を得ることと、第１のテクスチャ情報および第２のテクスチャ情報を得ることであって、第１のテクスチャ情報が可視光画像のテクスチャ情報であり、第２のテクスチャ情報が赤外光画像のテクスチャ情報である、得ることとと、第１のテクスチャ情報、第２のテクスチャ情報、およびコントラスト融合画像を融合して、テクスチャ融合画像を得ることと、可視光画像および赤外光画像に基づいて色融合画像を得ることと、テクスチャ融合画像および色融合画像を融合して、ターゲット画像を得ることと、を含む。

この出願のこの実装では、まず、第１の輝度情報は可視光画像から得られ、第２の輝度情報は赤外光画像から得られる。第１の輝度情報と第２の輝度情報は融合されて、コントラスト融合画像を得る。輝度情報は別々に抽出されるため、コントラスト融合画像内のノイズを低減することができ、コントラスト融合画像内の輝度分布はより均一で、可視光下での輝度分布により近くなる。続いて、第１のテクスチャ情報が可視光画像から抽出され、第２のテクスチャ情報が赤外光画像から抽出される。次に、第１のテクスチャ情報、第２のテクスチャ情報、およびコントラスト融合画像が融合されてテクスチャ融合画像を得て、得られたテクスチャ融合画像がより明瞭なテクスチャを有するようにする。追加的に、色融合が赤外光画像および可視光画像に対して行われて、色融合画像を得てもよく、赤外光画像が色融合画像のベースとして使用されて、色損失、カラーキャスト、大きなノイズ、または他の場合を低減することができるようにする。最後に、色融合画像およびテクスチャ融合画像が融合されて、ターゲット画像を得て、ターゲット画像のノイズを低減することができ、ターゲット画像のテクスチャがより明瞭になり、輝度分布が可視光下での輝度分布により近くなるようにする。

この出願の第１の態様に関し、この出願の第１の態様の第１の実装において、可視光画像および赤外光画像に基づいて色融合画像を得ることが、
可視光画像に対して色知覚復元を行って、色知覚復元画像を得ることと、事前設定された色対応に基づいて赤外光画像に対して色推論を行って、色推論画像を得ることと、色知覚復元画像および色推論画像を融合して、色融合画像を得ることと、を含み得る。

この出願の実装では、色知覚復元が可視光画像に対して行われてもよい。具体的には、知覚復元が可視光画像の色に対して行われてもよく、一部の欠落色が復元されてもよい。赤外光画像の色成分は、可視光下の色成分と一致するため、事前設定された色対応に基づいて、色推論が赤外光画像に対して行われて、色推論画像を得てもよい。次に、色知覚復元画像および色推論画像が融合されて、色融合画像を得る。色推論画像における色成分が、可視光下で色損失のある部分、カラーキャスのある部分、または大きなノイズのある部分で充填するために使用されてもよい。これにより、色融合画像の色をより完全にし、色融合画像内のノイズを低減し、ターゲット画像の色ノイズをさらに低減し、色損失、カラーキャスト、または他の場合を改善する。

この出願の第１の態様またはこの出願の第１の態様の第１の実施態様に関し、この出願の第１の態様の第２の実施態様では、第１の輝度情報および第２の輝度情報を融合して、コントラスト融合画像を得ることが、
事前設定された第１の式を使用して第１の輝度情報および第２の輝度情報を計算して、ターゲット輝度値を得ることと、ターゲット輝度値に基づいてコントラスト融合画像を得ることと、を含んでもよい。

この出願のこの実装では、第１の輝度情報および第２の輝度情報が、事前設定された第１の式を使用して計算されてもよい。これは、コントラスト融合画像を得る新しい方法である。

この出願の第１の態様、およびこの出願の第１の態様の第１の実装、またはこの出願の第１の態様の第２の実装のいずれかに関し、この出願の第１の態様の第３の実装において、第１のテクスチャ情報、第２のテクスチャ情報、およびコントラスト融合画像を融合して、テクスチャ融合画像を得ることが、
事前設定された第２の式を使用して第１のテクスチャ情報および第２のテクスチャ情報を計算して、ターゲットテクスチャ画素値を得ることと、ターゲットテクスチャ画素値をコントラスト融合画像に重畳して、テクスチャ融合画像を得ることと、含んでもよい。

この出願のこの実装では、第１のテクスチャ情報および第２のテクスチャ情報が、事前設定された第２の式を使用して計算されてもよい。これはテクスチャ融合画像を得る新しい方法である。

この出願の第１の態様の第１の実装に関し、この出願の第１の態様の第４の実装では、事前設定された色対応に基づいて赤外光画像に対して色推論を行って、色推論画像を得ることが、
事前設定された色対応に基づいて赤外光画像の色成分の割合を決定することと、事前設定された計算方法で色成分の割合に基づいてターゲット色を決定して、色推論画像を得ることと、を含んでもよい。

色推論画像を得る具体的なプロセスは、赤外光画像の色成分に基づいて、および事前設定された色対応に基づいて、色推論画像内の色成分の割合を決定して、色推論画像を得ることとしてもよい。これは色推論画像を得る新しい方法である。

この出願の第１の態様の第１の実装、またはこの出願の第１の態様の第４の実装に関し、この出願の第１の態様の第５の実装において、可視光画像に対して色知覚復元を行って、色知覚復元画像を得ることが、
可視光画像の輝度を反転して、輝度反転画像を得ることと、デフォッグアルゴリズムに基づいて輝度反転画像を計算して、強調された輝度と強調された色の強調画像を得ることと、強調画像を反転して、色知覚復元画像を得ることと、を含んでもよい。

この出願の実装では、可視光画像の輝度が反転されてもよく、次に反転した可視光画像がデフォッグアルゴリズム使用して計算されて、強調した輝度および強調された色の画像を得る。次に、強調された輝度および強調された色の画像が反転され、強調された色と強調された輝度の色知覚復元画像が得られてもよい。

この出願の第１の態様、またはこの出願の第１の態様の第１の実装からこの出願の第１の態様の第５の実装までのいずれか関し、この出願の第１の態様の第６の実装において、テクスチャ融合画像および色融合画像を融合して、ターゲット画像を得ることが、
テクスチャ融合画像の輝度情報と色融合画像内の色成分を融合して、ターゲット画像を得ることを含んでもよい。

テクスチャ融合画像の輝度情報および色融合画像内の色成分が決定される。次に、輝度情報および色成分が重畳されるか、または比例演算等を通して融合されて、ターゲット画像を得て、ターゲット画像の色がより完全になり、カラーキャスト、大きなノイズ、不明瞭なテクスチャ、ターゲット画像の輝度分布と可視光下での輝度分布との大きな差等の問題点を改善することができる。

この出願の第２の態様によれば、画像処理装置が提供される。画像処理装置は、第１の態様またはこの出願の第１の態様の実施のいずれかに対応する画像処理方法を実装する機能を有する。この機能は、ハードウェアによって実装されるか、または対応するソフトウェアを実行するハードウェアによって実装されてもよい。ハードウェアまたはソフトウェアは、前述の機能に対応する１つ以上のモジュールを含む。

この出願の第３の態様によれば、画像撮影装置が提供される。画像撮影装置は、
レンズ、プロセッサ、メモリ、バス、および入出力インターフェースを含んでもよい。レンズは、光学画像を得るように構成されている。メモリはプログラムコードを記憶するように構成されている。メモリ内のプログラムコードを呼び出すときに、プロセッサは、この出願における第１の態様のステップまたは第１の態様の実装のいずれかを行う。

この出願の第４の態様によれば、端末デバイスが提供され、端末装置は、
レンズ、プロセッサ、メモリ、バス、および入出力インターフェースを含む。レンズは、光学画像を得るように構成されている。メモリはプログラムコードを記憶するように構成されている。メモリ内のプログラムコードを呼び出すときに、プロセッサは、この出願における第１の態様のステップまたは第１の態様の実装のいずれかを行う。

この出願の第５の態様によれば、記憶媒体が提供される。この出願の技術的解決策の本質的なもの、先行技術に寄与する部分、または技術的解決策の全部もしくは部分は、ソフトウェア製品の形態で実装されてもよいと留意されたい。コンピュータソフトウェア製品は、前述の装置によって使用されるコンピュータソフトウェア命令を記憶するように構成されている記憶媒体に記憶される。コンピュータソフトウェア命令は、第１の態様を実行するために設計されたプログラムを含む。

記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク、または光ディスクのようなプログラムコードを記憶することができる様々な媒体を含む。

この出願の実施形態の第６の態様によれば、命令を含むコンピュータプログラム製品が提供され、命令がコンピュータで動作するときに、コンピュータは、この出願の第１の態様または第１の態様の任意の実装のいずれかに従って、方法を行うことが可能にされる。

この出願の第７の態様によれば、チップシステムが提供される。チップシステムは、第１の態様における機能を実装、例えば、前述の方法におけるデータおよび／または情報を送信または処理する際に、画像処理装置をサポートするように構成されているプロセッサを含む。

可能な設計では、チップシステムは、メモリをさらに含む。メモリは、画像処理方法において、必要なプログラム命令および必要なデータを記憶するように構成されている。チップシステムは、チップを含んでもよく、またはチップおよび別の個別デバイスを含んでもよい。

前述の技術的解決策からこの出願の実施形態が以下の利点を有することを学ぶことができる。

この出願の実施形態では、可視光画像および赤外光画像が得られた後、可視光画像の輝度情報および赤外光画像の輝度情報に基づいて、強調されたコントラストのコントラスト融合画像が得られてもよい。次に、テクスチャ融合が行われるときに、テクスチャ融合が可視光画像のテクスチャ情報と赤外光画像のテクスチャ情報に対して行われて、より明瞭なテクスチャを備えたテクスチャ融合画像を得る。次に、赤外光画像と可視光画像に基づいて色融合画像が得られる。このようにして、赤外光画像と可視光画像に基づいて色融合画像が得られる。色融合画像およびテクスチャ融合画像が融合されて、実際の色により近い色のターゲット画像を得る。テクスチャ融合画像は、赤外光画像および可視光画像の輝度情報およびテクスチャ情報に基づいて決定される。テクスチャ融合画像が、赤外光画像のテクスチャ情報の可視光画像のテクスチャ情報に対する比率のみに基づいて決定される既存の解決策と比較して、この出願の実施形態では、テクスチャ融合が、可視光画像と赤外光画像のコントラストを参照して行われ、得られたテクスチャ融合画像のテクスチャがより明確になり、ターゲット画像の輝度およびテクスチャが可視光下での実際の輝度とテクスチャにより近くなり、従って画像の歪みが低減されるようにする。

この出願の一実施形態による画像処理方法のフレームワーク図である。 既存の解決策における合成画像の概略図である。 この出願の一実施形態による画像処理方法の一実施形態の概略図である。 この出願の一実施形態による別の画像処理方法の画像処理装置の概略図である。 この出願の一実施形態による画像処理方法の光学撮像システムの概略図である。 この出願の一実施形態による画像処理装置の一実施形態の概略図である。 この出願の一実施形態による画像撮影装置の一実施形態の概略図である。

この出願の一実施形態は、光学撮像システムによって得られた画像を処理するための画像処理方法および関連デバイスを提供し、具体的には、画像に対してコントラスト、テクスチャ、および色処理を行って、得られた画像のテクスチャがより明瞭になり、テクスチャおよび色が実際のテクスチャおよび実際の色に近くなるようにする。これは、特に低照度のシナリオにおいて当てはまる。

撮影技術は、日常生活、産業、ビジネス、または他の分野に幅広く応用されている。例えば、監視デバイスは、産業およびビジネスにおいて重要な役割を果たしており、監視装置によって得られる画像の定義は絶えず改善される必要がある。しかし、既存の解決策では、明瞭な画像は良好な照度条件でのみ得ることができる。低照度のシナリオでは、ＩＲ−ＣＵＴフィルタ（ローパスフィルタ）は、監視デバイスの周囲環境内の赤外光をフィルタリングして除去するため、環境内の赤外光が有効に利用されることができず、得られた画像の全体的な光束を低減する。既存の解決策では、可視光画像と赤外光画像が融合アルゴリズムを用いて直接融合され、ノイズの周波数範囲と画像詳細の周波数範囲との間に比較的小さな差を引き起こす。その結果、合成画像においてノイズが画像詳細から区別されることができず、合成画像に非常に大きなノイズを引き起こす。追加的に、可視光画像の色成分のみが使用されて画像を合成するため、低照度のシナリオでは、可視光画像は色損失とカラーキャストを生じやすく、可視光画像と赤外光画像とに基づいて合成された画像の色歪みを引き起こす。低照度のシナリオでは、赤外光画像のテクスチャは可視光画像のテクスチャより明瞭である。しかしながら、可視光画像の輝度分布とテクスチャの詳細は比較的大きな差異があり、合成画像の輝度とテクスチャは赤外光画像の輝度とテクスチャを適用する傾向がある。その結果、合成画像のテクスチャと実際の可視光下のテクスチャとの間に大きな差異が生じるなどの問題が引き起こされる。従って、既存の解決策における色歪み、輝度とテクスチャの大きな差異、および大きなノイズのような問題を解決するために、この出願のこの実施形態は、画像処理方法を提供する。

この出願のこの実施形態に記載された低照度のシナリオは、照度が閾値よりも低いシナリオであると理解されたい。低照度の閾値は、実際の光学撮像システムにおけるデバイスのセンサまたは光学スプリッタのような特徴に応じて調整され得る。例えば、デバイスの特徴が比較的良好である場合、閾値を低下させてもよく、デバイスの特徴が比較的不良である場合、閾値を上昇させてもよい。

この出願のこの実施形態における画像処理方法のフレームワークが図１に示される。可視光画像および赤外光画像は、光学撮像システムを使用して得られてもよい。光学撮像システムは、監視デバイスのカメラレンズであってもよく、または端末デバイスもしくはカメラのカメラレンズであってもよい。次に、画像融合が可視光画像と赤外光画像に行われ、ターゲット画像を得る。可視光画像と赤外光画像の輝度情報、テクスチャ情報、および色情報が別々に融合されて、明瞭なターゲット画像を得てもよく、ターゲット画像のテクスチャおよび色が実際の画像のテクスチャおよび色により近づいてもよい。

この出願のこの実施形態において提供される画像処理方法によれば、得られたターゲット画像のテクスチャおよび色が、実際のテクスチャおよび色により近くすることができる。例えば、既存の解決策で得られた画像が図２に示される。低照度のシナリオでは、既存の解決策で画像融合が行われるときに、赤外光画像の輝度およびテクスチャが、可視光画像の輝度およびテクスチャよりも明瞭である。したがって、赤外光画像の輝度の割合は可視光画像の輝度の割合よりも大きく、融合後の画像の輝度と実際の可視光下での輝度およびテクスチャとの間に比較的大きな差異を引き起こす。例えば、図２に示される画像における合成された「木」の輝度はかなり高く、実際の可視光下での「木」の輝度とは大きく異なる。

したがって、この出願のこの実施形態では、輝度情報およびテクスチャ情報が、可視光画像および赤外光画像からそれぞれ取得されて、より明確なテクスチャ融合画像が得る。色融合画像が、可視光画像と赤外光画像の色情報を用いて得られ、テクスチャ融合画像と合成されてターゲット画像とし、画像の色を強調する。図３を参照すると、この出願のこの実施形態における画像処理の具体的な手順は、以下のステップを含む。

３０１：可視光画像および赤外光画像を得る。

可視光画像および赤外光画像は、光学撮像システムを使用して得られてもよい。例えば、可視光画像および赤外光画像は、監視装置のカメラレンズを使用して得られてもよく、携帯電話の１つ以上のカメラレンズを使用して得られてもよい。

３０２：第１の輝度情報および第２の輝度情報を取得する。

可視光画像と赤外光画像が得られた後、輝度情報は可視光画像と赤外光画像から別々に得られる。第１の輝度情報は可視光画像の輝度情報であり、第２の輝度情報は赤外光画像の輝度情報である。第１の輝度情報は、可視光画像内の各画素の輝度値を含んでもよく、第２の輝度情報は、赤外光画像内の各画素の輝度値を含んでもよい。

３０３：第１の輝度情報と第２の輝度情報を融合し、コントラスト融合画像を得る。

第１の輝度情報および第２の輝度情報が融合されて、コントラスト融合画像を得る。具体的な融合方法は、第１の輝度情報における輝度値と第２の輝度情報における輝度値とをある比率で計算して、各画素のターゲット輝度値を得る。次に、コントラスト融合画像が各画素のターゲット輝度値によって形成され、得られたコントラスト融合画像の輝度が実際の画像の輝度により近いようにする。比率は、式に基づいて得られてもよいし、事前設定された比率であってもよい。例えば、可視光画像内の画素の輝度値が２００ｎｉｔであって、赤外光画像内の対応する画素の輝度値が４００ｎｉｔである場合、事前設定された式に基づいて、赤外光画像内の輝度値に対する可視光画像内の輝度値の比率が計算されてもよい。例えば、計算によって得られる画素の輝度値は３２０ｎｉｔである。

３０４：第１のテクスチャ情報および第２のテクスチャ情報を得る。

第１のテクスチャ情報は可視光画像から得られ、第２のテクスチャ情報は赤外光画像から得られる。実際のシナリオでは、赤外光画像のテクスチャは、通常、可視光画像のテクスチャより明瞭である。したがって、赤外光画像のテクスチャの比率は、画像合成中に増加してもよい。

ステップ３０２およびステップ３０４を行うシーケンスは、この出願のこの実施形態において限定されないと留意されたい。ステップ３０２が最初に行われてもよく、ステップ３０４が最初に行われてもよい。これは、本明細書において特に限定されない。

３０５：第１のテクスチャ情報、第２のテクスチャ情報、およびコントラスト融合画像を融合して、テクスチャ融合画像を得る。

第１のテクスチャ情報および第２のテクスチャ情報が得られた後、可視光画像および赤外光画像における全てのテクスチャの画素値が取得されてもよく、第１のテクスチャ情報における画素値および第２のテクスチャ情報における画素値が計算されてもよく、ターゲットテクスチャ画素値を得る。次に、ターゲットテクスチャ画素値がコントラスト融合画像に重畳されて、テクスチャ融合画像を得て、得られたテクスチャ融合画像のテクスチャがより明瞭になるようにする。

低照度のシナリオでは、可視光画像のテクスチャ詳細が比較的多く損失し、赤外光画像のテクスチャ詳細が可視光画像のテクスチャ詳細よりも豊富であり、赤外光画像のノイズは可視光画像のノイズよりも少ない。従って、テクスチャ融合中に、赤外光画像のより豊富なテクスチャ情報の比率が増加してもよく、得られたテクスチャ融合画像がより明瞭なテクスチャとより少ないノイズを有するようにする。

ステップ３０２およびステップ３０５を行うシーケンスは、この出願のこの実施形態において限定されないと留意されたい。ステップ３０２が最初に実行されてもよく、ステップ３０５が最初に実行されてもよい。これは、本明細書において特に限定されない。

３０６：可視光画像と赤外光画像に基づいて色融合画像を得る。

色情報は、可視光画像および赤外光画像から別々に得られる。可視光画像の色情報を得るために可視光画像に色知覚復元が行われてもよく、事前設定された色対応に基づいて赤外光画像に色推論学習が行われてもよく、赤外光画像の色情報を得て、可視光画像における一部の欠落色を充填する。可視光画像の色情報と赤外光画像の色情報が計算されて、色融合画像の各画素の色成分を得て、色融合画像を得る。

低照度のシナリオでは、可視光画像では色の粒状ノイズが大きく、色歪みが激しい。赤外光画像から推論学習を通して得られた色情報および可視光画像から知覚復元を通して得られた色情報が融合され、色融合画像の色のノイズを少なく、色が実際の可視光下での色により近づくようにする。

３０７：テクスチャ融合画像と色融合画像が融合されて、ターゲット画像を得る。

テクスチャ融合画像および色融合画像が得られた後、テクスチャ融合画像に基づいてターゲット画像の輝度成分が得られてもよく、色融合画像に基づいてターゲット画像の色成分が得られてもよい次に、輝度成分および色成分が組み合わせられて、ターゲット画像を得る。

この願のこの実施形態では、可視光画像および赤外光画像が得られた後、輝度情報が可視光画像および赤外光画像から別々に得られ、コントラスト融合画像が輝度情報に基づいて得られる。次に、可視光画像から得られたテクスチャ情報、赤外光画像から得られたテクスチャ情報、およびコントラスト融合画像が融合されて、テクスチャ融合画像を得る。オリジナルの可視光画像およびオリジナルの赤外光画像に比べ、テクスチャ融合画像がより明瞭であり、輝度成分が実際の可視光下での輝度分布により近い。次に、色融合画像が可視光画像および赤外光画像から別々に得られた色情報に基づいて得られる。赤外光画像からの推論を通して得られた色は、可視光画像における欠落色を充填するように使用されることができ、その結果、得られた色融合画像は、完全な色を含むことができる。従って、色融合画像とテクスチャ融合画像に基づいて得られるターゲット画像のテクスチャはより明瞭であり、輝度分布は実際の光の下での輝度分布により近く、ターゲット画像の色はより完全である。これは、可視光画像の色損失により引き起こされるターゲット画像の色損失を低減する。追加的に、ターゲット画像を得るための融合が行われるときに、赤外光画像と可視光画像の輝度情報およびテクスチャ情報が別々に融合され、合成されるターゲット画像のノイズが低減され得るようにする。

以下、この出願のこの実施形態における画像処理方法の具体的なステップを記載する。図４は、この出願の一実施形態による画像処理方法の別の実施形態の概略図である。

まず、可視光画像４０１および赤外光画像４０２は、光学撮像システムを使用して別々に得られる。次に、可視光画像４０１は、ノイズ低減器１を通過し、可視光画像内のノイズ、例えば粒状ノイズの一部を除去する。赤外光画像４０２は、ノイズ低減器２を通過し、可視光画像内のノイズの一部を除去する。ノイズ低減器１およびノイズ低減器２は、画像信号処理（ＩＳＰ）ノイズ低減器であってもよい。ＩＳＰノイズ低減器は、赤外光画像および可視光画像に対して露光制御、ホワイトバランス制御、ノイズ低減等を含む画像処理を行ってもよい。ＩＳＰノイズ低減器１およびＩＳＰノイズ低減器２により処理された後、画像は正確な色および輝度分布を備えたＹＵＶ（輝度信号Ｙおよび色信号ＵとＶ）フォーマットの画像である。すなわち、可視光画像の輝度成分および赤外光画像の輝度成分が得られてもよい。

光学撮像システムは、１つ以上のカメラレンズであってもよい。本明細書では、例として、１台のカメラのみを使用する。例えば、図５に示されるように、レンズは多層レンズを含んでもよい。まず、レンズが画像を収集し、次に光が光分割プリズムを使用して分割されてもよい。可視光画像４０１がセンサ１上で生成され、赤外光画像４０２がセンサ２上で生成される。光学撮像システムでは、別個の撮像装置が、それぞれ可視光画像および赤外光画像を直接生成してもよい。これは、実際の設計要件に基づいて具体的に調整されてもよく、本明細書に限定されない。

第１の輝度情報は、ノイズの一部が除去された後に得られる可視光画像から抽出される。第２の輝度情報は、赤外光画像から抽出される。第１の輝度情報および第２の輝度情報が融合されて、コントラスト融合画像４０５を得る。具体的な融合プロセスは、可視光画像における局所コントラストおよび赤外光画像における対応する局所コントラストを別々に計算し、次に、事前設定された勾配特徴に基づいて、可視光画像における局所コントラストにおける各成分の重み、および赤外光画像における対応する局所コントラストにおける各成分の重みを計算することと、してもよい。具体的なコントラスト融合プロセスは、赤外光画像の部分と可視光画像の対応する部分を例として使用し、赤外光画像の局所コントラストと事前設定された勾配特徴との間、および可視光画像の局所コントラストと事前設定された勾配特徴との間の差が比較的大きいときに、赤外光画像の局所コントラストは、コントラスト融合画像が合成されるときに好ましい。具体的には、赤外光画像の局所コントラストと事前設定された勾配特徴との間、および可視光画像の局所コントラストと事前設定された勾配特徴との間の差が比較的大きいときに、赤外光画像における局所コントラストによって占められる重みがより大きく、赤外光画像における局所コントラストが、コントラスト融合画像の局所コントラストとして主に使用される。

実際の用途では、具体的なコントラスト融合プロセスは、赤外光画像の対応する部分および可視光画像の対応する部分を例として使用し、その部分は、画素マトリックス、例えば、６×６画素マトリックスであってもよい。部分可視光画像の第１の輝度成分は、可視光画像内の部分の画素の第１の重みマトリクスおよび対応する第１の部分画像ウィンドウを使用して得られる。第１の重みマトリクスは、可視光画像内の部分の画像ウィンドウ内の画素の重みマトリクスである。第１の重みマトリクスは、事前設定されてもよく、または実際の輝度値データに基づいた計算を通して得られてもよい。赤外光画像内の対応する部分の第２の輝度成分は、赤外光画像内の部分の第２の重みマトリクスおよび対応する部分画像ウィンドウを使用して得られる。第２の重みマトリクスは、赤外光画像内の部分の画像ウィンドウ内の画素の重みマトリクスである。第２の重みマトリクスは、事前設定されてもよく、または実際のデータに基づいた計算を通して得られてもよい。次に、第１の式、第１の輝度成分、および第２の輝度成分に基づいて適切な輝度値が計算される。第１の式は、

であり、ここで、ｐは可視光画像の輝度値であり、Ｗは事前設定された固定マトリクスであり、Ｑは赤外光画像の輝度値であり、μは事前設定された係数であり、実際の要件に基づいて調整されてもよく、ｓ_ｉは画素ｉの輝度値である。計算を通して各画素のターゲット輝度値が得られた後、得られた輝度値が赤外光画像に移行し、コントラスト移動後の赤外光画像の変換マトリクスｘ´が、ｓに基づいて得られてもよく、ここで、

であり、コントラスト融合画像を得る。

コントラスト融合画像４０５が得られた後、コントラスト融合画像４０５を使用してテクスチャ融合画像４０６が得られる。第１のテクスチャ情報は、ノイズの一部を除去された後に得られる可視光画像から抽出され、第２のテクスチャ情報は、ノイズの一部を除去した後に得られる赤外光画像から抽出される。次に、第１のテクスチャ情報および第２のテクスチャ情報に含まれる画素値が重畳される。第１のテクスチャ情報および第２のテクスチャ情報に含まれる画素値は、コントラスト融合画像に重畳されて、テクスチャ融合画像を得る。具体的なプロセスは、可視光画像内の詳細および赤外光画像内の詳細を計算し、次に、事前設定された式に基づいて各詳細テクスチャの最適な画素値、すなわち、ターゲット画素値を計算し、各詳細テクスチャの最適な画素値をコントラスト融合画像内に重畳して、テクスチャ融合画像４０６を得ることであってもよい。

具体的には、画素の融合が例として使用される。部分可視光画像において行われるプロセスは、現在の可視光画素

および非局所平均フィルタリングされた可視光の画素値ｘ^ｏ，ｂを得ることと、減算を行って、可視光画像における可視光テクスチャの詳細を得ること、すなわち、

を含んでもよい。部分赤外光画像において行われるプロセスは、非局所平均フィルタリングされた赤外光の画素値ｘ^ｎおよび現在の赤外光画像の画素値ｘ^ｎ，ｂを得ることと、減算を行って、赤外光画像における赤外光テクスチャの詳細を得ること、すなわち、

と、次に、事前設定された第２の式に基づいて最適テクスチャの詳細値を計算することと、を含んでもよい。第２の式は、

であり、ここで、μ_ｄは事前設定された係数であり、実際の要件に基づいて調整されてもよく、ｆ^ｊは事前設定された部分重み行列である。計算を通して得られた画像の画素値は、コントラスト融合画像に重畳されて、テクスチャ融合画像内の画素値

を得る。

追加的に、本発明のこの実施形態では、色融合が、ノイズ低減後に得られた可視光画像およびノイズ低減後に得られた赤外光画像に対してさらに行われて、色融合画像４０９を得る。色融合を実行する具体的なプロセスは、ノイズの一部が除去された後の可視光画像に対して色知覚復元を行って、色知覚復元画像４０７を得ることであってもよい。色知覚復元を行う具体的なプロセスは、ノイズの一部が除去された後の可視光画像に対して輝度反転を行って、輝度反転後の可視光画像を得ることと、デフォッグアルゴリズムを使用して輝度と輝度反転後の可視光画像の輝度および色を強調し、次に、輝度および色が強調された後の反転画像を反転して、強調された輝度と強調された色を備えた可視光画像を得る。例えば、輝度反転が計算された後の可視光画像における隣接画素のグレースケール値の比例関係が計算され、次に、比例関係に基づいて各画素のグレースケール値が補正される。補正された画素のグレースケール値に対して線形強調が行われ、強調された反転画像を得て、反転画像が反転されて、強調された輝度および強調された色を備えた可視光画像を得る。

ただし、可視光画像において、色情報の部分的に損失しているか、またはカラーキャストが大きすぎる部分画像の場合、色知覚復元による補正はできない。従って、可視光画像内の部分画像の輝度が過度に低いか、ノイズが過度に高い場合、赤外光画像に対して色推論がさらに行われて、可視光画像内の色損失、カラーキャスト等をさらに補正することができる。

赤外光画像内の色成分と可視光画像内の色成分との対応がある。対応は、事前設定されていてもよいし、赤外光画像内のＲＧＢ（赤、緑、青）成分と可視光画像内の色との対応であってもよく、対応は、大量のデータを使用し、機械学習を通して得られる。したがって、対応に基づいて赤外光画像の色成分が推測されて、可視光画像の色に対応する画像を得て、色推論画像４０８を得てもよい。色損失の一部または可視光におけるカラーキャストは、色推論画像を使用して補正され、色が実際の光により近い色の画像を得てもよい。

色知覚復元画像４０７および色推論画像４０８の取得シーケンスは、この出願のこの実施形態に限定されないと理解されたい。色知覚復元画像４０７が最初に得られてもよいし、色推論画像４０８が最初に得られてもよい。これは、実際の要件に基づいて具体的に調整されてもよく、本明細書では具体的には限定されない。

従って、色知覚復元画像４０７および色推論画像４０８が融合されて、色融合画像４０９を得てもよい。実際の用途では、可視光画像の輝度値に応じて色補正を行われるように決定されてもよい。色知覚復元画像の一部の輝度が極端に低いか、またはノイズが極端に大きい場合、色推論画像の対応する部分の基準比を増加させてもよい、すなわち、色推論画像の対応する部分の色成分を使用して、輝度が極端に低いか、またはノイズが極端に大きい部分の色が補正されて、より完全な色を備えた色融合画像を得てもよい。従って、可視光画像および赤外光画像を使用してターゲット画像の色が決定され、低照度のシナリオにおいてターゲット画像の色ノイズ、色歪み、汚れが改善され得るようにする。

テクスチャ融合画像４０６および色融合画像４０９を得るシーケンスは、この出願のこの実施形態に限定されないと理解されたい。テクスチャ融合画像４０６が最初に得られてもよいし、色融合画像４０９が最初に得られてもよい。これは、実際の要件に基づいて具体的に調整されてもよく、本明細書では具体的には限定されない。

テクスチャ融合画像４０６と色融合画像４０９が得られた後、テクスチャ融合画像および色融合画像が融合され、テクスチャ融合画像内のテクスチャ詳細と色融合画像内の色成分が重畳され、合成されて、ターゲット画像４１０を得る。

この出願のこの実施形態では、輝度情報は、可視光画像および赤外光画像から別々に得られる。コントラスト融合画像は、輝度情報に基づいて得られる。次に、可視光画像から得られたテクスチャ情報、赤外光画像から得られたテクスチャ情報、およびコントラスト融合画像が融合され、テクスチャ融合画像を得る。得られたテクスチャ融合画像におけるテクスチャはより明瞭であり、輝度分布は、実際の可視光の下での輝度分布により近い。次に、可視光画像および赤外光画像から別々に得られた色情報に基づいて、色融合画像が得られる。赤外光画像からの推論を通して得られた色は、可視光画像における欠落色を充填するために使用することができ、得られた色融合画像は、完全な色を含むことができる。従って、色融合画像とテクスチャ融合画像を使用して得られるターゲット画像のテクスチャはより明瞭であり、輝度分布は実際の光の輝度により近く、ターゲット画像における色はより完全である。これは、可視光画像の色損失によって引き起されるターゲット画像の色損失を低減する。追加的に、ターゲット画像の融合中に、赤外光画像および可視光画像における輝度情報およびテクスチャ情報が別々に融合されて、合成ターゲット画像内のノイズを低減することができ、合成画像の色損失、カラーキャスト等が低減することができ、低照度で得られるターゲット画像の色ノイズ、色歪み、汚れを改善することができる。

この出願の実施形態における画像処理方法は、上記に詳細に記載されている。以下は、この出願の一実施形態における画像処理装置を記載する。図６は、この出願のこの実施形態による画像処理装置の一実施形態の概略図であり、装置は、
可視光画像および赤外光画像を得るように構成されている画像取得モジュール６０１と、
第１の輝度情報および第２の輝度情報を得るようにさらに構成されている輝度情報取得モジュール６０２であって、第１の輝度情報が可視光画像の輝度情報であり、第２の輝度情報が赤外光画像の輝度情報である、輝度情報取得モジュール６０２と、
第１の輝度情報および第２の輝度情報を融合して、コントラスト融合画像を得るように構成されているコントラスト融合モジュール６０３と、
第１のテクスチャ情報および第２のテクスチャ情報を得るようにさらに構成されているテクスチャ情報取得モジュール６０４であって、第１のテクスチャ情報が可視光画像のテクスチャ情報であり、第２のテクスチャ情報が赤外光画像のテクスチャ情報である、テクスチャ情報取得モジュール６０４と、
第１のテクスチャ情報、第２のテクスチャ情報、およびコントラスト融合画像を融合して、テクスチャ融合画像を得るように構成されているテクスチャ融合モジュール６０５と、
可視光画像および赤外光画像に基づいて色融合画像を得るように構成されている色融合モジュール６０６と、
テクスチャ融合画像および色融合画像を融合して、ターゲット画像を得るように構成されているターゲット画像合成モジュール６０７と、を含んでもよい。

任意に、いくつかの可能な実施形態では、色融合モジュール６０６は、
可視光画像に対して色知覚復元を行って、色知覚復元画像を得るように構成されている知覚復元サブモジュール６０６１と、
事前設定された色対応に基づいて赤外光画像に対して色推論を行って、色推論画像を得るように構成されている色推論サブモジュール６０６２と、
色知覚復元画像および色推論画像を融合して、色融合画像を得るように構成されている色融合サブモジュール６０６３と、を含んでもよい。

任意に、いくつかの可能な実施形態では、コントラスト融合モジュール６０３は、具体的に、
第１の輝度情報および第２の輝度情報を、事前設定された第１の式を使用して計算して、ターゲット輝度値を得ることと、
ターゲット輝度値に基づいてコントラスト融合画像を得ることと、を行うように構成されている。

任意に、いくつかの可能な実施形態では、テクスチャ融合モジュール６０５は、具体的に、
第１のテクスチャ情報および第２のテクスチャ情報を、事前設定された第２の式を使用して計算して、ターゲットテクスチャ画素値を得ることと、
ターゲットテクスチャ画素値をコントラスト融合画像に重畳して、テクスチャ融合画像を得ることと、を行うように構成されている。

任意に、いくつかの可能な実施形態では、色推論サブモジュール６０６２は、具体的に、
事前設定された色対応に基づいて、赤外光画像の色成分の割合を決定することと、
事前設定された計算方法で色成分の割合に基づいてターゲット色を決定して、色推論画像を得ることと、を行うように構成されている。

任意に、いくつかの可能な実施形態では、知覚復元サブモジュール６０６１は、具体的に、
可視光画像の輝度を反転させて、輝度反転画像を得ることと、
デフォッグアルゴリズムに基づいて輝度反転画像を計算して、強調された輝度と強調された色の強調画像を得ることと、
強調画像を反転して、色知覚復元画像を得ることと、を行うように構成されている。

任意に、いくつかの可能な実施形態では、ターゲット画像合成モジュール６０７は、具体的に、
テクスチャ融合画像の輝度情報および色融合画像の色成分を融合し、ターゲット画像を得ること、を行うように構成されている。

別の可能な設計では、画像処理装置が端末内のチップである場合、チップは、処理ユニットおよび通信ユニットを含む。処理ユニットは、例えば、プロセッサであってもよい。通信ユニットは、例えば、入出力インターフェース、ピン、または回路であってもよい。処理ユニットは、記憶ユニットに記憶されたコンピュータ実行可能命令を実行して、端末内のチップが第１の態様の任意の設計において画像処理方法を行うようにする。任意に、記憶ユニットは、レジスタまたはバッファのようなチップ内の記憶ユニットであってもよく、記憶ユニットは、読み出し専用メモリ（ＲＯＭ）、静的情報および命令を記憶することができる別のタイプの静的記憶デバイス、またはランダムアクセスメモリ（ＲＡＭ）のような、端末内のチップ外の記憶ユニットであってもよい。

前述のプロセッサは、汎用中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、または第１の態様における無線通信方法のプログラム実行を制御するための１つ以上の集積回路であってもよい。

本発明の一実施形態は、図７に示されるよう、画像撮影装置をさらに提供する。説明を容易にするために、本発明のこの実施形態に関する部分のみが図示されている。開示されていない具体的な技術的詳細については、本発明の実施形態の方法部分を参照されたい。画像撮影装置は、携帯電話、タブレットコンピュータ、ＰＤＡ（パーソナル・デジタル・アシスタント）、ＰＯＳ（ポイント・オブ・セールス）、車載コンピュータ等を含む任意の端末デバイスであってよい。

図７は、本発明の一実施形態による画像撮影装置の部分構造のブロック図を示す。図７を参照すると、画像撮影装置は、無線周波数（ＲＦ）回路７１０、メモリ７２０、入力ユニット７３０、表示ユニット７４０、センサ７５０、音声周波数回路７６０、レンズ７７０、プロセッサ７８０、電源７９０などの構成要素を含む。当業者であれば、図７に示される画像撮影装置の構造は、画像撮影装置に対する限定を構成せず、図に示すものよりもより多い、もしくはより少ない構成要素を含んでもよく、一部の構成要素が組み合わされ、または異なる構成要素の配置が使用されてもよいと理解してもよい。

以下は、図７を参照して、画像撮影装置の各構成部分について詳細に記載する。

ＲＦ回路７１０は、情報の受信および送信中または呼び出しプロセスにおいて信号を受信および送信するように構成されてもよい。特に、基地局の下りリンク情報を受信した後、ＲＦ回路７１０は、下りリンク情報をプロセッサ７８０に送信する。追加的に、ＲＦ回路７００は、上りリンク関連データを基地局に送信する。通常、ＲＦ回路７１０は、アンテナ、少なくとも１つの増幅器、トランシーバ、結合器、低ノイズ増幅器（ＬＮＡ）、デュプレクサ等を含むが、これらに限定されない。さらに、ＲＦ回路７１０は、無線通信を通してネットワークおよび他のデバイスと通信してもよい。グローバルシステム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、汎用パケット無線サービス（ＧＰＲＳ）、符号分割多元接続（ＣＤＭＡ）、広帯域符号分割多元接続（ＷＣＤＭＡ）、ロング・ターム・エボリューション（ＬＴＥ）、電子メール、ショート・メッセージ・サービス（ＳＭＳ）等を含むが、これらに限定されない、任意の通信標準またはプロトコルが無線通信のために使用されてもよい。

メモリ７２０は、ソフトウェアプログラムおよびモジュールを記憶するように構成されてもよい。プロセッサ７８０は、メモリ７２０に記憶されているソフトウェアプログラムおよびモジュールを実行することによって、画像撮影装置の様々な機能アプリケーションおよびデータ処理を行う。メモリ７２０は、主に、プログラム記憶領域およびデータ記憶領域を含んでもよい。プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能（例えば、サウンド再生機能または画像再生機能）に必要なアプリケーション・プログラム等を記憶してもよい。データ記憶領域は、画像撮影装置等の使用に基づいて作成されたデータ（例えば、音声データ、電話帳）を記憶することができる。追加的に、メモリ７２０は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、または別の揮発性固体記憶デバイスをさらに含んでもよい。

入力ユニット７３０は、入力された数字または文字情報を受信し、画像撮影装置のユーザ設定および機能制御に関するキー信号入力を生成するように構成されてもよい。具体的には、入力ユニット７３０は、タッチパネル７３１および他の入力デバイス７３２を含んでもよい。タッチパネル７３１は、タッチスクリーンとも呼ばれ、タッチパネル上またはその近傍のユーザのタッチ操作（例えば、指またはスタイラスのような任意の適切な物体または付属品を使用してタッチパネル７３１上またはその近傍のユーザの操作）を収集し、事前設定プログラムに従って対応する接続デバイスを駆動することができる。任意に、タッチパネル７３１は、タッチ検出装置およびタッチコントローラの２つの部品を含んでもよい。タッチ検出デバイスは、ユーザのタッチ位置を検出し、タッチ操作によってもたらされる信号を検出し、タッチコントローラに信号を送信する。タッチコントローラは、タッチ検出デバイスからタッチ情報を受信し、タッチ情報をコンタクト座標に変換し、コンタクト座標をプロセッサ７８０に送信し、プロセッサ７８０によって送信されるコマンドを受信し、コマンドを実行する。追加的に、タッチパネル７３１は、抵抗型、キャパシタンス型、赤外線型、および表面弾性波型のような種々の型で実装されてもよい。入力ユニット７３０は、タッチパネル７３１に追加して、他の入力デバイス７３２を含んでもよい。具体的には、他の入力デバイス７３２は、物理的なキーボード、ファンクションキー（ボリューム制御キー、オン／オフキー等）、トラックボール、マウス、ジョイスティック等のうちの１つ以上を含んでもよいが、これらに限定されない。

表示ユニット７４０は、ユーザによって入力される情報、またはユーザに提供される情報、および画像撮影装置の様々なメニューを表示するように構成されてもよい。表示ユニット７４０は、表示パネル７４１を含んでもよい。任意に、表示パネル７４１は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）等の形態で構成されてもよい。さらに、タッチパネル７３１は、表示パネル７４１を覆ってもよい。タッチパネル７３１上またはその近傍でタッチ操作を検出するときに、タッチパネル７３１は、タッチイベントのタイプを決定するために、タッチ操作をプロセッサ７８０に送信し、次に、プロセッサ７８０は、タッチイベントのタイプに基づいて、表示パネル７４１上に対応する視覚出力を提供する。図７では、タッチパネル７３１と表示パネル７４１は、画像撮影装置の入出力機能を実装するための２つの独立した構成要素として使用される。しかしながら、いくつかの実施形態では、タッチパネル７３１および表示パネル７４１は、画像撮影装置の入出力機能を実装するために一体化されてもよい。

画像撮影装置は、光センサ、運動センサ、別のセンサ等の少なくとも１つのセンサ７５０をさらに含んでもよい。具体的には、光学センサは、周辺光センサおよび近接センサを含んでもよい。周辺光センサは、周辺光の明るさに基づいて表示パネル７４１の輝度を調整してもよい。近接センサは、携帯端末が耳に移動されるときに、表示パネル７４１および／またはバックライトをオフにしてもよい。モーションセンサのタイプとして、加速度計センサは、全ての方向（通常は３軸）の加速度値を検出してもよく、画像撮影装置が静止しているときに、重力の値および方向を検出してもよい。加速度計センサは、画像撮影装置の姿勢、振動識別に関する機能（例えば、歩数計またはノック）等を識別するためのアプリケーション（例えば、景色からポートレイトへのスイッチ、関連ゲーム、および磁力計の姿勢較正）に適用されてもよい。ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサ等の別のセンサは、画像撮影装置にさらに構成されてもよい。詳細は、本明細書では再度記載されない。

音声周波数回路７６０、ラウドスピーカ７６１、およびマイクロホン７６２は、ユーザと画像撮影装置との間の音声インターフェースを提供してもよい。音声回路７６０は、受信した音声データから変換された電気信号をラウドスピーカ７６１に送信してもよく、ラウドスピーカ７６１は、電気信号を出力のための音声信号に変換する。さらに、マイクロホン７６２は、収集した音声信号を電気信号に変換する。音声回路７６０は、電気信号を受信し、電気信号を音声データに変換し、音声データを処理のためにプロセッサ７８０に出力する。処理後の音声データは、例えば、ＲＦ回路７１０を通して別の画像撮影装置に送信されるか、または、音声データは、さらなる処理のためにメモリ７２０に出力される。

画像撮影装置内のレンズ７７０は、赤外光画像および／または可視光画像を含む光学画像を得てもよい。画像撮影装置内には、１つのレンズがあってもよいし、少なくとも２つのレンズ（図示されず）があってもよい。これは、実際の設計要件に基づいて具体的に調整されてもよい。

プロセッサ７８０は、画像撮影装置の制御センタであり、様々なインターフェースおよびラインを使用して画像撮影装置全体の全ての部分に接続される。プロセッサ７８０は、メモリ７２０に記憶されたソフトウェアプログラムおよび／またはモジュールを動作させるか、または実行し、メモリ７２０に記憶されたデータを呼び出すことにより、画像撮影装置の様々な機能を実行し、データを処理して、画像撮影装置の全体監視を行う。任意に、プロセッサ７８０は、１つ以上の処理ユニットを含み得る。好ましくは、プロセッサ７８０は、アプリケーションプロセッサおよびモデムプロセッサを統合してもよい。アプリケーションプロセッサは主にオペレーティングシステム、ユーザインターフェース、アプリケーション等を処理し、モデムプロセッサは主に無線通信を処理する。モデムプロセッサは、プロセッサ７８０内に統合されないことがあると理解されたい。

画像撮影装置は、全ての部品に電力を供給する電源７９０（バッテリ等）をさらに含む。好ましくは、電源は、電力管理システムを通してプロセッサ７８０に論理的に接続されてもよく、電力管理システムを通して充電と放電管理、電力消費管理等の機能を実装する。

図示されていないが、画像撮影装置は、カメラ、Ｂｌｕｅｔｏｏｔｈモジュールな等をさらに含んでもよい。詳細は、本明細書では記載されない。

本発明のこの実施形態では、画像撮影装置に含まれるプロセッサ７８０は、以下の機能をさらに有する。すなわち、
可視光画像および赤外光画像を得ることと、第１の輝度情報および第２の輝度情報を得ることであって、第１の輝度情報が可視光画像の輝度情報であり、第２の輝度情報が赤外光画像の輝度情報である、得ることと、第１の輝度情報および第２の輝度情報を融合して、コントラスト融合画像を得ることと、第１のテクスチャ情報および第２のテクスチャ情報を得ることであって、第１のテクスチャ情報が可視光画像のテクスチャ情報であり、第２のテクスチャ情報が赤外光画像のテクスチャ情報である、得ることと、第１のテクスチャ情報、第２のテクスチャ情報およびコントラスト融合画像を融合して、テクスチャ融合画像を得ることと、可視光画像および赤外光画像に基づいて色融合画像を得ることと、テクスチャ融合画像および色融合画像を融合して、ターゲット画像を得ることである。

この出願において提供される端末デバイスは、携帯電話、カメラ、モニタ、タブレットコンピュータ等であってもよい。端末デバイスは、１つ以上のレンズをさらに含んでもよい。端末デバイスは、図７に示される画像撮影装置に類似する。詳細は、本明細書では再度記載されない。

当業者であれば、便利で簡単な説明のために、記載されたシステム、装置、およびユニットの詳細な作業プロセスについては、前述の方法の実施形態における対応するプロセスを参照することが明らかであってもよく、詳細は、本明細書では再度記載されない。

この出願に提供されるいくつかの実施形態では、開示されたシステム、装置、および方法は、他の方法で実装されてもよいと理解されたい。例えば、記載された装置の実施形態は単なる例である。例えば、ユニットへの分割は、単なる論理機能分割であり、実際の実装における他の分割でもよい。例えば、複数のユニットまたは構成要素は、別のシステムに結合もしくは統合されてもよく、またはいくつかの特徴は、無視されるか、もしくは実行されなくてもよい。追加的に、表示または説明された相互結合、直接結合、または通信接続は、いくつかのインターフェースを使用して実装されてもよい。装置またはユニット間の間接的な結合または通信接続は、電子的、機械的、または別の形態で実装されてもよい。

別々の部品として記載されるユニットは、物理的に分離されていてもしなくてもよく、また、ユニットとして表示される構成要素は、物理的ユニットであってもなくてもよい。具体的には、構成要素は、１つの位置に配置されてもよく、または複数のネットワークユニットに分散されてもよい。ユニットの一部または全部は、実施形態における解決策の目的を達成するために、実際の要件に基づいて選択されてもよい。

追加的に、この出願の実施形態における機能ユニットは、１つの処理ユニットに統合されてもよく、ユニットの各々は、物理的に単独で存在してもよく、または２つ以上のユニットは、１つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実装されてもよく、ソフトウェア機能ユニットの形態で実装されてもよい。

統合ユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用されるときに、統合ユニットはコンピュータ読取可能な記憶媒体に記憶されてもよい。このような理解に基づいて、技術的解決策の本質的なもの、先行技術に寄与する部分、または技術的解決策の全部もしくは一部は、ソフトウェア製品の形態で実装されてもよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、図３から図５に示されるこの出願の実施形態に記載される方法のステップの全部または一部を行うようにコンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワークデバイス等であってもよい）に命令するための複数の命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク、光学ディスク等のプログラムコードを記憶することができる任意の媒体を含む。

結論として、前述の実施形態は、この出願の技術的解決策を記載することを単に意図したものであって、限定を意図したものではない。この出願は、前述の実施形態を参照して詳細に説明されているが、当業者は、この出願の実施形態の技術的解決策の範囲から逸脱することなく、前述の実施形態に記載される技術的解決策を変更したり、その技術的特徴のいくつかについて等価の置き換えをしてもよいと理解されたい。

Claims (15)

1. 画像処理方法であって、
   可視光画像および赤外光画像を得ることと、
   第１の輝度情報および第２の輝度情報を得ることであって、前記第１の輝度情報が前記可視光画像の輝度情報であり、前記第２の輝度情報が前記赤外光画像の輝度情報である、得ることと、
   前記第１の輝度情報および前記第２の輝度情報を融合して、コントラスト融合画像を得ることと、
   第１のテクスチャ情報および第２のテクスチャ情報を得ることであって、前記第１のテクスチャ情報が前記可視光画像のテクスチャ情報であり、前記第２のテクスチャ情報が前記赤外光画像のテクスチャ情報である、得ることと、
   前記第１のテクスチャ情報、前記第２のテクスチャ情報、および前記コントラスト融合画像を融合して、テクスチャ融合画像を得ることと、
   前記可視光画像および前記赤外光画像に基づいて色融合画像を得ることと、
   前記テクスチャ融合画像および前記色融合画像を融合して、ターゲット画像を得ることと、を含む方法。
2. 前記可視光画像および前記赤外光画像に基づいて色融合画像を得ることが、
   前記可視光画像に対して色知覚復元を行って、色知覚復元画像を得ることと、
   事前設定された色対応に基づいて前記赤外光画像に対して色推論を行って、色推論画像を得ることと、
   前記色知覚復元画像および前記色推論画像を融合して、前記色融合画像を得ることと、を含む、請求項１に記載の方法。
3. 前記第１の輝度情報および前記第２の輝度情報を融合して、コントラスト融合画像を得ることが、
   事前設定された第１の式を使用して前記第１の輝度情報および前記第２の輝度情報を計算して、ターゲット輝度値を得ることと、
   前記ターゲット輝度値に基づいて前記コントラスト融合画像を得ることと、を含む、請求項１または２に記載の方法。
4. 前記第１のテクスチャ情報、前記第２のテクスチャ情報、および前記コントラスト融合画像を融合して、テクスチャ融合画像を得ることが、
   事前設定された第２の式を使用して前記第１のテクスチャ情報および前記第２のテクスチャ情報を計算して、ターゲットテクスチャ画素値を得ることと、
   前記ターゲットテクスチャ画素値を前記コントラスト融合画像に重畳して、前記テクスチャ融合画像を得ることと、を含む、請求項１〜３のいずれか一項に記載の方法。
5. 事前設定された色対応に基づいて前記赤外光画像に対して色推論を行って、色推論画像を得ることが、
   前記事前設定された色対応に基づいて、前記赤外光画像の色成分の割合を決定することと、
   事前設定された計算方法で前記色成分の前記割合に基づいてターゲット色を決定して、前記色推論画像を得ることと、を含む、請求項２に記載の方法。
6. 前記可視光画像に対して色知覚復元を行って、色知覚復元画像を得ることが、
   前記可視光画像の輝度を反転して、輝度反転画像を得ることと、
   デフォッグアルゴリズムに基づいて前記輝度反転画像を計算して、強調された輝度と強調された色の強調画像を得ることと、
   前記強調画像を反転して、前記色知覚復元画像を得ることと、を含む、請求項２に記載の方法。
7. 前記テクスチャ融合画像および前記色融合画像を融合して、ターゲット画像を得ることが、
   前記テクスチャ融合画像の輝度情報と前記色融合画像の色成分を融合して、前記ターゲット画像を得ることを含む、請求項１〜６のいずれか一項に記載の方法。
8. 画像処理装置であって、
   可視光画像および赤外光画像を得るように構成されている画像取得モジュールと、
   第１の輝度情報および第２の輝度情報を得るように構成されている輝度情報取得モジュールであって、前記第１の輝度情報が前記可視光画像の輝度情報であり、前記第２の輝度情報が前記赤外光画像の輝度情報である、輝度情報取得モジュールと、
   前記第１の輝度情報および前記第２の輝度情報を融合して、コントラスト融合画像を得るように構成されているコントラスト融合モジュールと、
   第１のテクスチャ情報および第２のテクスチャ情報を得るように構成されているテクスチャ情報取得モジュールであって、前記第１のテクスチャ情報が前記可視光画像のテクスチャ情報であり、前記第２のテクスチャ情報が前記赤外光画像のテクスチャ情報である、テクスチャ情報取得モジュールと、
   前記第１のテクスチャ情報、前記第２のテクスチャ情報、および前記コントラスト融合画像を融合して、テクスチャ融合画像を得るように構成されているテクスチャ融合モジュールと、
   前記可視光画像および前記赤外光画像に基づいて色融合画像を得るように構成されている色融合モジュールと、
   前記テクスチャ融合画像および前記色融合画像を融合して、ターゲット画像を得るように構成されているターゲット画像合成モジュールと、を含む画像処理装置。
9. 前記色融合モジュールが、
   前記可視光画像に対して色知覚復元を行って、色知覚復元画像を得るように構成されている知覚復元サブモジュールと、
   事前設定された色対応に基づいて前記赤外光画像に対して色推論を行って、色推論画像を得るように構成されている色推論サブモジュールと、
   前記色知覚復元画像および前記色推論画像を融合して、前記色融合画像を得るように構成されている色融合サブモジュールと、を含む、請求項８に記載の画像処理装置。
10. 前記コントラスト融合モジュールが、
    事前設定された第１の式を使用して計算し前記第１の輝度情報および前記第２の輝度情報を計算して、ターゲット輝度値を得ることと、
    前記ターゲット輝度値に基づいて前記コントラスト融合画像を得ることと、を行うように構成されている、請求項８または９に記載の画像処理装置。
11. 前記テクスチャ融合モジュールが、
    事前設定された第２の式を使用して前記第１のテクスチャ情報および前記第２のテクスチャ情報を計算して、ターゲットテクスチャ画素値を得ることと、
    前記ターゲットテクスチャ画素値を前記コントラスト融合画像に重畳して、前記テクスチャ融合画像を得ることと、を行うように構成されている、請求項８〜１０のいずれか一項に記載の画像処理装置。
12. 前記色推論サブモジュールが、
    前記事前設定された色対応に基づいて、前記赤外光画像の色成分の割合を決定することと、
    事前設定された計算方法で前記色成分の前記割合に基づいてターゲット色を決定して、前記色推論画像を得ることと、を行うように構成されている、請求項９に記載の画像処理装置。
13. 前記知覚復元サブモジュールが、
    前記可視光画像の輝度を反転して、輝度反転画像を得ることと、
    デフォッグアルゴリズムに基づいて前記輝度反転画像を計算して、強調された輝度と強調された色の強調画像を得ることと、
    前記強調画像を反転して、前記色知覚復元画像を得ることと、を行うように構成されている、請求項９に記載の画像処理装置。
14. 前記ターゲット画像合成モジュールが、
    前記テクスチャ融合画像の輝度情報と前記色融合画像の色成分を融合して、前記ターゲット画像を得るように構成されている、請求項８〜１３のいずれか一項に画像処理装置。
15. 画像撮影装置であって、
    レンズ、プロセッサ、メモリ、バス、および入出力インターフェースを含み、
    前記メモリがプログラムコードを記憶し、
    プロセッサが、前記メモリ内の前記プログラムコードを呼び出すときに、請求項１〜７のいずれか一項に記載の方法のステップを行う、画像撮影装置。

Images