JP7445109B2

JP7445109B2 - 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法

Info

Publication number: JP7445109B2
Application number: JP2019139448A
Authority: JP
Inventors: 隆宏吉岡; 收文中山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2024-03-07
Anticipated expiration: 2039-07-30
Also published as: JP2021022263A

Description

本発明は、画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法に関する。

近年の世界的な人口増加に伴い、持続可能な食糧源として養殖魚が注目されている。養殖業において、ＩＣＴ（Information and Communications Technology）の活用が広がっており、カメラで海中を観察することが試みられている。

カメラで撮影された映像は、養殖生簀内の様子の観察、魚体同士のリアルタイムな比較観察、ソフトウェアによる魚体長計測、ソフトウェアによる魚体数計測、寄生虫観測等に活用される。

画像処理に関して、入力画像の一部を切り出して所望の切り出し画像を得る画像処理装置が知られている（例えば、特許文献１を参照）。生体における網膜や皮質と同等の役割をモデル化したレティネックス処理も知られている（例えば、特許文献２及び非特許文献１を参照）。敵対的生成ネットワークを用いた画像変換も知られている（例えば、非特許文献２を参照）。

特開２０１０－８１１８１号公報特開２００５－４５０６号公報

Zia-ur Rahman et al.,"A Multiscale Retinex for Color Rendition and Dynamic Range Compression", PROCEEDINGS VOLUME 2847, Applications of Digital Image Processing XIX, SPIE'S 1996 INTERNATIONAL SYMPOSIUM ON OPTICAL SCIENCE, ENGINEERING, AND INSTRUMENTATION, August 1996 Isola et al.,"Image-to-Image Translation with Conditional Adversarial Networks", Proceedings of The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1125-1134, 2017

海中を撮影した映像に写っている不鮮明な魚体の視認性を向上させる処理は、処理量が多いため時間がかかる。

なお、かかる問題は、海中の映像を用いて魚体を観察する場合に限らず、３次元空間の画像を用いて様々な物体を観察する場合において生ずるものである。

１つの側面において、本発明は、画像に写っている物体の視認性を向上させる処理を高速化することを目的とする。

１つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、第１画像を縮小して縮小画像を生成する。
（２）コンピュータは、縮小画像のコントラストを強調又は色調を補正して第２画像を生成する。
（３）コンピュータは、第２画像内で物体が写っている第１領域を特定する。
（４）コンピュータは、第１画像から第１領域に対応する第２領域を抽出する。
（５）コンピュータは、第２領域のコントラストを強調又は色調を補正して領域画像を生成する。

１つの側面によれば、画像に写っている物体の視認性を向上させる処理を高速化することができる。

レティネックス処理を示す図である。画像処理装置の機能的構成図である。画像処理のフローチャートである。画像処理装置の具体例を示す機能的構成図である。比較例における画像処理を示す図である。第１の画像処理を示す図である。第２の画像処理を示す図である。画像処理の具体例を示すフローチャートである。画像処理システムの機能的構成図である。情報処理装置のハードウェア構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
特許文献２及び非特許文献１に開示されたレティネックス処理は、人間の視覚特性を反映した画像補正処理である。レティネックス処理によれば、画像のダイナミックレンジを調整してコントラストを強調するか、又は色調を補正することで、視認性を向上させることができる。

海中を撮影した映像は時系列の画像を含み、各時刻の画像は、フレームと呼ばれることがある。映像に含まれるフレームとして高解像度画像を用いた場合、１フレーム当たりの画素数が多くなる。このため、各フレームにレティネックス処理を適用すると、処理時間が長くなり、フレームレートを保つことが困難になる。

また、観察対象の魚体がカメラから遠い位置に存在したり、魚影が小さくて低コントラストであったりする場合、画像全体にレティネックス処理を適用すると、魚影を認識できる程度に改善されたとしても、視認性向上の効果は低い。

図１は、海中を撮影した画像に対するレティネックス処理の例を示している。カメラで撮影された画像１０１には、様々な魚体が写っている。魚体は、画像に写っている物体の一例である。

画像１０１全体に対してレティネックス処理を適用することで、視認性が向上した画像１０２が得られる。これにより、画像１０２の領域１１１内に魚影が写っていることが確認できるが、視認性向上の効果は限定的である。

図２は、実施形態の画像処理装置の機能的構成例を示している。図２の画像処理装置２０１は、記憶部２１１、特定部２１２、及び生成部２１３を含む。記憶部２１１は、第１画像を記憶する。特定部２１２及び生成部２１３は、第１画像に対する画像処理を行う。

図３は、図２の画像処理装置２０１が行う画像処理の例を示すフローチャートである。まず、特定部２１２は、第１画像を縮小して縮小画像を生成し（ステップ３０１）、縮小画像のコントラストを強調又は色調を補正して第２画像を生成し（ステップ３０２）、第２画像内で物体が写っている第１領域を特定する（ステップ３０３）。次に、生成部２１３は、第１画像から第１領域に対応する第２領域を抽出し（ステップ３０４）、第２領域のコントラストを強調又は色調を補正して領域画像を生成する（ステップ３０５）。

図２の画像処理装置２０１によれば、画像に写っている物体の視認性を向上させる処理を高速化することができる。

図４は、図２の画像処理装置２０１の具体例を示している。図４の画像処理装置４０１は、記憶部４１１、画像取得部４１２、縮小部４１３、画像強調部４１４、領域特定部４１５、領域抽出部４１６、領域強調部４１７、補正部４１８、拡大部４１９、合成部４２０、及び出力部４２１を含む。

記憶部４１１は、図２の記憶部２１１に対応し、縮小部４１３、画像強調部４１４、及び領域特定部４１５は特定部２１２に対応し、領域抽出部４１６及び領域強調部４１７は生成部２１３に対応する。

例えば、画像処理装置４０１は、情報処理装置（コンピュータ）であり、３次元空間の映像を用いて様々な物体を観察する作業において使用される。例えば、処理対象の映像が海中を撮影した映像である場合、その映像を用いて、養殖生簀内の様子の観察、魚体同士のリアルタイムな比較観察、ソフトウェアによる魚体長計測、ソフトウェアによる魚体数計測、寄生虫観測等が行われる。

処理対象の映像は、航空機又は人工衛星から撮影された地表の映像であってもよく、工場、オフィスビル、街頭等に設置された監視カメラの映像であってもよく、車両等の移動体に搭載されたカメラの映像であってもよい。画像に写っている物体は、建造物、車両、人間、動物等であってもよい。

撮像装置４０２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、処理対象の映像を撮影する。撮影された映像は、複数の時刻それぞれにおける画像を含む。処理対象の映像が海中を撮影した映像である場合、撮像装置４０２は、海中に設置されていてもよい。

画像取得部４１２は、撮像装置４０２から、映像に含まれる各時刻の画像４３１を取得して、記憶部４１１に格納する。画像４３１は、第１画像の一例である。画像４３１は、高解像度画像であってもよい。

縮小部４１３は、画像４３１を縮小して縮小画像４３２を生成し、記憶部４１１に格納する。例えば、縮小部４１３は、画素補間法を用いて画像４３１を縮小する。画素補間法としては、ニアレストネイバー法、バイリニア法、バイキュービック法等を用いることができる。ニアレストネイバー法を用いることで、高速な画像サイズ変換が実現される。

画像強調部４１４は、縮小画像４３２のコントラストを強調するか、又は色調を補正することで、強調画像４３３を生成し、記憶部４１１に格納する。強調画像４３３は、第２画像の一例である。

例えば、画像強調部４１４は、シングルスケールレティネックス、マルチスケールレティネックス等のレティネックス処理を用いて、縮小画像４３２のコントラストを強調又は色調を補正する。これにより、撮像装置４０２の特性を反映した縮小画像４３２が、人間により視認される画像に近い強調画像４３３に変換され、視認性が向上する。

画像強調部４１４は、ヒストグラム平坦化法、深層学習を用いた画質変換等の画像補正処理を用いて、縮小画像４３２のコントラストを強調又は色調を補正してもよい。例えば、画像強調部４１４は、非特許文献２の技術を用いて、深層学習を用いた画質変換を行うことができる。

領域特定部４１５は、強調画像４３３内で物体が写っている物体領域を特定し、領域抽出部４１６は、画像４３１から、物体領域に対応する対象領域を抽出する。物体領域は、第１領域の一例であり、対象領域は、第２領域の一例である。領域強調部４１７は、対象領域のコントラストを強調するか、又は色調を補正することで、領域画像４３４を生成し、記憶部４１１に格納する。例えば、領域強調部４１７は、レティネックス処理、ヒストグラム平坦化法、深層学習を用いた画質変換等を用いて、対象領域の画像のコントラストを強調又は色調を補正する。

補正部４１８は、領域画像４３４の色情報を物体領域の色情報に近づける色補正を行って、補正画像４３５を生成し、記憶部４１１に格納する。拡大部４１９は、強調画像４３３を拡大して拡大画像４３６を生成し、記憶部４１１に格納する。例えば、拡大部４１９は、画素補間法を用いて強調画像４３３を拡大する。拡大画像４３６の大きさは、画像４３１の大きさと同じであってもよい。

合成部４２０は、拡大画像４３６と補正画像４３５とを合成して合成画像４３７を生成し、記憶部４１１に格納する。合成部４２０は、拡大画像４３６内において、画像４３１内の対象領域に対応する部分領域を特定し、特定した部分領域の画像を補正画像４３５に置き換えることで、合成画像４３７を生成する。

出力部４２１は、合成画像４３７を出力する。例えば、出力部４２１が表示装置である場合、出力部４２１は、合成画像４３７を画面上に表示する。映像に含まれる各時刻の画像４３１から合成画像４３７を生成することで、時系列の合成画像４３７を含む合成映像が表示される。

図５は、比較例における画像処理の例を示している。この例では、海中を撮影した映像に含まれる画像５０１にレティネックス処理を適用することで、画像５０２が生成される。画像５０１では視認することが困難な魚体が、画像５０２では、点線が示すように、辛うじて視認できるようになっている。

そこで、画像５０１から、画像５０２の点線が示す魚体を含む領域を抽出して、レティネックス処理を適用することで、画像５０３が生成される。そして、画像５０２と画像５０３とを合成することで、合成画像５０４が生成される。これにより、画像５０２の点線が示す魚体の視認性が、画像５０２よりも向上する。

しかしながら、画像５０１全体と、画像５０１の一部の領域の画像とでは、色の分布が異なるため、それぞれの画像に対するレティネックス処理の結果において、その領域内の魚体の色が一致しない。このため、画像５０２と画像５０３とをそのまま合成すると、合成画像５０４に、色崩れによる違和感が生じる。また、図５の画像処理では、画像５０１全体にレティネックス処理を適用しているため、処理時間が長くなり、フレームレートを維持した高速な視認性向上処理は実現されない。

図６は、画像処理装置４０１が行う第１の画像処理の例を示している。縮小部４１３は、海中を撮影した映像に含まれる画像６０１を縮小して、縮小画像６０２を生成し、画像強調部４１４は、縮小画像６０２にレティネックス処理を適用することで、強調画像６０３を生成する。

縮小画像６０２の視認性を向上させた強調画像６０３を生成することで、画像に写っている魚体の認識が容易になる。また、縮小画像６０２の画素数は画像６０１の画素数よりも少ないため、レティネックス処理の処理量が削減され、処理が高速化される。しかし、物体領域６１１内に小さく写っている魚体は、認識することができたとしても、コントラストが低いままであり、視認性向上の効果は低い。

そこで、領域特定部４１５は、強調画像６０３に対するテンプレートマッチング及びエッジ検出処理を行うことで、物体領域６１１を特定し、領域抽出部４１６は、画像６０１から、物体領域６１１に対応する対象領域６２１の画像６２２を抽出する。

領域強調部４１７は、対象領域６２１の画像６２２にレティネックス処理を適用することで、不図示の領域画像を生成する。対象領域６２１に限定してレティネックス処理を適用することで、物体領域６１１よりもコントラストが高い領域画像が得られる。画像６２２の画素数は画像６０１の画素数よりも少ないため、レティネックス処理の処理量が削減され、処理が高速化される。また、画像６２２は元の画像６０１の一部であり、物体領域６１１よりも画素数が多いため、元の解像度が保持される。

このように、元の画像６０１を縮小した縮小画像６０２と、元の画像６０１の一部の領域の画像６２２とに対して、レティネックス処理を適用することで、画像６０１に対する視認性向上処理を高速化することができる。

補正部４１８は、物体領域６１１の色情報を取得して、領域画像の色情報を物体領域６１１の色情報に近づける色補正を行うことで、補正画像６２３を生成する。これにより、縮小画像６０２全体のレティネックス処理により得られたバランスの取れた色情報が、補正画像６２３に反映され、色補償付き視認性向上処理が実現される。したがって、図５に示した合成画像５０４のような違和感が生じることがなく、画像６２２に写っている魚体の視認性がさらに向上する。

拡大部４１９は、強調画像６０３を拡大して拡大画像を生成する。合成部４２０は、拡大画像内において、対象領域６２１に対応する部分領域６３１を特定し、部分領域６３１の画像を補正画像６２３に置き換えることで、合成画像６０４を生成する。

これにより、強調画像６０３内において、大きく写っている魚体を含む領域６１２及び領域６１３は単純に拡大され、小さく写っている魚体を含む領域６１１は、補正画像６２３に置き換えられる。拡大画像の一部を補正画像６２３に置き換えることで、フレームレートを維持した高速な視認性向上処理が実現され、画像６０１全体の視認性を向上させることができる。

画像６０１の代わりに合成画像６０４を用いることで、養殖生簀内の様子のリアルタイムな観察、魚体同士の目視による比較、ソフトウェアによる魚体長計測等を行うことが容易になる。

図７は、画像処理装置４０１が行う第２の画像処理の例を示している。縮小部４１３は、映像に含まれる画像７０１を縮小して、縮小画像７０２を生成し、画像強調部４１４は、縮小画像７０２にレティネックス処理を適用することで、強調画像７０３を生成する。

領域特定部４１５は、強調画像７０３内で、画像７０１に写っている物体を示すテンプレート画像を用いてテンプレートマッチングを行い、閾値以上の一致度を有する領域を特定する。また、領域特定部４１５は、強調画像７０３に対するエッジ検出処理を行って、強調画像７０３からエッジを検出する。そして、領域特定部４１５は、テンプレートマッチングにより特定された領域のうち、エッジ強度が所定値よりも小さい領域を、物体領域７１１として特定する。

テンプレートマッチングの一致度に対する閾値は、０．７～０．９の範囲の実数であってもよい。強調画像７０３の面積に対するテンプレート画像の面積の比率Ｒは、０＜Ｒ＜１の範囲の実数である。フレームレートを維持した高速な処理を実現するためには、Ｒ≦１／４であることが好ましい。

領域抽出部４１６は、画像７０１から、物体領域７１１に対応する対象領域７１２の画像を抽出し、領域強調部４１７及び補正部４１８は、対象領域７１２の画像に対する色補償付き視認性向上処理７３１を行う。色補償付き視認性向上処理７３１において、領域強調部４１７は、対象領域７１２の画像にレティネックス処理を適用することで、領域画像を生成する。

補正部４１８は、領域画像の各画素の色情報Ｃ１に対するＨＳＶ分解７３２を行うことで、色情報Ｃ１をＨＳＶ色空間における色相Ｈ（Hue）、彩度Ｓ（Saturation）、及び明度Ｖ（Value）に変換する。また、補正部４１８は、物体領域７１１の色情報Ｃ０を取得し、色情報Ｃ０に対するＨＳＶ分解７３３を行うことで、色情報Ｃ０をＨＳＶ色空間における色相Ｈ、彩度Ｓ、及び明度Ｖに変換する。色情報Ｃ１及び色情報Ｃ０は、ＲＧＢ色空間におけるＲ、Ｇ、及びＢの値であってもよい。

次に、補正部４１８は、色情報Ｃ１の色相Ｈ、彩度Ｓ、及び明度Ｖに対する色補正７３４を行い、補正後の色相Ｈ、彩度Ｓ、及び明度Ｖの合成７３５を行うことで、補正画像の各画素の色情報Ｃ２を生成する。例えば、補正部４１８は、色情報Ｃ１の色相Ｈを色情報Ｃ０の色相Ｈに近づける演算を行うことで、色情報Ｃ２の色相Ｈを求め、色情報Ｃ１の彩度Ｓ及び明度Ｖを、それぞれ、色情報Ｃ２の彩度Ｓ及び明度Ｖとして用いる。補正部４１８は、色情報Ｃ０の色相Ｈを色情報Ｃ２の色相Ｈとして用いてもよい。

拡大部４１９は、強調画像７０３を拡大して拡大画像７０４を生成する。合成部４２０は、拡大画像７０４内において、対象領域７１２に対応する部分領域７１３の画像を、補正画像に置き換えることで、合成画像７０５を生成する。

色情報Ｃ１の色相Ｈを色情報Ｃ０の色相Ｈに近づけることで、物体領域７１１の色あい（赤、オレンジ色、黄色、緑、青、紫等）が補正画像に反映され、合成画像７０５における色崩れが低減される。

図８は、図４の画像処理装置４０１が行う画像処理の具体例を示すフローチャートである。まず、画像取得部４１２は、画像処理を終了するか否かを判定する（ステップ８０１）。例えば、画像取得部４１２は、ユーザから終了指示を受け付けた場合、画像処理を終了すると判定し、終了指示を受け付けていない場合、画像処理を終了しないと判定する。

画像処理を終了しないと判定された場合（ステップ８０１，ＮＯ）、画像取得部４１２は、撮像装置４０２から、映像に含まれる画像４３１を取得し（ステップ８０２）、縮小部４１３は、画像４３１を縮小して縮小画像４３２を生成する（ステップ８０３）。

次に、画像強調部４１４は、縮小画像４３２のコントラストを強調又は色調を補正して強調画像４３３を生成する（ステップ８０４）。そして、領域特定部４１５は、強調画像４３３から物体を検出するために、強調画像４３３に対するテンプレートマッチング及びエッジ検出処理を行う（ステップ８０５）。

次に、領域特定部４１５は、テンプレートマッチングにより物体が検出されたか否かをチェックし（ステップ８０６）、物体が検出された場合（ステップ８０６，ＹＥＳ）、検出された物体のエッジ強度を所定値と比較する（ステップ８０９）。エッジ強度が所定値よりも小さい場合（ステップ８０９，ＹＥＳ）、領域特定部４１５は、その物体が写っている領域を物体領域として特定する（ステップ８１０）。

強調画像４３３内の物体が写っている領域のうち、エッジ強度が所定値よりも小さい領域を特定することで、不鮮明な物体が写っている領域のみを対象として、色補償付き視認性向上処理を行うことが可能になる。これにより、鮮明な物体が写っている領域に対する色補償付き視認性向上処理が省略されるため、処理量が削減される。

次に、補正部４１８は、物体領域の色情報を取得し（ステップ８１１）、領域抽出部４１６は、画像４３１から、物体領域に対応する対象領域を抽出する（ステップ８１２）。そして、領域強調部４１７は、対象領域のコントラストを強調又は色調を補正して領域画像４３４を生成し、補正部４１８は、領域画像４３４の色情報を物体領域の色情報に近づける色補正を行って、補正画像４３５を生成する（ステップ８１３）。

次に、拡大部４１９は、強調画像４３３を拡大して拡大画像４３６を生成する（ステップ８０７）。次に、合成部４２０は、拡大画像４３６と補正画像４３５とを合成して合成画像４３７を生成し、出力部４２１は、合成画像４３７を出力する（ステップ８０８）。そして、画像処理装置４０１は、次の時刻の画像４３１について、ステップ８０１以降の処理を繰り返す。

物体が検出されない場合（ステップ８０６，ＮＯ）、又はエッジ強度が所定値以上である場合（ステップ８０９，ＮＯ）、画像処理装置４０１は、ステップ８０７以降の処理を行う。この場合、補正画像４３５は生成されず、拡大画像４３６がそのまま合成画像４３７として出力される。

画像処理を終了すると判定された場合（ステップ８０１，ＹＥＳ）、画像処理装置４０１は、画像処理を終了する。

なお、領域画像４３４の色情報と物体領域の色情報とが近似している場合は、必ずしも領域画像４３４の色補正を行う必要はない。色補正を行わない場合、画像処理装置４０１は、ステップ８１１の処理を省略し、ステップ８１３において補正画像４３５を生成しない。そして、ステップ８０８において、合成部４２０は、拡大画像４３６と領域画像４３４とを合成して合成画像４３７を生成する。

図９は、図４の画像処理装置４０１と同様の画像処理を行う画像処理システムの機能的構成例を示している。図９の画像処理システムは、撮像装置４０２、記憶部４１１、画像取得部４１２、縮小部４１３、画像強調部４１４、領域特定部４１５、領域抽出部４１６、領域強調部４１７、補正部４１８、拡大部４１９、合成部４２０、及び出力部４２１を含む。

図９に示された複数の構成要素は、複数の情報処理装置に分散して実装される。これらの構成要素はそれぞれ異なる情報処理装置に含まれていてもよく、いずれか２つ以上の構成要素が１台の情報処理装置に含まれていてもよい。各構成要素が行う動作は、画像処理装置４０１の場合と同様である。

図２及び図４の画像処理装置の構成は一例に過ぎず、画像処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図４の画像処理装置４０１において、画像４３１が事前に記憶部４１１に格納されている場合は、画像取得部４１２を省略することができる。領域画像４３４の色補正を行わない場合は、補正部４１８を省略することができる。

図９の画像処理システムの構成は一例に過ぎず、画像処理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。

図３及び図８のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図８の画像処理において、画像４３１が事前に記憶部４１１に格納されている場合は、ステップ８０２の処理を省略することができる。ステップ８０５において、領域特定部４１５は、強調画像７０３に対するエッジ検出処理を省略することもできる。この場合、ステップ８０９の処理も省略される。

図１及び図５～図７の画像は一例に過ぎず、処理対象の画像は、撮影対象の物体に応じて変化する。図７に示した色補償付き視認性向上処理７３１は一例に過ぎず、画像処理装置４０１の構成又は条件に応じて別の補正処理を用いてもよい。例えば、補正部４１８は、色情報Ｃ１の色相Ｈだけでなく、彩度Ｓ及び明度Ｖを変更することも可能である。補正部４１８は、ＨＳＶ色空間以外の色空間における演算により、領域画像の色補正を行ってもよい。

図１０は、図２及び図４の画像処理装置として用いられる情報処理装置のハードウェア構成例を示している。図１０の情報処理装置は、ＣＰＵ（Central Processing Unit）１００１、メモリ１００２、入力装置１００３、出力装置１００４、補助記憶装置１００５、媒体駆動装置１００６、及びネットワーク接続装置１００７を含む。これらの構成要素はハードウェアであり、バス１００８により互いに接続されている。

メモリ１００２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１００２は、図２の記憶部２１１又は図４の記憶部４１１として用いることができる。

ＣＰＵ１００１（プロセッサ）は、例えば、メモリ１００２を利用してプログラムを実行することにより、図２の特定部２１２及び生成部２１３として動作する。

ＣＰＵ１００１は、メモリ１００２を利用してプログラムを実行することにより、図４の画像取得部４１２、縮小部４１３、画像強調部４１４、領域特定部４１５、領域抽出部４１６、及び領域強調部４１７としても動作する。ＣＰＵ１００１は、メモリ１００２を利用してプログラムを実行することにより、補正部４１８、拡大部４１９、及び合成部４２０としても動作する。

入力装置１００３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１００４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、合成画像４３７であってもよい。出力装置１００４は、図４の出力部４２１として用いることができる。

補助記憶装置１００５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１００５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１００５にプログラム及びデータを格納しておき、それらをメモリ１００２にロードして使用することができる。補助記憶装置１００５は、図２の記憶部２１１又は図４の記憶部４１１として用いることができる。

媒体駆動装置１００６は、可搬型記録媒体１００９を駆動し、その記録内容にアクセスする。可搬型記録媒体１００９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１００９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１００９にプログラム及びデータを格納しておき、それらをメモリ１００２にロードして使用することができる。

このように、画像処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１００２、補助記憶装置１００５、又は可搬型記録媒体１００９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１００７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１００７を介して受信し、それらをメモリ１００２にロードして使用することができる。ネットワーク接続装置１００７は、図４の出力部４２１として用いることができる。

なお、情報処理装置が図１０のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示又は情報を入力する必要がない場合は、入力装置１００３を省略してもよい。可搬型記録媒体１００９又は通信ネットワークを使用しない場合は、媒体駆動装置１００６又はネットワーク接続装置１００７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１０を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１画像を縮小して縮小画像を生成し、
前記縮小画像のコントラストを強調又は色調を補正して第２画像を生成し、
前記第２画像内で物体が写っている第１領域を特定し、
前記第１画像から前記第１領域に対応する第２領域を抽出し、
前記第２領域のコントラストを強調又は色調を補正して領域画像を生成する、
処理をコンピュータに実行させるための画像処理プログラム。
（付記２）
前記領域画像の色情報を前記第１領域の色情報に近づける色補正を行って、補正画像を生成し、
前記第２画像を拡大して拡大画像を生成し、
前記拡大画像と前記補正画像とを合成して合成画像を生成し、
前記合成画像を出力する、
処理を前記コンピュータにさらに実行させることを特徴とする付記１記載の画像処理プログラム。
（付記３）
前記色補正は、前記領域画像の色相を前記第１領域の色相に近づける処理であることを特徴とする付記２記載の画像処理プログラム。
（付記４）
前記画像処理プログラムは、前記第２画像からエッジを検出する処理を、前記コンピュータにさらに実行させ、
前記第１領域は、前記第２画像内においてエッジ強度が所定値よりも小さい領域であることを特徴とする付記１乃至３のいずれか１項に記載の画像処理プログラム。
（付記５）
前記コンピュータは、レティネックス処理により、前記縮小画像及び前記第２領域のコントラストを強調又は色調を補正することを特徴とする付記１乃至４のいずれか１項に記載の画像処理プログラム。
（付記６）
第１画像を記憶する記憶部と、
前記第１画像を縮小して縮小画像を生成し、前記縮小画像のコントラストを強調又は色調を補正して第２画像を生成し、前記第２画像内で物体が写っている第１領域を特定する特定部と、
前記第１画像から前記第１領域に対応する第２領域を抽出し、前記第２領域のコントラストを強調又は色調を補正して領域画像を生成する生成部と、
を備えることを特徴とする画像処理装置。
（付記７）
前記領域画像の色情報を前記第１領域の色情報に近づける色補正を行って、補正画像を生成する補正部と、
前記第２画像を拡大して拡大画像を生成する拡大部と、
前記拡大画像と前記補正画像とを合成して合成画像を生成する合成部と、
前記合成画像を出力する出力部と、
をさらに備えることを特徴とする付記６記載の画像処理装置。
（付記８）
前記色補正は、前記領域画像の色相を前記第１領域の色相に近づける処理であることを特徴とする付記７記載の画像処理装置。
（付記９）
前記特定部は、前記第２画像からエッジを検出し、
前記第１領域は、前記第２画像内においてエッジ強度が所定値よりも小さい領域であることを特徴とする付記６乃至８のいずれか１項に記載の画像処理装置。
（付記１０）
前記特定部は、レティネックス処理により、前記縮小画像のコントラストを強調又は色調を補正し、前記生成部は、前記レティネックス処理により、前記第２領域のコントラストを強調又は色調を補正することを特徴とする付記６乃至９のいずれか１項に記載の画像処理装置。
（付記１１）
第１画像を記憶する記憶部と、
前記第１画像を縮小して縮小画像を生成し、前記縮小画像のコントラストを強調又は色調を補正して第２画像を生成し、前記第２画像内で物体が写っている第１領域を特定する特定部と、
前記第１画像から前記第１領域に対応する第２領域を抽出し、前記第２領域のコントラストを強調又は色調を補正して領域画像を生成する生成部と、
を備えることを特徴とする画像処理システム。
（付記１２）
前記領域画像の色情報を前記第１領域の色情報に近づける色補正を行って、補正画像を生成する補正部と、
前記第２画像を拡大して拡大画像を生成する拡大部と、
前記拡大画像と前記補正画像とを合成して合成画像を生成する合成部と、
前記合成画像を出力する出力部と、
をさらに備えることを特徴とする付記１１記載の画像処理システム。
（付記１３）
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
第１画像を縮小して縮小画像を生成し、
前記縮小画像のコントラストを強調又は色調を補正して第２画像を生成し、
前記第２画像内で物体が写っている第１領域を特定し、
前記第１画像から前記第１領域に対応する第２領域を抽出し、
前記第２領域のコントラストを強調又は色調を補正して領域画像を生成する、
ことを特徴とする画像処理方法。
（付記１４）
前記コンピュータは、
前記領域画像の色情報を前記第１領域の色情報に近づける色補正を行って、補正画像を生成し、
前記第２画像を拡大して拡大画像を生成し、
前記拡大画像と前記補正画像とを合成して合成画像を生成し、
前記合成画像を出力する、
ことを特徴とする付記１３記載の画像処理方法。

１０１、１０２、４３１、５０１～５０３、６０１、６２２、７０１画像
１１１、６１２、６１３領域
２０１、４０１画像処理装置
２１１、４１１記憶部
２１２特定部
２１３生成部
４０２撮像装置
４１２画像取得部
４１３縮小部
４１４画像強調部
４１５領域特定部
４１６領域抽出部
４１７領域強調部
４１８補正部
４１９拡大部
４２０合成部
４２１出力部
４３２、６０２、７０２縮小画像
４３３、６０３、７０３強調画像
４３４領域画像
４３５、６２３補正画像
４３６、７０４拡大画像
４３７、５０４、６０４、７０５合成画像
６１１、７１１物体領域
６２１、７１２対象領域
６３１、７１３部分領域
７３１色補償付き視認性向上処理
７３２、７３３ＨＳＶ分解
７３４色補正
７３５合成
１００１ＣＰＵ
１００２メモリ
１００３入力装置
１００４出力装置
１００５補助記憶装置
１００６媒体駆動装置
１００７ネットワーク接続装置
１００８バス
１００９可搬型記録媒体

Claims

第１画像を縮小して縮小画像を生成し、
前記縮小画像のコントラストを強調又は色調を補正して第２画像を生成し、
前記第２画像内で物体が写っている第１領域を特定し、
前記第１画像から前記第１領域に対応する第２領域を抽出し、
前記第２領域のコントラストを強調又は色調を補正して領域画像を生成し、
前記領域画像の色情報を前記第１領域の色情報に近づける色補正を行って、補正画像を生成し、
前記第２画像を拡大して拡大画像を生成し、
前記拡大画像と前記補正画像とを合成して合成画像を生成し、
前記合成画像を出力する、
処理をコンピュータに実行させるための画像処理プログラム。
前記色補正は、前記領域画像の色相を前記第１領域の色相に近づける処理であることを特徴とする請求項１記載の画像処理プログラム。
前記画像処理プログラムは、前記第２画像からエッジを検出する処理を、前記コンピュータにさらに実行させ、
前記第１領域は、前記第２画像内においてエッジ強度が所定値よりも小さい領域であることを特徴とする請求項１又は２記載の画像処理プログラム。
第１画像を記憶する記憶部と、
前記第１画像を縮小して縮小画像を生成し、前記縮小画像のコントラストを強調又は色調を補正して第２画像を生成し、前記第２画像内で物体が写っている第１領域を特定する特定部と、
前記第１画像から前記第１領域に対応する第２領域を抽出し、前記第２領域のコントラストを強調又は色調を補正して領域画像を生成する生成部と、
前記領域画像の色情報を前記第１領域の色情報に近づける色補正を行って、補正画像を生成する補正部と、
前記第２画像を拡大して拡大画像を生成する拡大部と、
前記拡大画像と前記補正画像とを合成して合成画像を生成する合成部と、
前記合成画像を出力する出力部と、
を備えることを特徴とする画像処理装置。
第１画像を記憶する記憶部と、
前記第１画像を縮小して縮小画像を生成し、前記縮小画像のコントラストを強調又は色調を補正して第２画像を生成し、前記第２画像内で物体が写っている第１領域を特定する特定部と、
前記第１画像から前記第１領域に対応する第２領域を抽出し、前記第２領域のコントラストを強調又は色調を補正して領域画像を生成する生成部と、
前記領域画像の色情報を前記第１領域の色情報に近づける色補正を行って、補正画像を生成する補正部と、
前記第２画像を拡大して拡大画像を生成する拡大部と、
前記拡大画像と前記補正画像とを合成して合成画像を生成する合成部と、
前記合成画像を出力する出力部と、
を備えることを特徴とする画像処理システム。
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
第１画像を縮小して縮小画像を生成し、
前記縮小画像のコントラストを強調又は色調を補正して第２画像を生成し、
前記第２画像内で物体が写っている第１領域を特定し、
前記第１画像から前記第１領域に対応する第２領域を抽出し、
前記第２領域のコントラストを強調又は色調を補正して領域画像を生成し、
前記領域画像の色情報を前記第１領域の色情報に近づける色補正を行って、補正画像を生成し、
前記第２画像を拡大して拡大画像を生成し、
前記拡大画像と前記補正画像とを合成して合成画像を生成し、
前記合成画像を出力する、
ことを特徴とする画像処理方法。