JP6909979B2 - 画像処理システム、画像処理方法、および画像処理プログラム - Google Patents

画像処理システム、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP6909979B2
JP6909979B2 JP2017548626A JP2017548626A JP6909979B2 JP 6909979 B2 JP6909979 B2 JP 6909979B2 JP 2017548626 A JP2017548626 A JP 2017548626A JP 2017548626 A JP2017548626 A JP 2017548626A JP 6909979 B2 JP6909979 B2 JP 6909979B2
Authority
JP
Japan
Prior art keywords
image
pixel value
pixel
indicator function
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017548626A
Other languages
English (en)
Other versions
JPWO2017077680A1 (ja
Inventor
剛志 柴田
剛志 柴田
正行 田中
正行 田中
正敏 奥富
正敏 奥富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Tokyo Institute of Technology NUC
Original Assignee
NEC Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Tokyo Institute of Technology NUC filed Critical NEC Corp
Publication of JPWO2017077680A1 publication Critical patent/JPWO2017077680A1/ja
Application granted granted Critical
Publication of JP6909979B2 publication Critical patent/JP6909979B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理技術に関し、画像処理システム、画像処理方法、および画像処理プログラムに関する。
昨今、様々な画像合成手法が開発されている。また、様々な設定(例えば露光量や露出時間)で動作する様々なカメラがあり、それらカメラは波長帯域に対する様々な感度特性で画像を取得する。また、同一の設定のカメラでも、撮影時にフラッシュを焚くか焚かないかで、実質的に異なる画像を取得する。
また、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。一方、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。また、他のカメラとして、近紫外線カメラも市販されている。或いは、他のカメラとして、テラヘルツ波や電波など可視光の波長領域よりも長い波長をイメージングするデバイスも市販されている。
このような背景の中、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画像に改善することが必要になる。非特許文献1は、このような用途に有用な画像処理として、画像の勾配情報(隣接間の差分値)に基づいた処理を行う方法を開示している。
この非特許文献1に開示された方法では、後で図1を参照して詳細に説明するように、参照する画像群から目的となる勾配を算出し、目的となる勾配と出力画像の勾配とが一致するように、入力画像の画素値を更新して出力画像を得ている。
Perez, Patrick, Michel Gangnet, and Andrew Blake. "Poisson image editing." ACM Transactions on Graphics (TOG). Vol. 22. No. 3. ACM, 2003.
しかしながら、非特許文献1の方法では、出力画像の絶対値(画素値)そのものに対する制約がない。このため、特許文献1の方法では、細部の構造の潰れ、白潰れ、黒とび或いはハロー効果やリンギングなどのアーチファクトが生じるという課題がある。
本発明の目的は、上述した課題を解決する、画像処理システム、画像処理方法、画像処理プログラムを提供することにある。
本発明の画像処理システムは、種々のセンサより取得された画像群から成る入力画像を解析して、出力画像を得る画像処理システムであって、入力画像から所望の勾配を算出する勾配算出部と、入力画像に対して、出力画像が取りうる範囲を制約する定義域を規定しかつ、基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新部と、出力画像が取りうる定義域内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値をして出力画像を得る画素値制約部と、を備え、出力画像の画素値の値が十分に収束するまで、画素値更新部および画素値制約部での処理を繰り返し行うことを特徴とする。
本発明の画像処理方法は、種々のセンサより取得された画像群から成る入力画像を解析して、出力画像を得る画像処理システムの画像処理方法であって、勾配算出部が、入力画像から所望の勾配を算出する勾配算出工程と、指示関数算出部が、入力画像に対して、出力画像が取りうる範囲を制約する定義域を規定しかつ、基準となる画像の画素値を規定する、指示関数を算出する指示関数算出工程と、画素値更新部が、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新工程と、画素値制約部が、出力画像が取りうる定義域内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約工程と、を含み、出力画像の画素値の値が十分に収束するまで、画素値更新部および前記画素値制約部が、前記画素値更新工程および前記画素値制約工程を繰り返し行うことを特徴とする。
本発明の画像処理プログラムは、コンピュータに、種々のセンサより取得された画像群から成る入力画像を解析して、出力画像を得させる画像処理システムの画像処理プログラムであって、コンピュータに、入力画像から所望の勾配を算出する勾配算出手順と、入力画像に対して、出力画像が取りうる範囲を制約する定義域を規定しかつ、基準となる画像の画素値を規定する、指示関数を算出する指示関数算出手順と、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新手順と、出力画像が取りうる定義域内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約手順と、を実行させ、出力画像の画素値の値が十分に収束するまで、画素値更新手順および画素値制約手順での処理を繰り返し行うことを特徴とする。
本発明によれば、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。
非特許文献1に開示された関連技術の画像処理システムの概略構成を示すブロック図である。 本発明によって解決すべき課題を示す図である。 本発明の第1の実施の形態に係る画像処理システムの概略構成を示すブロック図である。 に示した画像処理システムの動作を説明するためのフローチャートである。 に示した画像処理システムによる効果を示す図である。 本発明の第2の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
[関連技術]
まず、本発明の理解を容易にするために、上記非特許文献1に開示された関連技術の画像処理システムについて説明する。
図1は、非特許文献1に記載された、関連技術の画像処理システムを示すブロック図である。非特許文献1に記載された画像処理システムは、画像入力部100、勾配算出部201、画素値更新部202、および画像出力部300から成る。
画像入力部100には、1枚以上の画像群が入力される。そして、画像入力部100は、入力された画像をメモリ(図示せず)等に記録する。
勾配算出部201は、参照する画像群から目的となる勾配を算出する。
画素値更新部202は、目的となる勾配と出力画像の勾配とが一致するように、入力画像の画素値を更新して出力画像を得る。
具体的には、画素値更新部202は、例えば、以下の数1を最小化させるように、画素値を下記の数2のように更新する。
Figure 0006909979
Figure 0006909979
なお、ここで、
Figure 0006909979
は出力画像のi番目の画素値を表し、
Figure 0006909979
は出力画像のi番目の画素の勾配を表し、
Figure 0006909979
は目的となる画像の画素iにおける勾配を表し、
Figure 0006909979
は、利用者があらかじめ定めた、更新に関するパラメータを表す。
画像出力部300では、ディスプレイなどへ出力画像を出力する。
しかしながら、図1に示した非特許文献1の画像処理システムでは、出力画像の絶対値(画素値)そのものに対する制約がない。このため、図1に示した特許文献1の画像処理システムでは、細部の構造の潰れ、白潰れ、黒とび或いはハロー効果やリンギングなどのアーチファクトを生じるという欠点がある。
次に、本発明が解決しようとする課題を、図2を用いてより詳細に説明する。
図2に図示された入力画像は、ダイナミックレンジ(暗部と明部の差)が大きい。このため、非特許文献1に開示された関連手法を用いて図2の入力画像を処理した場合、処理して得られた出力画像に白とびや黒潰れが発生する。
[実施の形態]
次に、発明を実施するための形態について図面を参照して詳細に説明する。
[第1の実施の形態の構成の説明]
図3は、本発明の第1の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
図3を参照すると、本発明の第1の実施の形態に係る画像処理システムは、画像入力部100と、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)200と、画像出力部300とから成る。
図示の画像処理システムは、種々のセンサより取得された入力画像を解析して、出力画像を得るシステムである。
コンピュータ(中央処理装置;プロセッサ;データ処理装置)200は、勾配算出部201と、画素値更新部202と、指示関数算出部203と、画素値制約部204とから成る。
すなわち、図示の画像処理システムは、図1に示した関連技術の画像処理システムに、指示関数算出部203と画素値制約部204とを更に付加した構成をしている。
これらの手段は、それぞれ概略、次のように動作する。
画像入力部100には、カメラなどによって得られた画像が入力される。入力する画像としては、カラー画像とその他のセンサから取得された画像とを別々に入力してもよい。そして、画像入力部100は、入力された画像をメモリ(図示せず)等に記録する。
ここで、以下では、入力カラー画像としてRGB画像を考えた場合、i番目の画素の赤,緑,青の画素値をRi,Gi,Biと表すこととする。また、これらの成分をまとめて、
Figure 0006909979
と表すこととする。さらに、入力カラー画像以外の他のセンサから取得された画像が存在する場合には、その画像についても、i番目の画素の画素値を下付き添え字を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、i番目の近赤外画像の画素値をNiと表せばよい。
また、出力画像についても入力画像と同様に、各画素の画素値をラスタスキャン順に並べた行列により表すこととする。より具体的には、出力カラー画像としてRGB画像を考えた場合、i番目の画素の赤,緑,青の画素値をRi,Gi,Biと表すこととする。
画像出力部300は、再構成画像(出力画像)を出力する出力装置である。画像出力部300は、例えば、ディスプレイ装置などによって実現される。
勾配算出部201は、画像入力部100にて入力した入力画像から、所望とする勾配を決定する。勾配を決定する方法としては、例えば、単純にある入力画像の勾配を定数倍してもよいし、何らかの方法で勾配を正規化してもよいし、あるいは2つ以上の画像から勾配を重み付の和として表してもよい。例えば、画像強調の場合には、勾配算出部201は、入力画像の勾配を定数倍し、これを所望の勾配とすればよい。
画素値更新部202は、目的となる勾配と出力画像の勾配とが近くなるように、入力画像の画素値を更新して、更新画像を出力する。具体的には、前述したように、画素値更新部202は、例えば、上記数1を最小化させるように、入力画像の画素値を上記数2のように更新する。すなわち、本発明の実施形態における画素値更新部202は、前述した関連技術と同様でよい。
なお、本第1の実施の形態では、画素値更新部202は、目的となる勾配と出力画像の勾配が近くなるように、出力画像の画素値の値を更新する方法について述べたが、本第1の実施の形態はこれに限定されない。例えば、超解像、ノイズ除去、インペインティングなどで使用する再構成制約(或いはデータ項、或いは忠実項とも呼ばれる)に相当する項を採用し、これに対応する画素値の更新方法を、画素値更新部202が行ってもよい。
指示関数算出部203は、白潰れや黒とび、あるいはリンギングやハロー効果などを抑制するために、出力画像の画素値が取りうる範囲を制約する定義域を規定するための、指示関数を算出する。指示関数を算出する方法としては、例えば、下記の数に示すように、入力画像に対して画像全体で一様な指示関数を用いてもよい。
Figure 0006909979
その代わりに、指示関数を算出する方法としては、下記の数に示すように、入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を用いてもよい。
Figure 0006909979
また、指示関数算出部203は、入力画像に対して画像全体において同じ関数を用いる必要はない。例えば、指示関数算出部203は、指示関数として、入力画像の一部分に対して、画像全体で一様な指示関数を用い、入力画像の残りの部分に対して、画素毎に適応的な指示関数を用いてもよい。いずれにせよ、指示関数算出部203で算出された指示関数は、何らかの意味において、出力画像の画素値が取りうる範囲を規定する関数であればなんでもよい。
なお、本第1の実施形態では、画像全体で同一の指示関数、或いは画素毎に適応的な指示関数を用いる場合について述べたが、本第1の実施の形態はこれに限定されない。例えば、指示関数の替わりに、以下の数10のような関数を用いて、画素値が取りうる範囲を規定してもよい。
Figure 0006909979
ただし、λは利用者があらかじめ定義するパラメータである。また、Ziは、ガイドとなる画像であり、例えばエッジ保存型の空間フィルタを用いて、このZiを算出してもよい。このような指示関数を用いることで、画像中のノイズを抑制しつつ、画素値を定義域内に収まるように、再構成画像を合成することができる。
画素値制約部204は、定義した指示関数に応じて、出力画像の画素値が定義域内に収まるように、更新画像の画素値を更新して、出力画像を得る。更新する方法としては、例えば、下記の数11に示すように、画像全体で一様な指示関数を用いて、更新画像を更新してもよい。
Figure 0006909979
その代わりに、更新する方法として、下記の数12のように、注目画素の極小値と極大値とから定まる画素毎に適応的な指示関数に対応して、更新画像の画素値の更新量を決定してもよい。
Figure 0006909979
また、画素値制約部204は、画像全体において同じ指示関数を用いる必要はない。例えば、画素値制約部204は、入力画像の一部分に対しては、画像全体で一様な指示関数に対応して更新画像の画素値の更新を行い、入力画像の残りの部分に対しては、画素毎に適応的な指示関数に対応して更新画像の画素値の更新を行ってもよい。いずれにせよ、画素値制約部204で用いる指示関数は、何らかの意味において、出力画像の画素値が取りうる範囲を規定する関数であればなんでもよい。
[第1の実施の形態の動作の説明]
次に、図4のフローチャートを参照して、本第1の実施の形態に係る画像処理システムの全体の動作について詳細に説明する。
まず、画像入力部100にて、一つ以上のセンサから取得された入力画像を入力する(ステップS200)。
次に、勾配算出部201にて、入力画像から所望の勾配を算出する(ステップS201)。
次に、指示関数算出部203にて、入力画像に対して、出力画像の画素値が取りうる範囲及び基準となる画素値を規定する、指示関数を算出する(ステップS202)。
さらに、画素値更新部202にて、更新画像の勾配を所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する(ステップS203)。
画素値制約部204にて、指示関数算出部203にて算出した画素値が取りうる値を満足するように、更新画像の画素値を更新して、出力画像を得る(ステップS204)。
次に、コンピュータ200は、出力画像の画素値
Figure 0006909979
の値が十分に収束しているかを判定する(ステップS205)。もしも、十分に出力画像の画素値
Figure 0006909979
の値が収束していない場合(ステップS205のNo)、コンピュータ200は、再度ステップS203からS204までの処理を繰り返し行う(ステップS205)。
もしも、出力画像の画素値
Figure 0006909979
の値が十分に収束していれば(ステップS205のyes)、その画素値からなる出力画像を画像出力部300にて出力する(ステップS206)。
[第1の実施の形態の効果の説明]
次に、本第1の実施の形態の効果について説明する。
本発明の第1の実施の形態によれば、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。その理由は、指示関数算出部203が、出力画像が取りうる範囲及び基準となる画像の画素値を算出し、画素値制約部204が、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新しているからである。
例えば、本発明の第1の実施の形態の効果の具体的な一例としては、図2に図示された入力画像に対し、図5に図示された出力画像のように、画像全体を1枚の画像で表示可能にすることができる。
尚、画像処理システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、RAM(random access memory)に画像処理プログラムが展開され、該プログラムに基づいて制御部(CPU(central processing unit))等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第1の実施の形態を別の表現で説明すれば、画像処理システムとして動作させるコンピュータを、RAMに展開された画像処理プログラムに基づき、勾配算出部201、画素値更新部202、指示関数算出部203、および画素値制約部204として動作させることで実現することが可能である。
以上説明したように、本発明の第1の実施の形態によれば、出力画像を利用者にとって適した画質に改善することができる。
[第2の実施の形態の構成の説明]
図6は、本発明の第2の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
図6を参照すると、本発明の第2の実施の形態に係る画像処理システムは、画像入力部100と、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)200Aと、画像出力部300とから成る。
図示の画像処理システムは、種々のセンサより取得された入力画像を解析して、出力画像を得るシステムである。
コンピュータ(中央処理装置;プロセッサ;データ処理装置)200Aは、勾配算出部201と、画素値更新部202と、指示関数算出部203aと、画素値制約部204と、色情報分離部205と、色情報付加部206とから成る。
すなわち、図示の画像処理システムは、図3に示した第1の実施の形態に係る画像処理システムに、色情報分離部205と、色情報付加部206とを更に付加した構成をしていると共に、指示関数算出部の動作が後述のように変更されている。
以下では、各構成の動作について説明する。なお、勾配算出部201、画素値更新部202、画素値制約部204、および画像出力部300については、第1の実施の形態と同様の動作であるため、それらの説明を省略する。
また、以下では、説明を簡単にするために、画像入力部100ではカラー画像が入力され、勾配算出部201、画素値更新部202、及び画素値制約部204では、画像の明度成分や輝度成分のみを処理する場合について述べるが、本第2の実施の形態はそれに限定されない。例えば、画像入力部100では,マルチスペクトル画像が入力されてもよいし、勾配算出部201、画素値更新部202、及び画素値制約部204では、画像の明度成分或いは輝度成分のかわりに、他の成分(例えば彩度成分や色相成分、或いはマルチスペクトル画像のうちの一部のバンド)を処理するのでもよい。
色情報分離部205は、画像入力部100で入力されたカラー画像から、色成分と明度とを分離する。より具体的には、例えば、画像入力部100にて、カラー画像として、RGB色空間で定義された画素値が入力された場合、色情報分離部205は、RGB色空間にて定義された各画素の画素値を、YUV色空間、Lab色空間における画素値へ変換する。そして色情報分離部205は、YUV色空間やLab色空間で定義された画素値のうちの明度成分、すなわちY成分あるいはL成分を抽出する。そして、色情報分離部205は、色成分として、UV成分あるいはab成分を抽出することで、明度成分と色成分とを分離すればよい。そして、色情報分離部205は、明度成分を勾配算出部201へ、色成分を指示関数算出部203a及び色情報付加部206へ受け渡す。
指示関数算出部203aは、色情報分離部205にて算出した色成分から、画素毎に、入力画像の色を保存する制約下で明度が取りうる範囲を、指示関数として算出する。例えば、色成分をLab空間におけるab成分として表した場合、指示関数算出部203aは、入力画像の色を保存する制約下でLが取りうる範囲を算出する。
より具体的には、例えば、ある画素のab成分がa及びbであった場合、指示関数算出部203aは、まず、明度であるLの値を、取りうるすべての範囲(すなわち0から100までの間)内にて、離散的にNだけサンプリングすることで、複数の画素値を得る。以下では、これらサンプリングしたLab空間における画素値を{(L1,a,b)…(LN,a,b)}と表す。次に、指示関数算出部203aは、これらLab空間で表された画素値を、RGB空間の画素値へ変換する。以下ではこれを、{(r1,g1,b1)…(r,g,b)}と表す。次に、指示関数算出部203aは、これら変換されたRGB空間上での画素値のうち、どれか一つの成分が、あらかじめ規定された範囲(すなわち8ビット画像において0から255までの範囲)に収まっていない場合、すなわち、どれか一つの成分においても、画素値が飽和している(すなわち8ビット画像において、0以下或いは255以上である)場合は、そのサンプルを棄却する。最後に、指示関数算出部203aは、棄却されなかった全てのサンプルの中で、明度成分の最小値と最大値をRmin及びRmaxと表し、この範囲を、入力画像の色を保存する制約下で明度が取りうる範囲であるとし、この範囲に基づき指示関数を定義する。なお、この時、画素値更新部202において、この指示関数に対応した画素値の更新は、下記の数16により表される。
Figure 0006909979
なお、上記では、指示関数算出部203aは、サンプリングされた値から、入力画像の色を保存する制約下で明度が取りうる範囲を算出した場合について述べたが、指示関数算出部203aの動作はこれに限定されない。
色情報付加部206は、画素値制約部204にて得られた明度と、色情報分離部205にて得られた色成分とから、カラー画像を合成する。
[第2の実施の形態の効果の説明]
次に、本第2の実施の形態の効果について説明する。
本第2の実施の形態では、色情報分離部205にて分離された色成分をもとに、指示関数算出部203aにて、入力画像の色を保存する制約下で明度がとりうる範囲を、指示関数として算出する。そして、その指示関数をもとに、画素値制約部204にて明度成分を算出する。そして、算出された明度成分と、入力画像の色成分とから、色情報付加部206にて、出力画像を合成する。以上のような構成を有することで、本第2の実施の形態は、入力画像の色成分を保存しながら、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2015年11月5日に出願された日本出願特願2015−217328を基礎とする優先権を主張し、その開示の全てをここに取り込む。
100 画像入力部
200、200A コンピュータ(中央処理装置;プロセッサ;データ処理装置)
201 勾配算出部
202 画素値更新部
203、203a 指示関数算出部
204 画素値制約部
205 色情報分離部
206 色情報付加部
300 画像出力部

Claims (12)

  1. 種々のセンサより取得された画像群から成る入力画像を解析して、出力画像を得る画像処理システムであって、
    前記入力画像から所望の勾配を算出する勾配算出部と、
    前記入力画像に対して、前記出力画像が取りうる範囲を制約する定義域を規定しかつ、基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と、
    前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新部と、
    前記出力画像が取りうる前記定義域内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約部と、
    を備え、
    前記出力画像の画素値の値が十分に収束するまで、前記画素値更新部および前記画素値制約部での処理を繰り返し行うことを特徴とする画像処理システム。
  2. 前記指示関数算出部は、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出し、
    前記画素値制約部は、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得る、
    請求項1に記載の画像処理システム。
  3. 前記指示関数算出部は、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出し、
    前記画素値制約部は、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得る、
    請求項1に記載の画像処理システム。
  4. 前記指示関数算出部は、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出し、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出し、
    前記画素値制約部は、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得る、
    請求項1に記載の画像処理システム。
  5. 種々のセンサより取得された画像群から成る入力画像を解析して、出力画像を得る画像処理システムの画像処理方法であって、
    勾配算出部が、前記入力画像から所望の勾配を算出する勾配算出工程と、
    指示関数算出部が、前記入力画像に対して、前記出力画像が取りうる範囲を制約する定義域を規定しかつ、基準となる画像の画素値を規定する、指示関数を算出する指示関数算出工程と、
    画素値更新部が、前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新工程と、
    画素値制約部が、前記出力画像が取りうる前記定義域内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約工程と、
    を含み、
    前記出力画像の画素値の値が十分に収束するまで、前記画素値更新部および前記画素値制約部が、前記画素値更新工程および前記画素値制約工程を繰り返し行うことを特徴とする画像処理方法。
  6. 前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出し、
    前記画素値制約工程では、前記画素値制約部が、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得る、
    請求項5に記載の画像処理方法。
  7. 前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出し、
    前記画素値制約工程では、前記画素値制約部が、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得る、
    請求項5に記載の画像処理方法。
  8. 前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出し、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出し、
    前記画素値制約工程では、前記画素値制約部が、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得る、
    請求項5に記載の画像処理方法。
  9. コンピュータに、種々のセンサより取得された画像群から成る入力画像を解析して、出力画像を得させる画像処理システムの画像処理プログラムであって、前記コンピュータに、
    前記入力画像から所望の勾配を算出する勾配算出手順と、
    前記入力画像に対して、前記出力画像が取りうる範囲を制約する定義域を規定しかつ、基準となる画像の画素値を規定する、指示関数を算出する指示関数算出手順と、
    前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新手順と、
    前記出力画像が取りうる前記定義域内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約手順と、
    を実行させ、
    前記出力画像の画素値の値が十分に収束するまで、前記画素値更新手順および前記画素値制約手順での処理を繰り返し行うことを特徴とする画像処理プログラム。
  10. 前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出させ、
    前記画素値制約手順は、前記コンピュータに、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得させる、
    請求項9に記載の画像処理プログラム。
  11. 前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出させ、
    前記画素値制約手順は、前記コンピュータに、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得させる、
    請求項9に記載の画像処理プログラム。
  12. 前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出させ、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出させ、
    前記画素値制約手順は、前記コンピュータに、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得させる、
    請求項9に記載の画像処理プログラム。
JP2017548626A 2015-11-05 2016-09-14 画像処理システム、画像処理方法、および画像処理プログラム Active JP6909979B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015217328 2015-11-05
JP2015217328 2015-11-05
PCT/JP2016/004197 WO2017077680A1 (ja) 2015-11-05 2016-09-14 画像処理システム、画像処理方法、および画像処理プログラム記録媒体

Publications (2)

Publication Number Publication Date
JPWO2017077680A1 JPWO2017077680A1 (ja) 2018-08-23
JP6909979B2 true JP6909979B2 (ja) 2021-07-28

Family

ID=58663146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017548626A Active JP6909979B2 (ja) 2015-11-05 2016-09-14 画像処理システム、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US10699455B2 (ja)
JP (1) JP6909979B2 (ja)
WO (1) WO2017077680A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003503A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 画像処理装置および画像処理方法、並びに医療用撮像システム
CN110909750B (zh) * 2019-11-14 2022-08-19 展讯通信(上海)有限公司 图像差异检测方法及装置、存储介质、终端
US11756210B2 (en) 2020-03-12 2023-09-12 Adobe Inc. Video inpainting via machine-learning models with motion constraints
US11823357B2 (en) * 2021-03-09 2023-11-21 Adobe Inc. Corrective lighting for video inpainting

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844863A (ja) * 1994-07-27 1996-02-16 Dainippon Printing Co Ltd 画像拡大方法
JP2003060916A (ja) * 2001-08-16 2003-02-28 Minolta Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
US7492967B2 (en) 2003-09-24 2009-02-17 Kabushiki Kaisha Toshiba Super-resolution processor and medical diagnostic imaging apparatus
JP4519434B2 (ja) * 2003-09-24 2010-08-04 株式会社東芝 超解像処理装置及び医用画像診断装置
EP2398224B1 (en) * 2004-10-01 2016-01-13 The Board of Trustees of The Leland Stanford Junior University Imaging arrangements and methods therefor
US7443443B2 (en) * 2005-07-28 2008-10-28 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for enhancing flash and ambient images
JP2010055487A (ja) * 2008-08-29 2010-03-11 Toshiba Corp 画像処理方法、装置、およびプログラム
JP5372680B2 (ja) * 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
JP5445363B2 (ja) * 2010-07-08 2014-03-19 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP5949481B2 (ja) * 2012-03-14 2016-07-06 富士通株式会社 画像処理方法、プログラム及び装置
TWI602152B (zh) * 2013-02-06 2017-10-11 聚晶半導體股份有限公司 影像擷取裝置及其影像處理方法
US10311552B2 (en) * 2017-04-06 2019-06-04 Pixar De-noising images using machine learning
US10540749B2 (en) * 2018-03-29 2020-01-21 Mitsubishi Electric Research Laboratories, Inc. System and method for learning-based image super-resolution

Also Published As

Publication number Publication date
US10699455B2 (en) 2020-06-30
US20180322672A1 (en) 2018-11-08
WO2017077680A1 (ja) 2017-05-11
JPWO2017077680A1 (ja) 2018-08-23

Similar Documents

Publication Publication Date Title
Guo et al. Low-light image enhancement via breaking down the darkness
JP5251637B2 (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
JP6909979B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
US9275445B2 (en) High dynamic range and tone mapping imaging techniques
JP4519708B2 (ja) 撮影装置および方法並びにプログラム
JP4481333B2 (ja) 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ
US11265490B2 (en) Systems and methods of spatiotemporal image noise reduction for multispectral image data
US20170070718A1 (en) Advanced Multi-Band Noise Reduction
US11388355B2 (en) Multispectral image processing system and method
JP6545670B2 (ja) デジタルカメラに対する単一フレームベースのスーパー解像度補間のためのシステムおよび方法
JP2008159069A5 (ja)
JP2005051407A (ja) 画像処理方法および装置
US20120200733A1 (en) Image processing apparatus, imaging apparatus, computer readable storage medium storing image processing program, and image processing method
JP2012018669A (ja) デジタル入力画像を処理する方法
JP2012216888A (ja) 画像理装置および方法、並びにプログラム
JP2005039460A (ja) 画像処理方法および装置
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
CN109478316A (zh) 实时自适应阴影和高光增强
Kwok et al. Design of unsharp masking filter kernel and gain using particle swarm optimization
JP4126297B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
JP6677222B2 (ja) 検出装置、画像処理装置、検出方法、及び画像処理方法
JP2006024176A5 (ja)
JP6826277B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
JP5203159B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210413

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210413

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210422

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210617

R150 Certificate of patent or registration of utility model

Ref document number: 6909979

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150