JP6647394B2 - 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法 - Google Patents

画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法 Download PDF

Info

Publication number
JP6647394B2
JP6647394B2 JP2018512805A JP2018512805A JP6647394B2 JP 6647394 B2 JP6647394 B2 JP 6647394B2 JP 2018512805 A JP2018512805 A JP 2018512805A JP 2018512805 A JP2018512805 A JP 2018512805A JP 6647394 B2 JP6647394 B2 JP 6647394B2
Authority
JP
Japan
Prior art keywords
image data
image
processing
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018512805A
Other languages
English (en)
Other versions
JPWO2017183297A1 (ja
Inventor
正久 濱田
正久 濱田
永治 栄
永治 栄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kripton Co Ltd
Original Assignee
Kripton Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kripton Co Ltd filed Critical Kripton Co Ltd
Publication of JPWO2017183297A1 publication Critical patent/JPWO2017183297A1/ja
Application granted granted Critical
Publication of JP6647394B2 publication Critical patent/JP6647394B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理プログラム及び画像処理方法に関する。
従来から、劣化した画像を復元する画像復元技術として、一般化逆フィルタを用いる方法及びRichardson−Lucy法(以下「RL法」という。)等がある(非特許文献1)。両方法とも、劣化過程が既知であるとして、劣化過程により劣化させたものと入力画像の二乗誤差が最小となるように、求めたい復元画像を決定する。
一般化逆フィルタは、二乗誤差が最小となる条件を解いた結果、逆行列を計算することになる。そのままでは計算困難なことも多いため、離散フーリエ変換を施し周波数空間上で計算を行い、再び実空間に戻す。これは、周波数空間上では逆行列演算が除算となることによる。RL法は、反復法により初期解から徐々に真の解へ収束させていくことにより、二乗誤差が最小となる復元画像を得る。
特許文献1には、劣化画像を復元する際の処理量を低減することを目的に、劣化画像中の局所領域に対応するフィルタ係数を用いて局所領域ごとに演算する方法が提案されている。
特開2010−61541
M.R.Banham and A.K.Katsaggelos,"Digital Image Restoration",IEEE Signal Processing Magazine,pp.24−41,1997
しかしながら、上記の従来技術では、演算量の増大が避けられないという問題が生じていた。
本発明はこのような事情に鑑みてなされたものであり、演算量を低減できる画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
本発明の一側面に係る画像処理装置は、フィルタ係数を格納したフィルタ係数格納手段と、入力画像データにフィルタリングを行い第1の画像データを生成するフィルタリング処理を実行する手段と、フィルタ係数格納手段に格納されたフィルタ係数を用いて第1の画像データに畳み込み演算を行い第2の画像データを生成する畳み込み処理を実行する手段と、第1の画像データを第2の画像データで除算して第3の画像データを生成する除算処理を実行する手段と、第1の画像データに第3の画像データを乗じて出力画像データを生成する乗算処理を実行する手段と、を有する。
また、上述の画像処理装置において、畳み込み処理、除算処理及び乗算処理を繰り返し実行する手段をさらに有することを特徴とする。
また、上述の画像処理装置において、フィルタ格納手段は、複数のフィルタ係数を格納しており、畳み込み処理を実行する手段は、畳み込み処理を行うごとに、複数のフィルタ係数のうち、異なるフィルタ係数を用いることを特徴とする。
また、本発明の他の側面に係る画像処理プログラムは、入力画像データにフィルタリングを行い第1の画像データを生成するフィルタリング処理を実行するステップと、フィルタ係数格納部に格納されたフィルタ係数を読み出して第1の画像データに畳み込み演算を行い第2の画像データを生成する畳み込み処理を実行するステップと、第1の画像データを第2の画像データで除算して第3の画像データを生成する除算処理を実行するステップと、第1の画像データに第3の画像データを乗じて出力画像データを生成する乗算処理を実行するステップと、をコンピュータに実行させることを特徴とする。
また、本発明の他の側面に係る画像処理方法は、入力画像データにフィルタリングを行い第1の画像データを生成するフィルタリング処理を実行するステップと、フィルタ係数格納部に格納されたフィルタ係数を読み出して第1の画像データに畳み込み演算を行い第2の画像データを生成する畳み込み処理を実行するステップと、第1の画像データを第2の画像データで除算して第3の画像データを生成する除算処理を実行するステップと、第1の画像データに第3の画像データを乗じて出力画像データを生成する乗算処理を実行するステップと、を有することを特徴とする。
本発明によれば、最適な画像処理を行い、画像を高解像度化するとともに、演算量を低減することが可能となる。
本発明の一実施形態による画像処理システム1の概略図 第1の実施形態における画像処理装置10の概念図 第2の実施形態における画像処理装置10の概念図 第3の実施形態における画像処理装置10の概念図 画像処理装置10を適用した医療用映像処理システム2の概念図 医療用映像処理システム2による画像処理前の画像及びその周波数スペクトラム 医療用映像処理システム2による画像処理後の画像及びその周波数スペクトラム 画像処理装置10を適用した画像送受信システム3の概念図
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態による画像処理システム1の概略図である。画像処理システム1は、画像処理装置10、撮影用カメラ20及び表示装置30を備える。撮影用カメラ20は、所定の撮影対象を撮影した画像を示す入力画像データを生成し、画像処理装置10に送信する。画像処理装置10は、撮影用カメラ20から受信した入力画像データに所定の処理を行い、出力画像データを表示装置30に送信する。表示装置30は、画像処理装置10から受信した出力画像データに基づいて、所定の画像を表示する。
図2は、第1の実施形態における画像処理装置10の概念図である。画像処理装置10は、画像データ取得部100、フィルタ係数格納部200、画像処理部300及び画像データ出力部400を備える。なお、画像処理装置10は、各実施形態において説明する構成/機能の他に、暗視補正等、通常の画像処理装置が備える手段をさらに備えていてもよい。
画像データ取得部100は、所定の画像をデジタルデータ化した画像データを取得する。画像データ取得部100は、例えば、CD−ROMやDVD等のメディアから画像データを取り込むことでもよいし、USBケーブルやWi−Fi、インターネット、放送ネットワーク等を経由して画像データを取得してもよい。また、画像データ取得部100は、画像処理装置10の外部から画像データを取得する手段に限られず、画像データ取得部100自体がカメラ等の撮像手段であってもよい。
フィルタ係数格納部200は、画像処理を行う入力画像データの各画素に対応づけて、フィルタ係数の一例である点像分布フィルタ係数(以下「PSF係数」という。)を格納している。なお、PSF係数は、光学系のパラメータや実験等から推定等を行ってもよいし、予め所定の係数を設定しておくことでもよい。各画素に対応づけられたPSF係数は、画素ごとに複数のパターンの係数値が格納されるようにしてもよい。
画像処理部300は、フィルタリング処理部310、畳み込み処理部320、除算処理部330及び乗算処理部340を備える。画像処理部300は、入力画像データに対して所定の処理を行い、出力画像データを生成する。画像処理部300に含まれる各構成の詳細については後述する。
画像データ出力部400は、出力画像データを出力する。画像データ出力部400は、例えば、CD−ROMやDVD等のメディアに画像データを書き込むことでもよいし、USBケーブルやWi−Fi、インターネット、放送ネットワーク等に対して画像データを出力してもよい。また、画像データ出力部400は、画像処理装置10の外部に画像データを出力する手段に限られず、画像データ出力部400自体がモニター等の画像表示手段であってもよい。
次に、画像処理装置10による画像処理の概要を説明する。
まず、画像データ取得部100は、入力画像データG(x,y)を取得し、フィルタリング処理部310へ送る。ここで、G(x,y)は、入力画像データ内の点の位置を示す座標(x,y)における輝度に関する画素値である。入力画像データは、座標(x,y)について、輝度の他、色等に関し複数の種類の画素値を有することがあるが、ここでの説明が同様にあてはまる。
フィルタリング処理部310は、入力画像データG(x,y)に対してぼかし処理を行い、第1の画像データA(x,y)を生成する。フィルタリング処理部310では、ぼかし処理として、ガウシアン・フィルタなどのように一般に知られたフィルタを用いたフィルタリング処理を実行することでもよいし、フィルタ係数格納部200からPSF係数を読み出して、PSF係数を利用したフィルタリング処理を実行することでもよい。このようなフィルタリング処理により入力画像データは平滑化されるため、後の処理による雑音の増大を抑えることができる。
フィルタリング処理部310における処理の演算式を(1)式に示す。なお、S(i,j)はフィルタ関数である。
(x,y)=G(x,y)*S(i,j)・・・(1)
なお、画像データ取得部100は、入力画像データG(x,y)を直接畳み込み処理部320に送ることとしてもよい。その場合、第1の画像データA(x,y)は、入力画像データG(x,y)である。画像データ取得部100は、入力画像データG(x,y)をフィルタリング処理部310に送るのか畳み込み処理部320に送るのかについて、所定の判定条件に従って適宜選択することとしてもよい。
畳み込み処理部320は、フィルタ係数格納部200に格納されたPSF係数P(i,j)を読み出して、第1の画像データA(x,y)に対し、当該PSF係数を用いた畳み込み演算を行い、第2の画像データB(x,y)を生成する。すなわち、畳み込み処理部320は、第1の画像データに一種のフィルタリングを行い第2の画像データを生成する。
畳み込み処理部320における処理の演算式を(2)式に示す。
(x,y)=A(x,y)*P(i,j)・・・(2)
除算処理部330は、第1の画像データA(x,y)を第2の画像データB(x,y)で除算して第3の画像データC(x,y)を生成する。すなわち、除算処理部330は、第1の画像データと第2の画像データの画素ごとの比を示す第3の画像データを生成する。この比は、元となる第1画像データの各画素値に相関しており、例えば、第1の画像データにおけるエッジに対応する部分とその他の部分とでは、異なる比を有することとなる。
除算処理部330における処理の演算式を(3)式に示す。
(x,y)=A(x,y)/B(x,y)
=A(x,y)/(A(x,y)*P(i,j))・・・(3)
乗算処理部340は、第1の画像データA(x,y)に第3の画像データC(x,y)を乗じて出力画像データF(x,y)を生成する。
乗算処理部340における処理の演算式を(4)式に示す。
(x,y)=A(x,y)×C(x,y)
=A(x,y)×(A(x,y)/(A(x,y)*P(i,j)))・・・(4)
乗算処理部340により生成された出力画像データF(x,y)は、画像データ出力部400に送られ、出力される。
なお、以上の処理においては、適宜複数の処理ラインを用いて並列処理をすることとしてもよいし、適宜ビットシフト等の処理を行うこととしてもよい。
次に、画像処理装置10の第2の実施形態について説明する。なお、第2の実施形態以降では第1の実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明を行う。特に、同様の構成による同様の作用効果については実施形態ごとには逐次言及しない。
図3は、第2の実施形態における画像処理装置10の概念図である。画像処理装置10の画像処理部300は、フィルタリング処理部310に加え、畳み込み処理部320乃至323、除算処理部330乃至333及び乗算処理部340乃至343を備える。すなわち、本発明の第2の実施形態は、第1の実施形態における、畳み込み処理、除算処理及び乗算処理を繰り返し実行することを特徴とする。具体的には、第2の実施形態は、第1の実施形態における、畳み込み処理部、除算処理部及び乗算処理部が、複数段直列に接続された構成を有する。
なお、第2の実施形態においては、畳み込み処理、除算処理及び乗算処理が4段分直列的に接続されるが、あくまでも一例であり、任意の段数を接続させることができる。また、繰り返し実行される処理は、畳み込み処理、除算処理及び乗算処理に限られず、フィルタリング処理を含む他の処理を適宜繰り返し実行してもよい。
画像処理装置10において、フィルタリング処理部310は、入力された入力画像データに対し、フィルタリング処理を実行する。その後、フィルタリング処理部310によりフィルタリング処理された画像データに対し、畳み込み処理部320、除算処理部330及び乗算処理部340が処理を実行する。乗算処理部340で生成された画像データは、畳み込み処理部321に送られ、畳み込み処理部321、除算処理部331及び乗算処理部341が、それぞれ処理を実行する。第2の実施形態では、これらの処理が4回繰り返された後、乗算処理部343で生成された出力画像データが画像データ出力部400に送られる。
次に、画像処理装置10の第3の実施形態について説明する。
図4は、第3の実施形態における画像処理装置10の概念図である。画像処理装置10は、フィルタリング処理部310に加え、畳み込み処理部320、除算処理部330及び乗算処理部340を備える。画像処理装置10は、さらに判定部350及びバッファ360を備える。第3の実施形態は、第1の実施形態における、畳み込み処理、除算処理及び乗算処理を繰り返し実行することを特徴とする。具体的には、第3の実施形態は、第1の実施形態における、畳み込み処理部、除算処理部及び乗算処理部が、ループ的に接続された構成を有する。
画像処理装置10において、フィルタリング処理部310は、入力された入力画像データに対し、フィルタリング処理を実行する。その後、フィルタリング処理部310によりフィルタリング処理された画像データに対し、畳み込み処理部320、除算処理部330及び乗算処理部340が処理を実行する。判定部350は、畳み込み処理部320、除算処理部330及び乗算処理部340による反復処理が所定回数に達しているか否かを判定する。所定の反復回数に達していない場合には、乗算処理部340で生成された画像データをバッファ360に格納させる。バッファ360に格納された画像データに対しては、畳み込み処理部320、除算処理部330及び乗算処理部340がさらに処理を実行する。所定の反復回数に達している場合には、乗算処理部340で生成された画像データを出力画像データとして画像出力部400に送られる。
第2の実施形態のように、直列的な配列構成を採用した場合、バッファを設ける必要がないため、バッファへの書き込み及びバッファからの読み出しの処理が不要となり、処理速度が上がる。他方、第3の実施形態のように、反復的な処理構成を採用した場合、回路規模を小さくすることができる。
第2及び第3の実施形態には、以上のような構成の違いがあるものの、実行される演算は共通する。すなわち、第2及び第3の実施形態においては、上述の(2)式乃至(4)式に示される処理が繰り返し実行されることとなるが、(5)式に示すように、乗算処理部によるk回目の処理により生成された画像データF(x,y)が、畳み込み処理部におけるk+1回目の処理の入力であるAk+1(x,y)となる結果、F(x,y)とFk+1(x,y)の関係は(6)式のようになる。
k+1(x,y)=F(x,y)・・・(5)
k+1(x,y)=F(x,y)×(F(x,y)/(F(x,y)*Pk+1(i,j)))・・・(6)
なお、フィルタ係数格納部200は、画素ごとに複数のパターンのPSF係数値が格納されるようにしてもよく、上述のような繰り返し処理を行うにあたっては、畳み込み処理を行うごとに、複数のパターンのPSF係数のうち、異なるPSF係数を用いることとしてもよい。
以上、画像処理装置10の例示的な実施形態について説明した。第1の実施形態では、フィルタ係数を格納したフィルタ係数格納手段と、入力画像データにフィルタリングを行い第1の画像データを生成するフィルタリング処理を実行する手段と、フィルタ係数格納手段に格納されたフィルタ係数を用いて第1の画像データに畳み込み演算を行い第2の画像データを生成する畳み込み処理を実行する手段と、第1の画像データを第2の画像データで除算して第3の画像データを生成する除算処理を実行する手段と、第1の画像データに第3の画像データを乗じて出力画像データを生成する乗算処理を実行する手段と、を有する。これにより、最適な画像処理を行い、画像を高解像度化できるとともに、演算量を低減することができる。
第2及び第3の実施形態では、畳み込み処理、除算処理及び乗算処理を繰り返し実行する手段をさらに有する。これにより、画像の解像度をさらに高めることができる。
次に、第1乃至3の実施形態における画像処理装置10の適用例について説明する。
図5は、画像処理装置10を適用した医療用映像処理システム2の概念図である。医療用映像処理システム2は、画像処理装置10、医療用カメラ21及び医療用モニター31を備える。ここで、医療用カメラ21は、例えば内視鏡カメラ等である。画像処理装置13は、医療用カメラ21から入力された入力画像データを処理し、医療用モニター31に出力する。医療用モニター31は、手術等の医療行為の実施にあたり医師らが必要とする映像等を出力する。
医療用映像処理システム2のように、医療用映像の映像処理システムに画像処理装置10を適用することにより、医師らは、患部やその周辺組織の状態をより正確に視認することができる。特に、医療用カメラ21として内視鏡のように超小型のカメラを利用した場合、当該カメラの解像度等の性能には一定の限界があることから、かかるシステムに画像処理装置10を適用して、入力画像を高解像度化した出力画像を生成すると、効果はより一層顕著となる。また、画像処理装置10を適用することにより、手術等の医療行為の実施に影響を及ぼさないリアルタイムな映像処理を実現することができる。
図6及び7は、画像処理装置10の効果を説明する図である。図6(a)は、医療用映像処理システム2による画像処理を行う前の画像である。図6(b)は、その2次元周波数スペクトラムを示す図である。また、図7(a)は、医療用映像処理システム2による画像処理を行った後の画像である。図7(b)は、その2次元周波数スペクトラムを示す図である。図7(c)は、図6(b)に対する図7(b)の2次元周波数スペクトラムの増加分を示す図である。図7(c)を見ると、医療用映像処理システム2による画像処理を行った後のほうが周波数成分の存在及び強さを示す白い斑点が広範囲にわたっており、高周波成分が増加していることが分かる。すなわち、医療用映像処理システム2による画像処理後、解像度が高まったことが分かる。
図8は、画像処理装置10を応用した応用した画像送受信システム3の概念図である。画像送受信システム3は、送信機5000から送信された送信画像データが、ネットワーク等を介し受信機6000により受信される。
送信機5000は、画像データ取得部5100、画像処理部5200及び送信処理部5300を備える。画像データ取得部5100は、所定の画像をデジタルデータ化した画像データを取得する。画像データ取得部5100は、例えば、CD−ROMやDVD等のメディアから画像データを取り込むことでもよいし、USBケーブルやWi−Fi、インターネット、放送ネットワーク等を経由して画像データを取得してもよい。また、画像データ取得部5100は、送信機5000の外部から画像データを取得する手段に限られず、画像データ取得部5100自体がカメラ等の撮像手段であってもよい。画像処理部5200は、例えばフィルタリング処理手段や畳み込み処理手段等を有する。送信処理部5300は、通信環境等に応じた処理を実行する手段を備える。
次に、送信機5000における動作の概要を説明する。送信機5000において、画像処理部5200は、画像データ取得部5100により取得された原画像データに対し、所定の画像処理を実行する。画像処理部5200は、原画像データに対し、例えばフィルタリング処理を実行し、送信画像データとして、原画像データに対するぼかし画像データを生成する。ぼかし画像データは、原画像データと比較して高周波成分が低減するから、データ量を低減することができる。ぼかし画像データを生成する代わりに、適宜の方法によって原画像データからデータ量を低減した送信画像データを生成することでもよい。送信処理部5300は、通信環境等に応じた符号化等の処理を行い、送信画像データを送信する。ここでの通信環境(チャネル)は、インターネット、移動体通信ネットワーク、Wi−Fi、放送ネットワーク、USB等のケーブルによる通信、USBメモリや外部メモリを介したデータのやりとり等を含む。
受信機6000は、例えば、受信処理部6100、フィルタ係数格納部6200、画像処理部6300及び画像データ出力部6400を備える。受信処理部6100は、受信画像データを受信し、通信環境等に応じた復号化等の処理を実行する。フィルタ係数格納部6200は、画像処理を行う入力画像データの各画素に対応づけてフィルタ係数を格納している。画像処理部6300は、例えばフィルタリング処理手段、畳み込み処理手段、除算処理手段及び乗算処理手段を備える。画像データ出力部6400は、出力画像データを出力する。画像データ出力部6400は、例えば、CD−ROMやDVD等のメディアに画像データを書き込むことでもよいし、USBケーブルやWi−Fi、インターネット、放送ネットワーク等に対して画像データを出力してもよい。また、画像データ出力部6400は、受信機6000の外部に画像データを出力する手段に限られず、画像データ出力部6400自体がモニター等であってもよい。
次に、受信機6000における動作の概要を説明する。受信機6000において、受信処理部6100は、受信された受信画像データに対し、通信環境等に応じた復号化等の処理を実行する。画像処理部6300は、例えば上述の第1乃至第3の実施形態における画像処理部300と同様の処理を実行する。画像データ出力部6400は、出力画像データを出力する。
このように、画像送受信システムに本発明を応用することにより、送信機において送信データのデータ量を低減させることができるとともに、受信機における画像処理により最適な画像を生成・復元することができる。
以上、本発明の適用例を説明したが、本発明の適用例はこれらに限られることはない。例えば、テレビ映像の処理システム、防犯カメラ映像の処理システム、望遠画像の処理システム、その他動画又は静止画の処理システム等に対し、本発明を適用することが可能である。
以上説明した各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更/改良され得るととともに、本発明にはその等価物も含まれる。すなわち、各実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、各実施形態が備える各要素およびその配置、材料、条件、形状、サイズなどは、例示したものに限定されるわけではなく適宜変更することができる。また、各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。
1 画像処理システム
2 医療用映像処理システム
3 画像送受信システム
10 画像処理装置
20 撮影用カメラ
21 医療用カメラ
30 表示装置
31 医療用モニター
100 画像データ取得部
200 フィルタ係数格納部
300 画像処理部
310 フィルタリング処理部
320,321,322,333 畳み込み処理部
330,331,332,333 除算処理部
340,341,342,343 乗算処理部
350 判定部
360 バッファ
400 画像データ出力部
5000 送信機
5100 画像データ取得部
5200 画像処理部
5300 送信処理部
6000 受信機
6100 受信処理部
6200 フィルタ係数格納部
6300 画像処理部
6400 画像データ出力部

Claims (5)

  1. 各画素に対応する点像分布フィルタ係数を格納したフィルタ係数格納手段と、
    入力画像データにぼかし処理を行い第1の画像データを生成するぼかし処理を実行する手段と、
    前記フィルタ係数格納手段に格納されたフィルタ係数を用いて前記第1の画像データに畳み込み演算を行い第2の画像データを生成する畳み込み処理を実行する手段と、
    前記第1の画像データを前記第2の画像データで除算して第3の画像データを生成する除算処理を実行する手段と、
    前記第1の画像データに前記第3の画像データを乗じて出力画像データを生成する乗算処理を実行する手段と、
    を有する画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記畳み込み処理、前記除算処理及び前記乗算処理を繰り返し実行する手段
    をさらに有することを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記フィルタ格納手段は、複数のフィルタ係数を格納しており、
    前記畳み込み処理を実行する手段は、前記畳み込み処理を行うごとに、前記複数のフィルタ係数のうち、異なるフィルタ係数を用いること
    を特徴とする画像処理装置。
  4. 入力画像データにぼかし処理を行い第1の画像データを生成するぼかし処理を実行するステップと、
    フィルタ係数格納部に格納された各画素に対応する点像分布フィルタ係数を読み出して前記第1の画像データに畳み込み演算を行い第2の画像データを生成する畳み込み処理を実行するステップと、
    前記第1の画像データを前記第2の画像データで除算して第3の画像データを生成する除算処理を実行するステップと、
    前記第1の画像データに前記第3の画像データを乗じて出力画像データを生成する乗算処理を実行するステップと、
    をコンピュータに実行させる画像処理プログラム。
  5. 入力画像データにぼかし処理を行い第1の画像データを生成するぼかし処理を実行するステップと、
    フィルタ係数格納部に格納された各画素に対応する点像分布フィルタ係数を読み出して前記第1の画像データに畳み込み演算を行い第2の画像データを生成する畳み込み処理を実行するステップと、
    前記第1の画像データを前記第2の画像データで除算して第3の画像データを生成する除算処理を実行するステップと、
    前記第1の画像データに前記第3の画像データを乗じて出力画像データを生成する乗算処理を実行するステップと、
    を有する画像処理方法。
JP2018512805A 2016-04-21 2017-02-24 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法 Active JP6647394B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016085560 2016-04-21
JP2016085560 2016-04-21
PCT/JP2017/007192 WO2017183297A1 (ja) 2016-04-21 2017-02-24 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法

Publications (2)

Publication Number Publication Date
JPWO2017183297A1 JPWO2017183297A1 (ja) 2019-02-28
JP6647394B2 true JP6647394B2 (ja) 2020-02-14

Family

ID=60115996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018512805A Active JP6647394B2 (ja) 2016-04-21 2017-02-24 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法

Country Status (4)

Country Link
US (1) US11100622B2 (ja)
JP (1) JP6647394B2 (ja)
KR (1) KR102567186B1 (ja)
WO (1) WO2017183297A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220161595A (ko) 2021-05-27 2022-12-07 삼성디스플레이 주식회사 전자 장치 및 그 구동 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100247938B1 (ko) * 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US7308154B1 (en) * 2003-10-20 2007-12-11 Rockwell Collins, Inc. Method and apparatus for enhancing a degraded digital image
WO2007063918A1 (ja) * 2005-11-29 2007-06-07 Kyocera Corporation 撮像装置およびその方法
JP4787959B2 (ja) * 2006-01-10 2011-10-05 国立大学法人東京工業大学 画像復元フィルタ及びそれを用いた画像復元方法
US8306348B2 (en) * 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
KR101341101B1 (ko) * 2007-09-11 2013-12-13 삼성전기주식회사 영상 복원 장치 및 복원 방법
JP4945532B2 (ja) * 2008-09-05 2012-06-06 株式会社東芝 劣化画像復元方法、劣化画像復元装置、及び、プログラム
US8803984B2 (en) * 2010-02-10 2014-08-12 Dolby International Ab Image processing device and method for producing a restored image using a candidate point spread function
JP2011237997A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012216888A (ja) * 2011-03-31 2012-11-08 Sony Corp 画像理装置および方法、並びにプログラム
JP5809865B2 (ja) * 2011-07-19 2015-11-11 株式会社 日立産業制御ソリューションズ 画像処理装置及び画像処理方法
JP2013162280A (ja) * 2012-02-03 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、サーバ、クライアント端末、画像処理システム、及び画像処理システムにおける方法
JP6091176B2 (ja) * 2012-11-19 2017-03-08 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5983373B2 (ja) * 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
CN104580879B (zh) * 2013-10-09 2018-01-12 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
JP6381376B2 (ja) * 2014-09-02 2018-08-29 キヤノン株式会社 撮像装置、カメラシステム、画像処理装置および画像処理プログラム
WO2016052027A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
WO2017183297A1 (ja) 2017-10-26
KR20180136973A (ko) 2018-12-26
US20190295230A1 (en) 2019-09-26
JPWO2017183297A1 (ja) 2019-02-28
US11100622B2 (en) 2021-08-24
KR102567186B1 (ko) 2023-08-16

Similar Documents

Publication Publication Date Title
US8422827B2 (en) Image correction apparatus and image correction method
JP2007188493A (ja) 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
JP2017010092A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP4856293B2 (ja) 撮像装置及び画像復元方法
JP2016058081A (ja) ぼやけた画像に基づいて鮮明な画像を生成する方法および装置
JP7319390B2 (ja) ぼけた画像/ビデオを用いたsfm/slamへの適用を有する畳み込みニューラルネットワークを使用した画像/ビデオのボケ除去
US20100092086A1 (en) Method and system for image deblurring
US20150248776A1 (en) Image capturing apparatus, image capturing system, and image capturing method
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR20130104258A (ko) 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
JP2012054795A (ja) 画像処理装置及び画像処理方法
JP2017010093A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6647394B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法
JP6541454B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6624061B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
JP7191588B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
US20220405892A1 (en) Image processing method, image processing apparatus, image processing system, and memory medium
JP6661491B2 (ja) 画像処理装置および画像処理方法
WO2018003938A1 (ja) 映像信号処理装置、映像信号処理方法、およびプログラム
JP2014099048A (ja) 画像復元装置および画像復元方法
WO2019163243A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP5743772B2 (ja) 画像処理システム
JP2016119532A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2019144808A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP6350205B2 (ja) 処理装置、処理方法および処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190924

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190924

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200114

R150 Certificate of patent or registration of utility model

Ref document number: 6647394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250