JP6242230B2 - 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム - Google Patents
画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6242230B2 JP6242230B2 JP2014024049A JP2014024049A JP6242230B2 JP 6242230 B2 JP6242230 B2 JP 6242230B2 JP 2014024049 A JP2014024049 A JP 2014024049A JP 2014024049 A JP2014024049 A JP 2014024049A JP 6242230 B2 JP6242230 B2 JP 6242230B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- noise reduction
- synthesis
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 166
- 238000000034 method Methods 0.000 title claims description 62
- 239000000203 mixture Substances 0.000 claims description 184
- 230000033001 locomotion Effects 0.000 claims description 165
- 230000009467 reduction Effects 0.000 claims description 93
- 238000003384 imaging method Methods 0.000 claims description 75
- 230000015572 biosynthetic process Effects 0.000 claims description 68
- 238000003786 synthesis reaction Methods 0.000 claims description 68
- 239000013598 vector Substances 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 51
- 238000011946 reduction process Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 40
- 238000002156 mixing Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 206010047571 Visual impairment Diseases 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 239000002344 surface layer Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000008855 peristalsis Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 231100000957 no side effect Toxicity 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
Description
上述したSADは、現フレームと前フレームの画素値を同一位置で比べたものであり、局所的な動きの程度(静止の程度)を表すものと言える。SADが小さい領域では、被写体は静止していると考えられるため、時間方向のノイズ低減処理において残像は発生していないと考えられる。そのため、SADが小さい領域では、大きなブレンド率で時間方向のノイズ低減処理の結果をブレンドすることで、残像を抑制しつつ解像度の高いノイズ低減が可能となる。
2.1.内視鏡装置
以下、詳細な実施形態について説明する。図2に、第1実施形態における内視鏡装置の構成例を示す。内視鏡システムは、光源部100と、撮像部200と、制御装置300と、表示部400と、外部I/F部500と、を含む。制御装置300は、補間処理部310と、ノイズ低減処理部320と、フレームメモリー330と、表示画像生成部340と、制御部390と、を含む。
図5に、ノイズ低減処理部320の詳細な構成例を示す。ノイズ低減処理部320は、類似度検出部321と、撮影条件取得部322と、第1のノイズ低減処理部323と、第2のノイズ低減処理部324と、画像合成部325と、を含む。
次に、類似度検出部の詳細について説明する。類似度検出部321は、現フレームと前フレームとを用いて、類似度である差分平均値mSADを算出する。以下に差分平均値mSADについて詳しく説明する。
次に、空間方向のノイズ低減処理の詳細について説明する。本実施形態において、空間方向のノイズ低減処理は、ノイズ低減処理の対象となる画素(注目画素)とその周辺の画素を用いた加重平均処理である。具体的には、下式(3)を用いてノイズを低減する。
以上のように、ノイズ低減処理部320は、時間方向のノイズ低減処理と空間方向のノイズ低減処理を行う。時間方向のノイズ低減処理は、解像感を保持できる反面、残像の副作用があり、時間方向のノイズ低減処理は、残像が生じない反面、解像が低下する副作用がある。
図11に、画像合成部325の詳細な構成例を示す。画像合成部325は、類似度である差分平均値mSADとグローバルな動き量MVとに基づいてブレンド率を決定するブレンド率決定部611と、そのブレンド率に基づいて時間方向NR画像と空間方向NR画像をブレンドするブレンド処理部612と、を含む。
次に、第2実施形態について説明する。「1.本実施形態の概要」で説明したように、画質を低下させる2つ目の状況として画像の明るさに大きな変化が生じた場合がある。例えば、現フレームが暗い画像であり、前フレームが明るい画像であるとする。この場合、空間方向NR画像は現フレームと同じく暗い画像となり、時間方向NR画像は現フレームと前フレームを加算した中間の明るさの画像となる。これらの画像は、場所によって異なるブレンド率αでブレンドされるので、明るさの異なる画素や領域が隣り合わせとなり、その明るさの違いが偽輪郭として現れ、アーティファクトとなってしまう。
次に、第3実施形態について説明する。第3実施形態では、類似度である差分平均値mSADと動き量MVと明るさの変化量AVEall_diffを用いて閾値を決定し、その閾値に基づいて時間方向NR画像と空間方向NR画像のいずれかを選択する。
次に、第4実施形態について説明する。第4実施形態では、明るさの変化量AVEall_diffに基づいて画像の明るさを補正することで、空間方向NR画像と時間方向NR画像の明るさを合わせ、アーティファクトを抑制する。具体的には、時間方向NR画像に明るさの変化量AVEall_diffを加算してから空間方向NR画像とブレンド若しくは選択を行う。
次に、第5実施形態について説明する。第5実施形態では、画像の種類を撮影条件としてブレンド率や選択を制御する。
以上に説明した実施形態では、例えば、画像処理装置を構成する各部をハードウェアで構成してもよいし、或は、撮像画像に対してプロセッサーが各部の処理を行う構成としてもよい。例えば、プロセッサーがプログラムを実行することによって画像処理装置をソフトウェアとして実現することとしてもよい。或は、画像処理装置の各部が行う処理の一部をソフトウェアで構成することとしてもよい。ソフトウェアとして実現する場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをプロセッサーが実行する。
210 ライトガイドファイバー、220 照明レンズ、230 集光レンズ、
240 撮像素子、250 メモリー、280 フィルター駆動部、
290 狭帯域フィルター、300 制御装置、310 補間処理部、
315 画像取得部、320 ノイズ低減処理部、321 類似度検出部、
322 撮影条件取得部、323 第1のノイズ低減処理部、
324 第2のノイズ低減処理部、325 画像合成部、
330 フレームメモリー、340 表示画像生成部、390 制御部、
400 表示部、500 外部I/F部、601 動きベクトル検出部、
602 動きベクトル整列部、603 動きベクトル平均部、
604 明るさ変化量検出部、605 種類情報取得部、
611 ブレンド率決定部、612 ブレンド処理部、
621 閾値決定部、622 選択部
Claims (18)
- 撮像部による時系列の撮像画像を取得する画像取得部と、
前記撮像画像に対して時間方向のノイズ低減処理を施して第1画像を生成する第1のノイズ低減処理部と、
前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第2画像を生成する第2のノイズ低減処理部と、
前記撮像画像のフレーム間の類似度を検出する類似度検出部と、
前記類似度が高いほど前記第1画像の合成度合いが高くなると共に前記第2画像の合成度合いが低くなるように前記第1画像と前記第2画像の合成処理を行う画像合成部と、
前記撮像画像の撮影条件を取得する撮影条件取得部と、
を含み、
前記撮影条件取得部は、
前記撮像部と被写体との間の相対的な動きにより変化する動き情報を前記撮影条件として取得し、
前記画像合成部は、
前記動き情報が表す前記相対的な動きが大きいほど前記第1画像の合成度合いを低くすると共に前記第2画像の合成度合いを高くすることを特徴とする画像処理装置。 - 請求項1において、
前記類似度検出部は、
前記撮像画像の第1の領域において前記類似度を検出し、
前記撮影条件取得部は、
前記撮像画像の前記第1の領域よりも広い第2の領域において前記動き情報を取得することを特徴とする画像処理装置。 - 請求項1において、
前記撮影条件取得部は、
前記撮像部と被写体との間の相対的な動き量を前記動き情報として取得し、
前記画像合成部は、
前記動き量が大きいほど前記第1画像の合成度合いを低くすると共に前記第2画像の合成度合いを高くすることを特徴とする画像処理装置。 - 請求項3において、
前記撮影条件取得部は、
前記撮像画像上での前記被写体のフレーム間における動きベクトルの大きさを前記動き量として取得することを特徴とする画像処理装置。 - 請求項4において、
前記撮影条件取得部は、
前記撮像画像の複数の領域について動きベクトルを検出し、前記複数の領域についての前記動きベクトルを前記動きベクトルの大きさの順に並べ、前記大きさが小さい方から所定割合の前記動きベクトルの平均値を前記動き量として取得することを特徴とする画像処理装置。 - 請求項1において、
前記撮影条件取得部は、
前記撮像画像のフレーム間における明るさの変化量を前記動き情報として取得し、
前記画像合成部は、
前記明るさの変化量が大きいほど前記第1画像の合成度合いを低くすると共に前記第2画像の合成度合いを高くすることを特徴とする画像処理装置。 - 請求項1において、
前記画像合成部は、
前記第1画像に対する第1ブレンド率(α)及び、前記第2画像に対する第2ブレンド率(1−α)を決定し、前記類似度が高いほど前記第1ブレンド率(α)を高くするブレンド率決定部と、
前記第1ブレンド率(α)と前記第2ブレンド率(1−α)で前記第1画像と前記第2画像をブレンドする処理を、前記合成処理として行うブレンド処理部と、
を有し、
前記ブレンド率決定部は、
前記動き情報が表す前記相対的な動きが大きいほど前記第1ブレンド率(α)を低くすることを特徴とする画像処理装置。 - 請求項1において、
前記画像合成部は、
閾値を決定する閾値決定部と、
前記類似度が前記閾値よりも大きい場合には前記第1画像を選択し、前記類似度が前記閾値よりも小さい場合には前記第2画像を選択する選択部と、
を有し、
前記閾値決定部は、
前記動き情報が表す前記相対的な動きが大きいほど前記閾値を低く設定することを特徴とする画像処理装置。 - 請求項1において、
前記撮影条件取得部は、
前記撮像画像の種類を前記撮影条件として取得し、
前記画像合成部は、
前記撮像画像の前記種類が第1の種類である場合と、前記撮像画像の前記種類が第2の種類である場合とで、前記合成度合いを変更することを特徴とする画像処理装置。 - 請求項9において、
前記第1の種類は、白色の波長帯域における情報を有した白色光画像であり、
前記第2の種類は、特定の波長帯域における情報を有した特殊光画像であり、
前記画像合成部は、
前記撮像画像の前記種類が前記特殊光画像である場合には、前記撮像画像の前記種類が前記白色光画像である場合に比べて、前記第1画像の合成度合いを低くすると共に前記第2画像の合成度合いを高くすることを特徴とする画像処理装置。 - 請求項10において、
前記画像合成部は、
前記第1画像に対する第1ブレンド率(α)及び、前記第2画像に対する第2ブレンド率(1−α)を決定し、前記類似度が高いほど前記第1ブレンド率(α)を高くするブレンド率決定部と、
前記第1ブレンド率(α)と前記第2ブレンド率(1−α)で前記第1画像と前記第2画像をブレンドする処理を、前記合成処理として行うブレンド処理部と、
を有し、
前記ブレンド率決定部は、
前記撮像画像の前記種類が前記特殊光画像である場合には、前記撮像画像の前記種類が前記白色光画像である場合に比べて、前記第1ブレンド率を低くすることを特徴とする画像処理装置。 - 請求項10において、
前記画像合成部は、
閾値を決定する閾値決定部と、
前記類似度が前記閾値よりも大きい場合には前記第1画像を選択し、前記類似度が前記閾値よりも小さい場合には前記第2画像を選択する選択部と、
を有し、
前記閾値決定部は、
前記撮像画像の前記種類が前記特殊光画像である場合には、前記撮像画像の前記種類が前記白色光画像である場合に比べて、前記閾値を低く設定することを特徴とする画像処理装置。 - 請求項10において、
前記特定の波長帯域は、
前記白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。 - 請求項1において、
前記類似度は、前記撮像画像の現在フレームの画素値と前記現在フレームよりも前のフレームの画素値との差分値の絶対値を、所定領域において加算した値であり、
前記加算した値が小さいほど前記類似度は高くなることを特徴とする画像処理装置。 - 請求項1に記載された画像処理装置を含むことを特徴とする内視鏡装置。
- 撮像部による時系列の撮像画像を取得する画像取得部と、
前記撮像画像に対して時間方向のノイズ低減処理を施して第1画像を生成する第1のノイズ低減処理部と、
前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第2画像を生成する第2のノイズ低減処理部と、
前記撮像画像のフレーム間の類似度を検出する類似度検出部と、
前記類似度が高いほど前記第1画像の合成度合いが高くなると共に前記第2画像の合成度合いが低くなるように前記第1画像と前記第2画像の合成処理を行う画像合成部と、
前記撮像画像の撮影条件を取得する撮影条件取得部と、
を含み、
前記画像合成部は、
前記撮影条件に基づき前記合成処理における前記合成度合いを変更することを特徴とする内視鏡装置。 - 画像処理装置が、撮像部による時系列の撮像画像を取得し、
前記画像処理装置が、前記撮像画像に対して時間方向のノイズ低減処理を施して第1画像を生成する第1ノイズ低減処理を行い、
前記画像処理装置が、前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第2画像を生成する第2ノイズ低減処理を行い、
前記画像処理装置が、前記撮像画像のフレーム間の類似度を検出し、
前記画像処理装置が、前記撮像部と被写体との間の相対的な動きにより変化する動き情報を前記撮像画像の撮影条件として取得し、
前記画像処理装置が、前記類似度が高いほど前記第1画像の合成度合いが高くなると共に前記第2画像の合成度合いが低くなるように前記第1画像と前記第2画像を合成処理し、前記動き情報が表す前記相対的な動きが大きいほど前記第1画像の合成度合いを低くすると共に前記第2画像の合成度合いを高くすることを特徴とする画像処理装置の作動方法。 - 撮像部による時系列の撮像画像を取得し、
前記撮像画像に対して時間方向のノイズ低減処理を施して第1画像を生成する第1ノイズ低減処理を行い、
前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第2画像を生成する第2ノイズ低減処理を行い、
前記撮像画像のフレーム間の類似度を検出し、
前記撮像部と被写体との間の相対的な動きにより変化する動き情報を前記撮像画像の撮影条件として取得し、
前記類似度が高いほど前記第1画像の合成度合いが高くなると共に前記第2画像の合成度合いが低くなるように前記第1画像と前記第2画像を合成処理し、前記動き情報が表す前記相対的な動きが大きいほど前記第1画像の合成度合いを低くすると共に前記第2画像の合成度合いを高くする、
ステップをコンピューターに実行させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014024049A JP6242230B2 (ja) | 2014-02-12 | 2014-02-12 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014024049A JP6242230B2 (ja) | 2014-02-12 | 2014-02-12 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015150029A JP2015150029A (ja) | 2015-08-24 |
JP6242230B2 true JP6242230B2 (ja) | 2017-12-06 |
Family
ID=53892934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014024049A Expired - Fee Related JP6242230B2 (ja) | 2014-02-12 | 2014-02-12 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6242230B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6688540B2 (ja) * | 2015-07-29 | 2020-04-28 | 株式会社大一商会 | 遊技機 |
JP6653386B2 (ja) * | 2016-07-19 | 2020-02-26 | オリンパス株式会社 | 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 |
JP6812193B2 (ja) * | 2016-10-07 | 2021-01-13 | キヤノン株式会社 | 画像表示システム、画像表示方法、及びプログラム |
EP3848895A4 (en) * | 2018-09-06 | 2021-10-27 | Sony Group Corporation | MEDICAL SYSTEM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2508078B2 (ja) * | 1987-04-30 | 1996-06-19 | 株式会社島津製作所 | X線画像処理装置 |
JPH0613271U (ja) * | 1992-07-15 | 1994-02-18 | 日本アビオニクス株式会社 | Tv画像画質改善方式 |
JP3326819B2 (ja) * | 1992-07-31 | 2002-09-24 | 株式会社島津製作所 | 画像処理装置 |
JP5543194B2 (ja) * | 2009-12-24 | 2014-07-09 | キヤノン株式会社 | 情報処理装置、処理方法及びプログラム |
JP5816511B2 (ja) * | 2011-10-04 | 2015-11-18 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 |
JP5696026B2 (ja) * | 2011-11-25 | 2015-04-08 | 株式会社 日立産業制御ソリューションズ | 撮像装置、撮像方法および監視システム |
-
2014
- 2014-02-12 JP JP2014024049A patent/JP6242230B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015150029A (ja) | 2015-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5816511B2 (ja) | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 | |
US9629525B2 (en) | Image processing device, image processing method, and program | |
JP6150583B2 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
JP5669529B2 (ja) | 撮像装置、プログラム及びフォーカス制御方法 | |
US8711252B2 (en) | Image processing device and information storage medium including motion vector information calculation | |
JP5452242B2 (ja) | 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 | |
US20130165753A1 (en) | Image processing device, endoscope apparatus, information storage device, and image processing method | |
US9501846B2 (en) | Image processing device, image processing method, image processing program, and recording medium storing said program for producing noise-eliminated image | |
US10820787B2 (en) | Endoscope device and focus control method for endoscope device | |
US9826884B2 (en) | Image processing device for correcting captured image based on extracted irregularity information and enhancement level, information storage device, and image processing method | |
JP2012100909A (ja) | 内視鏡装置及びプログラム | |
JP6242230B2 (ja) | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム | |
WO2017122287A1 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
US9323978B2 (en) | Image processing device, endoscope apparatus, and image processing method | |
JP5940604B2 (ja) | 画像処理装置、画像処理装置の作動方法及びプログラム | |
WO2016199264A1 (ja) | 内視鏡装置及びフォーカス制御方法 | |
JP6653386B2 (ja) | 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 | |
JP6942892B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
JP6168878B2 (ja) | 画像処理装置、内視鏡装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6242230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |