JP5973783B2 - 画像処理装置、プログラム及び画像処理方法 - Google Patents
画像処理装置、プログラム及び画像処理方法 Download PDFInfo
- Publication number
- JP5973783B2 JP5973783B2 JP2012117318A JP2012117318A JP5973783B2 JP 5973783 B2 JP5973783 B2 JP 5973783B2 JP 2012117318 A JP2012117318 A JP 2012117318A JP 2012117318 A JP2012117318 A JP 2012117318A JP 5973783 B2 JP5973783 B2 JP 5973783B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- determination target
- sequence
- information
- scene change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 173
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 173
- 230000008859 change Effects 0.000 claims description 136
- 230000008569 process Effects 0.000 claims description 135
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 description 45
- 230000037430 deletion Effects 0.000 description 45
- 230000008602 contraction Effects 0.000 description 16
- 230000005764 inhibitory process Effects 0.000 description 16
- 230000004048 modification Effects 0.000 description 15
- 238000012986 modification Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 6
- 239000002775 capsule Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001629 suppression Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理(例えば内視鏡画像列であれば診断等の医療行為)を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。
本実施形態の基本的な手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。その後、シーンチェンジ検出手法の変形例、及び各部分画像列に対する処理における基準画像と判定対象画像の選択手法の変形例についても述べる。
図1に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部100と、画像列取得部200と、記憶部300を含む。
次に、図4のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず画像列取得部200において、画像要約処理の対象となる画像列が取得される(S101)。
なお、上記手法には種々の変形例が考えられる。例えば、シーンチェンジの検出は上述の手法に限定されるものではない。具体的には、画像列取得部200により取得された画像列のうちの2枚の画像(狭義には隣り合う2枚の画像)の類似度情報に基づいて、シーンチェンジを検出してもよい。画像間の類似度が高いほうが変形情報も正確に推定可能であると考えられるため、画像間の類似度情報も変形情報の精度を表す情報として利用できるためである。この場合、画像間の類似度情報としては、公知技術であるNCCや、画像間相違度の公知技術であるSSDやSADの逆数等を利用すればよい。類似度情報により表される値が所与の閾値よりも低い場合に、2枚の画像間でシーンチェンジが起きたと判定する。例えば、隣り合う第1の画像と第2の画像との間の類似度が低いと判定された場合には、図14に示したように、第1の画像と第2の画像との間でシーンチェンジが起きたものとすればよい。シーンチェンジの位置を一意に決定することを考えれば、類似度情報を求める2枚の画像は、画像列において隣り合っていることが望ましい。
次に、変形情報を用いた削除可否判定処理の他の手法について説明する。本実施形態の画像処理装置の構成例は、削除可否判定部1006での処理内容が異なるものの、図1と同様であるため詳細な説明は省略する。また、処理の流れについても、S107での処理内容が異なるものの、図4のフローチャートと同様であるため詳細な説明は省略する。
まず、削除可否判定処理として、注目領域に対応した構造要素を用いた処理を行う例について説明する。図15に示したように、削除可否判定部1006は、構造要素生成部1017と、被覆領域算出部1010と、注目領域見逃し可能性判定部1018と、を含んでもよい。ただし、削除可否判定部1006は、図15の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
上述したように、削除可否判定処理としては、被覆率を用いたものや構造要素を用いたものが考えられる。ただし、削除可否判定処理はそれらを単体で用いる処理に限定されず、複数を組み合わせてもよい。
1001 変形情報取得部、1002 シーンチェンジ検出部、
1003 部分画像列設定部、1004 基準画像選択部、
1005 判定対象画像選択部、1006 削除可否判定部、
1010 被覆領域算出部、1011 被覆率算出部、1012 閾値判定部、
1017 構造要素生成部、1018 注目領域見逃し可能性判定部
Claims (17)
- 複数の画像を有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
を含み、
前記処理部は、
前記画像列からシーンチェンジを検出し、
検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、
設定された前記部分画像列から基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。 - 請求項1において、
前記処理部は、
前記判定対象画像の削除可否の判定に用いられる前記変形情報の精度を表す精度情報に基づいて、前記シーンチェンジを検出することを特徴とする画像処理装置。 - 請求項2において、
前記処理部は、
前記複数の画像のうちの選択画像の各画素に対して、前記変形情報の算出に適しているか否かの判定を行い、適していると判定された画素の数に基づいて前記精度情報を求め、求めた前記精度情報に基づいて、前記画像列における前記選択画像に対応する位置での前記シーンチェンジを検出する処理を行うことを特徴とする画像処理装置。 - 請求項3において、
前記処理部は、
前記選択画像上に、前記変形情報の算出に適しているか否かの判定の対象となっている処理対象画素を含む所与のサイズの領域を設定し、設定された前記領域でのテクスチャ情報に基づいて、前記処理対象画素が前記変形情報の算出に適しているか否かの判定を行うことを特徴とする画像処理装置。 - 請求項2において、
前記処理部は、
前記複数の画像のうちの第1の画像と、前記第1の画像の次の第2の画像の間の類似度情報を前記精度情報として求め、求めた前記精度情報に基づいて、前記画像列における前記第1の画像と前記第2の画像の間の位置での前記シーンチェンジを検出する処理を行うことを特徴とする画像処理装置。 - 請求項2乃至5のいずれかにおいて、
前記処理部は、
前記精度情報により表される値が、所与の精度閾値よりも小さい場合に、前記シーンチェンジを検出したと判定することを特徴とする画像処理装置。 - 請求項1において、
前記処理部は、
前記複数の画像から求められた動き情報、特定の被写体の撮像情報、及び明度情報の少なくとも1つに基づいて前記シーンチェンジを検出することを特徴とする画像処理装置。 - 請求項1乃至7のいずれかにおいて、
前記処理部は、
前記画像列から第i(iは整数)のシーンチェンジと、前記第iのシーンチェンジの次の第i+1のシーンチェンジを検出した場合に、
前記画像列の前記複数の画像のうち、前記第iのシーンチェンジの後方で、且つ前記第i+1のシーンチェンジの前方の前記画像を前記部分画像列として設定することを特徴とする画像処理装置。 - 請求項1乃至8のいずれかにおいて、
前記処理部は、
前記部分画像列を複数設定した場合には、複数の前記部分画像列に対して並列に、
前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。 - 請求項9において、
前記処理部は、
前記画像列から第j(jは整数)のシーンチェンジを検出した場合に、
前記画像列の前記複数の画像のうち、前記第jのシーンチェンジの前方の前記画像を含む第k(kは整数)の部分画像列と、前記第jのシーンチェンジの後方の前記画像を含む第k+1の部分画像列を設定し、
前記第kの部分画像列から前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う処理と、
前記第k+1の部分画像列から前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う処理とを、
並行して実行することを特徴とする画像処理装置。 - 請求項1乃至10のいずれかにおいて、
前記処理部は、
前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、
前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。 - 請求項11において、
前記処理部は、
前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像に占める前記被覆領域の割合を、前記被覆率として算出することを特徴とする画像処理装置。 - 請求項1乃至12のいずれかにおいて、
前記処理部は、
前記基準画像と前記判定対象画像の間の前記変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行うことを特徴とする画像処理装置。 - 請求項13において、
前記変形情報を用いた処理は、
前記基準画像及び前記判定対象画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、
前記構造要素を用いた処理は、
前記構造要素による収縮処理、又は前記基準画像により前記判定対象画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であることを特徴とする画像処理装置。 - 請求項13において、
前記処理部は、
前記変形情報を用いた処理として、
前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われない領域である非被覆領域を求める処理を行い、
前記構造要素を用いた処理として、
前記非被覆領域に対して前記構造要素による収縮処理を行うことを特徴とする画像処理装置。 - 複数の画像を有する画像列を取得する画像列取得部と、
前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
コンピュータを機能させ、
前記処理部は、
前記画像列からシーンチェンジを検出し、
検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、
設定された前記部分画像列から基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とするプログラム。 - 複数の画像を有する画像列を取得し、
取得した前記画像列からシーンチェンジを検出し、
検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、
設定された前記部分画像列から基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことで、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012117318A JP5973783B2 (ja) | 2012-05-23 | 2012-05-23 | 画像処理装置、プログラム及び画像処理方法 |
EP13757814.2A EP2823754A4 (en) | 2012-03-07 | 2013-03-07 | Image processing device, program and image processing method |
PCT/JP2013/056271 WO2013133368A1 (ja) | 2012-03-07 | 2013-03-07 | 画像処理装置、プログラム及び画像処理方法 |
CN201610808300.1A CN106127796B (zh) | 2012-03-07 | 2013-03-07 | 图像处理装置和图像处理方法 |
CN201380012887.XA CN104159501B (zh) | 2012-03-07 | 2013-03-07 | 图像处理装置和图像处理方法 |
PCT/JP2013/058489 WO2013157354A1 (ja) | 2012-04-18 | 2013-03-25 | 画像処理装置、プログラム及び画像処理方法 |
EP13778652.1A EP2839770A4 (en) | 2012-04-18 | 2013-03-25 | Image processing device, program and image processing method |
CN201380020663.3A CN104244801B (zh) | 2012-04-18 | 2013-03-25 | 图像处理装置和图像处理方法 |
US14/479,235 US9576362B2 (en) | 2012-03-07 | 2014-09-05 | Image processing device, information storage device, and processing method to acquire a summary image sequence |
US14/514,062 US9740939B2 (en) | 2012-04-18 | 2014-10-14 | Image processing device, information storage device, and image processing method |
US15/590,270 US10037468B2 (en) | 2012-04-18 | 2017-05-09 | Image processing device, information storage device, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012117318A JP5973783B2 (ja) | 2012-05-23 | 2012-05-23 | 画像処理装置、プログラム及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013246454A JP2013246454A (ja) | 2013-12-09 |
JP5973783B2 true JP5973783B2 (ja) | 2016-08-23 |
Family
ID=49846212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012117318A Active JP5973783B2 (ja) | 2012-03-07 | 2012-05-23 | 画像処理装置、プログラム及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5973783B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6508009B2 (ja) * | 2015-06-29 | 2019-05-08 | 株式会社リコー | 端末装置、画面記録方法、プログラム及び情報処理システム |
WO2024171439A1 (ja) * | 2023-02-17 | 2024-08-22 | 三菱電機株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5147308B2 (ja) * | 2007-06-20 | 2013-02-20 | オリンパス株式会社 | 画像抽出装置および画像抽出プログラム |
JP2010158308A (ja) * | 2009-01-06 | 2010-07-22 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
-
2012
- 2012-05-23 JP JP2012117318A patent/JP5973783B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013246454A (ja) | 2013-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10037468B2 (en) | Image processing device, information storage device, and image processing method | |
US9576362B2 (en) | Image processing device, information storage device, and processing method to acquire a summary image sequence | |
US9672619B2 (en) | Image processing device, information storage device, and image processing method | |
JP6242072B2 (ja) | 画像処理装置、プログラム及び画像処理装置の作動方法 | |
JP6188477B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN113573654A (zh) | 用于检测并测定病灶尺寸的ai系统 | |
JP5948200B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
JP5963480B2 (ja) | 画像要約装置及びプログラム | |
JP5973783B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
JP5973771B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
US9349159B2 (en) | Image processing device, image processing method, and information storage device | |
JP5973770B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
JP5980567B2 (ja) | 画像処理装置、プログラム及び画像処理装置の作動方法 | |
Nosato et al. | Method of retrieving multi-scale objects from optical colonoscopy images based on image-recognition techniques | |
JP5896791B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
US10964021B2 (en) | Information processing apparatus, information processing method, and information processing system | |
JP2015167334A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN116977411A (zh) | 内镜移动速度估计方法及装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160715 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5973783 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |