JP4717897B2 - 画像処理装置、画像処理方法、画像処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理装置、画像処理方法、画像処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4717897B2 JP4717897B2 JP2008012037A JP2008012037A JP4717897B2 JP 4717897 B2 JP4717897 B2 JP 4717897B2 JP 2008012037 A JP2008012037 A JP 2008012037A JP 2008012037 A JP2008012037 A JP 2008012037A JP 4717897 B2 JP4717897 B2 JP 4717897B2
- Authority
- JP
- Japan
- Prior art keywords
- channel
- image processing
- processing apparatus
- interpolation
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 73
- 238000003672 processing method Methods 0.000 title description 5
- 238000000605 extraction Methods 0.000 claims description 54
- 230000009021 linear effect Effects 0.000 claims description 35
- 230000008878 coupling Effects 0.000 claims description 20
- 238000010168 coupling process Methods 0.000 claims description 20
- 238000005859 coupling reaction Methods 0.000 claims description 20
- 125000001475 halogen functional group Chemical group 0.000 claims description 14
- 230000001419 dependent effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 42
- 230000003044 adaptive effect Effects 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000002156 mixing Methods 0.000 description 14
- 230000006978 adaptation Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本実施の形態では、入力画像を複数のチャンネルに分ける非線形フィルタで入力画像の予備的処理を行い得ると判断した。注目されることは、これらのチャンネルは周波数帯を必要としないか、或いは、周波数域と直接関係付けられることである。或るチャンネルは、画像におけるエッジの内容と、徐々に変化する「平坦な」領域とを含んでもよい。他のチャンネルは、画像からエッジを差し引いたもののテクスチャを含んでもよい。この画像をチャンネルに分けるために使用される非線形フィルタの効果は、図5および図6に示されている。図5は、シーブフィルタのような非線形フィルタに適用されるべき入力画像である。このフィルタは、図6に示す2つのチャンネルを作り出す。非線形フィルタの非線形効果は、図6(a)の画像に見られ、該画像では、(一般に、高い空間周波数を含む)エッジが保たれ、ほぼ鮮鋭に残っている。一方、(これもまた高い空間周波数を含む)テクスチャは、フィルタリングされて、図6の(b)に示されるようになる。線形フィルタは、このような選択的なフィルタリングには適していない。
本発明の他の実施の形態について図8および図9に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
本発明の他の実施の形態について図10に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
本発明の他の実施の形態について図11〜13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
100 テクスチャ情報
102 エッジ+フラット領域情報
104、222、340 エッジ適応補間部(第2補間手段、チャンネル補間手段)
106、148、224、330 テクスチャ補間部(第1補間手段、チャンネル補間手段)
108、226 結合部(結合手段)
120、350 エッジ抽出アルファマップ形成部
122 アルファチャンネル
152 ハロー生成部(ハロー生成手段)
154 エッジ抽出部
210、302 2チャンネル非線形スプリットフィルタ(抽出手段、チャンネル抽出手段)
230 スプリットフィルタ補償部
310 2チャンネル空間分解部(チャンネル抽出手段)
320 チャンネル特定補間部
360、370 チャンネル結合部(チャンネル結合手段)
Claims (23)
- 取得した画像データからテクスチャ情報を含む第1のチャンネルとエッジおよびフラット領域情報を含む第2のチャンネルとを抽出する抽出手段と、
上記抽出手段で抽出された第1のチャンネルを第1フィルタを用いて補間する第1補間手段と、
上記抽出手段で抽出された第2のチャンネルを第2フィルタを用いて補間する第2補間手段と、
上記第1補間手段で補間された第1補間チャンネルと、上記第2補間手段で補間された第2補間チャンネルとを結合する結合手段とを備え、
上記結合手段は、バイナリーエッジマップから作成されたグレースケールのアルファチャンネルを用いて、上記第1補間チャンネルと上記第2補間チャンネルとを結合することを特徴とする画像処理装置。 - 上記抽出手段は、非線形フィルタを用いて抽出することを特徴とする請求項1に記載の画像処理装置。
- 上記非線形フィルタは、シーブ(sieve)フィルタであることを特徴とする請求項2に記載の画像処理装置。
- 上記第1フィルタは、線形フィルタであることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
- 上記第2フィルタは、非線形フィルタであることを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
- 上記結合手段は、ハロー生成手段(halo generation)が生成したグレースケールハローを用いて補間された上記第2補間チャンネルと上記第1補間チャンネルとを結合することを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
- 上記結合手段は、上記第1のチャンネルにおけるエッジから離れた領域が変更後の画像に寄与するように動作することを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
- 上記抽出手段が非線形フィルタを用いて抽出する場合、該非線形フィルタは、
上記画像データに図形データと自然データとが含まれるとき、該図形データを含む第3のチャンネルを、
上記画像データにテキストデータと非テキストデータとが含まれるとき、該テキストデータを含む第3のチャンネルを、
上記画像データに顔部データと非顔部データとが含まれるとき、該顔部データを含む第3のチャンネルを、
抽出することを特徴とする請求項2に記載の画像処理装置。 - 上記結合手段は、上記第1のチャンネルと上記第2のチャンネルと上記第3のチャンネルとを結合することを特徴とする請求項8に記載の画像処理装置。
- 上記抽出手段は、スプリット(splitting)フィルタを用いて抽出することを特徴とする請求項1〜9のいずれか1項に記載の画像処理装置。
- 上記第2フィルタは、データ依存三角分割(DDT(data dependent triangulation))を行うものである事を特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
- 上記DDTは、異なる方向に初期の三角分割を行うものであることを特徴とする請求項11に記載の画像処理装置。
- 上記DDTは、部分的なエッジの方向を評価することにより、対角線を変更して初期化されることを特徴とする請求項11に記載の画像処理装置。
- 上記第2のチャンネルは、上記補間される前に、上記抽出手段における非線形フィルタによって抽出されることを特徴とする請求項2に記載の画像処理装置。
- 取得した画像データから少なくとも2つのチャンネルを抽出するチャンネル抽出手段と、
上記チャンネル抽出手段で抽出されたそれぞれのチャンネルにおけるそれぞれの選択情報を強化するように、それぞれのフィルタで補間する複数のチャンネル補間手段と、
上記複数の補間手段で補間されたそれぞれのチャンネルを結合するチャンネル結合手段とを備え、
上記結合手段は、バイナリーエッジマップから作成されたグレースケールのアルファチャンネルを用いて、上記複数の補間手段で補間されたそれぞれのチャンネルを結合することを特徴とする画像処理装置。 - 上記フィルタの少なくとも1つは線形フィルタであることを特徴とする請求項15に記載の画像処理装置。
- 上記フィルタの少なくとも1つは非線形フィルタであることを特徴とする請求項15に記載の画像処理装置。
- 上記結合手段は、アルファチャンネルを用いて結合を行うものであることを特徴とする請求項15に記載の画像処理装置。
- 上記フィルタの少なくとも1つは、テクスチャと、フィルム粒子と、テキストおよび画像と、スクロール文字と、エッジおよびフラット領域(edges and flat regions)との中のいずれかのためのものであることを特徴とする請求項15に記載の画像処理装置。
- 上記抽出手段は、第1解像度を有する画像を取得しており、
上記結合手段は、チャンネルを結合して補償することにより、上記画像を、第1解像度よりも大きな第2解像度を有する画像に変更することを特徴とする請求項1〜19のいずれか1項に記載の画像処理装置。 - 請求項1〜20のいずれか1項に記載の画像処理装置を動作させる画像処理装置制御プログラムであって、コンピュータを上記の各手段として機能させるための画像処理装置制御プログラム。
- 請求項21に記載の画像処理装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 取得した画像データからテクスチャ情報を含む第1のチャンネルとエッジおよびフラット領域情報を含む第2のチャンネルとを抽出する抽出ステップと、
上記抽出ステップで抽出された第1のチャンネルを第1フィルタを用いて補間する第1補間ステップと、
上記抽出ステップで抽出された第2のチャンネルを第2フィルタを用いて補間する第2補間ステップと、
上記第1補間ステップで補間された第1補間チャンネルと、上記第2補間ステップで補間された第2補間チャンネルとを結合する結合ステップとを含み、
上記結合ステップでは、バイナリーエッジマップから作成されたグレースケールのアルファチャンネルを用いて、上記第1補間チャンネルと上記第2補間チャンネルとを結合することを特徴とする画像処理方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US89701407P | 2007-01-22 | 2007-01-22 | |
US60/897,014 | 2007-01-22 | ||
US89733007P | 2007-01-24 | 2007-01-24 | |
US60/897,330 | 2007-01-24 | ||
US11/821,128 US8260087B2 (en) | 2007-01-22 | 2007-06-22 | Image upsampling technique |
US11/821,128 | 2007-06-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008176795A JP2008176795A (ja) | 2008-07-31 |
JP4717897B2 true JP4717897B2 (ja) | 2011-07-06 |
Family
ID=39327295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008012037A Expired - Fee Related JP4717897B2 (ja) | 2007-01-22 | 2008-01-22 | 画像処理装置、画像処理方法、画像処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8260087B2 (ja) |
EP (1) | EP1947603A3 (ja) |
JP (1) | JP4717897B2 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8233748B2 (en) * | 2007-07-20 | 2012-07-31 | Samsung Electronics Co., Ltd. | Image-resolution-improvement apparatus and method |
US8300987B2 (en) * | 2007-09-28 | 2012-10-30 | Ati Technologies Ulc | Apparatus and method for generating a detail-enhanced upscaled image |
US8264615B2 (en) * | 2008-06-19 | 2012-09-11 | Marvell World Trade Ltd. | Split edge enhancement architecture |
US20110135217A1 (en) * | 2008-08-15 | 2011-06-09 | Yeping Su | Image modifying method and device |
US8351725B2 (en) * | 2008-09-23 | 2013-01-08 | Sharp Laboratories Of America, Inc. | Image sharpening technique |
WO2011141196A1 (en) * | 2010-05-11 | 2011-11-17 | Zoran (France) | Two-dimensional super resolution scaling |
US8520971B2 (en) * | 2010-09-30 | 2013-08-27 | Apple Inc. | Digital image resampling |
US8494308B2 (en) | 2011-03-10 | 2013-07-23 | Sharp Laboratories Of America, Inc. | Image upscaling based upon directional interpolation |
KR20120108136A (ko) | 2011-03-23 | 2012-10-05 | 삼성전자주식회사 | 이미지 처리 방법 및 상기 방법을 수행할 수 있는 장치들 |
US8483516B2 (en) * | 2011-08-16 | 2013-07-09 | National Taiwan University | Super resolution system and method with database-free texture synthesis |
JP5712387B2 (ja) * | 2012-05-31 | 2015-05-07 | 株式会社アクセル | 画像表示処理方法及び画像表示処理装置 |
JP5712388B2 (ja) * | 2012-08-31 | 2015-05-07 | 株式会社アクセル | 画像表示処理方法及び画像表示処理装置 |
JP5633046B2 (ja) * | 2012-08-31 | 2014-12-03 | 株式会社アクセル | 画像情報処理方法及び画像情報処理システム |
US9305332B2 (en) | 2013-03-15 | 2016-04-05 | Samsung Electronics Company, Ltd. | Creating details in an image with frequency lifting |
US9536288B2 (en) | 2013-03-15 | 2017-01-03 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency lifting |
US9066025B2 (en) * | 2013-03-15 | 2015-06-23 | Samsung Electronics Co., Ltd. | Control of frequency lifting super-resolution with image features |
US9349188B2 (en) | 2013-03-15 | 2016-05-24 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency strength controlled transform |
CN105408935B (zh) | 2013-04-26 | 2018-12-21 | 弗劳恩霍夫应用研究促进协会 | 上采样和信号增强 |
US9675247B2 (en) * | 2014-12-05 | 2017-06-13 | Ricoh Co., Ltd. | Alpha-matting based retinal vessel extraction |
US9652829B2 (en) | 2015-01-22 | 2017-05-16 | Samsung Electronics Co., Ltd. | Video super-resolution by fast video segmentation for boundary accuracy control |
CN110969581B (zh) * | 2018-09-30 | 2023-10-20 | 成都微晶景泰科技有限公司 | 无偏振片的液晶光学元件成像方法、装置、设备及介质 |
CN109978766B (zh) * | 2019-03-12 | 2020-10-16 | 深圳市华星光电技术有限公司 | 图像放大方法及图像放大装置 |
CN110636217B (zh) * | 2019-08-29 | 2020-07-28 | 上海斯俊慕智能科技有限公司 | 自动化现场数据处理系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01222509A (ja) * | 1988-01-25 | 1989-09-05 | Philips Gloeilampenfab:Nv | 乗法シーブ信号処理方法とその装置 |
JP2006155179A (ja) * | 2004-11-29 | 2006-06-15 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5327257A (en) * | 1992-02-26 | 1994-07-05 | Cymbolic Sciences International Ltd. | Method and apparatus for adaptively interpolating a digital image |
US6127990A (en) * | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
WO2003009579A2 (en) * | 2001-07-17 | 2003-01-30 | Amnis Corporation | Computational methods for the segmentation of images of objects from background in a flow imaging instrument |
US7391933B2 (en) * | 2003-10-30 | 2008-06-24 | Samsung Electronics Co., Ltd. | Method and apparatus for image interpolation based on adaptive polyphase filters |
CN1965330B (zh) * | 2004-06-09 | 2010-04-14 | 松下电器产业株式会社 | 图象处理方法及图象处理装置、图象放大方法 |
US7697782B2 (en) * | 2004-09-16 | 2010-04-13 | Sharp Laboratories Of America, Inc. | System for reducing ringing artifacts |
US8023567B2 (en) * | 2004-11-24 | 2011-09-20 | Thomson Licensing | Film grain simulation technique for use in media playback devices |
-
2007
- 2007-06-22 US US11/821,128 patent/US8260087B2/en not_active Expired - Fee Related
-
2008
- 2008-01-21 EP EP08001051.5A patent/EP1947603A3/en not_active Withdrawn
- 2008-01-22 JP JP2008012037A patent/JP4717897B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01222509A (ja) * | 1988-01-25 | 1989-09-05 | Philips Gloeilampenfab:Nv | 乗法シーブ信号処理方法とその装置 |
JP2006155179A (ja) * | 2004-11-29 | 2006-06-15 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20080291332A1 (en) | 2008-11-27 |
EP1947603A3 (en) | 2013-08-07 |
JP2008176795A (ja) | 2008-07-31 |
US8260087B2 (en) | 2012-09-04 |
EP1947603A2 (en) | 2008-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4717897B2 (ja) | 画像処理装置、画像処理方法、画像処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3654420B2 (ja) | 画像変換方法、画像処理装置、および画像表示装置 | |
US8351725B2 (en) | Image sharpening technique | |
US7613363B2 (en) | Image superresolution through edge extraction and contrast enhancement | |
US9552625B2 (en) | Method for image enhancement, image processing apparatus and computer readable medium using the same | |
KR20140099319A (ko) | 디지털 메이크업 | |
TW200803467A (en) | Selective local transient improvement and peaking for video sharpness enhancement | |
WO2011033619A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 | |
US7120305B2 (en) | Adaptive nonlinear image enlargement using wavelet transform coefficients | |
WO2010140281A1 (ja) | 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
CN109168065B (zh) | 视频增强方法、装置、电子设备及存储介质 | |
US8098951B2 (en) | Image sharpening technique | |
US8891906B2 (en) | Pixel-adaptive interpolation algorithm for image upscaling | |
US20110135217A1 (en) | Image modifying method and device | |
US20110050700A1 (en) | Image processing apparatus and method and image display apparatus | |
US20140044376A1 (en) | Signal processing device, control program and integrated circuit | |
WO2010134292A1 (ja) | 描画装置及び描画方法 | |
JP2004133592A (ja) | 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム | |
US20080187236A1 (en) | Image Contrast and Sharpness Enhancement | |
US8199257B2 (en) | Video filter and video processor and processing method using the same | |
KR100905524B1 (ko) | 확대된 영상의 흐려짐 선명화 장치 및 방법 | |
US6687417B1 (en) | Modified kernel for image interpolation | |
JP4235217B2 (ja) | フィルタリング型画像補正装置およびフィルタリング型画像補正方法 | |
Savagave et al. | Study of image interpolation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110330 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |