JP6516446B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6516446B2 JP6516446B2 JP2014231617A JP2014231617A JP6516446B2 JP 6516446 B2 JP6516446 B2 JP 6516446B2 JP 2014231617 A JP2014231617 A JP 2014231617A JP 2014231617 A JP2014231617 A JP 2014231617A JP 6516446 B2 JP6516446 B2 JP 6516446B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- frequency component
- subject information
- subject
- high frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 32
- 238000003672 processing method Methods 0.000 title claims description 3
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012937 correction Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 28
- 238000000354 decomposition reaction Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000010354 integration Effects 0.000 description 11
- 238000005286 illumination Methods 0.000 description 6
- 238000010428 oil painting Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
(処理の概要)
図1は、本実施例に係る処理の概念図である。本実施例では、図1(a)に例示するような、同一被写体を撮像すること取得できる高解像度画像である色画像101と、低解像度画像である凹凸画像102とを取得する。そして、色画像101を用いた補正により凹凸画像102を高解像化する。図1(b)において、画像103は凹凸画像102の一部の拡大図であり、画像104は色画像101の一部の拡大図であり、画像105は本実施例に係る処理後の凹凸画像の一部の拡大図である。図1(b)から、本実施例に係る処理の結果、凹凸画像が高解像化していることが分かる。
本実施例では、入力情報として、解像度が異なる2つの被写体情報を用いる。被写体情報とは、被写体の物理量を表すマップデータであり、領域毎にデータが配置されている。
図2は、本実施例に係る情報処理装置200のハードウェア構成の一例を示すブロック図である。本実施例に係る情報処理装置200とは、例えば、CPU201と、RAM202と、ROM203とを備えた装置であり、カメラやスキャナ等の凹凸情報を取得可能な装置に搭載される。
以下、上述した機能構成を備えた本実施例に係る情報処理装置200により実行される処理のフローについて、図4を用いて説明する。
IH1’(s)=RH1(s)×Ave(IL1)/Ave(RL1)・・・(式1)
ここで、Ave(RL1)及びAve(IL1)は夫々、RL1、IL1における信号値の平均値である。次いで、S407へと進む。
以上説明したように、本実施例によれば、低解像情報と、高解像情報との相関を局所領域毎に確認しながら低解像情報の高解像化処理を行うことが可能となる。そのため、従来技術とは異なり、相関の保証されない多様な情報に対しても高解像化処理を行うことが可能となる。
尚、上で説明した例では、離散ウェーブレット変換のレベルを2としたが、離散ウェーブレット変換のレベルは3以上でも良い。その場合には、あるレベルの周波数成分を補正する際には、当該あるレベルより1レベル低い周波数成分の相関を評価する。図6にウェーブレット変換のレベルが3の場合の例を示す。図中の低周波数成分IL1(s)を補正するか否かは、1レベル低い周波数成分ILL1(s)と、RLL1(s)との相関に基づいて判定する。また、低周波とみなすレベル及び高周波とみなすレベルは任意に設定して良く、撮像対象や目的に応じて変更しても良い。
以下、実施例2について説明する。上述した実施例1では、高解像情報に低解像情報の高周波成分が含まれるという前提のもとで、補正高周波成分を生成して低解像情報を高解像化する例を示した。
本実施例では低解像情報として、実施例1と同様に公知の光切断法で取得した凹凸情報を用いる。高解像情報としては、後述する撮像システムにより撮像した複数の色画像から作成した影画像の影情報を用いる。
図7は、本実施例に係る撮像システムの構成図である。回転ステージ701の中央部に、被写体702が設置されている。本実施例では、被写体702は、油絵のような凹凸を含む略平面の物体である。被写体702は、撮像装置703により撮像される。
以下では、上記の20枚の色画像から、低解像情報(凹凸情報)の高周波成分が含まれるような高周波情報(影情報)を生成する方法について述べる。
以上説明したように、本実施例によれば、高解像情報が低解像情報の高周波成分を含むようにすることを目的に、高解像情報として、複数条件で撮像された色画像から作成した影画像の影情報を用いる。そのため、1条件で撮像された色画像の色情報を高解像情報として用いる場合に比べ、より好適な低解像情報の高解像化を実現できる。
尚、本実施例では影画像を2値画像としたが、多値画像としても良い。例えば、輝度の差を画素値として格納して良い。また、影領域の抽出方法も、上記のものに限定されない。例えば、画素毎に近傍画素との差分値を計算しておき、画像間で差分値の変化量が閾値以上となる画素を影領域とみなしても良い。
以下、実施例3について説明する。上述した実施例では、高解像な色情報や影情報を用いて低解像な凹凸情報を補正する例を示した。しかしながら、高解像情報及び低解像情報は、同じ物理量を表す情報であっても良い。また、低解像情報を用いて高解像情報の低周波成分を補正しても良い。
図8は、本実施例に係る情報処理装置200のソフトウェア構成を示すブロック図である。以下に説明する情報処理装置200の各コンポーネントは、情報処理装置200のCPU201が所定のプログラムを実行することにより実現される。
本実施例では低解像情報として、実施例1と同様に公知の光切断法で取得した凹凸情報を用いる。高解像情報としては、実施例2で説明した撮像システムにより取得された影情報から推定された凹凸情報を用いる。即ち、低解像情報と同じ物理量(凹凸情報)を表す情報を、高解像情報として用いる。尚、影情報からの凹凸情報推定には、凹凸の高さが幾何関係(対象物、照明、撮像装置の位置関係)と、影画像とから推定できることを利用している。この影情報からの凹凸情報推定方法は、高周波成分を高速に取得可能である一方、低周波な凹凸については明確な影が発生しないため、低周波成分の取得が困難である。
本実施例に係る処理フローは、実施例1における低解像情報と、高解像情報との関係を逆にしたものとなる。即ち、高周波比較部804が、高低周波成分IH1、RH1から局所領域に対応する成分を抽出し、局所領域に対応する成分IH1(s)と、RH1(s)との相関を計算する(図4参照)。
以上説明したように本実施例によれば、高解像情報及び低解像情報が同じ物理量を表す情報である場合にも好適な補正が可能となる。また、低解像情報を用いて高解像情報の低周波成分を補正することができる。
(使用する情報は、色情報と、凹凸情報とに限らない)
上述の実施例では、入力情報が色情報、影情報、凹凸情報である場合を例に挙げて説明したが、入力情報の種類はこれらに限定されない。例えば、低解像情報及び高解像情報の組み合わせとして、色情報と距離情報、色情報と光沢情報、光沢情報と凹凸情報等の組み合わせを使用して良い。また、色情報の代わりに輝度情報を使用しても良く、異なる物理量である2種類の情報の任意の組み合わせを使用することができる。光沢情報を取得するためには、実施例2で説明した撮像システムを用いて、照明とカメラとの幾何関係を変化させながら正反射光成分を取得する方法等を利用することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
低解像情報取得部・・・301
高解像情報取得部・・・302
周波数分解部・・・303
低周波比較部・・・304
高周波補正部・・・305
周波数統合部・・・306
Claims (11)
- 同一の被写体に対する、第1の被写体情報及び第2の被写体情報を取得する取得手段と、
前記第1の被写体情報及び前記第2の被写体情報それぞれを、高周波成分と、低周波成分とに分解する周波数分解手段と、
前記第2の被写体情報の少なくとも一部の領域について、前記周波数分解手段による処理の結果に基づき、前記第2の被写体情報を補正する補正手段と
を備え、
前記補正手段は、前記第2の被写体情報の少なくとも一部の領域について、前記第1の被写体情報の高周波成分に基づいて補正高周波成分を生成し、前記第2の被写体情報の低周波成分と前記補正高周波成分とを用いて、前記第2の被写体情報を復元する情報処理装置であって、
前記第1の被写体情報の低周波成分と、前記第2の被写体情報の低周波成分との相関を計算することで、前記第1の被写体情報と前記第2の被写体情報との類似性を判定する判定手段を更に備え、
前記補正手段は、前記相関が閾値以上である場合に、前記第1の被写体情報の高周波成分から補正高周波成分を生成して、前記第2の被写体情報の高周波成分とすることを特徴とする情報処理装置。 - 前記第1の被写体情報の高周波成分と、前記第2の被写体情報の高周波成分との相関を計算することで、前記第1の被写体情報と前記第2の被写体情報との類似性を判定する判定手段を更に備え、
前記補正手段は、前記相関が閾値以上である場合に、前記第1の被写体情報の低周波成分から補正低周波成分を生成して、前記第2の被写体情報の低周波成分とすることを特徴とする請求項1に記載の情報処理装置。 - 前記補正手段は、被写体情報の領域毎に、前記第2の被写体情報を補正することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記第1の被写体情報及び前記第2の被写体情報は、異なる条件で測定された、同一の物理量を表す複数の被写体情報から生成された情報を含むことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記第1の被写体情報及び前記第2の被写体情報は、色情報、輝度情報、影情報、凹凸情報、距離情報、及び光沢情報を含むことを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
- ユーザが補正の程度を指定可能なユーザインターフェースを表示する表示手段を更に備えることを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
- 前記補正の程度は、被写体情報の領域毎に指定可能であることを特徴とする請求項6に記載の情報処理装置。
- 前記閾値は、被写体情報の周波数毎に設定される請求項3に記載の情報処理装置。
- 前記閾値は、被写体情報の領域毎に設定される請求項3に記載の情報処理装置。
- 同一の被写体に対する、第1の被写体情報及び第2の被写体情報を取得する取得ステップと、
前記第1の被写体情報及び前記第2の被写体情報それぞれを、高周波成分と、低周波成分とに分解する分解ステップと、
前記第2の被写体情報の少なくとも一部の領域について、前記分解ステップによる処理の結果に基づき、前記第2の被写体情報を補正する補正ステップと
を備え、
前記補正ステップにおいて、前記第2の被写体情報の少なくとも一部の領域について、前記第1の被写体情報の高周波成分に基づいて補正高周波成分を生成し、前記第2の被写体情報の低周波成分と前記補正高周波成分とを用いて、前記第2の被写体情報を復元する情報処理方法であって、
前記第1の被写体情報の低周波成分と、前記第2の被写体情報の低周波成分との相関を計算することで、前記第1の被写体情報と前記第2の被写体情報との類似性を判定する判定ステップを更に備え、
前記補正ステップにおいて、前記相関が閾値以上である場合に、前記第1の被写体情報の高周波成分から補正高周波成分を生成して、前記第2の被写体情報の高周波成分とすることを特徴とする情報処理方法。 - コンピュータに請求項10に記載の方法を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231617A JP6516446B2 (ja) | 2014-11-14 | 2014-11-14 | 情報処理装置、情報処理方法、及びプログラム |
US14/933,520 US10026156B2 (en) | 2014-11-14 | 2015-11-05 | Information processing apparatus, information processing method, and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231617A JP6516446B2 (ja) | 2014-11-14 | 2014-11-14 | 情報処理装置、情報処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016095687A JP2016095687A (ja) | 2016-05-26 |
JP2016095687A5 JP2016095687A5 (ja) | 2017-12-28 |
JP6516446B2 true JP6516446B2 (ja) | 2019-05-22 |
Family
ID=55962844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014231617A Active JP6516446B2 (ja) | 2014-11-14 | 2014-11-14 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10026156B2 (ja) |
JP (1) | JP6516446B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9509905B2 (en) * | 2013-12-17 | 2016-11-29 | Google Inc. | Extraction and representation of three-dimensional (3D) and bidirectional reflectance distribution function (BRDF) parameters from lighted image sequences |
JP6516446B2 (ja) * | 2014-11-14 | 2019-05-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2016121346A1 (en) | 2015-01-30 | 2016-08-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and appearance reproduction apparatus |
JP6609141B2 (ja) | 2015-08-27 | 2019-11-20 | キヤノン株式会社 | 画像処理装置およびその方法、並びに、画像形成装置 |
JP6178938B1 (ja) * | 2017-02-06 | 2017-08-09 | 株式会社 アルステクネ | 絵画鑑賞支援システムおよび絵画鑑賞支援方法 |
JP6895821B2 (ja) | 2017-06-28 | 2021-06-30 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2019187455A1 (ja) | 2018-03-27 | 2019-10-03 | キヤノン株式会社 | 画像処理装置、画像表示システム、画像処理方法、及び、プログラム |
JP7204420B2 (ja) | 2018-10-25 | 2023-01-16 | キヤノン株式会社 | 画像処理装置、及び、画像処理方法 |
JP7277231B2 (ja) | 2019-04-15 | 2023-05-18 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7481935B2 (ja) | 2020-07-21 | 2024-05-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030026495A1 (en) * | 2001-03-07 | 2003-02-06 | Gondek Jay Stephen | Parameterized sharpening and smoothing method and apparatus |
JP4502303B2 (ja) * | 2001-07-05 | 2010-07-14 | 株式会社リコー | 画像処理装置 |
US20040208388A1 (en) * | 2003-04-21 | 2004-10-21 | Morgan Schramm | Processing a facial region of an image differently than the remaining portion of the image |
JP3996631B2 (ja) * | 2005-09-09 | 2007-10-24 | 松下電器産業株式会社 | 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット |
US7587099B2 (en) * | 2006-01-27 | 2009-09-08 | Microsoft Corporation | Region-based image denoising |
JP4411613B2 (ja) | 2006-03-06 | 2010-02-10 | ブラザー工業株式会社 | 画像読取装置 |
US7949182B2 (en) * | 2007-01-25 | 2011-05-24 | Hewlett-Packard Development Company, L.P. | Combining differently exposed images of the same object |
US7920746B2 (en) * | 2007-04-23 | 2011-04-05 | Aptina Imaging Corporation | Compressed domain image summation apparatus, systems, and methods |
US7889949B2 (en) | 2007-04-30 | 2011-02-15 | Microsoft Corporation | Joint bilateral upsampling |
TWI363565B (en) * | 2007-06-15 | 2012-05-01 | Mstar Semiconductor Inc | Method and apparatus for image processing |
JP4513905B2 (ja) * | 2008-06-27 | 2010-07-28 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム及び記録媒体 |
US9336575B2 (en) * | 2012-06-25 | 2016-05-10 | Konica Minolta, Inc. | Image processing apparatus, image processing method, and image processing program |
TWI644568B (zh) * | 2013-07-23 | 2018-12-11 | 新力股份有限公司 | 攝像元件、攝像方法及攝像程式 |
US9648355B2 (en) * | 2014-03-07 | 2017-05-09 | Eagle Eye Networks, Inc. | Adaptive security camera image compression apparatus and method of operation |
JP6516446B2 (ja) * | 2014-11-14 | 2019-05-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2014
- 2014-11-14 JP JP2014231617A patent/JP6516446B2/ja active Active
-
2015
- 2015-11-05 US US14/933,520 patent/US10026156B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10026156B2 (en) | 2018-07-17 |
JP2016095687A (ja) | 2016-05-26 |
US20160142587A1 (en) | 2016-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6516446B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10453204B2 (en) | Image alignment for burst mode images | |
Lin et al. | Three-dimensional shape measurement technique for shiny surfaces by adaptive pixel-wise projection intensity adjustment | |
US7986321B2 (en) | System and method for generating structured light for 3-dimensional image rendering | |
JP5193113B2 (ja) | Mtf測定装置およびmtf測定プログラム | |
JP5567922B2 (ja) | 画像処理装置及びその制御方法 | |
US11375165B2 (en) | Image calibration for projected images | |
CN107917679B (zh) | 一种高亮、过暗区域动态检测、补偿的方法 | |
CN110675346A (zh) | 适用于Kinect的图像采集与深度图增强方法及装置 | |
JP5972498B2 (ja) | エッジ検出装置、エッジ検出方法およびプログラム | |
CN111220235B (zh) | 水位监测方法及装置 | |
CN101326549B (zh) | 检测数字图像中的条纹的方法 | |
CN108648222B (zh) | 结构光深度数据空间分辨率的提升方法及装置 | |
JP6823486B2 (ja) | ひび割れ検出方法 | |
JP2021520008A (ja) | 車両検査システムとその方法 | |
US11317078B2 (en) | Method and system for automatic exposure determination for high- resolution structured light 3D imaging | |
WO2017214735A1 (en) | Systems and methods for obtaining a structured light reconstruction of a 3d surface | |
CN116503388B (zh) | 缺陷检测方法、装置及存储介质 | |
GB2551894A (en) | Break analysis apparatus and method | |
WO2017096814A1 (zh) | 一种图像处理方法及装置 | |
JP2018006981A5 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5249813B2 (ja) | Mtf測定用チャート、mtf測定装置およびmtf測定プログラム | |
KR102665603B1 (ko) | 스테레오 매칭을 위한 하드웨어 디스패러티 평가 | |
JP2008219188A (ja) | 画像処理装置、画像処理方法、画像処理装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN108428250B (zh) | 一种应用于视觉定位和标定的x角点检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171114 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190416 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6516446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |