JP6777507B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP6777507B2 JP6777507B2 JP2016222325A JP2016222325A JP6777507B2 JP 6777507 B2 JP6777507 B2 JP 6777507B2 JP 2016222325 A JP2016222325 A JP 2016222325A JP 2016222325 A JP2016222325 A JP 2016222325A JP 6777507 B2 JP6777507 B2 JP 6777507B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- interest
- image processing
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 32
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000013598 vector Substances 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Description
図1は、実施の形態に係る携帯端末12の模式図である。携帯端末12はディスプレイ124とカメラなどの撮像部(図1では不図示)とを備える。携帯端末12のユーザは自己または他人の指14を撮像部で撮像する。撮像部は撮像により得られた指14の画像をJPEGなどの非可逆圧縮方式で圧縮し、メモリ(図1では不図示)に登録する。携帯端末12は、圧縮された指14の画像をメモリから読み出して伸張する。携帯端末12は、伸張の結果得られる指14の伸張画像を処理して指14の凹凸画像を生成し、ディスプレイ124に表示させる。あるいはまた、携帯端末12は凹凸画像と元の伸張画像とを合成してもよいし、凹凸画像を別の視点から指14を撮像して得られる別の凹凸画像と比較してもよいし、予め取得しておいた指14の指紋情報と凹凸画像から得られる指紋情報とを比較してもよい。
Y=0.299×R+0.587×G+0.114×B
…(式1)
輝度値変換部106による変換により、矩形小領域400における輝度値の二次元分布が得られる。
O(x、y)=ax2+bx+cy2+dy+e
…(式2)
ここでa、b、c、d、eはそれぞれ未知数である。矩形小領域400内のj番目の画素(座標(xj、yj))の輝度値をS(xj、yj)と表記する。最小二乗法における誤差評価関数Eは以下の式3で与えられる(5×5の場合、n=25、以下同様)。
図7は、携帯端末12における一連の処理の流れを示すフローチャートである。携帯端末12は、画像保持部116からJPEG方式で圧縮されたデータを読み出し、伸張する(S702)。携帯端末12は、伸張された画像に含まれる全ての画素のRGB値を輝度値へ変換する(S708)。携帯端末12は、輝度値へ変換された伸張画像の画素のなかから注目画素を選択する(S704)。携帯端末12は、選択された注目画素を中心とする矩形小領域を選択する(S706)。携帯端末12は、最小二乗法により、矩形小領域の輝度値の分布を、放物面を表す関数で近似する(S710)。携帯端末12は、近似の結果を用いて、矩形小領域の注目画素における放物面の法線ベクトルを算出する(S712)。携帯端末12は、算出された法線ベクトルと注目画素の座標とを対応付けてベクトル保持部118に登録する(S714)。
実施の形態では、法線ベクトルを用いて凹凸画像を生成する場合を説明したが、法線ベクトルは他にも様々な画像処理に適用可能である。例えば、携帯端末12は、ある視点から指14を撮像して得られる画像(以下、「第1画像」という)について算出された法線ベクトルを、別の視点から指14を撮像して得られる画像(以下、「第2画像」という)について算出された対応する法線ベクトルとマッチングするマッチング部(不図示)を備えてもよい。
(1)特徴点を基に2つの視点の三次元座標を求め、
(2)第1画像および第2画像の法線ベクトルに対して、グローバル空間に一致するように座標回転を行う。
第1画像の法線ベクトルの向きと第2画像の法線ベクトルの向きとが一致する場合、それらの法線ベクトルの内積は1となる。したがって、マッチング部は、法線ベクトル同士の内積が1になるよう(または1に近づくように)シフトして、マッチング処理を行うことで、第1画像と第2画像とを重ね合わせる。内積の演算は比較的単純なので、従来のパターンマッチング法より高速かつ正確にマッチングを行うことが可能である。
なお、3枚以上の画像を重ね合わせてもよい。
Claims (13)
- ひとつの画像から注目画素を基準とする領域を選択する手段と、
選択された領域の画素値の分布について曲面を表す関数で近似する手段と、
近似の結果得られる関数のパラメータから画素値の分布に関するベクトルを算出する手段と、
前記注目画素の座標と前記注目画素について算出されたベクトルとを対応付けて保持する手段と、を備え、
前記保持する手段は、前記注目画素の隣の画素の座標と当該隣の画素について算出されたベクトルとを対応付けて保持する画像処理装置。 - 前記算出する手段は、画素値の分布を近似する関数の法線ベクトルを算出する請求項1に記載の画像処理装置。
- 前記近似する手段は、選択された領域の画素値の分布を、最小二乗法を用いて二次曲面を表す関数で近似する請求項1または2に記載の画像処理装置。
- 二次曲面は放物面である請求項3に記載の画像処理装置。
- 画素値は画素の輝度値を含む請求項1から4のいずれか1項に記載の画像処理装置。
- 前記選択する手段によって選択される領域は、注目画素を中心とする矩形の領域である請求項1から5のいずれか1項に記載の画像処理装置。
- 算出されたベクトルと仮想的な光源とに基づく新たな画像を生成する手段をさらに備える請求項1から6のいずれか1項に記載の画像処理装置。
- ひとつの画像について算出されたベクトルを、他の画像について算出された対応するベクトルとマッチングする手段をさらに備える請求項1から7のいずれか1項に記載の画像処理装置。
- ひとつの画像は、非可逆圧縮された画像を伸張することにより得られた画像である請求項1から8のいずれか1項に記載の画像処理装置。
- 前記注目画素を基準とする領域と前記隣の画素を基準とする領域とに重複部分が存在する請求項1から9のいずれか1項に記載の画像処理装置。
- 前記保持する手段は、前記ひとつの画像に含まれる全ての画素のそれぞれについて算出されたベクトルを保持する請求項1から10のいずれか1項に記載の画像処理装置。
- ひとつの画像から注目画素を基準とする領域を選択することと、
選択された領域の画素値の分布について曲面を表す関数で近似することと、
近似の結果得られる関数のパラメータから画素値の分布に関するベクトルを算出することと、
前記注目画素の座標と前記注目画素について算出されたベクトルとを対応付けて保持手段に登録することと、を含み、
前記保持手段は、前記注目画素の隣の画素の座標と当該隣の画素について算出されたベクトルとを対応付けて保持する画像処理方法。 - ひとつの画像から注目画素を基準とする領域を選択する機能と、
選択された領域の画素値の分布について曲面を表す関数で近似する機能と、
近似の結果得られる関数のパラメータから画素値の分布に関するベクトルを算出する機能と、
前記注目画素の座標と前記注目画素について算出されたベクトルとを対応付けて保持手段に登録する機能と、をコンピュータに実現させ、
前記保持手段は、前記注目画素の隣の画素の座標と当該隣の画素について算出されたベクトルとを対応付けて保持するコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016222325A JP6777507B2 (ja) | 2016-11-15 | 2016-11-15 | 画像処理装置および画像処理方法 |
PCT/JP2017/034625 WO2018092422A1 (ja) | 2016-11-15 | 2017-09-26 | 画像処理装置および画像処理方法 |
US16/393,206 US11264416B2 (en) | 2016-11-15 | 2019-04-24 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016222325A JP6777507B2 (ja) | 2016-11-15 | 2016-11-15 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018081424A JP2018081424A (ja) | 2018-05-24 |
JP6777507B2 true JP6777507B2 (ja) | 2020-10-28 |
Family
ID=62146519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016222325A Active JP6777507B2 (ja) | 2016-11-15 | 2016-11-15 | 画像処理装置および画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11264416B2 (ja) |
JP (1) | JP6777507B2 (ja) |
WO (1) | WO2018092422A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6777507B2 (ja) | 2016-11-15 | 2020-10-28 | Kddi株式会社 | 画像処理装置および画像処理方法 |
JP7234086B2 (ja) * | 2019-10-04 | 2023-03-07 | 株式会社日立製作所 | 生体情報取得装置およびプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4103056B2 (ja) * | 1998-03-27 | 2008-06-18 | リコーソフトウエア株式会社 | 画像識別のための特徴量の利用方法およびそのプログラムを格納した記録媒体 |
JP2009244229A (ja) | 2008-03-31 | 2009-10-22 | Osaka Prefecture Univ | 三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラム |
US20100054606A1 (en) * | 2008-08-29 | 2010-03-04 | Kabushiki Kaisha Toshiba | Image processing apparatus, image processing method, and computer program product |
JP2011166327A (ja) * | 2010-02-05 | 2011-08-25 | Sony Corp | 画像処理装置および方法 |
JP5658963B2 (ja) * | 2010-09-29 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5984439B2 (ja) * | 2012-03-12 | 2016-09-06 | キヤノン株式会社 | 画像表示装置、画像表示方法 |
JP6381404B2 (ja) * | 2014-10-23 | 2018-08-29 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP6777507B2 (ja) | 2016-11-15 | 2020-10-28 | Kddi株式会社 | 画像処理装置および画像処理方法 |
JP7140491B2 (ja) * | 2017-11-28 | 2022-09-21 | Kddi株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2016
- 2016-11-15 JP JP2016222325A patent/JP6777507B2/ja active Active
-
2017
- 2017-09-26 WO PCT/JP2017/034625 patent/WO2018092422A1/ja active Application Filing
-
2019
- 2019-04-24 US US16/393,206 patent/US11264416B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018092422A1 (ja) | 2018-05-24 |
US11264416B2 (en) | 2022-03-01 |
JP2018081424A (ja) | 2018-05-24 |
US20190252431A1 (en) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
US9275281B2 (en) | Mobile image capture, processing, and electronic form generation | |
KR102124617B1 (ko) | 이미지 합성 방법 및 그 전자 장치 | |
US20180014003A1 (en) | Measuring Accuracy of Image Based Depth Sensing Systems | |
JP6677098B2 (ja) | 全天球動画の撮影システム、及びプログラム | |
JP2014131257A (ja) | 画像補正システム、画像補正方法及びプログラム | |
JP6216516B2 (ja) | 電子透かし埋め込み方法および電子透かし検出方法 | |
WO2018045592A1 (zh) | 拍摄图像方法、装置和终端 | |
KR102423295B1 (ko) | 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법 | |
CN107018407B (zh) | 信息处理装置、评价用图、评价系统、以及性能评价方法 | |
US10482571B2 (en) | Dual fisheye, hemispherical image projection and stitching method, device and computer-readable medium | |
CN114298902A (zh) | 一种图像对齐方法、装置、电子设备和存储介质 | |
US20190087962A1 (en) | Image processing device, image processing method, and computer program product | |
TWI608737B (zh) | 影像投影技術 | |
CN107564085B (zh) | 图像扭曲处理方法、装置、计算设备及计算机存储介质 | |
JP6777507B2 (ja) | 画像処理装置および画像処理方法 | |
JP2010072813A (ja) | 画像処理装置および画像処理プログラム | |
JP2015156540A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US12081879B2 (en) | Method for generating image and electronic device therefor | |
JP6736916B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11636675B2 (en) | Electronic device and method for providing multiple services respectively corresponding to multiple external objects included in image | |
WO2018119787A1 (zh) | 一种去马赛克方法及装置 | |
WO2019012647A1 (ja) | 画像処理装置、画像処理方法およびプログラム記憶媒体 | |
WO2017208368A1 (ja) | 画像処理装置、画像処理方法、および、プログラム | |
KR102671722B1 (ko) | 필터를 제공하는 방법 및 이를 지원하는 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6777507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |