JP4359650B2 - 画像データ生成装置、画像データ生成方法、および画像データ生成プログラム - Google Patents
画像データ生成装置、画像データ生成方法、および画像データ生成プログラム Download PDFInfo
- Publication number
- JP4359650B2 JP4359650B2 JP2009521056A JP2009521056A JP4359650B2 JP 4359650 B2 JP4359650 B2 JP 4359650B2 JP 2009521056 A JP2009521056 A JP 2009521056A JP 2009521056 A JP2009521056 A JP 2009521056A JP 4359650 B2 JP4359650 B2 JP 4359650B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- resolution
- analog signal
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 81
- 238000003384 imaging method Methods 0.000 claims description 155
- 238000006243 chemical reaction Methods 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 79
- 230000002123 temporal effect Effects 0.000 claims description 70
- 238000004364 calculation method Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 59
- 238000012546 transfer Methods 0.000 claims description 46
- 238000001228 spectrum Methods 0.000 claims description 34
- 230000009467 reduction Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 2
- 238000007792 addition Methods 0.000 claims 9
- 239000013598 vector Substances 0.000 description 86
- 238000010586 diagram Methods 0.000 description 36
- 238000000926 separation method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 239000002131 composite material Substances 0.000 description 13
- 229910052739 hydrogen Inorganic materials 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000696 magnetic material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
- H04N2209/049—Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
図1は、本発明の実施形態1による画像データ生成装置700を示すブロック図である。
高空間解像度:1920画素×1080ライン
低空間解像度:480画素×270ライン
高時間解像度:15fps
低時間解像度:2fps
図8は、本発明の実施形態2による画像データ生成装置100の構成を示すブロック図である。なお、図1に示す画像データ生成装置700と同様の部分については同じ符号を付し、詳細な説明を省略する。
次に、本発明による画像データ生成装置の第3の実施形態を説明する。
本実施形態では、色チャネルの帯域分配を算出する際に、入射光量の不足によって発生したノイズを除去するビニング処理を考慮できる画像データ生成装置について説明する。
図22は、本発明の実施形態5に係る画像データ生成装置300の構成を示すブロック図である。なお、図20に示す画像データ生成装置800と図8に示す画像データ生成装置100と同様の部分については同じ符号を付し、詳細な説明を省略する。画像データ生成装置300は、撮影部103、色分解部104、R撮像センサ部105、G撮像センサ部106、B撮像センサ部107、撮影画像記録部108、撮影画像書き込み部109、空間周波数算出部186、色チャネル帯域分配算出部187、色チャネル帯域分配情報書き込み部188、メモリ部110、撮影情報読み出し部111、超解像部240、出力部114、系統識別信号発生部185、R用露出計250、G用露出計251、B用露出計252を備えている。
本実施形態では、低空間解像度・高時間解像度画像の空間解像度を高解像度化できる画像データ生成装置について説明する。
図27Aは、本発明による撮像装置の実施形態を示すブロック図であり、図27Bは、本発明による画像処理装置の実施形態を示すブロック図である。
101 入射光
102 高空間解像度・高時間解像度のRGB画像(ROUT GOUT BOUT)
103 撮影部
104 色分解部
105 R撮像センサ部
106 G撮像センサ部
107 B撮像センサ部
108 撮影画像記録部
109 撮影画像書き込み部
110 メモリ部
111 撮影画像読み出し部
112 空間解像度アップコンバータ部
113 時間解像度アップコンバータ部
114 出力部
185 系統識別信号発生部
186 空間周波数算出部
187 色チャネル帯域分配算出部
188 色チャネル帯域分配情報書き込み部
500 撮像装置
600 画像処理装置
Claims (11)
- 入射光を複数の波長域に分光する分光部と、
各々が入射光に応じたアナログ信号を出力する複数の光電変換素子単位が配列された複数の撮像部を備え、前記複数の撮像部が、それぞれ、前記分光部によって分光された波長域が異なる光を受けて撮像を行い、前記アナログ信号を各波長域ごとに出力する撮像装置と、
複数の光電変換素子単位から出力された前記アナログ信号を加算する機能を備え、前記光電変換素子単位から出力されたアナログ信号、または、前記加算されたアナログ信号をデジタル信号に変換するAD変換部と、
前記デジタル信号の周波数スペクトル分布データを生成する空間周波数算出部と、
前記周波数スペクトル分布データを参照して、前記AD変換部において前記アナログ信号が加算される前記光電変化素子単位の個数を、波長域ごとに指定できる帯域分配算出部と、
前記AD変換部から出力された前記デジタル信号の周波数スペクトル分布データにおける高周波成分を増加させる超解像部と
を備える、画像データ生成装置。 - 前記超解像部は、前記AD変換部における前記アナログ信号の加算によって失われた前記周波数スペクトル分布データにおける高周波成分の少なくとも一部を復元する、請求項1に記載の画像データ生成装置。
- 前記分光部は、前記被写体からの光を、赤色光、緑色光および青色光に分光し、
前記撮像素子部は、前記赤色光、緑色光および青色光を受光して、R画像、G画像、B画像を出力し、
前記AD変換部は、R画像のデータ転送レートと、G画像のデータ転送レートと、B画像のデータ転送レートの合計が、所定の値になるように前記撮像素子部の出力するアナログ信号を加算し、
前記帯域分配算出部は、R画像、G画像、B画像に対して、所定の周波数帯域で周波数スペクトルのエネルギーを算出し、前記R画像、G画像、B画像の各々における周波数スペクトルのエネルギーの比を前記AD変換のアナログ信号の加算個数の逆数の比とする、請求項1に記載の画像データ生成装置。 - 前記帯域分配算出部は、前記AD変換部におけるアナログ信号の加算方法を前記超解像部に入力し、低解像度化処理に用いる、請求項1に記載の画像データ生成装置。
- 前記超解像部は、
前記帯域分配算出部が指定した波長域に応じてAD変換部が生成した低空間解像度・高時間解像度画像と高空間解像度・低時間解像度画像を取得し、
低空間解像度画像と高空間解像度画像の対応関係に基づいて、高空間解像度・低時間解像度画像の時間解像度を低空間解像度・高時間解像度画像の時間解像度へ変換して、高空間解像度・高時間解像度を生成する、請求項1に記載の画像データ生成装置。 - 前記撮像素子部は、前記分光された光の光量を計測する露出計測部を有し、
前記AD変換部は、前記計測された光量が所定の値に達するようにアナログ信号を加算する請求項1に記載の画像データ生成装置。 - 被写体からの光を分光するステップと、
前記分光された光を受光してアナログ信号を出力するステップと、
前記アナログ信号を複数個加算する機能を備え、前記加算機能を施したアナログ信号、あるいは、前記加算機能を施こさないアナログ信号をデジタル信号に変換するステップと、
前記デジタル信号の周波数スペクトルのエネルギーの大きさに従って、前記アナログ信号の加算個数を波長域ごとに指定するステップと、
前記アナログ信号の加算によって消失した周波数成分の少なくとも一部を復元するステップと
を備える画像データ生成方法。 - 撮像部を備える画像データ生成装置に、画像データを生成する処理を実行させるプログラムであって、
前記画像データを生成する処理は、
被写体からの分光された光を前記撮像部で受光して前記撮像部でアナログ信号を出力するステップと、
前記アナログ信号を複数個加算したアナログ信号、あるいは、前記加算しないアナログ信号をデジタル信号に変換するステップと、
前記デジタル信号の周波数スペクトルのエネルギーの大きさに従って、前記アナログ信号の加算個数を波長域ごとに指定するステップと、
前記アナログ信号の加算によって消失した周波数成分の少なくとも一部を復元するステップと
を前記画像データ生成装置に実行させる、プログラム。 - 入射光を複数の波長域に分光する分光部と、
各々が入射光に応じたアナログ信号を出力する複数の光電変換素子単位が配列された複数の撮像部を備え、前記複数の撮像部が、それぞれ、前記分光部によって分光された波長域が異なる光を受けて撮像を行い、前記アナログ信号を各波長域ごとに出力する撮像素子と、
複数の光電変換素子単位から出力された前記アナログ信号を加算する機能を備え、前記光電変換素子単位から出力されたアナログ信号、または、前記加算されたアナログ信号をデジタル信号に変換するAD変換部と、
前記デジタル信号の周波数スペクトル分布データを生成する空間周波数算出部と、
前記周波数スペクトル分布データを参照して、前記AD変換部において前記アナログ信号が加算される前記光電変化素子単位の個数を、波長域ごとに指定できる帯域分配算出部と、
を備える、撮像装置。 - 請求項9に記載されている撮像装置によって生成された前記デジタル信号および前記AD変換部において前記アナログ信号が加算された前記光電変化素子単位の個数を示すビニング処理情報を受け取る入力部と、
前記超解像部は、前記AD変換部における前記アナログ信号の加算によって失われた前記周波数スペクトル分布データにおける高周波成分の少なくとも一部を復元する、画像処理装置。 - 前記入力部は、前記デジタル信号および前記ビニング処理情報が記録されている記憶媒体を受容する構造を有している、請求項10に記載の画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008002515 | 2008-01-09 | ||
JP2008002515 | 2008-01-09 | ||
PCT/JP2008/003834 WO2009087725A1 (ja) | 2008-01-09 | 2008-12-18 | 画像データ生成装置、画像データ生成方法、および画像データ生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4359650B2 true JP4359650B2 (ja) | 2009-11-04 |
JPWO2009087725A1 JPWO2009087725A1 (ja) | 2011-05-19 |
Family
ID=40852849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009521056A Active JP4359650B2 (ja) | 2008-01-09 | 2008-12-18 | 画像データ生成装置、画像データ生成方法、および画像データ生成プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7868925B2 (ja) |
EP (1) | EP2228983B1 (ja) |
JP (1) | JP4359650B2 (ja) |
CN (1) | CN101682693B (ja) |
WO (1) | WO2009087725A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010116885A1 (ja) * | 2009-04-06 | 2010-10-14 | 日本電気株式会社 | データ処理装置、画像照合方法、プログラムおよび画像照合システム |
US8729478B2 (en) * | 2010-06-09 | 2014-05-20 | Carestream Health, Inc. | Dual screen radiographic detector with improved spatial sampling |
JP5615088B2 (ja) * | 2010-08-18 | 2014-10-29 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、並びに撮像装置 |
EP2432016A1 (de) * | 2010-09-16 | 2012-03-21 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zum Messen einer Belichtungsdifferenz |
US8657200B2 (en) | 2011-06-20 | 2014-02-25 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
JP6124697B2 (ja) * | 2012-07-12 | 2017-05-10 | キヤノン株式会社 | 撮像素子 |
US10572976B2 (en) * | 2017-10-18 | 2020-02-25 | International Business Machines Corporation | Enhancing observation resolution using continuous learning |
KR102314703B1 (ko) * | 2017-12-26 | 2021-10-18 | 에스케이하이닉스 주식회사 | 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3786946T2 (de) * | 1986-04-30 | 1994-01-27 | Sharp Kk | Verfahren und System für Multiplexübertragung eines Audiosignals und eines Videosignals über ein Kommunikationskabel. |
JPH05219513A (ja) * | 1992-01-27 | 1993-08-27 | Ikegami Tsushinki Co Ltd | 固体撮像装置 |
JPH07203318A (ja) | 1993-12-28 | 1995-08-04 | Nippon Telegr & Teleph Corp <Ntt> | 撮像装置 |
US6611289B1 (en) * | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
US6738445B1 (en) * | 1999-11-26 | 2004-05-18 | Ivl Technologies Ltd. | Method and apparatus for changing the frequency content of an input signal and for changing perceptibility of a component of an input signal |
JP3673845B2 (ja) * | 2002-11-19 | 2005-07-20 | コニカミノルタホールディングス株式会社 | 撮像装置 |
US20050219642A1 (en) | 2004-03-30 | 2005-10-06 | Masahiko Yachida | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system |
JP4453976B2 (ja) | 2004-03-30 | 2010-04-21 | 正彦 谷内田 | 画像生成装置、画像データ列生成システム、及び画像伝送システム |
US7319216B2 (en) * | 2004-09-10 | 2008-01-15 | Fujifilm Corporation | Light receiving unit and image taking apparatus |
JP4792929B2 (ja) * | 2005-11-14 | 2011-10-12 | 株式会社ニコン | デジタルカメラ |
CN100510773C (zh) * | 2006-04-14 | 2009-07-08 | 武汉大学 | 单幅卫星遥感影像小目标超分辨率重建方法 |
-
2008
- 2008-12-18 CN CN2008800150444A patent/CN101682693B/zh active Active
- 2008-12-18 WO PCT/JP2008/003834 patent/WO2009087725A1/ja active Application Filing
- 2008-12-18 US US12/530,520 patent/US7868925B2/en active Active
- 2008-12-18 EP EP08869593.7A patent/EP2228983B1/en active Active
- 2008-12-18 JP JP2009521056A patent/JP4359650B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP2228983A4 (en) | 2013-03-06 |
US7868925B2 (en) | 2011-01-11 |
EP2228983B1 (en) | 2014-08-27 |
JPWO2009087725A1 (ja) | 2011-05-19 |
US20100103297A1 (en) | 2010-04-29 |
CN101682693B (zh) | 2013-08-07 |
EP2228983A1 (en) | 2010-09-15 |
CN101682693A (zh) | 2010-03-24 |
WO2009087725A1 (ja) | 2009-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4469019B2 (ja) | 画像データを生成する装置、方法およびプログラム | |
JP4359650B2 (ja) | 画像データ生成装置、画像データ生成方法、および画像データ生成プログラム | |
US7636393B2 (en) | Image processing method, image recording method, image processing device and image file format | |
US8896712B2 (en) | Determining and correcting for imaging device motion during an exposure | |
US8223219B2 (en) | Imaging device, image processing method, image processing program and semiconductor integrated circuit | |
JP5853166B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
EP2560375B1 (en) | Image processing device, image capture device, program, and image processing method | |
CN101521751A (zh) | 摄像设备 | |
JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
CN101795359B (zh) | 摄像设备及其控制方法 | |
Lukac | Single-sensor imaging in consumer digital cameras: a survey of recent advances and future directions | |
JP4339671B2 (ja) | 撮像装置 | |
JP2013223211A (ja) | 撮像処理装置、撮像処理方法、およびプログラム | |
JP2012099870A (ja) | 撮像装置及び撮像方法 | |
JPH07177426A (ja) | 静止画像撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090810 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4359650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130814 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |