JP7221360B2 - チャネル別色相情報外挿法アルゴリズムとカラーホイールを活用した電子光学装備フレームレート向上方法 - Google Patents
チャネル別色相情報外挿法アルゴリズムとカラーホイールを活用した電子光学装備フレームレート向上方法 Download PDFInfo
- Publication number
- JP7221360B2 JP7221360B2 JP2021183992A JP2021183992A JP7221360B2 JP 7221360 B2 JP7221360 B2 JP 7221360B2 JP 2021183992 A JP2021183992 A JP 2021183992A JP 2021183992 A JP2021183992 A JP 2021183992A JP 7221360 B2 JP7221360 B2 JP 7221360B2
- Authority
- JP
- Japan
- Prior art keywords
- electro
- information
- frame rate
- channel
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/125—Colour sequential image capture, e.g. using a colour wheel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Description
Claims (11)
- カラーホイールフィルタを活用して電子光学装備の各チャネルで獲得されるデータを時間軸で連続する他の時間帯のデータとなるように制御する第1段階;および
獲得された各チャネル間のデータを活用してすべての時間帯で各チャネルのデータを生成する第2段階を含む、電子光学装備フレームレート向上方法。 - 電子光学装備はベイヤーパターン基盤のCCD(Charge Coupled Device)センサが搭載された電子光学装備である、請求項1に記載の電子光学装備フレームレート向上方法。
- 第1段階でカラーホイールフィルタを活用してCCDセンサのRGB(Red Green Blue)各チャネルが連続する他の時間帯の情報を獲得するように調整する、請求項2に記載の電子光学装備フレームレート向上方法。
- 第1段階でカラーホイールの色相境界線を越えていく瞬間と映像撮影の開始点が同時になされるようにシーケンスが合わせられた状態で、RGB3分割カラーホイールが映像撮影フレームレートと同じ周期で回転することになることによって、CCDのR、G、Bセンサそれぞれの露出時間が1/3に減りながら、各チャネル間の露出時間が連続的につながるようになる、請求項3に記載の電子光学装備フレームレート向上方法。
- 第1段階でカラーホイールを活用して撮影された映像はR、G、Bチャネルが連続するそれぞれ異なる時間情報を保有することになり、
第2段階では特定フレームの前後に連続する異なるチャネルの時間情報を活用して特定の時点に該当する仮想の完成されたRGB情報を生成する、請求項4に記載の電子光学装備フレームレート向上方法。 - 第2段階でRGB各チャネルの映像をそれぞれ移動物体探知技法で前景と背景を分離し、前景情報を連続する異なるチャネルの情報を活用して再構成することによって、連続する各時点別に特定の時点のRGB前景の形態を生成し、生成されたRGB前景を活用して1フレームから仮想の3フレームを生成する、請求項5に記載の電子光学装備フレームレート向上方法。
- 第2段階では第1段階で獲得した情報から移動する物体を探知する技法と敵対的生成ネットワーク(GAN)アルゴリズムを順次活用して仮想のRGBフレームを生成する、請求項1に記載の電子光学装備フレームレート向上方法。
- 第2段階で移動物体を探知して背景除去処理した後の移動物体のみを活用し、異なるチャネルの連続した情報を活用した敵対的生成ネットワーク(GAN)アルゴリズムを通じて該当時点の異なるチャネル情報を生成する、請求項7に記載の電子光学装備フレームレート向上方法。
- 第2段階では第1段階で獲得した情報から移動する物体を探知する技法とオプティカルフロー技法を順次活用して仮想のRGBフレームを生成する、請求項1に記載の電子光学装備フレームレート向上方法。
- 第2段階で移動物体を探知して背景除去処理した後の移動物体のみを活用し、異なるチャネルの連続した情報を活用したオプティカルフロー技法を通じて該当時点の異なるチャネル情報を生成する、請求項9に記載の電子光学装備フレームレート向上方法。
- 電子光学装備のフレームレートを3倍向上させる、請求項1に記載の電子光学装備フレームレート向上方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0166524 | 2020-12-02 | ||
KR1020200166524A KR102273612B1 (ko) | 2020-12-02 | 2020-12-02 | 채널별 색상정보 외삽법 알고리즘과 컬러휠을 활용한 전자광학장비 프레임률 향상방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022088323A JP2022088323A (ja) | 2022-06-14 |
JP7221360B2 true JP7221360B2 (ja) | 2023-02-13 |
Family
ID=76860625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021183992A Active JP7221360B2 (ja) | 2020-12-02 | 2021-11-11 | チャネル別色相情報外挿法アルゴリズムとカラーホイールを活用した電子光学装備フレームレート向上方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220174212A1 (ja) |
JP (1) | JP7221360B2 (ja) |
KR (1) | KR102273612B1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188387A (ja) | 2010-03-10 | 2011-09-22 | Sharp Corp | 撮像装置および電子情報機器 |
JP2015141106A (ja) | 2014-01-29 | 2015-08-03 | セイコーエプソン株式会社 | 電子機器及び電子機器の制御方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63301688A (ja) * | 1987-05-30 | 1988-12-08 | Victor Co Of Japan Ltd | フィ−ルド順次カラ−テレビジョンカメラ |
US6690422B1 (en) * | 1999-11-03 | 2004-02-10 | Sharp Laboratories Of America, Inc. | Method and system for field sequential color image capture using color filter array |
US7202891B1 (en) * | 2001-01-24 | 2007-04-10 | Dalsa, Inc. | Method and apparatus for a chopped two-chip cinematography camera |
JP4596248B2 (ja) * | 2004-02-13 | 2010-12-08 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
KR101050135B1 (ko) * | 2009-01-29 | 2011-07-19 | 서강대학교산학협력단 | 광류 정보를 이용한 중간 영상 생성 방법 |
-
2020
- 2020-12-02 KR KR1020200166524A patent/KR102273612B1/ko active IP Right Grant
-
2021
- 2021-11-11 JP JP2021183992A patent/JP7221360B2/ja active Active
- 2021-12-02 US US17/540,336 patent/US20220174212A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188387A (ja) | 2010-03-10 | 2011-09-22 | Sharp Corp | 撮像装置および電子情報機器 |
JP2015141106A (ja) | 2014-01-29 | 2015-08-03 | セイコーエプソン株式会社 | 電子機器及び電子機器の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
KR102273612B1 (ko) | 2021-07-06 |
US20220174212A1 (en) | 2022-06-02 |
JP2022088323A (ja) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pan et al. | Bringing a blurry frame alive at high frame-rate with an event camera | |
Zheng et al. | High-speed image reconstruction through short-term plasticity for spiking cameras | |
JP5589527B2 (ja) | 撮像装置および追尾被写体検出方法 | |
CN105957110B (zh) | 用于检测对象的设备和方法 | |
WO2019135916A1 (en) | Motion blur simulation | |
EP3798975B1 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
TW202105324A (zh) | 基於多個視訊訊框的深度偵測的方法及系統 | |
US20040066460A1 (en) | Image processing apparatus and method, and image pickup apparatus | |
IL301734A (en) | A system and method for blurring the background in an image using the movement of the camera or the movement of the object | |
JP2013118712A (ja) | 複数の移動対象物の追跡撮影システム及び撮影制御方法 | |
WO2002067200A1 (en) | Image processing device | |
Sajjanar et al. | Implementation of real time moving object detection and tracking on FPGA for video surveillance applications | |
JP2020053774A (ja) | 撮像装置および画像記録方法 | |
Cao et al. | Learning adaptive warping for real-world rolling shutter correction | |
Yang et al. | Motion aware double attention network for dynamic scene deblurring | |
Jeelani et al. | Expanding synthetic real-world degradations for blind video super resolution | |
JP2002230556A (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP4608791B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP7221360B2 (ja) | チャネル別色相情報外挿法アルゴリズムとカラーホイールを活用した電子光学装備フレームレート向上方法 | |
CN105913395B (zh) | 一种运动目标观测及模糊复原方法 | |
CN110430400B (zh) | 一种双目可运动摄像机的地平面区域检测方法 | |
JP7308913B2 (ja) | 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法 | |
Chae et al. | Siamevent: Event-based object tracking via edge-aware similarity learning with siamese networks | |
KR102599584B1 (ko) | 영상 처리 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7221360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |