KR101521109B1 - Accelerated processing method of frame using CMOS image sensor and frame accelarating system - Google Patents

Accelerated processing method of frame using CMOS image sensor and frame accelarating system Download PDF

Info

Publication number
KR101521109B1
KR101521109B1 KR1020130136316A KR20130136316A KR101521109B1 KR 101521109 B1 KR101521109 B1 KR 101521109B1 KR 1020130136316 A KR1020130136316 A KR 1020130136316A KR 20130136316 A KR20130136316 A KR 20130136316A KR 101521109 B1 KR101521109 B1 KR 101521109B1
Authority
KR
South Korea
Prior art keywords
time
image
frame
multiplexing
cmos
Prior art date
Application number
KR1020130136316A
Other languages
Korean (ko)
Inventor
강세진
이병진
김기진
Original Assignee
(주) 유파인스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 유파인스 filed Critical (주) 유파인스
Priority to KR1020130136316A priority Critical patent/KR101521109B1/en
Application granted granted Critical
Publication of KR101521109B1 publication Critical patent/KR101521109B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor

Abstract

The present invention relates to a method for processing frame accelerating to create a high speed camera capable of high speed shooting by using multiple CMOS image sensors which are commonly used and inexpensive; and a frame accelerating system. The frame accelerating system using the CMOS image sensors according to the present invention comprises: N^number of lenses; N^number of CMOS sensors receiving image light from the lenses by being connected to the N^number of lenses, respectively; an image frame multiplexing time generating unit generating a control time for parallel processing and another control time for time synchronizing of each CMOS sensor; a CMOS sensor frame time synchronizing control unit creating frame time synchronizing control signals by synchronizing control signals of each CMOS sensor according to the control time for the time synchronizing of each CMOS sensor by being connected to the N^number of CMOS sensors; an image data frame time multiplexing unit multiplexing image data of each CMOS sensor according to the control time for the parallel processing and the control time for the frame time synchronizing; a multiplexed image distortion handling unit fixing image distortions of the multiplexed image data received from the image data frame time multiplexing unit; a multiplexed image stitching unit preparing one image stream by synchronizing the fixed image data; and a multiplexed image frame time merging unit merging the image data received from the multiplexed image stitching unit with one multiplexed parallel image data stream based on the multiplexing time.

Description

ＣＭＯＳ 이미지 센서를 이용한 프레임 고속화 처리방법 및 프레임 고속화 시스템{Accelerated processing method of frame using CMOS image sensor and frame accelarating system}Technical Field [0001] The present invention relates to a frame accelerating method and a frame accelerating system using a CMOS image sensor,

본 발명은 CMOS 이미지 센서를 이용한 프레임 고속화 처리방법 및 프레임 고속화 시스템에 관한 것으로, 구체적으로, 일반적으로 많이 사용하고 있는 저가의 CMOS 이미지 센서를 다수 개 사용하여 고속촬영이 가능한 고속 카메라를 구현하기 위한 프레임 고속화 처리방법 및 프레임 고속화 시스템에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a frame acceleration method and a frame acceleration system using a CMOS image sensor, and more particularly, to a frame acceleration system using a CMOS image sensor, Speed processing method and a frame acceleration system.

최근, 이동통신 단말기, 디지털 카메라, 디지털 비디오 카메라 등의 다양한 제품에 채용되고 있는 카메라 모듈은 초소형 렌즈를 통해 피사체를 화면에서 볼 수 있도록 동영상과 사진촬영을 가능하게 해준다. 카메라 모듈에는 CCD(Charge-Coupled Device)와 CMOS (Complementary Metal-Oxide Semiconductor) 방식이 있다.
Recently, a camera module which is used in various products such as a mobile communication terminal, a digital camera, and a digital video camera enables a moving picture and a photograph to be viewed on a screen through a very small lens. Camera modules include CCD (Charge-Coupled Device) and CMOS (Complementary Metal-Oxide Semiconductor).

CMOS 카메라 모듈은 단위 셀마다 증폭기를 가지며 광변환된 전기신호의 읽기에 의해서 전기 노이즈의 발생이 적어지는 특징이 있다. 또한 CMOS 로직 LSI 제조 프로세서의 응용으로 대량생산이 가능하기 때문에 고전압 아날로그 회로를 가지는 CCD 이미지 센서와 비교해서 제조 단가가 낮고 소자의 크기가 작아서 소비 전력이 적다는 장점이 있다.The CMOS camera module has an amplifier for each unit cell and is characterized in that electric noise is less generated by reading the photo-converted electric signal. In addition, since it can be mass-produced by the application of a CMOS logic LSI manufacturing processor, it is advantageous in that the manufacturing cost is low, the size of the device is small and the power consumption is low as compared with a CCD image sensor having a high voltage analog circuit.

그렇기 때문에 저가 디지털 카메라나 디지털 비디오 카메라, 느린 프레임의 텔레비전 카메라, 비디오 채팅에 사용되는 웹 카메라에서 사용되고 있다. 또한, 최근에는 큰 크기로 설계가 가능하고, 낮은 제조 비용과 대폭 향상된 화질로 인해 DSLR 카메라와 같이 고화질을 요구하는 고가 제품에도 많이 사용되고 있다.
For this reason, low-cost digital cameras, digital video cameras, slow-frame television cameras, and web cameras used in video chat are being used. In recent years, it has been widely used in high-price products requiring high image quality such as DSLR cameras because of its large-size design, low manufacturing cost and greatly improved image quality.

그런데, 도1과 같이 일반적인 CMOS 카메라 모듈 및 일반 렌즈를 이용하여 고속 카메라 장치를 구현하는 데는 그 느린 프레임 특성으로 인해 한계가 있으며, 도2와 같이 고속 카메라 장치를 구현하기 위해 고속 CMOS 카메라 모듈 및 특수 렌즈를 사용하는 경우 렌즈의 구성은 단순화할 수 있으나, CMOS 카메라 모듈에서 노말(normal) 촬영시 리셋 시간은 프레임당 1/30초인데 반해, 초고속 촬영의 경우 노말 촬영보다 4배 빠른 초당 120프레임을 읽어야 하므로 센서의 축적된 전하량이 적어 영상의 감도가 떨어지게 된다. 이에 따라 낮은 감도를 높여주기 위해 센서에서 출력되는 신호를 증폭시켜야 하는데, 신호를 증폭함에 따라 감도는 증가하지만 더불어 신호에 포함된 잡음성분 또한 증가하며, 이를 해결하기 위해 대한민국특허 제1246817호 "촬영장치 및 그 화질 개선방법"이 개시된바 있다. As shown in FIG. 1, the implementation of a high-speed camera device using a general CMOS camera module and a general lens is limited due to its slow frame characteristics. In order to implement a high-speed camera device as shown in FIG. 2, In case of using the lens, the configuration of the lens can be simplified, but in the CMOS camera module, the reset time is 1/30 second per frame, whereas in the case of the super high speed image, 120 frames per second The amount of charge accumulated in the sensor is small and the sensitivity of the image is reduced. In order to increase the sensitivity, the signal output from the sensor must be amplified. As the signal is amplified, the sensitivity increases but the noise component included in the signal also increases. To solve this problem, Korean Patent No. 1246817 And a method for improving the image quality "have been disclosed.

또한, 대한민국특허 제661585호에는 "이동통신 단말기의 쵤영데이터 속도 개선 장치 및 방법"에 개시되어 있으나, 이는 카메라 센서에서 촬영한 이미지를 CCP(Camera Control Processor Chip)에서 영상처리한후, 고속으로 전송하여 듀얼포트 메모리에 저장할 수 있도록 자동으로 어드레스를 증가시키고 제어기의 처리없이 제어기와는 다른 동기를 가지는 버스를 통하여 고속으로 전송하는 방식에 관한 것으로, 제조 단가가 낮고 소자의 크기가 작아서 소비 전력이 적다는 장점을 갖는 CMOS 센서를 사용하면서도 저가로 용이하게 고속 카메라를 구현하는 방법 및 시스템에 대한 필요가 존재한다.Korean Patent No. 661585 discloses an apparatus and method for improving the data rate of a mobile communication terminal. However, the image processing method of the present invention is a method in which an image captured by a camera sensor is processed by a CCP (Camera Control Processor Chip) And a method of automatically transferring addresses to a dual port memory and transferring the signals at high speed through a bus having a synchronization different from that of the controller without processing the controller. The method is low in manufacturing cost, small in size, and low in power consumption There is a need for a method and system for easily implementing a high-speed camera at a low cost while using a CMOS sensor having advantages.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 고속 CMOS 이미지 센서를 사용하지 않고, 복수 개의 일반적인 CMOS 센서만을 사용하여 획득한 각각의 CMOS 영상에 대한 고속 시간 다중화를 통해 고속 프레임 영상 촬영이 가능하도록 하는 CMOS 이미지 센서를 이용한 프레임 고속화 처리방법 및 프레임 고속화 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a high-speed time-division multiplexing And a frame accelerating system and a frame accelerating system using a CMOS image sensor that enables high speed frame image capturing.


상기와 같은 목적을 달성하기 위해 본 발명에 따르는 CMOS 이미지 센서를 이용한 프레임 고속화 시스템은 N 개의 렌즈; N 개의 렌즈 각각에 하나씩 연결되어 렌즈로부터 이미지 광을 수신하는 N 개의 CMOS 센서; 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간과 다중화 및 병렬처리를 위한 제어 시간을 발생시키는 영상 프레임 다중화시간 발생부; N 개의 CMOS 센서와 연결되어 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간에 따라 각각의 CMOS 센서의 제어 신호를 동기화하여 프레임 시간 동기화 제어신호를 생성하는 CMOS 센서 프레임 시간 동기화 제어부; 상기 프레임 시간 동기화 제어 신호 및 다중화 및 병렬처리를 위한 제어 시간에 따라 각각의 상기 CMOS 센서의 영상데이터를 시간 다중화하는 영상정보 프레임 시간 다중화부; 상기 영상정보 프레임 시간 다중화부에서 수신한 다중화된 영상 데이터의 영상왜곡을 보정하는 다중화 영상 왜곡처리부; 보정된 영상 데이터를 동기화하여 하나의 영상 스트림으로 구성하는 다중화 영상 스티칭 처리부; 및 상기 다중화 영상 스티칭 처리부로부터 수신한 영상 데이터를 다중화 시간을 토대로 하나의 다중화된 병렬 영상 데이터 스트림으로 병합하는 다중화 영상 프레임 시간 병합부를 포함하는 것을 구성적 특징으로 한다.
In order to achieve the above object, a frame acceleration system using a CMOS image sensor according to the present invention includes N lenses; N CMOS sensors connected to each of the N lenses to receive image light from the lens; An image frame multiplexing time generator for generating a control time for time synchronization and a control time for multiplexing and parallel processing of each CMOS sensor; A CMOS sensor frame time synchronization controller connected to the N CMOS sensors to generate a frame time synchronization control signal by synchronizing control signals of respective CMOS sensors according to control time for time synchronization of the respective CMOS sensors; An image information frame time multiplexer for time-multiplexing image data of each of the CMOS sensors according to the frame time synchronization control signal and the control time for multiplexing and parallel processing; A multiplexed image distortion processor for correcting image distortion of the multiplexed image data received by the image information frame time multiplexer; A multiplexed image stitching processing unit configured to synchronize the corrected image data to form a single image stream; And a multiplexed image frame time merge unit for merging the image data received from the multiplexed image stitching processing unit into one multiplexed parallel image data stream based on the multiplexing time.

본 발명에 따르는 CMOS 이미지 센서를 이용한 프레임 고속화 시스템은 하나의 다초점 다중굴절 렌즈; 상기 다초점 다중굴절 렌즈에 연결되어 각각의 초점의 이미지 광을 수신하는 N 개의 CMOS 센서; 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간과 다중화 및 병렬처리를 위한 제어 시간을 발생시키는 영상 프레임 다중화시간 발생부; N 개의 CMOS 센서와 연결되어 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간에 따라 각각의 CMOS 센서의 제어 신호를 동기화하여 프레임 시간 동기화 제어신호를 생성하는 CMOS 센서 프레임 시간 동기화 제어부; 상기 프레임 시간 동기화 제어 신호 및 다중화 및 병렬처리를 위한 제어 시간에 따라 각각의 상기 CMOS 센서의 영상데이터를 시간 다중화하는 영상정보 프레임 시간 다중화부; 상기 영상정보 프레임 시간 다중화부에서 수신한 다중화된 영상 데이터의 영상왜곡을 보정하는 다중화 영상 왜곡처리부; 보정된 영상 데이터를 동기화하여 하나의 영상 스트림으로 구성하는 다중화 영상 스티칭 처리부; 및 상기 다중화 영상 스티칭 처리부로부터 수신한 영상 데이터를 다중화 시간을 토대로 하나의 다중화된 병렬 영상 데이터 스트림으로 병합하는 다중화 영상 프레임 시간 병합부를 포함하는 것을 구성적 특징으로 한다.
A system for accelerating a frame using a CMOS image sensor according to the present invention includes a multifocal multi-refraction lens; N CMOS sensors connected to the multifocal multi-refraction lens to receive image light of respective focuses; An image frame multiplexing time generator for generating a control time for time synchronization and a control time for multiplexing and parallel processing of each CMOS sensor; A CMOS sensor frame time synchronization controller connected to the N CMOS sensors to generate a frame time synchronization control signal by synchronizing control signals of respective CMOS sensors according to control time for time synchronization of the respective CMOS sensors; An image information frame time multiplexer for time-multiplexing image data of each of the CMOS sensors according to the frame time synchronization control signal and the control time for multiplexing and parallel processing; A multiplexed image distortion processor for correcting image distortion of the multiplexed image data received by the image information frame time multiplexer; A multiplexed image stitching processing unit configured to synchronize the corrected image data to form a single image stream; And a multiplexed image frame time merge unit for merging the image data received from the multiplexed image stitching processing unit into one multiplexed parallel image data stream based on the multiplexing time.

본 발명에 따르는 CMOS 이미지 센서를 이용한 프레임 고속화 방법은 렌즈를 통해 수신한 광신호를 CMOS 센서에서 전기 신호로 변환하는 단계; CMOS 센서의 시간 동기화를 위한 제어 시간과 다중화 및 병렬처리를 위한 제어 시간을 발생시키는 단계; CMOS 센서의 시간 동기화를 위한 제어 시간에 따라 각각의 CMOS 센서의 제어 신호를 동기화하여 프레임 시간 동기화 제어신호를 생성하는 단계; 상기 프레임 시간 동기화 제어 신호 및 다중화 및 병렬처리를 위한 제어 시간에 따라 각각의 상기 CMOS 센서의 영상 데이터를 시간 다중화하는 단계; 시간 다중화 영상 데이터의 영상왜곡을 보정하는 단계; 보정된 시간 다중화 영상 데이터를 동기화하여 하나의 영상 스트림으로 구성하는 단계; 상기 영상 스트림을 다중화 시간을 토대로 병합하여 하나의 다중화된 병렬 영상 데이터 스트림을 생성하는 단계를 포함하는 것을 구성적 특징으로 한다.
A method for accelerating a frame using a CMOS image sensor according to the present invention includes the steps of converting an optical signal received through a lens into an electrical signal from a CMOS sensor; Generating a control time for time synchronization and a control time for multiplexing and parallel processing of the CMOS sensor; Generating a frame time synchronization control signal by synchronizing control signals of respective CMOS sensors according to a control time for time synchronization of the CMOS sensor; Time multiplexing the video data of each of the CMOS sensors according to the frame time synchronization control signal and the control time for multiplexing and parallel processing; Correcting image distortion of the time-multiplexed image data; Synchronizing the corrected time-multiplexed video data to form a video stream; And merging the video streams based on the multiplexing time to generate one multiplexed parallel video data stream.

본 발명에 따르는 CMOS 이미지 센서를 이용한 프레임 고속화 처리방법 및 고속화 처리 시스템은 다양한 프레임의 고속촬영이 가능한 고속 카메라를 제품 시장 요구에 따라 용이하게 저가로 구현할 수 있다.The high speed processing method and the high speed processing system using the CMOS image sensor according to the present invention can easily and cheaply implement a high speed camera capable of high speed photographing of various frames according to the requirements of the product market.

본 발명에 따르는 CMOS 이미지 센서를 이용한 프레임 고속화 처리방법및 고속화 처리 시스템은 기존의 프레임단위의 영상처리 장치의 플랫폼을 크게 변경하지 않고도 용이하게 구현가능하다.The frame speedup processing method and the speedup processing system using the CMOS image sensor according to the present invention can be easily implemented without greatly changing the platform of the existing frame unit image processing apparatus.

본 발명에 따르는 CMOS 이미지 센서를 이용한 프레임 고속화 처리방법및 고속화 처리 시스템은 고속촬영이 요구되는 제품시장, 특히 블랙박스, 스포츠용 카메라, 및 휴대폰에 활용가능하다.
The frame accelerating method and the accelerated image processing system using the CMOS image sensor according to the present invention can be applied to a product market requiring high speed photographing, particularly, a black box, a sports camera, and a mobile phone.

도1은 일반적인 상용 CMOS 카메라의 구성을 나타내는 블록도이다.
도2는 일반적인 고속 CMOS 카메라의 구성을 나타내는 블록도이다.
도3은 본 발명에 따르는 프레임 고속화처리 시스템의 제 1 실시예를 나타내는 블록도이다.
도4는 본 발명에 따르는 프레임 고속화처리 시스템의 제 2 실시예를 나타내는 블록도이다.
도5는 초당 30프레임의 일반적인 CMOS 센서의 영상 제어 신호를 나타내는 도면이다.
도6은 초당 30프레임의 일반적인 CMOS 센서를 4개 사용하는 경우의 프레임 시간 다중화 제어 신호를 나타내는 도면이다.
도7은 초당 30프레임의 일반적인 CMOS 센서를 4개 사용하는 경우의 다중화된 병렬 영상 정보를 나타내는 도면이다. 1 is a block diagram showing a configuration of a general commercial CMOS camera.
2 is a block diagram showing a configuration of a general high-speed CMOS camera.
3 is a block diagram showing a first embodiment of a frame accelerating system according to the present invention.
4 is a block diagram showing a second embodiment of a frame accelerated processing system according to the present invention.
5 is a diagram showing an image control signal of a general CMOS sensor of 30 frames per second.
FIG. 6 is a diagram showing a frame time multiplexing control signal when four common CMOS sensors of 30 frames per second are used.
FIG. 7 is a diagram showing multiplexed parallel image information when four common CMOS sensors of 30 frames per second are used.

이하 본 발명에 따르는 CMOS 이미지 센서를 이용한 프레임 고속화 처리방법 및 프레임 고속화 시스템을 설명한다.
Hereinafter, a frame acceleration method and a frame acceleration system using a CMOS image sensor according to the present invention will be described.

도3 및 도4는 본 발명에 따르는 프레임 고속화처리 시스템의 제 1 실시예 및 제 2 실시예를 각각 나타내는 블록도이다.
3 and 4 are block diagrams respectively showing a first embodiment and a second embodiment of a frame acceleration processing system according to the present invention.

본 발명에 따르는 CMOS 이미지 센서를 이용한 프레임 고속화 시스템은 도3 및 도4에 도시된 바와 같이 N 개의 일반렌즈 및 N 개의 CMOS 센서를 사용하는 제 1 실시예와, 1개의 다초점 다중굴절렌즈 및 N 개의 CMOS 센서를 사용하는 제 2 실시예로 구현될 수 있다.The frame accelerating system using a CMOS image sensor according to the present invention comprises a first embodiment using N generalized lenses and N CMOS sensors as shown in Figs. 3 and 4, one multifocal multi-refraction lens and N Lt; RTI ID = 0.0 > CMOS sensor. ≪ / RTI >

본 발명의 제 1 실시예에 따르면, 본 발명의 CMOS 이미지 센서를 이용한 프레임 고속화 시스템은 N 개의 렌즈(10A, 10B, ..., 10N), N 개의 렌즈 각각에 하나씩 연결되어 렌즈로부터 들어오는 이미지 광을 수신하여 CMOS 센서 시간 동기화 제어부로 송신하는 N 개의 일반 CMOS 센서(20A, 20B,..., 20N), N 개의 CMOS 센서와 각각 연결되는 CMOS 센서 프레임 시간 동기화 제어부(40), 영상정보 프레임 시간 다중화부(41), 영상 프레임 다중화시간 발생부(42), 다중화 영상 왜곡처리부(43), 다중화 영상 스티칭(stitching) 처리부(44), 다중화 영상 프레임 시간 병합부(45), 영상 처리부(30)를 포함하여 구성된다.
According to the first embodiment of the present invention, the frame acceleration system using the CMOS image sensor of the present invention comprises N lenses 10A, 10B, ..., 10N, N CMOS sensors 20A, 20B, ..., and 20N for transmitting the image information frame to the CMOS sensor time synchronization control unit, a CMOS sensor frame time synchronization controller 40 connected to the N CMOS sensors, The multiplexing unit 41, the image frame multiplexing time generating unit 42, the multiplexed image distortion processing unit 43, the multiplexed image stitching processing unit 44, the multiplexed image frame time merging unit 45, the image processing unit 30, .

본 발명의 제 2 실시예에 따르면, 본 발명의 CMOS 이미지 센서를 이용한 프레임 고속화 시스템은 1 개의 다초점 다중 굴절렌즈(10), 1 개의 다초점 다중 굴절 렌즈에 각각 연결되어 렌즈로부터 들어오는 이미지 광을 수신하여 CMOS 센서 시간 동기화 제어부로 송신하는 N 개의 CMOS 센서(20A, 20B,..., 20N), N 개의 CMOS 센서와 각각 연결되는 CMOS 센서 프레임 시간 동기화 제어부(40), 영상정보 프레임 시간 다중화부(41), 영상 프레임 다중화시간 발생부(42), 다중화 영상 왜곡처리부(43), 다중화 영상 스티칭(stitching) 처리부(44), 다중화 영상 프레임 시간 병합부(45), 영상 처리부(30)를 포함하여 구성된다.
According to the second embodiment of the present invention, the frame acceleration system using the CMOS image sensor according to the present invention comprises a single multifocal multifocal lens 10 and a multifocal multifocal lens, respectively, N CMOS sensors 20A, 20B, ..., 20N for receiving and transmitting to the CMOS sensor time synchronization control unit, a CMOS sensor frame time synchronization control unit 40 connected to N CMOS sensors, A video image multiplexing time generating unit 42, a multiplexed video distortion processing unit 43, a multiplexed video stitching processing unit 44, a multiplexed video frame time merging unit 45, and an image processing unit 30 .

렌즈는 피사체의 크기를 확대 또는 축소할 수 있는 줌렌즈, 피사체의 초점을 조절할 수 있는 포커스 렌즈 및 광량을 조절하는 조리개를 포함할 수 있으며, 외부 피사체로부터 광신호를 수신한다.The lens may include a zoom lens capable of enlarging or reducing a size of a subject, a focus lens capable of adjusting a focus of the subject, and an iris for adjusting a light amount, and receives an optical signal from an external subject.

각각의 CMOS 센서는 렌즈를 통해 입사되는 피사체의 광신호를 전기적 신호로 변환하여 출력한다.Each CMOS sensor converts an optical signal of an object incident through a lens into an electrical signal and outputs the electrical signal.

영상 프레임 다중화 시간 발생부(42)는 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간과 다중화 및 병렬처리를 위한 제어 시간을 발생시켜, 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간은 CMOS 센서 프레임 시간 동기화 제어부(40)으로 전송하고, 다중화 및 병렬처리를 위한 제어 시간은 영상 정보 프레임 시간 다중화부(41)로 전송하여, 전체적으로 영상처리 제어를 담당한다.
The image frame multiplexing time generator 42 generates a control time for time synchronization and a control time for multiplexing and parallel processing of each CMOS sensor so that the control time for time synchronization of each CMOS sensor is a CMOS sensor frame time And transmits the control time for the multiplexing and parallel processing to the synchronization controller 40. The control time for the multiplexing and parallel processing is transferred to the video information frame time multiplexing unit 41 to take charge of image processing control as a whole.

CMOS 센서 프레임 시간 동기화 제어부(40)는 N 개의 CMOS 센서와 연결되어 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간에 따라 각각의 CMOS 센서의 제어 신호를 동기화하여 프레임 시간 동기화 제어신호를 생성하는 모듈이다. 도5처럼 초당 프레임 수가 낮은 CMOS 센서(초당 40 프레임)의 개별적인 센서제어 신호에 대해 도6처럼 시간적으로 동기화시킴으로써 다수의 개별 CMOS 센서의 프레임 시간 동기화 제어 신호를 생성하여, 각각의 CMOS 센서에서 출력되는 영상정보를 시간적으로 병렬화할 수 있도록 제어한다.
The CMOS sensor frame time synchronization controller 40 is connected to N CMOS sensors and generates a frame time synchronization control signal by synchronizing the control signals of the respective CMOS sensors according to the control time for time synchronization of the respective CMOS sensors . As shown in FIG. 5, a plurality of individual CMOS sensor frame time synchronization control signals are generated by temporally synchronizing individual sensor control signals of a low-frame-count CMOS sensor (40 frames per second), as shown in FIG. 5, So that the image information can be temporally parallelized.

영상 정보 프레임 시간 다중화부(41)는 프레임 시간 동기화 제어 신호 및 다중화 및 병렬처리를 위한 제어 시간에 따라 각각의 상기 CMOS 센서의 영상정보를 시간 다중화하는 블록으로, CMOS 센서 프레임 시간 동기화 제어부(40)에서 생성된 다수의 프레임 시간 동기화 제어 신호를 수신한 후, N x 프레임 수 만큼 고속화된 영상을 병렬적으로 시간 다중화하여 고속 프레임화된 영상정보를 얻을 수 있다.The image information frame time multiplexing unit 41 is a block for time multiplexing the image information of each of the CMOS sensors according to a frame time synchronization control signal and a control time for multiplexing and parallel processing and includes a CMOS sensor frame time synchronization controller 40, The frame synchronizing control signal generated by the frame synchronizing control signal is received, and then the image obtained by speeding up the number of N x frames is time-multiplexed in parallel to obtain the image information of the high-speed frame.

예를 들어, 초당 30 프레임의 CMOS 센서 4개(N = 4)를 사용할 경우, 개별 CMOS 센서로부터는 초당 30프레임 영상정보 밖에 출력되지 않지만, 도7에 도시된 바와 같이 CMOS 센서 프레임 시간 동기화 제어부(40)의 시간 동기화 제어를 통해 초당 30 프레임의 CMOS 센서의 영상 4세트를 시간적으로 병렬화하면 초당 120장(N x 30프레임/초 = 4 x 30/초)의 다중화된 병렬 영상 데이터 스트림을 출력하게 되어, 고속 영상출력용 CMOS 센서를 사용한 것과 동일한 효과를 얻을 수 있다.
For example, when four CMOS sensors (N = 4) of 30 frames per second are used, only a 30 frame image information per second is output from an individual CMOS sensor. However, as shown in FIG. 7, 40), when the four sets of images of the CMOS sensor of 30 frames per second are temporally parallelized, a multiplexed parallel video data stream of 120 frames per second (N x 30 frames / sec = 4 x 30 / sec) is outputted Thus, the same effect as that obtained by using a CMOS sensor for high-speed video output can be obtained.

다중화 영상 왜곡처리부(43)는 영상정보 프레임 시간 다중화부(41)에서 다중으로 병렬화된 영상 정보에 존재할 수도 있는 영상 왜곡을 보정하는 블록으로, 이는 다수의 일반 렌즈(10A, 10B, ...,, 10N)를 통해 또는 단일의 다촛점 다중 굴절렌즈(50)를 통해 CMOS 이미지 센서로부터 출력되는 영상이 각각의 렌즈의 위치 및 렌즈의 구면각, 초점등의 특성에 의해 실제 영상에 비해 일부 왜곡된 영상 상태로 전달되는 현상을 막기 위한 것으로, 영상처리를 통해 왜곡된 부분을 수정 및 보완함으로써 왜곡된 영상을 실제 영상과 최대한 가깝게 보정해주는 역할을 한다.
The multiplexed image distortion processor 43 corrects image distortion that may be present in the multiplexed image information in the image information frame time multiplexing unit 41. The multiplexed image distortion processor 43 includes a plurality of general lenses 10A, , 10N, or through a single multifocal lens 50, the image output from the CMOS image sensor is partially distorted compared to the actual image due to the characteristics of each lens position, the spherical angle, and the focus of the lens In order to prevent the phenomenon from being transmitted to the state, it corrects the distorted image as close to the actual image as possible by correcting and supplementing the distorted part through the image processing.

다중화 영상 스티칭 처리부(44)는 다중화 영상 왜곡처리부(43)에서 보정된 다중 병렬화된 전체 영상의 렌즈의 위치 및 렌즈의 구면각 특성을 기준으로 개별 CMOS 센서의 영상의 위치 및 크기를 동기화 또는 동일화하여 하나의 영상 스트림으로 보정해주는 역할을 담당한다. 이를 위해 개별 CMOS 센서의 이미지 영상 좌표를 분석하여 다수의 CMOS 센서에서 출력되는 영상을 정규화된 하나의 좌표로 고정시킴으로써 개별 영상간의 좌표오차를 보완하여 다중화된 영상을 한개의 영상스트림으로 구성할 때 영상의 떨림을 방지하는 기능을 수행한다.
The multiplexed image stitching processing unit 44 synchronizes or equalizes the positions and sizes of the images of the individual CMOS sensors on the basis of the position of the lens of the multi-parallelized whole image corrected by the multiplexed image distortion processor 43 and the spherical- To the video stream. For this purpose, when the image coordinates of the individual CMOS sensors are analyzed and the images output from the plurality of CMOS sensors are fixed to one normalized coordinate to compensate the coordinate error between the individual images, Thereby preventing the user from shaking.

다중화 영상 프레임 시간 병합부(45)는 다중화 영상 왜곡처리부(43) 및 다중화 영상 스티칭 처리부(44)에서 개별 CMOS 센서의 영상별로 병렬 보정 처리되어 수신한 영상 스트림을 다중화 시간을 토대로 하나의 다중화된 병렬 영상 데이터 스트림으로 병합하고, 개별 CMOS 센서간의 동기신호 오차를 보정하여 전체 카메라 모듈의 기준 동기신호와 일치하도록 동기화된 초당 N x 프레임의 영상을 생성하여 영상처리부(30)로 전송한다.
The multiplexed image frame time merging unit 45 multiplexes the image streams received by the parallel image correction processing unit 43 and the multiplexed image stitching processing unit 44 for each image of the individual CMOS sensor, And synchronizes the synchronization signal errors between the individual CMOS sensors to generate an image of N x frames per second synchronized with the reference synchronization signal of the entire camera module and transmits the image to the image processing unit 30.

도3의 구성에 비해 도4의 구성은 N 개의 일반렌즈 대신 1개의 다초점 다중 굴절 렌즈를 사용하기 때문에 렌즈의 구성이 단순화되어 보다 용이하게 낮은 비용으로 고속 카메라를 구현할 수 있다.
4, the configuration of FIG. 4 uses a multifocal multi-refraction lens in place of the N general lenses, so that the configuration of the lens is simplified, so that a high-speed camera can be implemented easily at a low cost.

이상 설명한 바와 같이 본 발명에서는 고속 카메라를 구현하기 위해 고가의 전용 CMOS 이미지 센서를 사용하지 않고, 일반적으로 많이 사용하고 있는 저가의 CMOS 이미지 센서를 다수개(N) 사용하여 프레임 시간 동기화 제어부(40), 영상정보 프레임 시간 다중화부(41), 다중화 영상 왜곡처리부(43), 다중화 영상 스티칭 처리부(44), 다중화 영상 프레임 시간 병합부(45)를 통한 영상처리를 통해 N x 개별 CMOS 센서의 초당 프레임수만큼의 초당 프레임수로 고속촬영이 가능한 고속 카메라를 용이하게 저가로 구현 개발가능하며, 이를 통해 고속촬영이 요구되는 제품시장, 특히 블랙박스, 스포츠용 카메라등에 쉽게 응용할 수 있으며 휴대성 또한 용이하게 구현할 수 있으므로 휴대폰시장의 고속카메라 장치로도 활용가능하다.
As described above, in the present invention, the frame time synchronization controller 40 uses a plurality of low-cost CMOS image sensors (N), which are generally used in many cases, without using an expensive dedicated CMOS image sensor, Frame of the N x individual CMOS sensor through the image processing through the image information frame time multiplexing unit 41, the multiplexed image distortion processing unit 43, the multiplexed image stitching processing unit 44 and the multiplexed image frame time merging unit 45. [ It is possible to develop a high-speed camera that can shoot at high speed with the number of frames per second at a low cost with ease, and it can be easily applied to a product market requiring high-speed shooting, particularly a black box, a sports camera, It can be used as a high-speed camera device in the mobile phone market.

또한 2 x 개별 CMOS 센서의 초당 프레임수 ~ N x 개별 CMOS 센서의 초당 프레임수까지의 다양한 프레임 수의 고속카메라를 용이하게 구현할 수 있으므로, 제품시장 요구에 따라 사용되는 CMOS 센서의 개수를 조정하여, 저가로 다양한 시장에 적용할 수 있으며 기존의 프레임단위의 영상처리 장치의 플랫폼을 크게 변경하지 않고도 용이하게 구현가능하다.
In addition, it is possible to easily implement high-speed cameras of various frames from the number of frames per second to the number of frames per second of the individual CMOS sensor of 2 x individual CMOS sensors. Therefore, by adjusting the number of CMOS sensors, It can be applied to various markets at low cost and can be easily implemented without greatly changing the platform of the existing frame unit image processing apparatus.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이런 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The foregoing description is merely illustrative of the technical idea of the present invention and various changes and modifications may be made without departing from the essential characteristics of the present invention by those skilled in the art. Therefore, the embodiments disclosed in the present invention are not intended to limit the scope of the present invention but to limit the scope of the present invention. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as falling within the scope of the present invention.

Claims (8)

N 개의 렌즈;
상기 N 개의 렌즈 각각에 하나씩 연결되어 렌즈로부터 이미지 광을 수신하는 N 개의 CMOS 센서;
각각의 CMOS 센서의 시간 동기화를 위한 제어 시간과 다중화 및 병렬처리를 위한 제어 시간을 발생시키는 영상 프레임 다중화 시간 발생부;
상기 N 개의 CMOS 센서와 연결되어 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간에 따라 각각의 CMOS 센서의 제어 신호를 동기화하여 프레임 시간 동기화 제어신호를 생성하는 CMOS 센서 프레임 시간 동기화 제어부;
상기 프레임 시간 동기화 제어 신호 및 다중화 및 병렬처리를 위한 제어 시간에 따라 각각의 상기 CMOS 센서의 영상데이터를 시간 다중화하는 영상정보 프레임 시간 다중화부;
상기 영상정보 프레임 시간 다중화부에서 수신한 시간 다중화된 영상 데이터의 영상왜곡을 보정하는 다중화 영상 왜곡처리부;
영상왜곡이 보정된 시간 다중화 영상 데이터를, 각각의 CMOS 센서의 영상 데이터 사이의 좌표오차를 보정함으로써, 동기화하여 하나의 영상 스트림으로 구성하는 다중화 영상 스티칭 처리부; 및
상기 다중화 영상 스티칭 처리부로부터 수신한 영상 스트림을 다중화 시간을 토대로 병합하여 하나의 다중화된 병렬 영상 데이터 스트림을 생성하는 다중화 영상 프레임 시간 병합부를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 이용한 프레임 고속화 시스템.
N lenses;
N CMOS sensors each connected to each of the N lenses to receive image light from the lens;
An image frame multiplexing time generator for generating a control time for time synchronization and a control time for multiplexing and parallel processing of each CMOS sensor;
A CMOS sensor frame time synchronization controller connected to the N CMOS sensors to generate a frame time synchronization control signal by synchronizing control signals of respective CMOS sensors according to control time for time synchronization of the respective CMOS sensors;
An image information frame time multiplexer for time-multiplexing image data of each of the CMOS sensors according to the frame time synchronization control signal and the control time for multiplexing and parallel processing;
A multiplexed image distortion processor for correcting image distortion of the time-multiplexed image data received by the image information frame time multiplexer;
A multiplexed image stitching processing unit configured to synchronize time-multiplexed image data in which image distortion is corrected to correct a coordinate error between image data of each of the CMOS sensors to form a single image stream; And
And a multiplexed image frame time merger for merging the image streams received from the multiplexed image stitching processor based on the multiplexing time to generate one multiplexed image data stream.
제 1 항에 있어서,
상기 영상정보 프레임 시간 다중화부에서 출력된 영상 데이터는 N x 상기 CMOS 센서의 초당 프레임수와 동일한 프레임 수를 갖는 것을 특징으로 하는 CMOS 이미지 센서를 이용한 프레임 고속화 시스템.
The method according to claim 1,
Wherein the image data output from the image information frame time multiplexing unit has a number of frames equal to N x the number of frames per second of the CMOS sensor.
삭제delete 하나의 다초점 다중굴절 렌즈;
상기 다초점 다중굴절 렌즈에 연결되어 각각의 초점의 이미지 광을 수신하는 N 개의 CMOS 센서;
각각의 CMOS 센서의 시간 동기화를 위한 제어 시간과 다중화 및 병렬처리를 위한 제어 시간을 발생시키는 영상 프레임 다중화 시간 발생부;
상기 N 개의 CMOS 센서와 연결되어 각각의 CMOS 센서의 시간 동기화를 위한 제어 시간에 따라 각각의 CMOS 센서의 제어 신호를 동기화하여 프레임 시간 동기화 제어신호를 생성하는 CMOS 센서 프레임 시간 동기화 제어부;
상기 프레임 시간 동기화 제어 신호 및 다중화 및 병렬처리를 위한 제어 시간에 따라 각각의 상기 CMOS 센서의 영상데이터를 시간 다중화하는 영상정보 프레임 시간 다중화부;
상기 영상정보 프레임 시간 다중화부에서 수신한 시간 다중화 영상 데이터의 영상왜곡을 보정하는 다중화 영상 왜곡처리부;
영상왜곡이 보정된 시간 다중화 영상 데이터를, 각각의 CMOS 센서의 영상 데이터 사이의 좌표오차를 보정함으로써, 동기화하여 하나의 영상 스트림으로 구성하는 다중화 영상 스티칭 처리부; 및
상기 다중화 영상 스티칭 처리부로부터 수신한 영상 스트림을 다중화 시간을 토대로 병합하여 하나의 다중화된 병렬 영상 데이터 스트림을 생성하는 다중화 영상 프레임 시간 병합부를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 이용한 프레임 고속화 시스템.
One multifocal multiple refraction lens;
N CMOS sensors connected to the multifocal multi-refraction lens to receive image light of respective focuses;
An image frame multiplexing time generator for generating a control time for time synchronization and a control time for multiplexing and parallel processing of each CMOS sensor;
A CMOS sensor frame time synchronization controller connected to the N CMOS sensors to generate a frame time synchronization control signal by synchronizing control signals of respective CMOS sensors according to control time for time synchronization of the respective CMOS sensors;
An image information frame time multiplexer for time-multiplexing image data of each of the CMOS sensors according to the frame time synchronization control signal and the control time for multiplexing and parallel processing;
A multiplexed image distortion processor for correcting image distortion of the time-multiplexed image data received by the image information frame time multiplexer;
A multiplexed image stitching processing unit configured to synchronize time-multiplexed image data in which image distortion is corrected to correct a coordinate error between image data of each of the CMOS sensors to form a single image stream; And
And a multiplexed image frame time merger for merging the image streams received from the multiplexed image stitching processor based on the multiplexing time to generate one multiplexed image data stream.
제 4 항에 있어서,
상기 영상정보 프레임 시간 다중화부에서 출력된 영상 데이터는 N x 상기 CMOS 센서의 초당 프레임수와 동일한 프레임 수를 갖는 것을 특징으로 하는 CMOS 이미지 센서를 이용한 프레임 고속화 시스템.
5. The method of claim 4,
Wherein the image data output from the image information frame time multiplexing unit has a number of frames equal to N x the number of frames per second of the CMOS sensor.
삭제delete 렌즈를 통해 수신한 광신호를 CMOS 센서에서 전기 신호로 변환하는 단계;
CMOS 센서의 시간 동기화를 위한 제어 시간과 다중화 및 병렬처리를 위한 제어 시간을 발생시키는 단계;
CMOS 센서의 시간 동기화를 위한 제어 시간에 따라 각각의 CMOS 센서의 제어 신호를 동기화하여 프레임 시간 동기화 제어신호를 생성하는 단계;
상기 프레임 시간 동기화 제어 신호 및 다중화 및 병렬처리를 위한 제어 시간에 따라 각각의 상기 CMOS 센서의 영상 데이터를 시간 다중화하는 단계;
시간 다중화 영상 데이터의 영상왜곡을 보정하는 단계;
보정된 시간 다중화 영상 데이터를 동기화하여 하나의 영상 스트림으로 구성하는 단계;
상기 영상 스트림을 다중화 시간을 토대로 병합하여 하나의 다중화된 병렬 영상 데이터 스트림을 생성하는 단계를 포함하고,
상기 렌즈는 일반렌즈 또는 다초점 다중굴절 렌즈 중 하나인 것을 특징으로 하는 CMOS 이미지 센서를 이용한 프레임 고속화 방법.


Converting an optical signal received through the lens into an electrical signal from a CMOS sensor;
Generating a control time for time synchronization and a control time for multiplexing and parallel processing of the CMOS sensor;
Generating a frame time synchronization control signal by synchronizing control signals of respective CMOS sensors according to a control time for time synchronization of the CMOS sensor;
Time multiplexing the video data of each of the CMOS sensors according to the frame time synchronization control signal and the control time for multiplexing and parallel processing;
Correcting image distortion of the time-multiplexed image data;
Synchronizing the corrected time-multiplexed video data to form a video stream;
And merging the video streams based on the multiplexing time to generate one multiplexed parallel video data stream,
Wherein the lens is one of a general lens and a multifocal multi-refraction lens.


삭제delete
KR1020130136316A 2013-11-11 2013-11-11 Accelerated processing method of frame using CMOS image sensor and frame accelarating system KR101521109B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130136316A KR101521109B1 (en) 2013-11-11 2013-11-11 Accelerated processing method of frame using CMOS image sensor and frame accelarating system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130136316A KR101521109B1 (en) 2013-11-11 2013-11-11 Accelerated processing method of frame using CMOS image sensor and frame accelarating system

Publications (1)

Publication Number Publication Date
KR101521109B1 true KR101521109B1 (en) 2015-05-18

Family

ID=53394935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130136316A KR101521109B1 (en) 2013-11-11 2013-11-11 Accelerated processing method of frame using CMOS image sensor and frame accelarating system

Country Status (1)

Country Link
KR (1) KR101521109B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996009A (en) * 2019-12-20 2020-04-10 安翰科技(武汉)股份有限公司 Capsule endoscope system, automatic frame rate adjustment method thereof, and computer-readable storage medium
US11290630B2 (en) 2018-11-09 2022-03-29 Hanwha Techwin Co.. Ltd. Imaging apparatus, imaging method, and computer program for capturing image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846952A (en) * 1994-08-02 1996-02-16 Matsushita Electric Ind Co Ltd Image pickup device
JPH09126735A (en) * 1995-11-02 1997-05-16 Tokai Rika Co Ltd Multiple image forming camera and shape measuring method using this camera
KR20020075576A (en) * 2001-03-26 2002-10-05 삼성전자 주식회사 Method and controller for high speed image pick-up of image pickup device
JP2011004191A (en) * 2009-06-18 2011-01-06 Canon Inc Imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846952A (en) * 1994-08-02 1996-02-16 Matsushita Electric Ind Co Ltd Image pickup device
JPH09126735A (en) * 1995-11-02 1997-05-16 Tokai Rika Co Ltd Multiple image forming camera and shape measuring method using this camera
KR20020075576A (en) * 2001-03-26 2002-10-05 삼성전자 주식회사 Method and controller for high speed image pick-up of image pickup device
JP2011004191A (en) * 2009-06-18 2011-01-06 Canon Inc Imaging device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11290630B2 (en) 2018-11-09 2022-03-29 Hanwha Techwin Co.. Ltd. Imaging apparatus, imaging method, and computer program for capturing image
CN110996009A (en) * 2019-12-20 2020-04-10 安翰科技(武汉)股份有限公司 Capsule endoscope system, automatic frame rate adjustment method thereof, and computer-readable storage medium
CN110996009B (en) * 2019-12-20 2021-07-23 安翰科技(武汉)股份有限公司 Capsule endoscope system, automatic frame rate adjustment method thereof, and computer-readable storage medium

Similar Documents

Publication Publication Date Title
US9001227B2 (en) Combining data from multiple image sensors
US8896668B2 (en) Combining data from multiple image sensors
US9288377B2 (en) System and method for combining focus bracket images
US11637975B2 (en) Solid state image sensor and electronic equipment
JP2007104349A (en) Imaging device
KR20180121879A (en) An image pickup control device, and an image pickup control method,
KR20170000686A (en) Apparatus for detecting distance and camera module including the same
US20120224086A1 (en) Image capturing apparatus and control method thereof
US20170251154A1 (en) Image capturing apparatus, control method thereof, and storage medium
KR101521109B1 (en) Accelerated processing method of frame using CMOS image sensor and frame accelarating system
KR102617898B1 (en) Synchronization of image capture from multiple sensor devices
RU2523858C1 (en) Device for panoramic television surveillance
JP2015005880A (en) Imaging element and imaging device
CN117652153A (en) Electronic device and control method thereof
US20170295302A1 (en) Image capturing method and image capturing apparatus
WO2013047404A1 (en) Image pickup apparatus and image pickup method
JP2005295422A (en) Digital camera device
JP2016127385A (en) Imaging device and control method of imaging device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180514

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190513

Year of fee payment: 5