KR101670176B1 - Image fusion system - Google Patents

Image fusion system Download PDF

Info

Publication number
KR101670176B1
KR101670176B1 KR1020150089184A KR20150089184A KR101670176B1 KR 101670176 B1 KR101670176 B1 KR 101670176B1 KR 1020150089184 A KR1020150089184 A KR 1020150089184A KR 20150089184 A KR20150089184 A KR 20150089184A KR 101670176 B1 KR101670176 B1 KR 101670176B1
Authority
KR
South Korea
Prior art keywords
image
data
unit
fusion
image fusion
Prior art date
Application number
KR1020150089184A
Other languages
Korean (ko)
Inventor
지상현
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020150089184A priority Critical patent/KR101670176B1/en
Application granted granted Critical
Publication of KR101670176B1 publication Critical patent/KR101670176B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H04N5/335—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

According to an embodiment of the present invention, an image fusion system comprises: an image sensor unit including a first image sensor and a second image sensor to convert light incident through lenses into electric signals to generate a first raw data and a second raw data respectively; an image processing unit including a first image processing unit to process the first raw data to convert the first raw data into a first image data and a second image processing unit to process the second raw data to convert the second raw data into second image data; an image fusion unit to perform image fusion using at least two among the first raw data, the second raw data, the first image data, and the second image data; and a data transmission path control unit to control a path to provide the image fusion unit with the first raw data or the second raw data output from the image sensor unit in accordance with the type of images fused by the image fusion unit. The image fusion system of the present invention is able to fuse images using various formats of data.

Description

영상 융합 시스템{IMAGE FUSION SYSTEM}Image fusion system {IMAGE FUSION SYSTEM}

본 발명은 영상 융합 시스템에 관한 것이다.
The present invention relates to an image fusion system.

일반적으로, 영상 융합 시스템은 복수개의 영상을 융합하기 위한 복수의 카메라 센서와 상기 각각의 카메라 센서에서 생성되는 로 데이터를 처리하기 위한 복수의 이미지 프로세서 및 상기 처리된 이미지를 융합하는 영상 융합 알고리즘을 포함하여 구성된다.
Generally, an image fusion system includes a plurality of camera sensors for fusing a plurality of images, a plurality of image processors for processing row data generated by the respective camera sensors, and an image fusion algorithm for fusing the processed images .

종래의 영상 융합 시스템은 이미지 프로세서로부터 처리된 이미지 데이터를 이용하여 영상 융합을 수행할 뿐, 카메라 센서에서 생성된 로 데이터를 영상 융합 알고리즘으로 제공하지 않기 때문에, 다양한 포멧의 데이터 입력 조합에 따른 다양한 영상 융합 기술을 구현하기 어려운 문제점이 있다.
Conventional image fusion system performs image fusion using image data processed from an image processor and does not provide RO image data generated by a camera sensor as an image fusion algorithm, There is a problem that it is difficult to realize a fusion technique.

하기의 특허문헌 1은 영상 융합 시스템 및 영상 융합 방법에 관한 것이나, 상술한 문제에 대한 해결책을 제시하지 못하고 있다.
The following Patent Document 1 relates to an image fusion system and an image fusion method, but does not provide a solution to the above-mentioned problem.

한국 공개특허공보 제10-2013-0024169호Korean Patent Publication No. 10-2013-0024169

본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 융합되는 영상의 종류에 따라 로 데이터의 전송 경로를 제어함으로써, 다양한 포멧의 데이터를 이용하여 영상을 융합 할 수 있는 영상 융합 시스템을 제공한다.
The present invention provides an image fusion system capable of fusing images using various formats of data by controlling the transmission path of data by the type of fused images do.

본 발명의 일 실시예에 따른 영상 융합 시스템은 각각 렌즈를 통해 들어오는 빛을 전기적 신호로 변환하여 제1 로(Raw) 데이터를 생성하는 제1 이미지 센서 및 제2 로 데이터를 생성하는 제2 이미지 센서를 구비한 이미지 센서부, 상기 제1 로 데이터를 처리하여 제1 이미지 데이터로 변환하는 제1 이미지 처리부 및 상기 제2 로 데이터를 처리하여 제2 이미지 데이터로 변환하는 제2 이미지 처리부를 구비한 이미지 처리부, 상기 제1 로 데이터, 상기 제2 로 데이터, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 적어도 두 개의 데이터를 이용하여 영상 융합을 수행하는 영상 융합부 및 상기 이미지 센서부로부터 출력되는 상기 제1 로 데이터 또는 제2 로 데이터를 상기 영상 융합부로 제공하도록 경로를 제어하는 데이터 전송 경로 제어부를 포함할 수 있다.
일 실시예에서, 상기 데이터 전송 경로 제어부는, 상기 영상 융합부에서 융합되는 영상의 종류에 따라 상기 제1 로 데이터 또는 제2 로 데이터를 상기 영상 융합부로 제공하도록 상기 경로를 제어할 수 있다.
The image fusion system according to an embodiment of the present invention includes a first image sensor that converts first light into electrical signals to generate first raw data and a second image sensor that generates second raw data, A first image processing unit for processing the first raw data and converting the first raw data into first image data and a second image processing unit for processing the second raw data to convert the second raw data into second image data, An image fusion unit for performing image fusion using at least two data among the first data, the second data, the first image data, and the second image data; And a data transmission path control unit for controlling the path to provide data to the image fusion unit The.
In one embodiment, the data transmission path control unit may control the path to provide the first data or the second data to the image fusion unit according to the type of the image fused in the image fusion unit.

삭제delete

본 발명의 일 실시형태에 의하면, 융합되는 영상의 종류에 따라 로 데이터의 전송 경로를 제어함으로써, 다양한 포멧의 데이터를 이용하여 영상을 융합 할 수 있는 효과가 있다.
According to one embodiment of the present invention, there is an effect that images can be fused using data of various formats by controlling the transmission path of data by the type of the fused image.

도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 설명하기 위한 구성도이다.
도 2는 도 1의 영상 융합부가 초해상도(Super Resolution)의 영상을 융합하는 경우, 상기 영상 융합부가 융합에 필요한 데이터를 제공받기 위해 데이터 전송 경로 제어부에 의해 제어된 경로를 설명하기 위한 구성도이다.
도 3은 도 1의 영상 융합부가 HDR(High Dynamic Range)의 영상을 융합하는 경우, 상기 영상 융합부가 융합에 필요한 데이터를 제공받기 위해 데이터 전송 경로 제어부에 의해 제어된 경로를 설명하기 위한 구성도이다.
도 4는 도 1의 영상 융합부가 아웃포커싱(Outfocusing)이 구현된 영상을 융합하는 경우, 상기 영상 융합부가 융합에 필요한 데이터를 제공받기 위해 데이터 전송 경로 제어부에 의해 제어된 경로를 설명하기 위한 구성도이다. 1 is a block diagram for explaining an image fusion system according to an embodiment of the present invention.
2 is a diagram for explaining a path controlled by a data transmission path control unit in order to provide data required for fusion by the image fusion unit when the image fusion unit of FIG. 1 fuses an image of super resolution .
3 is a diagram for explaining a path controlled by a data transmission path control unit in order to provide data necessary for fusion when the image fusion unit of FIG. 1 fuses an image of HDR (High Dynamic Range) .
FIG. 4 is a diagram for explaining a path controlled by a data transmission path control unit in order to provide data necessary for fusion when the image fusion unit of FIG. 1 fuses an image in which outfocusing is implemented; FIG. to be.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다. Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
However, the embodiments of the present invention can be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. Further, the embodiments of the present invention are provided to more fully explain the present invention to those skilled in the art.

본 발명에 참조된 도면에서 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호가 사용될 것이며, 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
In the drawings referred to in the present invention, elements having substantially the same configuration and function will be denoted by the same reference numerals, and the shapes and sizes of the elements and the like in the drawings may be exaggerated for clarity.

도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 설명하기 위한 구성도이다.
1 is a block diagram for explaining an image fusion system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 융합 시스템은 이미지 센서부(100), 이미지 처리부(200), 영상 융합부(300) 및 데이터 전송 경로 제어부(400)를 포함할 수 있다.
1, an image fusion system according to an exemplary embodiment of the present invention may include an image sensor unit 100, an image processing unit 200, an image fusion unit 300, and a data transmission path control unit 400 .

이미지 센서부(100)는 각각 렌즈를 통해 들어오는 빛을 전기적 신호로 변환하여 제1 로(Raw) 데이터를 생성하는 제1 이미지 센서(110)와 제2 로 데이터를 생성하는 제2 이미지 센서(120)를 포함할 수 있다. 여기서, 제1 이미지 센서(110)와 제2 이미지 센서(120)는 CCD 이미지 센서 또는 CMOS 이미지 센서일 수 있다.
The image sensor unit 100 includes a first image sensor 110 and a second image sensor 120. The first image sensor 110 generates first raw data and the second image sensor 120 generates second raw data by converting light received through the lens into an electrical signal, ). Here, the first image sensor 110 and the second image sensor 120 may be a CCD image sensor or a CMOS image sensor.

또한, 제1 이미지 센서(110)와 제2 이미지 센서(120)는 동일한 화각으로 제어되어 입력되는 빛을 전기적 신호로 변환하여 각각 제1 로 데이터와 제2 로 데이터를 생성할 수 있다.
The first image sensor 110 and the second image sensor 120 are controlled at the same angle of view and can convert input light into an electrical signal to generate first and second data, respectively.

여기서, 제1 로 데이터는 데이터 전송 경로 제어부(400)의 제어에 의해 제1 이미지 처리부(210) 또는 영상 융합부(300)로 전송될 수 있다. 또한, 제2 로 데이터는 데이터 전송 경로 제어부(400)의 제어에 의해 제2 이미지 처리부(220) 또는 영상 융합부(300)로 출력될 수 있다.
Here, the first data may be transmitted to the first image processing unit 210 or the image fusion unit 300 under the control of the data transmission path control unit 400. The second data may be output to the second image processing unit 220 or the image fusion unit 300 under the control of the data transmission path control unit 400.

이미지 처리부(200)는 이미지 센서부(100)로부터 입력되는 로 데이터를 처리하여 이미지 데이터로 변환할 수 있다. 여기서, 이미지 처리부(200)는 제1 이미지 센서(110)로부터 입력되는 제1 로 데이터를 처리하는 제1 이미지 처리부(210)와 제2 이미지 센서(120)로부터 입력되는 제2 로 데이터를 처리하는 제2 이미지 처리부(220)를 포함할 수 있다.
The image processing unit 200 may process the RO data input from the image sensor unit 100 and convert it into image data. Here, the image processing unit 200 may include a first image processing unit 210 for processing the first raw data input from the first image sensor 110 and a second image processing unit 210 for processing the second raw data input from the second image sensor 120 And a second image processing unit 220.

일 실시예에서, 제1 이미지 처리부(210)와 제2 이미지 처리부(220)는 이미지 신호 프로세서(Image Signal Processor, ISP)로 구현될 수 있다. 여기서, 제1 이미지 데이터 및 제2 이미지 데이터는 YUV 형식의 데이터일 수 있다.
In one embodiment, the first image processing unit 210 and the second image processing unit 220 may be implemented as an image signal processor (ISP). Here, the first image data and the second image data may be data in the YUV format.

영상 융합부(300)는 제1 로 데이터, 제2 로 데이터, 제1 이미지 데이터 및 제2 이미지 데이터 중 적어도 두 개의 데이터를 이용하여 영상 융합을 수행할 수 있다.
The image fusion unit 300 may perform image fusion using at least two of the first data, the second data, the first image data, and the second image data.

일 실시예에서, 영상 융합부(300)는 융합되는 영상의 종류에 따라 제1 로 데이터, 제2 로 데이터, 제1 이미지 데이터 및 제2 이미지 데이터 중 적어도 두 개의 데이터를 이용하여 영상을 융합할 수 있다.
In one embodiment, the image fusion unit 300 fuses an image using at least two of the first data, the second data, the first image data, and the second image data according to the type of the fused image .

예를 들면, 영상 융합부(300)는 초해상도(Super Resolution)의 영상을 얻기 위해 영상 융합을 수행하는 경우, 제1 이미지 센서(110)에서 생성된 제1 로 데이터와 제2 이미지 처리부(220)에서 변환된 제2 이미지 데이터를 이용하여 상기 영상 융합을 수행 할 수 있다. 반대의 경우도 가능하다.
For example, when the image fusion unit 300 performs image fusion to obtain a super resolution image, the first fusion data generated by the first image sensor 110 and the second fusion data generated by the second image processing unit 220 The image fusion may be performed using the second image data. The opposite is also possible.

또한, 영상 융합부(300)는 이미지의 역광 보정을 위해 HDR(High Dynamic Range)의 영상을 얻기 위한 영상 융합을 수행할 수 있는데, 이 경우, 영상 융합부(300)는 제1 이미지 데이터와 제2 이미지 데이터를 이용하여 상기 영상 융합을 수행할 수 있다.
In addition, the image fusion unit 300 may perform image fusion to obtain an HDR (High Dynamic Range) image for backlight correction of an image. In this case, the image fusion unit 300 may convert the first image data and the second image data, 2 < / RTI > image data.

또한, 영상 융합부(300)는 아웃포커싱(Outfocusing) 효과를 주기 위한 영상 융합을 수행할 수 있으며, 이 경우, 영상 융합부(300)는 제1 로 데이터와 제2 로 데이터를 이용하여 상기 영상 융합을 수행할 수 있다.
In addition, the image fusion unit 300 may perform image fusion for providing an out-focusing effect. In this case, the image fusion unit 300 may use the first raw data and the second raw data, Fusion can be performed.

일 실시예에서, 영상 융합부(300)는 카메라의 화질을 개선하거나, 특수한 효과(아웃 포커싱, 줌 효과 등) 또는 보정(역광 보정 등)을 위해 다양한 종류의 데이터를 이용하여 영상 융합을 수행하는 영상 융합 알고리즘을 포함할 수 있다.
In one embodiment, the image fusion unit 300 performs image fusion using various types of data for improving the image quality of a camera or for a special effect (out-focusing, zooming effect, etc.) or correction An image fusion algorithm may be included.

데이터 전송 경로 제어부(400)는 이미지 센서부(100)와 이미지 처리부(200) 사이에서 이미지 센서부로부터 출력되는 제1 로 데이터 또는 제2 로 데이터를 필요에 따라 영상 융합부(300)로 제공하도록 경로를 제어할 수 있다.
The data transmission path control unit 400 may provide first data or second data output from the image sensor unit between the image sensor unit 100 and the image processing unit 200 to the image fusion unit 300 You can control the path.

일 실시예에서, 데이터 전송 경로 제어부(400)는 영상 융합부(300)에서 융합되는 영상의 종류에 따라 영상 융합부(300)에서 필요로 하는 데이터가 제공될 수 있도록 데이터 제공 경로를 제어할 수 있다.
In one embodiment, the data transmission path control unit 400 may control the data providing path so that data required by the image fusion unit 300 may be provided according to the type of the image to be fused in the image fusion unit 300 have.

데이터 전송 경로 제어부(400)에 의해 영상 융합부(300)에서 융합되는 영상의 종류에 따른 데이터의 제공 경로에 대한 자세한 설명은 이하 도 2 내지 도 4를 참조하여 자세히 설명한다.
A detailed description of data providing paths according to types of images fused in the image fusion unit 300 by the data transmission path control unit 400 will be described in detail with reference to FIG. 2 to FIG.

일 실시예에서, 제1 로 데이터 및 제2 로 데이터는 각각 적어도 하나의 프레임을 포함할 수 있다. 여기서, 데이터 전송 경로 제어부(400)는 상기 제1 로 데이터 및 제2 로 데이터에 포함되는 프레임에 상기 각각의 프레임들의 생성 시간에 대응되는 타임스탬프를 기록할 수 있다.
In one embodiment, the first data and the second data may each comprise at least one frame. Here, the data transmission path control unit 400 may record a time stamp corresponding to the generation time of each of the frames in the frames included in the first and second data.

이 경우, 영상 융합부(300)는 융합에 이용하기 위한 복수의 데이터에 대하여, 상기 각 데이터에 포함된 적어도 하나의 프레임 중 어느 하나를 추출하고, 상기 추출된 프레임을 융합함으로써, 영상 융합을 수행할 수 있다. 여기서, 영상 융합부(300)는 영상 융합의 오차 및 품질을 향상시키기 위해 상기 영상 융합에 이용되는 데이터에 포함된 프레임들 중 가장 근접한 시간에 생성된 프레임을 추출하여 융합할 수 있다. 이 때, 영상 융합부(300)는 프레임에 기록된 타임스탬프를 비교함으로써 가장 근접한 프레임을 추출하여 영상 융합을 수행할 수 있다.
In this case, the image fusion unit 300 extracts any one of at least one frame included in the respective data for a plurality of data to be used for fusion, and fuses the extracted frames to perform image fusion can do. Here, the image fusion unit 300 may extract and combine frames generated at the closest time among the frames included in the data used for the image fusion to improve the error and quality of the image fusion. At this time, the image fusion unit 300 can perform image fusion by extracting the nearest frame by comparing the time stamps recorded in the frame.

예를 들면, 영상 융합부(300)는 초해상도 영상을 융합하는 경우, 제1 로 데이터와 제2 이미지 데이터를 이용하여 영상을 융합할 수 있는데, 이 경우, 제2 이미지 데이터는 제2 이미지 처리부(220)를 경유하여 영상 융합부(300)로 입력되므로, 제1 로 데이터에 비해 시간 지연이 발생할 수 있고, 이에 따라 가장 근접한 시간에 생성된 프레임을 추출하기가 어려운 문제점이 있다.
For example, when the super-resolution image is fused, the image fusion unit 300 may fuse the image using the first data and the second image data. In this case, A time lag may occur compared to the first data, and thus it is difficult to extract a frame generated in the nearest time.

이러한 문제점을 해결하기 위해, 데이터 전송 경로 제어부(400)는 제1 로 데이터 및 제2 로 데이터에 포함된 프레임에 타임스탬프를 기록할 수 있고, 영상 융합부(300)는 상기 타임스탬프가 기록된 제1 로 데이터의 프레임들과 제2 이미지 데이터(제2 이미지 처리부(220)에 의해 데이터 형식이 변경되더라도 타임스탬프의 기록은 그대로 유지될 수 있다)의 프레임들 사이의 타임스탬프를 비교하여, 가장 근접한 타임스탬프가 기록된 프레임(제1 로 데이터의 프레임 중 어느 하나와 제2 이미지 데이터의 프레임 중 어느 하나)을 추출하여 영상 융합을 수행할 수 있다.
In order to solve such a problem, the data transmission path control unit 400 may record a time stamp on a frame included in the first data and the second data, and the image fusion unit 300 may record the time stamp The timestamps between the frames of the first data and the frames of the second image data (the recording of the time stamp can be maintained even if the data format is changed by the second image processing unit 220) are compared, The image fusion can be performed by extracting a frame in which a close timestamp is recorded (first of any one of frames of data and a frame of second image data).

일 실시예에서, 데이터 전송 경로 제어부(400)는 제1 로 데이터, 제2 로 데이터, 제1 이미지 데이터 및 제2 이미지 데이터의 전송 경로를 제어할 수 있는 소프트웨어 프로그램 또는 이를 포함하는 하드웨어(마이크로 프로세서와 메모리)로 구현될 수 있다. 데이터 전송 경로 제어부(400)는 커널(kernel) 영역에 해당하는 이미지 센서부(100) 및 이미지 처리부(200)와 유저 스페이스(user space) 영역에 해당하는 영상 융합부(300)의 영상 융합 알고리즘 사이에서, 이미지 센서부(100)에서 생성된 로 데이터를 영상 융합부(300)로 출력할 수 있는 경로를 제공하는 인터페이스(interface)의 역할을 수행할 수 있다.
In one embodiment, the data transmission path control unit 400 includes a software program capable of controlling the transmission path of the first data, the second data, the first image data, and the second image data, And memory). The data transmission path control unit 400 includes an image sensor unit 100 and an image processing unit 200 corresponding to a kernel area and an image fusion unit 300 corresponding to a user space area, And may serve as an interface for providing a path for outputting the data generated by the image sensor unit 100 to the image fusion unit 300.

도 2는 도 1의 영상 융합부가 초해상도(Super Resolution)의 영상을 융합하는 경우, 상기 영상 융합부가 융합에 필요한 데이터를 제공받기 위해 데이터 전송 경로 제어부에 의해 제어된 경로를 설명하기 위한 구성도이다.
2 is a diagram for explaining a path controlled by a data transmission path control unit in order to provide data required for fusion by the image fusion unit when the image fusion unit of FIG. 1 fuses an image of super resolution .

도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 융합부(300)는 제1 로 데이터와 제2 이미지 데이터를 이용하여 초해상도의 영상을 융합할 수 있다. 이 경우, 데이터 전송 경로 제어부(400)는 제1 이미지 센서(110)에서 생성된 제1 로 데이터를 영상 융합부(300)로 제공할 수 있도록 경로를 제어할 수 있다.
Referring to FIG. 2, an image fusion unit 300 according to an exemplary embodiment of the present invention may fuse a super resolution image using first raw data and second image data. In this case, the data transmission path control unit 400 may control the path so as to provide the first data generated by the first image sensor 110 to the image fusion unit 300.

일 실시예에서, 데이터 전송 경로 제어부(400)는 제1 이미지 센서(110)에서 생성된 제1 로 데이터를 제1 이미지 처리부(210)로 출력되지 않도록 경로를 제어할 수 있으며, 이 경우, 데이터 전송 경로 제어부(400)는 제1 이미지 처리부(210)를 디스에이블(disable) 시킴으로써 상기 경로를 제어할 수 있다.
In one embodiment, the data transmission path control unit 400 may control the path so that the first raw data generated by the first image sensor 110 is not output to the first image processing unit 210. In this case, The transmission path control unit 400 can control the path by disabling the first image processing unit 210. [

다른 일 실시예에서, 데이터 전송 경로 제어부(400)는 제1 로 데이터를 영상 융합부(300)로 제공하는 경우라도 제1 이미지 처리부(210)를 디스에이블시키지 않을 수 있다. 이 경우, 영상 융합부(300)는 제1 로 데이터와 제1 이미지 데이터 및 제2 이미지 데이터를 제공받게 되는데, 영상 융합부(300)는 상기 제1 로 데이터와 제1 이미지 데이터 및 제2 이미지 데이터 중 초해상도 영상 융합에 필요한 제1 로 데이터와 제2 이미지 데이터를 이용하여 영상 융합을 수행할 수 있다.
In another embodiment, the data transmission path control unit 400 may not disable the first image processing unit 210 even when the first data is supplied to the image fusion unit 300. [ In this case, the image fusion unit 300 receives the first row data, the first image data, and the second image data. The image fusion unit 300 receives the first raw data, the first image data, Image fusion can be performed using first data and second image data necessary for super resolution image fusion among data.

이에 따라, 데이터 전송 경로 제어부(400)는 제1 이미지 센서(110)에서 생성된 제1 로 데이터를 영상 융합부(300)로 출력되도록 경로를 제어하고, 제2 이미지 센서(120)에서 생성된 제2 로 데이터를 제2 이미지 처리부(220)로 출력하도록 경로를 제어함으로써 제1 로 데이터 및 제2 이미지 데이터를 영상 융합부(300)로 제공할 수 있다.
Accordingly, the data transmission path control unit 400 controls the path to output the first raw data generated by the first image sensor 110 to the image fusion unit 300, The first image data and the second image data may be provided to the image fusion unit 300 by controlling the path to output the data to the second image processing unit 220 secondly.

도 3은 도 1의 영상 융합부가 HDR(High Dynamic Range)의 영상을 융합하는 경우, 상기 영상 융합부가 융합에 필요한 데이터를 제공받기 위해 데이터 전송 경로 제어부에 의해 제어된 경로를 설명하기 위한 구성도이다.
3 is a diagram for explaining a path controlled by a data transmission path control unit in order to provide data necessary for fusion when the image fusion unit of FIG. 1 fuses an image of HDR (High Dynamic Range) .

도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 융합부(300)는 역광 보정을 위해 제1 이미지 데이터와 제2 이미지 데이터를 이용하여 HDR의 영상을 융합할 수 있다.
Referring to FIG. 3, the image fusion unit 300 according to an exemplary embodiment of the present invention may blend HDR images using first image data and second image data for backlight correction.

이 경우, 데이터 전송 경로 제어부(400)는 제1 이미지 센서(110)에서 생성된 제1 로 데이터와 제2 이미지 센서(120)에서 생성된 제2 로 데이터를 각각 제1 이미지 처리부(210) 및 제2 이미지 처리부(220)로 출력하도록 경로를 제어함으로써, 제1 이미지 데이터 및 제2 이미지 데이터를 영상 융합부(300)로 제공할 수 있다.
In this case, the data transmission path control unit 400 transmits the first raw data generated by the first image sensor 110 and the second raw data generated by the second image sensor 120 to the first image processing unit 210 and the second image processing unit 210, The first image data and the second image data may be provided to the image fusion unit 300 by controlling the path to be output to the second image processing unit 220. [

도 4는 도 1의 영상 융합부가 아웃포커싱(Outfocusing)이 구현된 영상을 융합하는 경우, 상기 영상 융합부가 융합에 필요한 데이터를 제공받기 위해 데이터 전송 경로 제어부에 의해 제어된 경로를 설명하기 위한 구성도이다.
FIG. 4 is a diagram for explaining a path controlled by a data transmission path control unit in order to provide data necessary for fusion when the image fusion unit of FIG. 1 fuses an image in which outfocusing is implemented; FIG. to be.

도 4를 참조하면, 영상 융합부(300)는 제1 로 데이터와 제2 로 데이터를 이용하여 아웃포커싱이 구현된 영상을 생성할 수 있다. Referring to FIG. 4, the image fusion unit 300 may generate an image in which out-focusing is implemented using first data and second data.

이 경우, 데이터 전송 경로 제어부(400)는 제1 이미지 센서(110)에서 생성된 제1 로 데이터 및 제2 이미지 센서(120)에서 생성된 제2 로 데이터를 영상 융합부(300)로 제공할 수 있도록 경로를 제어할 수 있다.
In this case, the data transmission path control unit 400 provides the first raw data generated by the first image sensor 110 and the second raw data generated by the second image sensor 120 to the image fusion unit 300 You can control the path so that you can.

일 실시예에서, 데이터 전송 경로 제어부(400)는 도 3의 실시예에서와 마찬가지로, 제1 이미지 처리부(210) 및 제2 이미지 처리부(220)를 디스에이블시킴으로써 제1 로 데이터와 제2 로 데이터만을 영상 융합부(300)로 출력할 수 있다.
In one embodiment, the data transmission path control unit 400 disables the first image processing unit 210 and the second image processing unit 220, as in the embodiment of FIG. 3, To the image fusion unit (300).

다른 일 실시예에서, 데이터 전송 경로 제어부(400)는 제1 이미지 처리부(210) 및 제2 이미지 처리부(220)를 디스에이블시키지 않는 경우, 영상 융합부(300)는 제1 로 데이터, 제2 로 데이터, 제1 이미지 데이터 및 제2 이미지 데이터를 모두 제공받을 수 있으며, 영상 융합부(300)는 상기 데이터 중 아웃포커싱 영상을 구현하기 위한 제1 로 데이터와 제2 로 데이터를 이용하여 영상 융합을 수행할 수 있다.
In another embodiment, when the data transmission path control unit 400 does not disable the first image processing unit 210 and the second image processing unit 220, the image fusion unit 300 generates the first data, The first image data and the second image data may be all supplied to the image fusion unit 300. The image fusion unit 300 may use the first data and the second data for implementing the out- Can be performed.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not intended to limit the invention to the particular forms disclosed. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

100: 이미지 센서부
110: 제1 이미지 센서
120: 제2 이미지 센서
200: 이미지 처리부
210: 제1 이미지 처리부
220: 제2 이미지 처리부
300: 영상 융합부
400: 데이터 전송 경로 제어부100: Image sensor unit
110: first image sensor
120: Second image sensor
200:
210: a first image processing unit
220: second image processing section
300: Image fusion unit
400: Data transmission path control section

Claims (9)

각각 렌즈를 통해 들어오는 빛을 전기적 신호로 변환하여 제1 로(Raw) 데이터를 생성하는 제1 이미지 센서 및 제2 로 데이터를 생성하는 제2 이미지 센서를 구비한 이미지 센서부;
상기 제1 로 데이터를 처리하여 제1 이미지 데이터로 변환하는 제1 이미지 처리부 및 상기 제2 로 데이터를 처리하여 제2 이미지 데이터로 변환하는 제2 이미지 처리부를 구비한 이미지 처리부;
상기 제1 로 데이터, 상기 제2 로 데이터, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 적어도 두 개의 데이터를 이용하여 영상 융합을 수행하는 영상 융합부; 및
상기 영상 융합부에서 융합되는 영상의 종류에 따라 상기 이미지 센서부로부터 출력되는 상기 제1 로 데이터 또는 제2 로 데이터를 상기 영상 융합부로 제공하도록 경로를 제어하는 데이터 전송 경로 제어부;
를 포함하는 영상 융합 시스템.
An image sensor unit having a first image sensor for converting light coming in through the lens into an electrical signal to generate first raw data and a second image sensor for generating second raw data;
An image processing unit having a first image processing unit for processing the first raw data and converting the first raw data into first image data, and a second image processing unit for processing the second raw data to convert the second raw data into second image data;
An image fusion unit for performing image fusion using at least two of the first data, the second data, the first image data, and the second image data; And
A data transmission path control unit for controlling a path to provide the first data or second data output from the image sensor unit to the image fusion unit according to the type of the image fused in the image fusion unit;
And the image fusion system.
삭제delete 제1항에 있어서,
상기 제1 로 데이터 및 상기 제2 로 데이터는 각각 적어도 하나의 프레임을 포함하는 영상 융합 시스템.
The method according to claim 1,
Wherein the first raw data and the second raw data each comprise at least one frame.
제3항에 있어서, 상기 데이터 전송 경로 제어부는,
상기 제1 로 데이터 및 상기 제2 로 데이터 각각 포함되는 프레임에 상기 프레임의 생성 시간에 대응되는 타임스탬프를 기록하는 영상 융합 시스템.
The apparatus of claim 3, wherein the data transmission path control unit comprises:
And a time stamp corresponding to a generation time of the frame is recorded in a frame including the first raw data and the second raw data, respectively.
제4항에 있어서, 상기 영상 융합부는,
상기 제1 로 데이터, 상기 제2 로 데이터, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 적어도 두 개의 데이터를 이용하여 영상을 융합하는 경우,
상기 융합에 이용되는 데이터별로 상기 데이터에 포함된 적어도 하나의 프레임 중 어느 하나를 추출하고, 상기 데이터별로 추출된 프레임을 이용하여 영상 융합을 수행하는 영상 융합 시스템.
The image fusion apparatus according to claim 4,
When the image is fused using at least two of the first data, the second data, the first image data, and the second image data,
Extracting one of at least one frame included in the data for each data used for the fusion and performing image fusion using the extracted frame.
제5항에 있어서, 상기 영상 융합부는,
상기 영상 융합에 이용되는 서로 다른 데이터에 포함된 프레임들 중 상기 타임스탬프가 가장 근접한 프레임을 추출하는 영상 융합 시스템.
The apparatus of claim 5, wherein the image fusion unit comprises:
And extracts a frame having the closest time stamp among frames included in different data used for the image fusion.
제1항에 있어서, 상기 데이터 전송 경로 제어부는,
상기 영상 융합부가 초해상도(Super Resolution)의 영상을 융합하는 경우, 상기 제1 로 데이터와 상기 제2 이미지 데이터가 상기 영상 융합부로 제공되도록 상기 경로를 제어하는 영상 융합 시스템.
The apparatus of claim 1, wherein the data transmission path control unit comprises:
And the image fusion unit controls the path so that the first raw data and the second image data are provided to the image fusion unit when the super resolution image is fused.
제1항에 있어서, 상기 데이터 전송 경로 제어부는,
상기 영상 융합부가 HDR(High Dynamic Range)의 영상을 융합하는 경우, 상기 제1 이미지 데이터와 상기 제2 이미지 데이터가 상기 영상 융합부로 제공되도록 상기 경로를 제어하는 영상 융합 시스템.
The apparatus of claim 1, wherein the data transmission path control unit comprises:
Wherein the path is controlled so that the first image data and the second image data are provided to the image fusion unit when the image fusion unit fuses an image of HDR (High Dynamic Range).
제1항에 있어서, 상기 데이터 전송 경로 제어부는,
상기 영상 융합부가 아웃포커싱(Outfocusing)이 구현된 영상을 융합하는 경우, 상기 제1 로 데이터와 상기 제2 로 데이터가 상기 영상 융합부로 제공되도록 상기 경로를 제어하는 영상 융합 시스템.

The apparatus of claim 1, wherein the data transmission path control unit comprises:
Wherein the path control unit controls the path so that the first data and the second data are provided to the image fusion unit when the image fusion unit fuses an image in which outfocusing is implemented.

KR1020150089184A 2015-06-23 2015-06-23 Image fusion system KR101670176B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150089184A KR101670176B1 (en) 2015-06-23 2015-06-23 Image fusion system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150089184A KR101670176B1 (en) 2015-06-23 2015-06-23 Image fusion system

Publications (1)

Publication Number Publication Date
KR101670176B1 true KR101670176B1 (en) 2016-10-27

Family

ID=57247109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150089184A KR101670176B1 (en) 2015-06-23 2015-06-23 Image fusion system

Country Status (1)

Country Link
KR (1) KR101670176B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288782B2 (en) 2019-09-23 2022-03-29 Samsung Electronics Co., Ltd. Electronic device for performing video HDR processing based on image data obtained by plurality of image sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203229A (en) * 2002-01-08 2003-07-18 Canon Inc Image processor, image processing method, storage medium and program
JP2012065093A (en) * 2010-09-15 2012-03-29 Fujifilm Corp Imaging apparatus, imaging method, and program
JP2013026672A (en) * 2011-07-15 2013-02-04 Toshiba Corp Solid-state imaging device and camera module
KR20130024169A (en) 2011-08-30 2013-03-08 차주엽 Hands in a circle to create a border that can be implemented to prevent bay canning lids
KR20140039920A (en) * 2012-09-25 2014-04-02 삼성전자주식회사 Image data processing method and apparatus, and electronic device including the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203229A (en) * 2002-01-08 2003-07-18 Canon Inc Image processor, image processing method, storage medium and program
JP2012065093A (en) * 2010-09-15 2012-03-29 Fujifilm Corp Imaging apparatus, imaging method, and program
JP2013026672A (en) * 2011-07-15 2013-02-04 Toshiba Corp Solid-state imaging device and camera module
KR20130024169A (en) 2011-08-30 2013-03-08 차주엽 Hands in a circle to create a border that can be implemented to prevent bay canning lids
KR20140039920A (en) * 2012-09-25 2014-04-02 삼성전자주식회사 Image data processing method and apparatus, and electronic device including the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288782B2 (en) 2019-09-23 2022-03-29 Samsung Electronics Co., Ltd. Electronic device for performing video HDR processing based on image data obtained by plurality of image sensors

Similar Documents

Publication Publication Date Title
US20200244879A1 (en) Imaging system, developing system, and imaging method
KR102521406B1 (en) Frame synchronization in a dual-aperture camera system
US20110267433A1 (en) Image capturing system, image capturing apparatus, and image capturing method
US8754977B2 (en) Second camera for finding focal target in poorly exposed region of frame taken by first camera
US9066065B2 (en) Reproduction apparatus and method of controlling reproduction apparatus
TW201228381A (en) Image capture using separate luminance and chrominance sensors
JP2013201752A5 (en)
JP6351231B2 (en) IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
KR102229152B1 (en) Image photographing appratus
US20200045247A1 (en) Imaging apparatus, control method, recording medium, and information processing apparatus
KR101733309B1 (en) Dual isp based camera system for 4 color image sensor
US20160344937A1 (en) Image processing apparatus capable of generating image with different focal point after shooting, control method therefor, and storage medium
US11706396B2 (en) Image processing apparatus that performs processing concerning display of stereoscopic image, image processing method, and storage medium
JP2015169722A (en) Imaging apparatus
KR101670176B1 (en) Image fusion system
JP2010135984A (en) Compound-eye imaging apparatus and imaging method
CN103973972A (en) Stereoscopic image pickup apparatus
US20160301853A1 (en) Focus detection apparatus and control method thereof
US9723213B2 (en) Image processing apparatus, control method, and recording medium
JP6327892B2 (en) Imaging apparatus and control method thereof
US9918028B2 (en) Image capturing apparatus comprising a plurality of processing circuits for correcting defective pixel by using information of defective pixel detected in different frames and control method for the same
US11438516B2 (en) Image processing apparatus and image processing method
JP2014147062A (en) Image pickup device, and control method and program therefor
JP4217182B2 (en) Imaging device
JP6557451B2 (en) Imaging apparatus, control method therefor, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant