KR20110009936A - 모션 적응적 고대비 영상 획득 장치 및 방법 - Google Patents
모션 적응적 고대비 영상 획득 장치 및 방법 Download PDFInfo
- Publication number
- KR20110009936A KR20110009936A KR1020090067387A KR20090067387A KR20110009936A KR 20110009936 A KR20110009936 A KR 20110009936A KR 1020090067387 A KR1020090067387 A KR 1020090067387A KR 20090067387 A KR20090067387 A KR 20090067387A KR 20110009936 A KR20110009936 A KR 20110009936A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- motion
- correction
- degree
- corrector
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 267
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
모션 적응적 고대비 영상 획득 장치 및 방법이 개시된다. 본 발명의 일 양상에 따라, 상이한 노출 시간을 갖는 제 1 영상과 제 2 영상에서, 모션 발생 정도를 계산하고, 계산된 모션 발생 정도에 따라 모션 보정 강도를 조절하는 것이 가능하다. 모션 보정 강도는 글로벌 모션 보정, 로컬 모션 보정, 및 글로벌/로컬 모션 보정을 포함할 수 있다. 그리고 보정이 수행된 영상을 합성하여 출력함으로써 고대비 영상을 획득하는 것이 가능하다.
모션(motion), 상겹침(artifact), 고대비(high dynamic range), 영상 처리(image processing)
Description
노출 시간이 상이한 두 장의 영상을 처리하는 영상 처리 기술과 관련된다.
일반적으로 동적 환경에서 영상을 촬영하게 되면 카메라가 표현할 수 있는 Dynamic Range의 한계로 인해 어두운 영역과 밝은 영역의 정보가 손실된 영상을 획득하게 된다. 현재 상용 DSC의 Dynamic Range는 50~60dB 수준이다. 이는 사람 시각의 Dynamic Range 100~120dB와 비교하여 매우 부족한 수준이다.
예컨대, 모바일 환경에서 카메라로 노출이 상이한 다수의 영상을 연속으로 획득하게 되면 카메라와 물체의 움직임으로 인해 Inter-Frame 및 Intra-Frame에서 모션이 발생한다. 따라서 상기 모션에 의한 Artifact이 없는 선명한 HDR 영상을 획득하기 위해서는 영상들에서 발생한 모션을 검출 및 보정하는 과정이 반드시 선행되어야 한다.
그러나 Inter-Frame 모션이 발생한 경우 모션 보정이나 영상합성 과정 없이 입력 영상 중에서 한 장을 선택하여 출력하는 것이 통상적이다. 또는 외부의 별도 입력이나 입력 영상의 밝기를 분석하여 합성영상을 선택적으로 출력하기도 한다.
이러한 방법은 카메라/물체 등 모션의 자유도가 높은 동적 환경에서 선명한 HDR 영상을 자동으로 획득하는데 한계가 있다.
본 명세서에서는, 동적 환경에서 카메라 또는 피사체가 움직이더라도 High Dynamic Range 영상을 획득할 수 있는 영상 획득 장치 및 방법이 개시된다.
본 발명의 일 양상에 따른 영상 획득 장치는, 상이한 노출 시간을 갖는 적어도 2 이상의 영상에서 모션 발생 정도를 계산하는 영상 분석부, 계산된 모션 발생 정도에 따라 글로벌 모션 보정만 수행하거나, 로컬 모션 보정만 수행하거나, 글로벌 모션 보정 및 로컬 모션 보정을 모두 수행하는 보정 처리부, 및 보정 처리부의 출력 영상들을 합성하는 영상 합성부를 포함할 수 있다.
또한, 계산된 모션 발생 정도가 보정 가능 범위가 아닌 경우, 영상 중 어느 하나 또는 자동 노출 영상을 선택하는 단일 영상 선택부를 더 포함할 수도 있다.
또한, 본 발명의 다른 양상에 따른 영상 획득 장치는, 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 수신된 영상 중 어느 하나를 제 1 영상으로, 다른 하나를 제 2 영상으로 설정하고, 제 1 영상과 제 2 영상을 비교하여 제 2 영상의 모션 발생 정도를 계산하는 모션 계산부, 제 2 영상의 글로벌 모션을 보정하는 제 1 보정부, 제 2 영상의 로컬 모션을 보정하는 제 2 보정부, 제 1 보정부 또는 제 2 보정부의 출력 영상을 수신하고, 수신된 영상들을 합성하는 영상 합성부, 제 1 영상, 제 2 영상, 및 자동 노출 영상 중에서 적어도 어느 하나를 선택하는 단일 영상 선택부, 및 계산된 모션 발생 정도에 따라, 제 1 영상과 제 2 영상 이, 제 1 보정부를 거쳐 영상 합성부로 전달되도록 하거나, 제 2 보정부를 거쳐 영상 합성부로 전달되도록 하거나, 제 1 보정부 및 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 단일 영상 선택부로 전달되도록 제어하는 제어부를 포함할 수 있다.
또한, 본 발명의 또 다른 양상에 따른 영상 획득 장치는, 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 수신된 영상 중 어느 하나를 제 1 영상으로, 다른 하나를 제 2 영상으로 설정하고, 제 1 영상을 기준으로 제 2 영상의 글로벌 모션을 보정하는 제 1 보정부, 제 1 영상과 글로벌 모션이 보정된 제 2 영상을 비교하여 글로벌 모션이 보정된 제 2 영상의 모션 발생 정도를 계산하는 모션 계산부, 글로벌 모션이 보정된 제 2 영상의 로컬 모션을 보정하는 제 2 보정부, 제 1 보정부 또는 제 2 보정부의 출력 영상을 수신하고, 수신된 영상들을 합성하는 영상 합성부, 제 1 영상, 제 2 영상, 및 자동 노출 영상 중에서 적어도 어느 하나를 선택하는 단일 영상 선택부, 및 계산된 모션 발생 정도에 따라, 제 1 영상과 글로벌 모션이 보정된 제 2 영상이, 영상 합성부로 전달되도록 하거나, 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 또는 제 1 영상과 제 2 영상이 단일 영상 선택부로 전달되도록 제어하는 제어부를 포함할 수 있다.
한편, 본 발명의 일 양상에 따른 영상 획득 방법은, 상이한 노출 시간을 갖는 제 1 영상 및 제 2 영상을 수신하는 단계, 제 1 영상을 기준으로 제 2 영상의 모션 발생 정도를 계산하는 단계, 계산된 모션 발생 정도가 보정 가능 범위 인지 여부를 판단하는 단계, 보정 가능 범위가 아닌 경우, 제 1 영상, 제 2 영상, 및 자 동 노출 영상 중 어느 하나를 선택하는 단계, 계산된 모션 발생 정도가 보정 가능 범위인 경우, 계산된 모션 발생 정도에 따라 제 2 영상에 대해 글로벌 모션 보정만 수행하거나, 로컬 모션 보정만 수행하거나, 글로벌 모션 보정과 로컬 모션 보정을 모두 수행하는 단계를 포함할 수 있다.
개시된 내용에 따르면, 삼각대와 같은 카메라 고정장치가 없거나 촬영하고자 하는 장면에 움직이는 물체가 있더라도 촬영 환경의 제약 없이 고대비의 선명한 영상을 획득하는 것이 가능하다.
나아가 고정된 형태의 카메라뿐만 아니라 DSC, DSLR, Camera Phone 등의 모바일 카메라에 적용되어 고대비 환경에서 저휘도, 고휘도 영역 모두에서 선명한 영상 촬영이 가능하도록 화질을 크게 향상시키는 효과를 얻을 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 1을 참조하면, 영상 획득 장치(100)는 영상 분석부(101), 보정 처리부(102), 영상 합성부(103), 및 단일 영상 선택부(104)를 포함할 수 있다.
영상 획득 장치(100)는, 상이한 노출 시간을 갖는 두 장의 영상 또는 그 이상의 영상을 획득하는 영상 처리 시스템에 있어서, 카메라 또는 피사체의 움직임으로 인해 영상에서 나타나는 상겹침(Artifact)를 보정하는 회로, 응용 프로그램, 소 프트웨어 아키텍처, 하드웨어 아키텍처 등이 될 수 있다.
영상 분석부(101)는 상이한 노출 시간을 갖는 제 1 영상(I1)과 제 2 영상(I2)를 수신한다. 예를 들어, 제 1 영상(I1)은 단노출 영상이 될 수 있고, 제 2 영상(I2)은 장노출 영상이 될 수 있다.
영상 분석부(101)는 제 1 영상(I1)과 제 2 영상(I2)을 비교하여 모션 발생 정도를 계산한다. 모션 발생 정도는 제 1 영상(I1)과 제 2 영상(I2)에서 촬영 시 카메라 또는 피사체의 움직임으로 인해 달라진 픽셀(pixel)의 개수, 또는 제 1 영상(I1)과 제 2 영상(I2) 간에 추정된 모션벡터 크기 등으로 정의될 수 있다.
예컨대, 영상 분석부(101)는 제 1 영상(I1)을 기준 영상으로 설정하고, 기준 영상으로 설정된 제 1 영상(I1)과 제 2 영상(I2)을 대비하여 제 2 영상(I2)에서 제 1 영상(I1)과 일치하지 아니하는 픽셀들을 검출하고, 검출된 픽셀의 개수를 카운팅하는 것이 가능하다.
또는 제 1 영상(I1)을 기준으로 제 2 영상(I2)을 상하좌우로 이동시키면서 두 영상의 matching 정도가 최대가 될 때의 이동 방향과 크기를 글로벌 모션벡터로 추정 가능하다. 또한 제 1 영상(I1)과 제 2 영상(I2)을 sub-block으로 분할하고, 각 block마다 제 1 영상(I1)을 기준으로 제 2 영상(I2)의 대응 block을 상하좌우로 이 동시키면서 각 block의 최적 이동 방향과 크기를 추정하여 로컬 모션벡터를 추정 가능하다.
보정 처리부(102)는 계산된 모션 발생 정도에 따라 글로벌 모션 보정만 수행하거나, 로컬 모션 보정만 수행하거나, 글로벌 모션 보정과 로컬 모션 보정을 모두 수행하는 것이 가능하다.
본 실시 예에서, 발생되는 모션은 글로벌 모션(Global Motion)과 로컬 모션(Local Motion)을 포함할 수 있다. 글로벌 모션이란 촬영 시의 손떨림과 같은 카메라 자체의 움직임으로 인해 발생되는 artifact를 의미한다. 예컨대, 글로벌 모션은 제 1 영상(I1)과 제 2 영상(I2) 내의 물체는 고정되어 있으나 촬영 순간에 카메라가 이동하여 영상에서 Inter-Frame Motion이 존재하는 경우 발생될 수 있다. 로컬 모션이란 촬영 시의 피사체의 움직임으로 인해 발생되는 artifact를 의미한다. 예컨대, 로컬 모션은 제 1 영상(I1)과 제 2 영상(I2)의 프레임은 고정되어 있으나 촬영 순간에 피사체의 움직임으로 인해 영상에서 Intra-Frame Motion이 존재하는 경우 발생될 수 있다.
통상적으로, 모션 보정은 보정 대상이 되는 영상 (Target Image)을 모션 벡터 방향으로 그 벡터 크기만큼 영상전체를 이동시키는 방식으로 이루어질 수 있다. 그러나 피사체 움직임으로 인해 로컬 모션이 발생하거나 카메라 및 피사체 움직임으로 인해 복합적인 모션이 발생하는 경우, 영상 전체를 이동시키는 모션 보정 방식으로는 영상의 일부 영역에서 나타나는 피사체의 움직임을 보정하는데 한계가 있 다. 그러나 본 발명의 일 실시 예로서 로컬 모션 보정은 입력된 두 영상을 대비하여 일치하지 않는 픽셀을 추출하고 목적영상의 픽셀 값을 기준영상의 픽셀 값으로 대체하는 방식으로 이루어질 수 있다. 예컨대, 보정 처리부(102)는 계산된 모션 발생 정도에 따라 적응적인 보정을 수행하므로 보다 선명한 고대비 영상을 생성하는 것이 가능하다.
구체적인 글로벌 모션 보정 방법 및 로컬 모션 보정 방법에 대해서는 후술한다.
영상 합성부(103)는 보정 처리부(102)의 출력 영상들을 합성한다. 예컨대, 영상 합성부(103)는 제 1 영상(I1)과 보정된 제 2 영상(I2`)을 합성하는 것이 가능하다.
단일 영상 선택부(104)는 영상 분석부(101)에서 계산된 모션 발생 정도가 보정 가능 범위를 초과하는 경우, 제 1 영상(I1), 제 2 영상(I2), 및 자동 노출 영상 중 어느 하나를 선택한다. 자동 노출 영상은 영상의 평균 밝기 또는 일정 영역, 예를 들어 영상 중심 영역의 평균 밝기가 사전에 정해진 특정 범위의 값이 되도록 노출 시간을 자동으로 조절하여 촬영된 영상이다. 또한, 선택적으로, 단일 영상 선택부(104)는 제 1 영상(I1)과 제 2 영상(I2) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
도 2는 본 발명의 다른 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 2를 참조하면, 영상 획득 장치(200)는 모션 계산부(201), 제 1 보정 부(202), 제 2 보정부(203), 영상 합성부(204), 단일 영상 선택부(205), 및 제어부(206)를 포함할 수 있다.
모션 계산부(201)는 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 수신된 영상 중 어느 하나를 제 1 영상(I1)으로, 다른 하나를 제 2 영상(I2)으로 설정한다.
모션 계산부(201)는 제 1 영상(I1)과 상기 제 2 영상(I2)을 비교하여 제 2 영상(I2)의 모션 발생 정도를 계산한다. 예컨대, 모션 계산부(201)는 제 1 영상(I1)을 기준 영상으로 설정하고, 기준 영상으로 설정된 제 1 영상(I1)과 제 2 영상(I2)을 대비하여 제 2 영상(I2)에서 제 1 영상(I1)과 일치하지 아니하는 픽셀들을 검출하고, 검출된 픽셀의 개수를 카운팅하는 것이 가능하다.
제 1 보정부(202)는 제 1 영상(I1)과 제 2 영상(I2)을 수신하고, 제 2 영상(I2)의 글로벌 모션을 보정한다. 예컨대, 도 2에서, I2`는 글로벌 모션 보정이 수행된 제 2 영상이 될 수 있다.
제 2 보정부(202)는 제 1 영상(I1)과 제 2 영상(I2) 또는 제 1 영상(I1)과 글로벌 모션이 수행된 제 2 영상(I2`)을 수신하고, 제 2 영상(I2) 또는 글로벌 모션이 수행된 제 2 영상(I2`)의 로컬 모션을 보정한다. 예컨대, 도 2에서, I2``는 로컬 모션 보정이 수행된 제 2 영상이 될 수 있다.
영상 합성부(204)는 제 1 보정부(202)의 출력 영상 또는 제 2 보정부(203)의 출력 영상을 수신하고 수신된 영상들을 합성한다.
단일 영상 선택부(205)는 제 1 영상(I1), 제 2 영상(I2), 및 자동 노출 영상 중에서 적어도 어느 하나를 선택한다. 또한, 선택적으로, 제 1 영상(I1)과 제 2 영상(I2) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
제어부(206)는 모션 계산부(201)에서 계산된 모션 발생 정도에 기초하여, 제 1 보정부(201), 제 2 보정부(202), 및 단일 영상 선택부(205)를 제어한다. 또한, 각각의 스위치(SW1, SW2, SW3)의 ON/OFF도 제어하는 것이 가능하다.
모션 발생 정도로서, 제 2 영상(I2)에 글로벌 모션만 있는 경우를 살펴본다.
글로벌 모션은 제 1 영상(I1)과 제 2 영상(I2) 내의 물체는 고정되어 있으나 촬영 순간에 카메라가 이동하여 영상에서 Inter-Frame Motion이 존재하는 경우 발생될 수 있다.
제 2 영상(I2)에 글로벌 모션만 있는 경우, 제어부(206)는 제 1 영상(I1)과 제 2 영상(I2)이 제 1 보정부(202)를 거쳐 영상 합성부(204)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는, 제 1 스위치(SW1)를 OFF시키고, 제 2 스위치(SW2)를 ON시키고, 제 3 스위치(SW3)를 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 제 1 보정부(202)로 입력된다. 제 1 보정 부(202)는 제 2 영상(I2)의 글로벌 모션을 보정한 후, 제 1 영상(I1)과 보정된 제 2 영상(I2`)을 출력한다. 제 1 영상(I1)과 보정된 제 2 영상(I2`)은 제 2 스위치(SW2)를 거쳐 영상 합성부(204)로 입력된다. 영상 합성부(204)는 제 1 영상(I1)과 보정된 제 2 영상(I2`)을 합성하고 OUT_1을 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 로컬 모션만 있는 경우를 살펴본다.
로컬 모션은 제 1 영상(I1)과 제 2 영상(I2)의 프레임은 고정되어 있으나 촬영 순간에 피사체의 움직임으로 인해 영상에서 Intra-Frame Motion이 존재하는 경우 발생될 수 있다.
제 2 영상(I2)에 로컬 모션만 있는 경우, 제어부(206)는 제 1 영상(I1)과 제 2 영상(I2)이 제 2 보정부(203)를 거쳐 영상 합성부(204)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는, 제 1 스위치(SW1)를 OFF시키고, 제 2 스위치(SW2)를 OFF시키고, 제 3 스위치(SW3)를 ON시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 제 2 보정부(203)로 입력된다. 제 2 보정부(203)는 제 2 영상(I2)의 로컬 모션을 보정한 후, 제 1 영상(I1)과 보정된 제 2 영상(I2``)을 출력한다. 제 1 영상(I1)과 보정된 제 2 영상(I2``)은 영상 합성부(204)로 입력된다. 영상 합성부(204)는 제 1 영상(I1)과 보정된 제 2 영상(I2``) 을 합성하고 OUT_2를 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 글로벌 모션 및 로컬 모션이 모두 있는 경우를 살펴본다.
제 2 영상(I2)에 글로벌 모션과 로컬 모션이 모두 있는 경우, 제어부(206)는 제 1 영상(I1)과 제 2 영상(I2)이 제 1 보정부(202) 및 제 2 보정부(203)를 거쳐 영상 합성부(204)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는, 제 1 스위치(SW1)를 ON시키고, 제 2 스위치(SW2)를 OFF시키고, 제 3 스위치(SW3)를 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 먼저 제 1 보정부(202)로 입력된다. 제 1 보정부(202)는 제 2 영상(I2)의 글로벌 모션을 보정한 후, 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)을 출력한다. 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)은 제 2 보정부(203)로 입력된다. 제 2 보정부(203)는 1차 보정된 제 2 영상(I2`)의 로컬 모션을 보정한 후, 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)을 출력한다. 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)은 영상 합성부(204)로 입력된다. 영상 합성부(204)는 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)을 합성하고 OUT_3을 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 보정 가능 범위를 넘는 모션이 존재하 는 경우를 살펴본다.
제 2 영상(I2)에 보정 가능 범위를 넘는 모션이 존재하는 경우, 제어부(206)는 단일 영상 선택부(205)만 동작하도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는 스위치들(SW1, SW2, SW3)을 모두 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 단일 영상 선택부(205)로 입력된다. 단일 영상 선택부(205)는 제 1 영상(I1), 제 2 영상(I2), 및 자동 노출 영상 중에서 어느 하나를 선택한다. 또한, 선택적으로, 제 1 영상(I1)과 제 2 영상(I2) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
전술한 내용은 다음과 같이 정리할 수 있다.
도 2에서, 영상 획득 장치(200)는 회로적인 구성으로 표현되었다. 그러나 이것은 설명의 편의를 위한 것으로, 영상 획득 장치(200)는 회로적인 구성 외에 응용 프로그램, 소프트웨어 또는 하드웨어 아키텍처로 구성되는 것도 가능하다.
도 3은 본 발명의 또 다른 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 3을 참조하면, 영상 획득 장치(300)는 제 1 보정부(301), 모션 계산 부(302), 제 2 보정부(303), 영상 합성부(304), 단일 영상 선택부(305), 및 제어부(306)를 포함할 수 있다.
제 1 보정부(301)는 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 수신된 영상 중 어느 하나를 제 1 영상(I1)으로, 다른 하나를 제 2 영상(I2)으로 설정하고, 제 1 영상(I1)을 기준으로 제 2 영상(I2)의 글로벌 모션을 보정한다.
모션 계산부(302)는 제 1 영상(I1)과 글로벌 모션이 보정된 제 2 영상(I2`)을 비교하여 글로벌 모션이 보정된 제 2 영상(I2`)의 모션 발생 정도를 계산한다.
제 2 보정부(303)는 제 1 영상(I1)과 글로벌 모션이 보정된 제 2 영상(I2`)을 수신하는 것이 가능하며, 글로벌 모션이 보정된 제 2 영상(I2`)의 로컬 모션을 보정하는 것이 가능하다.
영상 합성부(304)는 제 1 보정부(301) 또는 제 2 보정부(303)의 출력 영상을 수신하고, 수신된 영상들을 합성한다.
단일 영상 선택부(305)는 제 1 영상(I1), 제 2 영상(I2), 글로벌 모션이 보정된 제 2 영상(I2`), 및 자동 노출 영상 중에서 적어도 어느 하나를 선택한다. 또한, 선택적으로, 제 1 영상(I1), 제 2 영상(I2), 및 글로벌 모션이 보정된 제 2 영상(I2`) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
제어부(306)는 모션 계산부(302)에서 계산된 모션 발생 정도에 기초하여, 제 2 보정부(303) 및 단일 영상 선택부(305)를 제어한다. 또한, 각각의 스위치(SW1, SW2)의 ON/OFF도 제어하는 것이 가능하다.
모션 발생 정도로서, 제 2 영상(I2)에 글로벌 모션만 있는 경우를 살펴본다.
글로벌 모션은 제 1 영상(I1)과 제 2 영상(I2) 내의 물체는 고정되어 있으나 촬영 순간에 카메라가 이동하여 영상에서 Inter-Frame Motion이 존재하는 경우 발생될 수 있다.
제 2 영상(I2)에 글로벌 모션만 있는 경우, 이 글로벌 모션은 제 1 보정부(301)를 거치면서 보정된다. 따라서 모션 계산부(302)는 제 1 영상(I1)과 글로벌 모션이 보정된 제 2 영상(I2`)에서 모션 발생 정도가 없는 것으로 판단할 수가 있다. 이 때, 제어부(306)는 제 1 스위치(SW1)를 ON시키고, 제 2 스위치(SW2)를 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 글로벌 모션이 보정된 제 2 영상(I2`)은 영상 합성부(304)로 입력된다. 영상 합성부(304)는 제 1 영상(I1)과 보정된 제 2 영상(I2`)을 합성하고 OUT_1을 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 로컬 모션만 있는 경우를 살펴본다.
로컬 모션은 제 1 영상(I1)과 제 2 영상(I2)의 프레임은 고정되어 있으나 촬영 순간에 피사체의 움직임으로 인해 영상에서 Intra-Frame Motion이 존재하는 경 우 발생될 수 있다.
제 2 영상(I2)에 로컬 모션만 있는 경우, 이 로컬 모션은 제 1 보정부(301)를 거치면서 여전히 남아있게 된다. 따라서 제어부(306)는 모션 계산부(302)에서 계산된 모션 발생 정도에 따라 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)이 제 2 보정부(303)를 거쳐 영상 합성부(304)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(306)는, 제 1 스위치(SW1)를 OFF시키고, 제 2 스위치(SW2)를 ON시키는 것이 가능하다. 이 때, 제 2 영상(I2)에 로컬 모션만 존재하므로 제 1 보정부(301)의 출력 영상 중 I2`는 I2와 동일할 수 있다. 즉 최초의 제 2 영상(I2)과 1차 보정된 제 2 영상(I2`)은 결국 동일하다.
이러한 경우, 제 1 영상(I1)과 제 2 영상(I2`)은 제 2 보정부(303)로 입력된다. 제 2 보정부(303)는 제 2 영상(I2`)의 로컬 모션을 보정한 후, 제 1 영상(I1)과 보정된 제 2 영상(I2``)을 출력한다. 제 1 영상(I1)과 보정된 제 2 영상(I2``)은 영상 합성부(304)로 입력된다. 영상 합성부(304)는 제 1 영상(I1)과 보정된 제 2 영상(I2``)을 합성하고 OUT_2를 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 글로벌 모션 및 로컬 모션이 모두 있는 경우를 살펴본다.
제 2 영상(I2)에 글로벌 모션과 로컬 모션이 모두 있는 경우, 글로벌 모션은 제 1 보정부(301)를 거치면서 제거되는 것이 가능하다. 그러나 로컬 모션이 남아 있으므로, 제어부(306)는 모션 계산부(302)에서 계산된 모션 발생 정도에 따라 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)이 제 2 보정부(303)를 거쳐 영상 합성부(304)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는, 제 1 스위치(SW1)를 OFF시키고, 제 2 스위치(SW2)를 ON시키는 것이 가능하다. 이 때, 제 2 영상(I2)에 글로벌 모션 및 로컬 모션이 모두 존재하므로, 제 1 보정부(301)의 출력 영상 중 I2`는 I2에서 글로벌 모션이 보정된 영상을 나타낸다.
이러한 경우, 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)은 제 2 보정부(303)로 입력된다. 제 2 보정부(303)는 1차 보정된 제 2 영상(I2`)의 로컬 모션을 보정한 후, 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)을 출력한다. 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)은 영상 합성부(304)로 입력된다. 영상 합성부(304)는 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)을 합성하고 OUT_3을 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 보정 가능 범위를 넘는 모션이 존재하는 경우를 살펴본다.
제 2 영상(I2)에 보정 가능 범위를 넘는 모션이 존재하는 경우, 제 1 보정 부(301)를 거치더라도 여전히 모션이 존재하게 된다. 따라서 제어부(306)는 모션 계산부(302)에서 계산된 모션 발생 정도에 따라 단일 영상 선택부(305)만 동작하도록 각각의 구성요소를 제어한다. 예컨대, 제어부(306)는 스위치들(SW1, SW2)을 모두 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 단일 영상 선택부(305)로 입력된다. 단일 영상 선택부(305)는 제 1 영상(I1), 제 2 영상(I2), 및 자동 노출 영상 중에서 어느 하나를 선택한다. 또한, 선택적으로, 제 1 영상(I1)과 제 2 영상(I2) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
전술한 내용은 다음과 같이 정리할 수 있다.
이와 같이, 영상에 포함된 모션 정도에 따라 보정의 강도 및 합성되는 영상들을 적응적으로 조절할 수 있음을 알 수 있다.
도 4는 본 발명의 일 실시 예에 따른 모션 발생 정도를 계산하는 방법을 도시한다.
도 4에서, 참조번호 401은 차영상(Difference Image : Id)을 나타낸다. 차영상(401)은 제 1 영상과 제 2 영상의 밝기를 서로 일치시키고 제 1 영상과 제 2 영 상의 Intensity 차이로 정의되는 영상이 될 수 있다.
도 4에서, 참조번호 402는 모션 발생 영역을 나타낸다. 모션 발생 영역(402)은 제 1 영상 및 제 2 영상의 각각의 픽셀을 비교하여 불일치하는 부분에 해당하는 픽셀들의 집합이 될 수 있다.
도 4에서, 모션 발생 정도는 탐색 창(Checking Window)(403)을 차영상(401)에 스캐닝(Scanning)하면서 탐색 창(403) 내에서 모션 발생 영역(402)에 해당하는 픽셀을 카운팅한 후, 탐색 창 내 전체 픽셀 수와 모션 발생 영역(402)에 해당하는 픽셀 수의 비율로 계산되는 것이 가능하다.
본 실시 예에 따라, 계산된 모션 발생 정도는 글로벌 모션 보정만 할지, 로컬 모션 보정만 할지, 또는 둘 다 할지 등을 결정하는 기준이 된다. 예컨대, 모션 계산부(201, 302)는 계산된 모션 발생 정도를 정해진 임계 값과 비교하고, 그 비교 결과에 따라 다른 제어 신호를 제어부(206, 306)로 인가하는 것이 가능하다. 이 때 임계 값은 입력 영상의 해상도에 따라 달라질 수 있다.
도 4에서, 제 1 영상 및 제 2 영상은 최초의 입력 영상이 될 수도 있고, 글로벌 모션 보정이 수행된 입력 영상(예컨대, I2`)이 될 수도 있다. 또한 제 1 영상과 제 2 영상 간의 글로벌 및 로컬 모션 벡터를 추정하여 모션 발생 정도를 계산하는 것도 가능하다.
도 5는 본 발명의 일 실시 예에 따른 글로벌 모션 보정 방법을 도시한다.
도 5를 참조하면, 제 1 보정부(202, 301)는 제 1 영상(501) 및 제 2 영 상(502)에 대해 가로/세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling)을 순차적으로 수행하여 레벨 별 영상 피라미드를 생성하는 것이 가능하다. 그리고 동일 레벨의 두 영상으로부터 최적 이동 방향을 구하고, 구해진 최적 이동 방향을 기초로 모션 벡터를 갱신하는 것이 가능하다. 그리고 갱신된 모션 벡터를 기초로 제 1 영상(501) 또는 제 2 영상(502)을 보정하는 것이 가능하다. 이러한 글로벌 모션 보정은 도 5에서 설명한 방법 외에, Image Stabilizer를 통해 수행될 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 로컬 모션 보정 방법을 도시한다.
도 6을 참조하면, 제 2 보정부(203, 303)은 보정 대상이 되는 영상(Target Image: Itgt)에서 모션 발생 영역(601)에 해당하는 픽셀들을 기준 영상(Reference Image : IRef)의 픽셀로 대체하는 것이 가능하다.
전술한 바와 같이, 보정 대상이 되는 영상은 제 2 영상(I2) 또는 1차 보정된 제 2 영상(I2`)이 될 수 있고, 기준 영상은 제 1 영상(I1)이 될 수 있다. 그러나 반드시 이에 한정되는 것은 아니며, 기준 영상은 입력된 영상들 중에서 포화된 픽셀이 최소인 영상 또는 잡음에 의한 픽셀 값 손실이 최소인 영상을 선택할 수도 있다.
또한, 픽셀을 대체하기 전에 보정 대상이 되는 영상과 기준 영상의 밝기를 일치시키는 과정이 추가될 수도 있다. 예컨대, 도 6에서, 참조번호 602는 밝기를 보정 대상 영상과 일치시킨 기준 영상이 될 수 있다.
또한, 도 6의 과정은 제 1 영상(I1)과 제 2영상(I2) 또는 1차 보정된 제 2영 상(I2`)에 대해 통상적인 로컬 모션 보정 방식을 적용한 후, 2차적으로 적용될 수도 있다. 통상적인 로컬 모션 보정 방식의 일 실시 예로는 보정 대상이 되는 영상과 기준 영상을 sub-block단위로 분할하고, 그 sub-block 단위로 추정된 로컬 모션 벡터로부터 interpolation으로 각 픽셀의 로컬 모션 벡터를 산출하여 이 로컬 모션 벡터에 대응하는 위치의 픽셀 값을 가져오는 방식이 가능하다.
다음으로, 도 7 및 도 1을 참조하여 본 발명의 일 실시 예에 따른 영상 획득 방법을 설명한다. 도 7은 본 발명의 일 실시 예에 따른 영상 획득 방법의 흐름도다.
먼저, 영상 분석부(101)가, 제 1 영상과 제 2 영상을 수신한다(701). 제 1 영상과 제 2 영상은 서로 다른 노출 시간을 가질 수 있다.
그리고 영상 분석부(101)가, 제 1 영상과 제 2 영상의 모션 발생 정도를 계산한다(702). 예컨대, 제 1 영상을 기준 영상으로 설정한 후, 제 2 영상의 제 1 영상과의 불일치 정도를 계산하는 것이 가능하다.
그리고 영상 분석부(101)가, 계산된 모션 발생 정도가 보정 가능 범위인지 여부를 판단한다(703). 예컨대, 계산된 모션 발생 정도를 정해진 임계 값과 비교하여 보정 가능 범위인지 여부를 판단하는 것이 가능하다.
판단 결과 보정 가능 범위가 아닌 경우, 단일 영상 선택부(104)가, 제 1 영상, 제 2 영상, 및 자동 노출 영상 중 어느 하나를 선택한다(704). 판단 결과 보정 가능 범위인 경우, 보정 처리부(102)가 계산된 모션 발생 정도에 따라 글로벌 모션 보정 및/또는 로컬 모션 보정을 수행한다(705). 예컨대, 계산된 모션 발생 정도에 따라, 글로벌 모션 보정만 수행하거나, 로컬 모션 보정만 수행하거나, 글로벌 모션 보정과 로컬 모션 보정을 모두 수행하는 것이 가능하다. 이어서 보정된 영상들은 영상 합성부(103)에 의해 합성된다(706).
이상에서 살펴본 바와 같이, 영상 획득 시스템에 있어서 카메라 또는 피사체가 움직이더라도 그 움직임 정도에 따라 적응적으로 보정 강도를 조절하기 때문에, 고대비 환경에서 선명한 영상을 획득하는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
도 1은 본 발명의 일 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 2는 본 발명의 다른 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 3은 본 발명의 또 다른 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 4는 본 발명의 일 실시 예에 따른 모션 발생 정도를 계산하는 방법을 도시한다.
도 5는 본 발명의 일 실시 예에 따른 글로벌 모션 보정 방법을 도시한다.
도 6은 본 발명의 일 실시 예에 따른 로컬 모션 보정 방법을 도시한다.
도 7은 본 발명의 일 실시 예에 따른 영상 획득 방법을 도시한다.
Claims (10)
- 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 상기 수신된 영상 중 어느 하나를 제 1 영상으로, 다른 하나를 제 2 영상으로 설정하고, 상기 제 1 영상과 상기 제 2 영상을 비교하여 상기 제 2 영상의 모션 발생 정도를 계산하는 모션 계산부;상기 제 2 영상의 글로벌 모션을 보정하는 제 1 보정부;상기 제 2 영상의 로컬 모션을 보정하는 제 2 보정부;상기 제 1 보정부 또는 상기 제 2 보정부의 출력 영상을 수신하고, 수신된 영상들을 합성하는 영상 합성부;상기 제 1 영상, 상기 제 2 영상, 및 자동 노출 영상 중에서 적어도 어느 하나를 선택하는 단일 영상 선택부; 및상기 계산된 모션 발생 정도에 따라, 상기 제 1 영상과 상기 제 2 영상이, 상기 제 1 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 상기 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 상기 제 1 보정부 및 상기 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 상기 단일 영상 선택부로 전달되도록 제어하는 제어부; 를 포함하는 모션 적응적 고대비 영상 획득 장치.
- 제 1 항에 있어서,상기 제어부는,상기 계산된 모션 발생 정도가 보정 가능 범위이고 상기 글로벌 모션만 포함하는 경우 상기 제 1 영상과 상기 제 2 영상이 상기 제 1 보정부를 거쳐 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위이고 상기 로컬 모션만 포함하는 경우 상기 제 1 영상과 상기 제 2 영상이 상기 제 2 보정부를 거쳐 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위이고 상기 로컬 모션 및 상기 글로벌 모션을 모두 포함하는 경우 상기 제 1 영상과 상기 제 2 영상이 상기 제 1 보정부 및 상기 제 2 보정부를 거쳐 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위가 아닌 경우 상기 제 1 영상과 상기 제 2 영상이 상기 단일 영상 선택부로 입력되도록 제어하는 모션 적응적 고대비 영상 획득 장치.
- 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 상기 수신된 영상 중 어느 하나를 제 1 영상으로, 다른 하나를 제 2 영상으로 설정하고, 상기 제 1 영상을 기준으로 상기 제 2 영상의 글로벌 모션을 보정하는 제 1 보정부;상기 제 1 영상과 상기 글로벌 모션이 보정된 제 2 영상을 비교하여 상기 글로벌 모션이 보정된 제 2 영상의 모션 발생 정도를 계산하는 모션 계산부;상기 글로벌 모션이 보정된 제 2 영상의 로컬 모션을 보정하는 제 2 보정부;상기 제 1 보정부 또는 상기 제 2 보정부의 출력 영상을 수신하고, 수신된 영상들을 합성하는 영상 합성부;상기 제 1 영상, 상기 제 2 영상, 및 자동 노출 영상 중에서 적어도 어느 하 나를 선택하는 단일 영상 선택부; 및상기 계산된 모션 발생 정도에 따라, 상기 제 1 영상과 상기 글로벌 모션이 보정된 제 2 영상이, 상기 영상 합성부로 전달되도록 하거나, 상기 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 또는 상기 제 1 영상과 상기 제 2 영상이 상기 단일 영상 선택부로 전달되도록 제어하는 제어부; 를 포함하는 모션 적응적 고대비 영상 획득 장치.
- 제 3 항에 있어서,상기 제어부는,상기 계산된 모션 발생 정도가 보정 가능 범위이고 상기 글로벌 모션만 포함하는 경우 상기 제 1 영상과 상기 글로벌 모션이 보정된 제 2 영상이 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위이고 상기 로컬 모션 및 상기 글로벌 모션을 모두 포함하는 경우 상기 제 1 영상과 상기 글로벌 모션이 보정된 제 2 영상이 상기 제 2 보정부를 거쳐 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위가 아닌 경우 상기 제 1 영상과 상기 제 2 영상이 상기 단일 영상 선택부로 입력되도록 제어하는 모션 적응적 고대비 영상 획득 장치.
- 상이한 노출 시간을 갖는 적어도 2 이상의 영상에서 모션 발생 정도를 계산하는 영상 분석부;상기 계산된 모션 발생 정도에 따라 글로벌 모션 보정 및/또는 로컬 모션 보정을 수행하는 보정 처리부; 및상기 보정 처리부의 출력 영상들을 합성하는 영상 합성부; 를 포함하는 모션 적응적 고대비 영상 획득 장치.
- 제 5 항에 있어서,상기 계산된 모션 발생 정도가 보정 가능 범위가 아닌 경우, 상기 영상 중 어느 하나 또는 자동 노출 영상을 선택하는 단일 영상 선택부; 를 더 포함하는 모션 적응적 고대비 영상 획득 장치.
- 제 5 항에 있어서,상기 보정 처리부는, 상기 계산된 모션 발생 정도에 따라, 상기 글로벌 모션 보정만 수행하거나, 상기 로컬 모션 보정만 수행하거나, 상기 글로벌 모션 보정 및 상기 로컬 모션 보정을 모두 수행하는 모션 적응적 고대비 영상 획득 장치.
- 상이한 노출 시간을 갖는 제 1 영상 및 제 2 영상을 수신하는 단계;상기 제 1 영상을 기준으로 상기 제 2 영상의 모션 발생 정도를 계산하는 단계;상기 계산된 모션 발생 정도에 따라 상기 제 2 영상에 대해 글로벌 모션 보정 및/또는 로컬 모션 보정을 수행하는 단계; 및상기 제 1 영상과 상기 모션 보정이 수행된 제 2 영상을 합성하는 단계; 를 포함하는 모션 적응적 고대비 영상 획득 방법.
- 제 8 항에 있어서,상기 계산된 모션 발생 정도가 보정 가능 범위인지 여부를 판단하는 단계; 및상기 보정 가능 범위가 아닌 경우, 상기 제 1 영상, 상기 제 2 영상, 및 자동 노출 영상 중 어느 하나를 선택하는 단계; 를 더 포함하는 모션 적응적 고대비 영상 획득 방법.
- 제 8 항에 있어서,상기 보정을 수행하는 단계는, 상기 계산된 모션 발생 정도에 따라, 상기 글로벌 모션 보정만 수행하는 과정, 상기 로컬 모션 보정만 수행하는 과정, 및 상기 글로벌 모션 보정과 상기 로컬 모션 보정을 모두 수행하는 과정 중 어느 하나의 과정을 포함하는 모션 적응적 고대비 영상 획득 방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090067387A KR101614914B1 (ko) | 2009-07-23 | 2009-07-23 | 모션 적응적 고대비 영상 획득 장치 및 방법 |
US12/842,109 US8462214B2 (en) | 2009-07-23 | 2010-07-23 | Apparatus and method for obtaining motion adaptive high dynamic range image |
US13/485,357 US8379094B2 (en) | 2009-07-23 | 2012-05-31 | Apparatus and method for obtaining motion adaptive high dynamic range image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090067387A KR101614914B1 (ko) | 2009-07-23 | 2009-07-23 | 모션 적응적 고대비 영상 획득 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110009936A true KR20110009936A (ko) | 2011-01-31 |
KR101614914B1 KR101614914B1 (ko) | 2016-04-25 |
Family
ID=43496961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090067387A KR101614914B1 (ko) | 2009-07-23 | 2009-07-23 | 모션 적응적 고대비 영상 획득 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
US (2) | US8462214B2 (ko) |
KR (1) | KR101614914B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160039701A (ko) * | 2011-10-14 | 2016-04-11 | 가부시키가이샤 모르포 | 화상 처리 장치, 화상 처리 방법 및 기록 매체 |
US9460492B2 (en) | 2013-05-10 | 2016-10-04 | Hanwha Techwin Co., Ltd. | Apparatus and method for image processing |
WO2016163719A1 (en) * | 2015-04-09 | 2016-10-13 | Samsung Electronics Co., Ltd. | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8896715B2 (en) | 2010-02-11 | 2014-11-25 | Microsoft Corporation | Generic platform video image stabilization |
US8711248B2 (en) * | 2011-02-25 | 2014-04-29 | Microsoft Corporation | Global alignment for high-dynamic range image generation |
US9824426B2 (en) | 2011-08-01 | 2017-11-21 | Microsoft Technology Licensing, Llc | Reduced latency video stabilization |
US20130044237A1 (en) * | 2011-08-15 | 2013-02-21 | Broadcom Corporation | High Dynamic Range Video |
US20130083151A1 (en) * | 2011-09-30 | 2013-04-04 | Lg Electronics Inc. | Electronic device and method for controlling electronic device |
US8913153B2 (en) | 2011-10-06 | 2014-12-16 | Aptina Imaging Corporation | Imaging systems and methods for generating motion-compensated high-dynamic-range images |
TWI466538B (zh) * | 2012-01-20 | 2014-12-21 | Altek Corp | 影像處理方法及其裝置 |
US9172889B2 (en) | 2012-02-09 | 2015-10-27 | Semiconductor Components Industries, Llc | Imaging systems and methods for generating auto-exposed high-dynamic-range images |
US9007488B2 (en) | 2012-03-08 | 2015-04-14 | Semiconductor Components Industries, Llc | Systems and methods for generating interpolated high-dynamic-range images |
US9338372B2 (en) | 2012-09-19 | 2016-05-10 | Semiconductor Components Industries, Llc | Column-based high dynamic range imaging systems |
US9374532B2 (en) * | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
US20150009355A1 (en) * | 2013-07-05 | 2015-01-08 | Himax Imaging Limited | Motion adaptive cmos imaging system |
US20150116525A1 (en) * | 2013-10-31 | 2015-04-30 | Himax Imaging Limited | Method for generating high dynamic range images |
US9571720B2 (en) * | 2013-12-10 | 2017-02-14 | Olympus Corporation | Image processing device, display device, imaging apparatus, image processing method, and program |
US9380229B2 (en) | 2014-02-28 | 2016-06-28 | Samsung Electronics Co., Ltd. | Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion |
JP6674255B2 (ja) * | 2015-12-28 | 2020-04-01 | キヤノン株式会社 | 固体撮像素子及び撮像装置 |
JP6697684B2 (ja) * | 2016-10-13 | 2020-05-27 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理回路 |
EP3834170B1 (en) | 2018-09-11 | 2024-06-19 | Samsung Electronics Co., Ltd. | Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion |
KR20210053377A (ko) | 2019-11-01 | 2021-05-12 | 삼성전자주식회사 | 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3630905B2 (ja) * | 1997-02-28 | 2005-03-23 | キヤノン株式会社 | 撮像方法及び撮像装置 |
JP4282113B2 (ja) * | 1998-07-24 | 2009-06-17 | オリンパス株式会社 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
JP4245699B2 (ja) | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
JP2000224470A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
KR100316717B1 (ko) | 1999-10-05 | 2001-12-20 | 윤종용 | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 |
JP3731729B2 (ja) | 2000-12-20 | 2006-01-05 | 松下電器産業株式会社 | 画像合成回路 |
JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
KR100810310B1 (ko) * | 2003-08-29 | 2008-03-07 | 삼성전자주식회사 | 조도차가 다른 영상의 재구성 장치 및 방법 |
JP2006050457A (ja) * | 2004-08-06 | 2006-02-16 | Canon Inc | 撮像装置 |
DE602005003917T2 (de) | 2005-02-03 | 2008-12-04 | Sony Ericsson Mobile Communications Ab | Verfahren und Vorrichtung zur Erzeugung von Bildern mit hoher Dynamik aus mehreren Belichtungen |
JP2006262220A (ja) | 2005-03-18 | 2006-09-28 | Seiko Epson Corp | 撮像装置 |
US7546026B2 (en) * | 2005-10-25 | 2009-06-09 | Zoran Corporation | Camera exposure optimization techniques that take camera and scene motion into account |
US8120658B2 (en) * | 2006-01-19 | 2012-02-21 | Qualcomm Incorporated | Hand jitter reduction system for cameras |
JP2007300595A (ja) * | 2006-04-06 | 2007-11-15 | Winbond Electron Corp | 静止画像撮影の手ブレ回避方法 |
KR20080108964A (ko) * | 2006-04-11 | 2008-12-16 | 파나소닉 주식회사 | 촬상 장치 |
US7746934B2 (en) * | 2006-04-19 | 2010-06-29 | Nethra Imaging Inc. | Image stabilization method |
JP4671430B2 (ja) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
KR101340035B1 (ko) | 2006-11-30 | 2013-12-10 | 삼성전자주식회사 | 디지털 영상 처리 장치의 영상 합성 방법 |
US7978239B2 (en) * | 2007-03-01 | 2011-07-12 | Eastman Kodak Company | Digital camera using multiple image sensors to provide improved temporal sampling |
JP2008277896A (ja) | 2007-04-25 | 2008-11-13 | Kyocera Corp | 撮像装置および撮像方法 |
KR101411639B1 (ko) | 2007-09-11 | 2014-06-24 | 삼성전기주식회사 | 영상 정합 방법 및 장치 |
JP5179223B2 (ja) * | 2008-02-26 | 2013-04-10 | オリンパス株式会社 | 撮像装置及び撮像プログラム |
US8482620B2 (en) * | 2008-03-11 | 2013-07-09 | Csr Technology Inc. | Image enhancement based on multiple frames and motion estimation |
JP5054583B2 (ja) * | 2008-03-17 | 2012-10-24 | 株式会社リコー | 撮像装置 |
JP5183297B2 (ja) * | 2008-05-19 | 2013-04-17 | 三洋電機株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
US20100157079A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | System and method to selectively combine images |
TWI444753B (zh) * | 2010-11-16 | 2014-07-11 | Altek Corp | 影像擷取裝置及其曝光時間調整方法 |
-
2009
- 2009-07-23 KR KR1020090067387A patent/KR101614914B1/ko active IP Right Grant
-
2010
- 2010-07-23 US US12/842,109 patent/US8462214B2/en active Active
-
2012
- 2012-05-31 US US13/485,357 patent/US8379094B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160039701A (ko) * | 2011-10-14 | 2016-04-11 | 가부시키가이샤 모르포 | 화상 처리 장치, 화상 처리 방법 및 기록 매체 |
US9460492B2 (en) | 2013-05-10 | 2016-10-04 | Hanwha Techwin Co., Ltd. | Apparatus and method for image processing |
WO2016163719A1 (en) * | 2015-04-09 | 2016-10-13 | Samsung Electronics Co., Ltd. | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus |
US10013778B2 (en) | 2015-04-09 | 2018-07-03 | Samsung Electronics Co., Ltd. | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus |
Also Published As
Publication number | Publication date |
---|---|
US8462214B2 (en) | 2013-06-11 |
US20120236169A1 (en) | 2012-09-20 |
US20110019014A1 (en) | 2011-01-27 |
US8379094B2 (en) | 2013-02-19 |
KR101614914B1 (ko) | 2016-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101614914B1 (ko) | 모션 적응적 고대비 영상 획득 장치 및 방법 | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
US8311282B2 (en) | Image processing apparatus, image processing method, and program | |
US8384805B2 (en) | Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image | |
KR101604068B1 (ko) | 고대비 영상 생성 장치 및 방법 | |
US8570389B2 (en) | Enhancing digital photography | |
US8300110B2 (en) | Image sensing apparatus with correction control | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
CN109328454B (zh) | 图像处理装置 | |
CN108028889B (zh) | 图像处理设备、图像处理方法、程序和摄像系统 | |
KR20140032318A (ko) | 노출 조건을 주기적으로 변화시키는 촬상장치, 촬상장치의 제어방법, 및 기억매체 | |
US9589339B2 (en) | Image processing apparatus and control method therefor | |
US20140286593A1 (en) | Image processing device, image procesisng method, program, and imaging device | |
JP4420906B2 (ja) | 撮像装置 | |
JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
JP2013074313A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10368017B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP5882702B2 (ja) | 撮像装置 | |
JP6108680B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP5713643B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
JP6231816B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
JP2023071409A (ja) | 撮像装置およびその制御方法、プログラム | |
US20210035308A1 (en) | Apparatus and method for calculating motion vector | |
US8125527B2 (en) | Motion detection apparatus | |
JP5219771B2 (ja) | 映像処理装置および映像処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190319 Year of fee payment: 4 |