KR101915193B1 - 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템 - Google Patents

이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템 Download PDF

Info

Publication number
KR101915193B1
KR101915193B1 KR1020120042715A KR20120042715A KR101915193B1 KR 101915193 B1 KR101915193 B1 KR 101915193B1 KR 1020120042715 A KR1020120042715 A KR 1020120042715A KR 20120042715 A KR20120042715 A KR 20120042715A KR 101915193 B1 KR101915193 B1 KR 101915193B1
Authority
KR
South Korea
Prior art keywords
image sensor
moving
subject
speed
distance
Prior art date
Application number
KR1020120042715A
Other languages
English (en)
Other versions
KR20130119706A (ko
Inventor
오재윤
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020120042715A priority Critical patent/KR101915193B1/ko
Priority to US13/779,858 priority patent/US9420185B2/en
Publication of KR20130119706A publication Critical patent/KR20130119706A/ko
Application granted granted Critical
Publication of KR101915193B1 publication Critical patent/KR101915193B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 발명의 일 실시예에 따르면, 감시 영역에서 움직이는 피사체의 등장을 감지하여, 카메라 화면 상에서의 상기 피사체의 움직임 거리 및 속도를 산출하는 움직임 검출부; 상기 피사체의 움직임 거리 및 속도를 기초로 이미지 센서의 이동 거리 및 이동 속도를 산출하는 연산부; 상기 이동 거리 및 이동 속도에 기초하여 특정 프레임의 노출 시간 동안 상기 이미지 센서를 이동시키는 이동부; 를 포함하는 영상 블러 현상을 보상하는 시스템이 제공된다.

Description

이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템{METHOD AND SYSTEM FOR COMPENSATING IMAGE BLUR BY MOVING IMAGE SENSOR}
본 발명은 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템에 관한 것으로, 보다 상세하게는 카메라 화면 상에서의 피사체의 움직임 거리 및 속도에 기초하여 이미지 센서의 이동 거리 및 이동 속도를 산출한 후 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템에 관한 것이다.
감시카메라는 하나의 영상 프레임을 얻기 위해 이미지 센서에 일정 시간 노출을 주는 노출 시간을 가진다. 움직이는 피사체를 촬상하는 경우, 이러한 노출 시간 동안 촬영 피사체는 정지하여 있는 것이 아니므로, 카메라 노출 시간 동안의 움직임에 대해서 영상 블러(blur) 현상이 발생하게 된다. 이러한 영상 블러 현상이 발생하면 영상에서 해당 움직이는 피사체의 정보가 손실되게 되고, 감시카메라가 제 기능을 할 수 없는 문제점이 발생한다.
본 발명은 카메라 화면 상에서의 피사체의 움직임 거리 및 속도에 기초하여 이미지 센서의 이동 거리 및 이동 속도를 산출한 후 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 감시 영역에서 움직이는 피사체의 등장을 감지하여, 카메라 화면 상에서의 상기 피사체의 움직임 거리 및 속도를 산출하는 움직임 검출부; 상기 피사체의 움직임 거리 및 속도를 기초로 이미지 센서의 이동 거리 및 이동 속도를 산출하는 연산부; 상기 이동 거리 및 이동 속도에 기초하여 특정 프레임의 노출 시간 동안 상기 이미지 센서를 이동시키는 이동부; 를 포함하는 영상 블러 현상을 보상하는 시스템이 제공된다.
본 발명에 있어서, 상기 이미지 센서를 이동시키기 위해 압전 소자를 사용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특정 프레임과 상기 특정 프레임의 다음 프레임 사이의 수직 동기 시간 동안 상기 이미지 센서를 원위치로 이동시키는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서의 이동 거리는 상기 피사체가 이동한 상기 이미지 센서의 화소수에 상기 이미지 센서의 단위 셀 크기를 곱하여 산출되는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서의 이동 속도는 상기 이미지 센서의 이동 거리에 상기 노출 시간을 나누어서 산출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서를 이동하여 얻은 영상의 배경 영역에서 블러 현상이 발생하는 경우, 상기 영상의 배경을 교체하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 감시 영역에서 움직이는 피사체의 등장을 감지하여, 카메라 화면 상에서의 상기 피사체의 움직임 거리 및 속도를 산출하는 단계;
상기 피사체의 움직임 거리 및 속도를 기초로 이미지 센서의 이동 거리 및 이동 속도를 산출하는 단계;
상기 이동 거리 및 이동 속도에 기초하여 특정 프레임의 노출 시간 동안 상기 이미지 센서를 이동시키는 단계;
를 포함하는 영상 블러 현상을 보상하는 방법이 제공된다.
본 발명에 있어서, 상기 이미지 센서를 이동시키기 위해 압전 소자를 사용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특정 프레임과 상기 특정 프레임의 다음 프레임 사이의 수직 동기 시간 동안 상기 이미지 센서를 원위치로 이동시키는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서의 이동 거리는 상기 피사체가 이동한 상기 이미지 센서의 화소수에 상기 이미지 센서의 단위 셀 크기를 곱하여 산출되는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서의 이동 속도는 상기 이미지 센서의 이동 거리에 상기 노출 시간을 나누어서 산출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서를 이동하여 얻은 영상의 배경 영역에서 블러 현상이 발생하는 경우, 상기 영상의 배경을 교체하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, n개 프레임 간격으로 움직임 검출용 프레임을 설정하고, 상기 움직임 검출용 프레임 중 특정 움직임 검출용 프레임에서, 카메라 화면 상에서의 피사체의 움직임 거리 및 속도를 산출하는 움직임 검출부; 상기 피사체의 움직임 거리 및 속도를 기초로 이미지 센서의 이동 거리 및 이동 속도를 산출하는 연산부; 상기 특정 움직임 검출용 프레임 이후 n-1개의 프레임 동안 상기 이동 거리 및 이동 속도에 따라 이미지 센서를 이동시키는 이동부; 를 포함하는 영상 블러 현상을 보상하는 시스템이 제공된다.
본 발명에 있어서, 상기 이미지 센서를 이동시키기 위해 압전 소자를 사용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서의 이동 거리는 상기 피사체가 이동한 상기 이미지 센서의 화소수에 상기 이미지 센서의 단위 셀 크기를 곱하여 산출되는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서의 이동 속도는 상기 이미지 센서의 이동 거리에 상기 노출 시간을 나누어서 산출하는 것을 특징으로 한다.
본 발명에 있어서, n-1개의 프레임 동안의 영상의 배경 영역에서 블러 현상이 발생하는 경우, 상기 영상의 배경을 교체하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, n개 프레임 간격으로 움직임 검출용 프레임을 설정하고, 상기 움직임 검출용 프레임 중 특정 움직임 검출용 프레임에서, 카메라 화면 상에서의 피사체의 움직임 거리 및 속도를 산출하는 단계; 상기 피사체의 움직임 거리 및 속도를 기초로 이미지 센서의 이동 거리 및 이동 속도를 산출하는 단계; 상기 특정 움직임 검출용 프레임 이후 n-1개의 프레임 동안 상기 이동 거리 및 이동 속도에 따라 이미지 센서를 이동시키는 단계; 를 포함하는 영상 블러 현상을 보상하는 방법이 제공된다.
본 발명에 있어서, 상기 이미지 센서의 이동 거리는 상기 피사체가 이동한 상기 이미지 센서의 화소수에 상기 이미지 센서의 단위 셀 크기를 곱하여 산출되는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서의 이동 속도는 상기 이미지 센서의 이동 거리에 상기 노출 시간을 나누어서 산출하는 것을 특징으로 한다.
본 발명에 의하면, 카메라 화면 상에서의 피사체의 움직임 거리 및 속도에 기초하여 이미지 센서의 이동 거리 및 이동 속도를 산출한 후 이미지 센서를 이동시켜 영상 블러 현상을 보상할 수 있다.
도 1은 기존의 카메라에서 피사체의 블러 현상이 발생하는 이유를 도식적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 블러 현상을 보상하는 시스템의 구성을 간략히 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 피사체의 움직임 거리 및 속도를 산출하는 과정을 나타내는 과정이다.
도 4는 본 발명의 일 실시예에 따라 이미지 센서와 압전 소자의 배치를 개념적으로 나타낸 도면이다.
도 5는 본 발명의 다른 일 실시예에 따라 영상 블러 현상을 보상하는 과정을 나타낸 개념도이다.
도 6은 본 발명의 일 실시예에 따라 피사체의 움직임에 기초하여 이미지 센서를 이동하는 과정을 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따라 피사체의 움직임에 기초하여 이미지 센서를 이동하는 과정을 나타낸 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 기존의 카메라에서 피사체의 블러 현상이 발생하는 이유를 도식적으로 나타낸 도면이다.
먼저, 도 1의 (a)는 피사체가 움직이지 않는 경우 피사체가 이미지 센서에 출력되는 결과를 나타낸 것이고, 도 1의 (b)는 피사체가 움직이는 경우 피사체가 이미지 센서에 출력되는 결과를 도시한 것이다.
도 1의 (a)를 참조하면, (a-1)과 같은 형태를 갖는 움직이지 않는 피사체는 각 피사체의 위치에 대응하는 화소를 통해 (a-2)와 같이 이미지 센서에 출력된다.
반면에, 도 1의 (b)를 참조하면, (b-1)과 같이 움직이는 피사체는 프레임이 노출되는 일정 시간 동안 대응하는 화소에 찍히는 값에 변화가 있으므로, (b-2)와 같이 이미지 센서에 출력되는 값이 변형되게 된다. 즉, 1번 내지 4번 위치의 화소에 출력되는 값은 피사체가 이동함에 따라 이동된 값이 중첩되게 되므로 원 피사체의 모양을 반영하지 못하고 이미지 센서 출력값에 변형이 생기며, 블러 현상에 발생한다.
본 발명은 이러한 움직이는 피사체의 블러 현상을 보상하기 위하여 피사체가 움직이는 속도로 이미지 센서를 이동시켜 움직이는 피사체도 정확한 출력 영상을 얻을 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 영상 블러 현상을 보상하는 시스템의 구성을 간략히 나타내는 도면이다.
도 2를 참조하면, 먼저 본 발명의 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 시스템은 카메라(10), 이동부(20), 영상 전처리부, 움직임 검출부(200), 연산부(300), 출력부(400)를 포함할 수 있다.
먼저, 카메라(10)는 촬상 대상의 이미지를 얻을 수 있는 촬상 장치로서 본 발명의 일 실시예에 따르면 카메라(10)는 동화상을 실시간으로 전송할 수 있는 네트워크 카메라일 수 있다. 또한 본 발명의 바람직한 실시예에 따르면, 본 발명의 카메라는 감시 시스템을 위한 것으로서 감시 대상이 되는 지점에 설치되는 cctv, 캠코더 등의 촬상 장치일 수 있다. 또한, 카메라는 촬상 결과물을 전기적인 영상 신호로 변환하는 이미지 센서(미도시됨)를 포함한다.
본 발명에서, 카메라(10) 내부에 장착된 이미지 센서는 후술하는 바와 같이 한 프레임 동안의 피사체의 움직임 거리 및 속도에 비례하는 값으로 이동 부재에 의해 이동될 수 있다. 카메라(10)는 이미지 센서의 이동을 제어하는 이동부(20)를 더 포함하고 있을 수 있다. 이미지 센서의 이동 방법 및 이동부(20)의 구성에 대해서는 후술하기로 한다.
다음으로, 영상 전처리부(100)는 카메라(10)로부터 제공된 입력 데이터를 아날로그 신호로부터 디지털 신호로 변환한다. 비록 도 2에서는 영상 전처리부(100)가 카메라(10)의 외부에 존재하는 것으로 나타나있지만, 영상 전처리부(100)는 각 카메라(10) 내부에 이미지 센서와 함께 구비될 수 있다. 또한, 영상 전처리부(100)는 아날로그 입력 영상을 디지털 영상으로 변환하기 위해 디코더(미도시됨)를 포함할 수 있다.
다음으로, 움직임 검출부(200)는 감시 영역에서 움직이는 피사체의 등장을 감지하여, 감시 카메라의 화면 상에서 상기 피사체의 움직임 거리 및 속도를 산출하는 역할을 한다. 보다 상세하게는, 피사체가 이동하는 경우 한 프레임의 노출 시간 동안 피사체의 이동 거리 및 속도에 기초하여 피사체가 전체 영상에서 움직인 거리를 산출하여, 블러 현상이 일어난 화소의 개수를 산출한다.
아래에서는, 움직임 검출부(200)가 블러 현상이 발생한 화소의 개수를 산출하는 과정을 설명하되, 설명의 편의를 위해 피사체가 카메라(10)의 영상에서 수평 방향으로만 움직였다고 가정하기로 한다. 한 프레임의 노출 시간 동안 영상에서 피사체의 실제 진행 거리를 object_move라고 표현했을 때, object_move는 다음과 같은 [수학식 1]로 나타낼 수 있다.
[수학식 1]
Figure 112012032700188-pat00001
[수학식 1]에서, V는 화면 상의 피사체의 진행 속도를 의미하고, T는 카메라(10)에서 한 프레임의 노출 시간을 뜻한다.
[수학식 1]을 토대로 하면, 한 프레임 동안 피사체가 이동한 이미지 센서의 화소수, 즉 영상에서 블러 현상이 발생한 화소의 개수를 알 수 있다. 블러 현상이 발생한 화소의 개수는 전체 영상의 크기 대비 한 프레임 동안 피사체가 이동한 거리에 관계된다. 블러 현상이 발생한 화소의 개수를 pinel_blur라고 할 때, pinel_blur와 object_move의 관계는 아래의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
Figure 112012032700188-pat00002
[수학식 2]에서, H는 카메라의 화면상 배경의 수평 거리를 뜻한다. 또한, PN_H는 카메라(10)의 이미지 센서의 수평 화소 수를 뜻한다. 즉, 전체 카메라의 화면 거리와 피사체가 노출 시간 동안 진행한 거리의 비는 이미지 센서의 수평 화수 개수와 블러 현상이 발생한 화수 개수의 비와 같다.
[수학식 2]를 풀어 쓰면, 아래의 [수학식 3]과 같이 카메라(10)의 영상에서 블러 현상이 발생한 화소의 개수를 알 수 있다.
[수학식 3]
Figure 112012032700188-pat00003
[수학식 3]에서 구한 값과 같이, 움직임 검출부(200)는 블러 현상이 발생한 화소의 개수를 영상에서 피사체가 움직인 속도와 노출 시간, 영상의 수평 거리 및 이미지 센서의 수평 화수 수를 기초로 하여 산출한다.
도 3은 본 발명의 일 실시예에 따라 피사체의 움직임 거리 및 속도를 산출하는 과정을 나타내는 과정이다.
도 3의 (a-1)과 (a-2) 영상을 참조하면, 카메라(10) 내의 영상에서 한 프레임의 노출시간 동안 피사체가 이동한 것을 알 수 있다. 이와 같이 이동한 피사체에서 , 움직임 검출부(200)는 배경 영역의 영상 (b)를 제거한여 움직이는 피사체만 남은 (c-1) 및 (c-2) 영상을 남긴다. 여기서, 배경 영역의 영상 (b)는 움직이는 피사체가 카메라(10)에 등장하기 전 몇 프레임간 반복되는 움직이지 않는 영역일 수 있다.
다음으로, 움직임 검출부(200)는 움직이는 피사체만 남은 (c-1) 및 (c-2) 영상을 합쳐서 피사체의 움직임 거리 및 속도를 산출한다. 상술한 바와 같이, 피사체의 움직임 속도는 영상 내에서 피사체가 한 프레임 동안 움직인 거리에 노출 시간을 나누어 산출할 수 있다.
다음으로, 연산부(300)는 피사체의 움직임 거리 및 속도를 기초로 이미지 센서의 이동 거리 및 이동 속도를 산출하는 역할을 할 수 있다. 본 발명의 일 실시예에서, 이미지 센서는 압전 소자에 의해 미세하게 이동 가능하다. 연산부(300)는 영상에서 움직이는 피사체로 인한 블러 현상을 보상하기 위하여 블러 현상이 발생한 화소 만큼 이미지 센서를 이동시키는 값을 산출한다.
이미지 센서의 이동 거리를 IS_move라 두면, IS_move는 아래의 [수학식 4]와 같은 방법으로 산출할 수 있다.
[수학식 4]
Figure 112012032700188-pat00004
[수학식 4]에서, UCS_H는 이미지 센서의 수평 단위 셀 크기이다. 즉, 이미지 센서의 이동 거리는 피사체가 이동한 상기 이미지 센서의 화소수, 즉 블러 현상이 발생한 화소 수에 이미지 센서의 수평 단위 셀 크기를 곱하여 산출한다.
또한, 이미지 센서의 이동 속도를 IS_v라 두면, IS_v는 아래의 [수학식 5]와 같이 산출할 수 있다.
[수학식 5]
Figure 112012032700188-pat00005
상술한 바와 같이, T는 촬상시 한 프레임의 노출 시간이므로 이미지 센서의 이동 속도는 이미지 센서의 이동 거리에 노출 시간을 나누어서 산출할 수 있다.
연산부(300)는 산출한 이미지 센서의 이동 거리 및 이동 속도를 이동부(20)에 제공하여, 이동부(20)가 카메라의 이미지 센서를 조정할 수 있도록 한다. 이동부(20)는 이동 거리 및 이동 속도에 기초하여 상기 프레임의 노출시간 동안 이미지 센서를 이동시킨다. 본 발명의 일 실시예에서, 이미지 센서를 이동시키기 위한 이동 부재는 압전 소자일 수 있다. 압전 소자는 적은 양의 입력값에 따라 미세하게 이미지 센서를 움직일 수 있다.
도 4는 본 발명의 일 실시예에 따라 이미지 센서와 압전 소자의 배치를 개념적으로 나타낸 도면이다.
도 4를 참조하면, 카메라의 단면 내부에 이미지 센서(21)가 위치한 것을 알 수 있다. 본 발명의 일 실시예에 의하면, 카메라 내부에는 이미지 센서가 상하좌우로 이동할 수 있는 여유 공간이 존재한다. 또한, 도 3의 상하측 압전 소자(22a) 및 좌우측 압전 소자(22b)는 이미지 센서를 각각 상하 방향, 좌우 방향으로 움직일 수 있다. 이동부(20)와 연산부(300)와 통신하여 이미지 센서의 이동 거리 및 이동 속도 데이터를 수신하고, 압전 소자를 제어한다.
또한, 이동부(20)는 한 프레임의 노출 시간 동안 상술한 바와 같이 이미지 센서를 이동시키고, 한 프레임과 다음 프레임 사이의 수직 동기 시간 동안 이미지 센서를 원위치로 이동시킨다.
마지막으로, 출력부(400)는 상기와 같은 방법으로 블러 현상이 보정된 영상을 출력한다. 출력부(400)는 배경 교체부(410)를 포함할 수 있다. 배경 교체부(410)는 이미지 센서의 이동으로 인하여 배경에 블러 현상이 발생할 경우, 배경을 교체할 수 있다.
이미지 센서가 피사체의 움직임 거리 및 속도를 기초로 하여 이동할 경우, 반대로 움직이는 피사체를 제외한 배경 영역은 블러 현상이 발생할 수 있다. 즉, 이미지 센서를 한 프레임 노출 시간 동안 이동시키면, 반대로 배경이 움직인 것과 같은 효과로 블러 현상이 발생할 가능성이 있다. 이와 같은 블러 현상이 배경에 출력되는 것을 방지하기 위해, 출력부(400) 내의 배경 교체부(410)는 움직이는 피사체를 제외한 나머지 배경 영역을 교체하는 역할을 한다. 배경 교체부(410)가 교체하는 배경은 움직이는 피사체가 나타나기 전, 감시 카메라에서 일정 프레임동안 반복적으로 촬상된 배경일 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 블러 현상 보상 방법은 피사체의 움직임 정보에 기초하여 이미지 센서의 이동 거리 및 이동 속도를 산출하여 프레임의 노출 시간 동안 이미지 센서를 이동시키고, 각 프레임 사이의 수직 동기 시간 동안 이미지 센서를 복귀하는 방법일 수 있다.
한편, 본 발명의 다른 일 실시예에 의하면, 매 프레임마다 피사체의 움직임을 산출하지 않고, 특정 프레임 간격으로 피사체의 움직임을 산출하여 나머지 프레임에서 산출한 움직임 값을 일괄적으로 사용하여 이미지 센서를 이동시킬 수 있다.
즉, n개의 프레임 간격으로 움직임을 산출한다고 가정하면, (0, n, 2n, 3n,...)번째 프레임을 움직임 검출용 프레임으로 설정하고, 피사체의 움직임을 검출하여 피사체 움직임 거리 및 속도를 산출한다. 또한, 나머지 (1, 2,..., n-1, n+1, n+2,..., 2n-1, 2n+1,...)의 프레임에서 이미지 센서를 이동한다. 이때, 이미지 센서의 이동 거리 및 이동 속도는 가장 최근의 움직임 검출용 프레임에서 산출한 이동 거리 및 이동 속도의 값을 참조한다. 예를 들어, (n+1, n+2,...2n-1) 프레임에서의 이미지 센서의 이동 거리 및 이동 속도는 n번째 프레임에서 산출한 피사체의 움직임 값에 기초한 값을 차용한다.
상술한 바와 같은 본 발명의 다른 실시예를 사용하는 이유는, 대부분의 피사체는 카메라(10)에 등장한 후 사라지기까지 거의 일정한 속도로 이동하기 때문이다. 특정 간격의 프레임에서만 피사체의 움직임 속도 및 거리에 기초한 이미지 센서의 이동 거리 및 이동 속도를 결정하는 경우, 본 발명의 시스템을 구동하는 계산량을 증가하여 프로세스의 효율이 증가할 수 있다.
도 5는 본 발명의 다른 일 실시예에 따라 영상 블러 현상을 보상하는 과정을 나타낸 개념도이다.
도 5를 참조하면, 먼저 움직임 검출부(200)는 n개 프레임 간격으로 (0, n, 2n, 3n,...)의 움직임 검출용 프레임을 설정한다. 다음으로, 처음 제0 프레임에서는 도 3와 같이 피사체의 움직임 거리 및 속도를 산출하여, 이미지 센서의 이동 거리 및 이동 속도를 산출한다. 즉, 움직임 검출용 프레임은 이미지 센서 이동 거리 및 이동 속도를 획득하기 위한 프레임으로, 움직임 검출용 프레임에서는 이미지 센서의 이동이 발생되지 않는다.
다음으로, 제1 프레임 내지 제n-1 프레임에서는 제0 프레임에서 산출한 이미지 센서의 이동 거리 및 이동 시간에 따라 이미지 센서의 이동이 발생한다. 그 결과, 영상에서 움직이는 피사체의 블러 현상이 보상될 수 있다. 다만, 도 5에서 보는 바와 같이 이미지 센서가 이동하는 경우, 피사체의 움직임은 보상할 수 있을지라도 배경은 움직이지 않고 노출시간 동안 같은 자리를 유지하므로, 반대로 배경에 블러 현상에 발생할 수 있다.
따라서, 배경 교체부(410)는 이미지 센서를 이동한 결과 배경에 블러 현상이 발생한 이미지에 대하여 배경을 교체할 수 있다. 그 결과 배경과 피사체의 움직임 모두에서 블러 현상이 보상된 출력 영상을 얻을 수 있다.
이와 같이 제0 프레임에서 산출한 이미지 센서의 이동 거리 및 이동 속도에 기초하여, 제1 내지 제n-1 프레임은 프레임 노출 시간 동안 이미지 센서를 이동시켜 움직이는 피사체의 블러 현상이 보상된 영상을 획득한다.
반복적으로, 움직임 검출용 프레임인 제n, 2n, 3n 프레임에서 움직이는 피사체의 움직임 거리 및 속도를 검출하여 이미지 센서의 이동 거리 및 이동 속도를 산출하고, 이동부(20)는 제n, 2n, 3n 프레임 사이의 프레임에서 산출된 이미지 센서의 이동 거리 및 이동 속도에 기초하여 이미지 센서를 이동시킨다. 또한, 이미지 센서의 이동으로 인해 배경에 블러 현상이 발생하는 경우, 배경 교체부(410)는 배경을 교체한다.
도 6은 본 발명의 일 실시예에 따라 피사체의 움직임에 기초하여 이미지 센서를 이동하는 과정을 나타낸 순서도이다.
도 6을 참조하면, 먼저 움직이는 피사체가 등장하지 않은 영상에서 움직이지 않는 배경 영역을 추출한다(S11).
다음으로, 감시 영역에서 움직이는 피사체의 등장을 감지하여, 감시 카메라의 화면 상에서 피사체의 움직임 거리 및 속도를 산출한다(S12).
다음으로, 피사체의 움직임 거리 및 속도를 기초로 이미지 센서의 이동 거리 및 이동 속도를 산출한다(S13).
다음으로, 이동 거리 및 이동 속도에 기초하여 이미지 센서를 이동시킨다(S14).
다음으로, 이미지 센서의 이동 결과 배경 영역에 블러 현상이 발생하는 경우, 배경 영역을 S11 단계에서 추출한 배경 영역으로 교체한다(S15).
마지막으로, 출력부(400)는 이미지 센서가 이동함으로써 움직이는 피사체의 블러 현상이 보상된 영상을 출력한다(S16).
도 7은 본 발명의 일 실시예에 따라 피사체의 움직임에 기초하여 이미지 센서를 이동하는 과정을 나타낸 순서도이다.
먼저, 움직이는 피사체가 등장하지 않은 영상에서 움직이지 않는 배경 영역을 추출한다(S21).
다음으로, 계산량을 고려하여 n개 프레임 간격으로 움직임 검출용 프레임을 설정한다(S22).
다음으로, 특정 움직임 검출용 프레임에서, 카메라 화면 상에서의 피사체의 움직임 거리 및 속도를 산출한다(S23).
다음으로, 상기 특정 움직임 검출용 프레임에서 상기 피사체의 움직임 거리 및 속도를 기초로 이미지 센서의 이동 거리 및 이동 속도를 산출한다(S24).
다음으로, 상기 특정 움직임 검출용 프레임 이후 n-1개의 프레임 동안 상기 이동 거리 및 이동 속도에 따라 이미지 센서를 이동한다(S25).
다음으로, 이미지 센서의 이동 결과 n-1개의 프레임에서 배경 영역에 블러 현상이 발생하는 경우, 배경 영역을 S21 단계에서 추출한 배경 영역으로 교체한다(S26).
마지막으로, 출력부(400)는 이미지 센서가 이동함으로써 움직이는 피사체의 블러 현상이 보상된 영상을 출력한다(S27).
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 카메라
20: 이동부
100: 영상 전처리부
200: 움직임 검출부
300: 연산부
400: 출력부
410: 배경 교체부

Claims (20)

  1. 감시 영역에서 움직이는 피사체의 등장을 감지하여, 카메라의 화면 상에서의 상기 피사체의 움직임 거리 및 속도를 산출하는 움직임 검출부;
    상기 피사체의 움직임 거리 및 속도에 비례하도록 상기 카메라에 포함된 이미지 센서의 이동 거리 및 이동 속도를 산출하는 연산부;
    상기 이동 거리 및 이동 속도에 기초하여 특정 프레임의 노출 시간 동안 상기 이미지 센서를 이동시키는 이동부;
    를 포함하는 영상 블러 현상을 보상하는 시스템.
  2. 제1항에 있어서,
    상기 이미지 센서를 이동시키기 위해 압전 소자를 사용하는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  3. 제1항에 있어서,
    상기 특정 프레임과 상기 특정 프레임의 다음 프레임 사이의 수직 동기 시간 동안 상기 이미지 센서를 원위치로 이동시키는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  4. 제1항에 있어서,
    상기 이미지 센서의 이동 거리는 상기 피사체가 이동한 상기 이미지 센서의 화소수에 상기 이미지 센서의 단위 셀 크기를 곱하여 산출되는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  5. 제1항에 있어서,
    상기 이미지 센서의 이동 속도는 상기 이미지 센서의 이동 거리에 상기 노출 시간을 나누어서 산출하는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  6. 제1항에 있어서,
    상기 이미지 센서를 이동하여 얻은 영상의 배경 영역에서 블러 현상이 발생하는 경우, 상기 영상의 배경을 교체하는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  7. 감시 영역에서 움직이는 피사체의 등장을 감지하여, 카메라의 화면 상에서의 상기 피사체의 움직임 거리 및 속도를 산출하는 단계;
    상기 피사체의 움직임 거리 및 속도에 비례하도록 상기 카메라에 포함된 이미지 센서의 이동 거리 및 이동 속도를 산출하는 단계;
    상기 이동 거리 및 이동 속도에 기초하여 특정 프레임의 노출 시간 동안 상기 이미지 센서를 이동시키는 단계;
    를 포함하는 영상 블러 현상을 보상하는 방법.
  8. 제7항에 있어서,
    상기 이미지 센서를 이동시키기 위해 압전 소자를 사용하는 것을 특징으로 하는 영상 블러 현상을 보상하는 방법.
  9. 제7항에 있어서,
    상기 특정 프레임과 상기 특정 프레임의 다음 프레임 사이의 수직 동기 시간 동안 상기 이미지 센서를 원위치로 이동시키는 것을 특징으로 하는 영상 블러 현상을 보상하는 방법.
  10. 제7항에 있어서,
    상기 이미지 센서의 이동 거리는 상기 피사체가 이동한 상기 이미지 센서의 화소수에 상기 이미지 센서의 단위 셀 크기를 곱하여 산출되는 것을 특징으로 하는 영상 블러 현상을 보상하는 방법.
  11. 제7항에 있어서,
    상기 이미지 센서의 이동 속도는 상기 이미지 센서의 이동 거리에 상기 노출 시간을 나누어서 산출하는 것을 특징으로 하는 영상 블러 현상을 보상하는 방법.
  12. 제7항에 있어서,
    상기 이미지 센서를 이동하여 얻은 영상의 배경 영역에서 블러 현상이 발생하는 경우, 상기 영상의 배경을 교체하는 것을 특징으로 하는 영상 블러 현상을 보상하는 방법.
  13. n개 프레임 간격으로 움직임 검출용 프레임을 설정하고, 상기 움직임 검출용 프레임 중 특정 움직임 검출용 프레임에서, 카메라의 화면 상에서의 피사체의 움직임 거리 및 속도를 산출하는 움직임 검출부;
    상기 피사체의 움직임 거리 및 속도에 비례하도록 상기 카메라에 포함된 이미지 센서의 이동 거리 및 이동 속도를 산출하는 연산부;
    상기 특정 움직임 검출용 프레임 이후 n-1개의 프레임 동안 상기 이동 거리 및 이동 속도에 따라 이미지 센서를 이동시키는 이동부;
    를 포함하는 영상 블러 현상을 보상하는 시스템.
  14. 제13항에 있어서,
    상기 이미지 센서를 이동시키기 위해 압전 소자를 사용하는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  15. 제13항에 있어서,
    상기 이미지 센서의 이동 거리는 상기 피사체가 이동한 상기 이미지 센서의 화소수에 상기 이미지 센서의 단위 셀 크기를 곱하여 산출되는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  16. 제13항에 있어서,
    상기 이미지 센서의 이동 속도는 상기 이미지 센서의 이동 거리에 상기 움직임 검출용 프레임의 노출 시간을 나누어서 산출하는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  17. 제13항에 있어서,
    n-1개의 프레임 동안의 영상의 배경 영역에서 블러 현상이 발생하는 경우, 상기 영상의 배경을 교체하는 것을 특징으로 하는 영상 블러 현상을 보상하는 시스템.
  18. n개 프레임 간격으로 움직임 검출용 프레임을 설정하고, 상기 움직임 검출용 프레임 중 특정 움직임 검출용 프레임에서, 카메라의 화면 상에서의 피사체의 움직임 거리 및 속도를 산출하는 단계;
    상기 피사체의 움직임 거리 및 속도에 비례하도록 상기 카메라에 포함된 이미지 센서의 이동 거리 및 이동 속도를 산출하는 단계;
    상기 특정 움직임 검출용 프레임 이후 n-1개의 프레임 동안 상기 이동 거리 및 이동 속도에 따라 이미지 센서를 이동시키는 단계;
    를 포함하는 영상 블러 현상을 보상하는 방법.
  19. 제18항에 있어서,
    상기 이미지 센서의 이동 거리는 상기 피사체가 이동한 상기 이미지 센서의 화소수에 상기 이미지 센서의 단위 셀 크기를 곱하여 산출되는 것을 특징으로 하는 영상 블러 현상을 보상하는 방법.
  20. 제18항에 있어서,
    상기 이미지 센서의 이동 속도는 상기 이미지 센서의 이동 거리에 상기 움직임 검출용 프레임의 노출 시간을 나누어서 산출하는 것을 특징으로 하는 영상 블러 현상을 보상하는 방법.
KR1020120042715A 2012-04-24 2012-04-24 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템 KR101915193B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120042715A KR101915193B1 (ko) 2012-04-24 2012-04-24 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템
US13/779,858 US9420185B2 (en) 2012-04-24 2013-02-28 Method and system for compensating for image blur by moving image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120042715A KR101915193B1 (ko) 2012-04-24 2012-04-24 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20130119706A KR20130119706A (ko) 2013-11-01
KR101915193B1 true KR101915193B1 (ko) 2018-11-05

Family

ID=49379761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120042715A KR101915193B1 (ko) 2012-04-24 2012-04-24 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템

Country Status (2)

Country Link
US (1) US9420185B2 (ko)
KR (1) KR101915193B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013144427A1 (en) * 2012-03-26 2013-10-03 Nokia Corporation Method, apparatus and computer program product for image stabilization
US20150104149A1 (en) * 2013-10-15 2015-04-16 Electronics And Telecommunications Research Institute Video summary apparatus and method
KR102125775B1 (ko) 2014-02-24 2020-06-23 삼성전자주식회사 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치
CN105100634B (zh) * 2015-07-09 2019-03-15 小米科技有限责任公司 图像拍摄方法及装置
US10535158B2 (en) 2016-08-24 2020-01-14 The Johns Hopkins University Point source image blur mitigation
JP6622156B2 (ja) * 2016-08-24 2019-12-18 株式会社東芝 情報処理装置、情報処理方法およびプログラム
CN111095066B (zh) * 2017-09-20 2021-11-02 富士胶片株式会社 摄像装置及摄像装置的对焦控制方法
JP7345548B2 (ja) 2018-11-20 2023-09-15 エルジー イノテック カンパニー リミテッド イメージセンサー用基板
US11291864B2 (en) * 2019-12-10 2022-04-05 Shanghai United Imaging Healthcare Co., Ltd. System and method for imaging of moving subjects
US11580692B2 (en) 2020-02-26 2023-02-14 Apple Inc. Single-pass object scanning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047672A1 (en) * 2003-06-17 2005-03-03 Moshe Ben-Ezra Method for de-blurring images of moving objects
JP2006050149A (ja) * 2004-08-03 2006-02-16 Fuji Photo Film Co Ltd 流し撮り方法および撮影装置
JP2010193324A (ja) * 2009-02-20 2010-09-02 Casio Computer Co Ltd カメラ装置、及びその撮影方法とプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161466A (ja) * 1994-12-05 1996-06-21 Toppan Printing Co Ltd 移動体撮像装置
US5969760A (en) * 1996-03-14 1999-10-19 Polaroid Corporation Electronic still camera having mechanically adjustable CCD to effect focus
JP2002203324A (ja) 2000-10-25 2002-07-19 Sony Computer Entertainment Inc フォーカス制御装置、フォーカス制御方法
JP2005004155A (ja) * 2003-06-13 2005-01-06 Attic Kk ディスプレイデータ通信システム
JP4385756B2 (ja) * 2003-12-16 2009-12-16 株式会社ニコン 手ぶれ補正機能付きカメラ
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
KR101341636B1 (ko) 2008-06-20 2013-12-16 삼성테크윈 주식회사 이미지 촬영 모듈
US20100079602A1 (en) 2008-09-26 2010-04-01 Silverbrook Research Pty Ltd. Method and apparatus for alignment of an optical assembly with an image sensor
JP5589527B2 (ja) * 2010-04-23 2014-09-17 株式会社リコー 撮像装置および追尾被写体検出方法
JP2018007440A (ja) * 2016-07-04 2018-01-11 新日鐵住金株式会社 コークス詰まり除去装置走行台車の集電装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047672A1 (en) * 2003-06-17 2005-03-03 Moshe Ben-Ezra Method for de-blurring images of moving objects
JP2006050149A (ja) * 2004-08-03 2006-02-16 Fuji Photo Film Co Ltd 流し撮り方法および撮影装置
JP2010193324A (ja) * 2009-02-20 2010-09-02 Casio Computer Co Ltd カメラ装置、及びその撮影方法とプログラム

Also Published As

Publication number Publication date
US9420185B2 (en) 2016-08-16
US20130278754A1 (en) 2013-10-24
KR20130119706A (ko) 2013-11-01

Similar Documents

Publication Publication Date Title
KR101915193B1 (ko) 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템
JP4638361B2 (ja) 撮像装置
CN107852462B (zh) 相机模块、固体摄像元件、电子设备和摄像方法
JP3934151B2 (ja) 画像生成装置および画像生成方法
JP6055332B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
EP2608529B1 (en) Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
CN109714536B (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
CN109194877B (zh) 图像补偿方法和装置、计算机可读存储介质和电子设备
US9531938B2 (en) Image-capturing apparatus
JP6594180B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2007142929A (ja) 画像処理装置及びカメラシステム
EP3001676B1 (en) Method and image processing device for image stabilization of a video stream
CN111164407B (zh) 二维闪烁测量装置、二维闪烁测量系统、二维闪烁测量方法以及二维闪烁测量程序
CN110708458B (zh) 一种图像帧补偿方法、摄像机和热成像摄像机
CN111164406B (zh) 二维闪烁测定装置及二维闪烁测定方法
JP2012014627A5 (ko)
JP2009135713A (ja) 撮像装置のブレで生じる画像歪みの補正方法及び装置
JP6508926B2 (ja) 撮像装置および撮像装置の制御方法
JP2011114486A (ja) 撮像装置
JP2013021636A (ja) 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
JP2017199995A (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6478587B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
KR101301069B1 (ko) Ｈｄｒ 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법
JP2018074362A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant