KR20100098123A - 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 - Google Patents

디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 Download PDF

Info

Publication number
KR20100098123A
KR20100098123A KR1020090017136A KR20090017136A KR20100098123A KR 20100098123 A KR20100098123 A KR 20100098123A KR 1020090017136 A KR1020090017136 A KR 1020090017136A KR 20090017136 A KR20090017136 A KR 20090017136A KR 20100098123 A KR20100098123 A KR 20100098123A
Authority
KR
South Korea
Prior art keywords
frame image
data
smear
image
column
Prior art date
Application number
KR1020090017136A
Other languages
English (en)
Other versions
KR101552907B1 (ko
Inventor
유현식
박병찬
손상륜
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090017136A priority Critical patent/KR101552907B1/ko
Priority to US12/713,376 priority patent/US8237827B2/en
Publication of KR20100098123A publication Critical patent/KR20100098123A/ko
Application granted granted Critical
Publication of KR101552907B1 publication Critical patent/KR101552907B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 동영상 촬영 및/또는 동영상 디스플레이시 스미어 발생을 효과적으로 저감할 수 있는 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 위하여, 입사광으로부터 이미지데이터를 생성하는 유효영역과 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역을 갖는 촬상소자와, 상기 광학흑색영역에서 생성한 스미어데이터를 이용해 상기 유효영역이 생성한 제1이미지데이터를 수정하여 상기 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 제1스미어보정부와, 상기 제2프레임이미지 내의 피사체와 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 모션벡터 획득부와, 상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하며 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 수직평균 획득부와, 상기 모션벡터 획득부가 획득한 위치관계를 고려해 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균을 비교하여 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 상기 제1스미어보정부에 의해 스미어가 오보정된 칼럼을 확인하는 오보정칼럼 확인부와, 상기 오보정칼럼 확인부가 확인한 스미어가 오보정된 칼럼에 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터를 이용하여 상기 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 제2스미어보정부를 구비하는 것을 특징으로 하는 디지 털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.

Description

디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체{Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method}
본 발명은 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것으로서, 더 상세하게는 동영상 촬영 및/또는 동영상 디스플레이시 스미어 발생을 효과적으로 저감할 수 있는 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것이다.
일반적으로 디지털 촬영장치는 촬상소자에 입사한 광으로부터 데이터를 획득하여 이를 저장매체에 저장하거나 디스플레이부에 이미지를 디스플레이한다. 특히 최근의 디지털 촬영장치는 실시간 동영상이라고 할 수 있는 라이브뷰 뷰 이미지를 디스플레이부에 디스플레이할 수도 있고, 동영상을 촬영하여 이를 저장매체에 저장하거나 디스플레이부에 디스플레이할 수도 있다. 이하에서는 편의상 "동영상을 촬영하는 것"이 "라이브 뷰 이미지를 디스플레이부에 디스플레이하는 것"까지 포함하는 것으로 기재한다.
도 1은 종래의 디지털 촬영장치의 디스플레이부에서 동영상을 디스플레이할 시 스미어가 발생하는 것을 개략적으로 도시하는 개념도이다. 도 1에 도시된 것과 같이, 종래의 디지털 촬영장치는 촬영하는 또는 촬영된 동영상을 디스플레이부에 디스플레이할 시, 촬영된 피사체 중 태양이나 태양빛을 반사하는 건물의 유리창 등과 같은 고휘도 피사체가 있을 경우 상하로 스미어라고 불리는 줄무늬가 발생한다는 문제점이 있었다. 이러한 문제점을 해결하기 위하여, 촬상소자가 광학흑색영역을 갖도록 하는 것이 제안되었다.
도 2와 도 3은 촬상소자를 개략적으로 도시하는 개념도이다. 촬상소자는 유효영역(EA; effective area)과 광학흑색영역(OBA; optical black area)을 갖는다. 광학흑색영역(OBA)은 유효영역(EA)과 동일한 수광소자를 갖지만, 유효영역(EA)에는 광이 입사하는 반면 광학흑색영역(OBA)에는 광이 입사하지 않도록 되어 있다. 만일 동영상 촬영 중 고휘도 피사체가 촬영될 경우, 유효영역(EA)의 해당 고휘도 피사체로부터의 광이 입사하는 부분(EAS)에서의 수광소자에서는 통상적인 경우보다 과다한 전하가 생성되며, 이러한 과다한 전하가 상하로 연장된 전송로를 통해 전달되어 광학흑색영역(OBA)의 해당부분(OBAS)에까지 전달된다. 이에 따라 광학흑색영역(OBA)의 해당부분(OBAS)에서도 전하가 검출된다. 이 검출된 전하량으로부터의 데이터를 스미어데이터라 한다. 따라서, 유효영역(EA)의 해당 고휘도 피사체로부터의 광이 입사하는 부분(EAS)에서의 수광소자에서 생성된 데이터에서 광학흑색영역(OBA)의 해당부분(OBAS)에서 검출된 데이터인 스미어데이터를 차감함으로써, 스미어가 발생하지 않은 경우 또는 스미어가 저감된 경우의 데이터를 획득할 수 있 다.
그러나 동영상을 촬영할 경우 사용자는 디지털 촬영장치를 고정시킨 채 촬영할 수도 있지만 디지털 촬영장치를 좌우로 움직이며 촬영할 수도 있다. 종래의 디지털 촬영장치는 이와 같이 디지털 촬영장치를 좌우로 움직이는 경우의 스미어 발생을 효과적으로 방지할 수 없다는 문제점이 있었다. 즉, 사용자가 고휘도 피사체를 촬영하는 중 예컨대 디지털 촬영장치를 우측으로 움직였다면, 도 3에 도시된 것과 같이 유효영역(EA)에서 고휘도 피사체로부터의 광이 입사하는 부분(EAS)은 좌측으로 이동하지만, 광학흑색영역(OBA)에서는 디지털 촬영장치가 움직이기 전에 생성된 과전하가 검출되는 해당부분(OBAS)의 위치가 미처 변하지 않을 수 있다.
이에 따라 종래의 디지털 촬영장치의 경우 스미어 저감을 위해 유효영역(EA)의 해당 고휘도 피사체로부터의 광이 입사하는 부분(EAS)에서의 수광소자에서 생성된 데이터에서 광학흑색영역(OBA)의 해당부분(OBAS)에서 검출된 데이터인 스미어데이터를 차감하는 바, 이에 따라 유효영역(EA)의 해당 고휘도 피사체로부터의 광이 입사하는 부분(EAS)에 있어서 좌측부분에서는 스미어보정이 이루어지지 않게 되고, 유효영역(EA)의 해당 고휘도 피사체로부터의 광이 입사하는 부분(EAS)의 우측방향으로의 외측부분은 스미어보정이 이루어지지 않아야 함에도 불구하고 스미어보정이 이루어진다는 문제점이 있었다. 그 결과 종래의 디지털 촬영장치의 디스플레이부에서 동영상을 디스플레이할 시 스미어가 오보정된 프레임이미지(FI)를 개략적으로 도시하는 개념도인 도 4에 도시된 바와 같이, 스미어가 보정되지 않은 부분(UCA), 스미어가 보정된 부분(CA) 및 스미어가 과보정된 부분(OCA)이 존재하게 되어, 동영 상 이미지에서 (UCA 부분과 OCA 부분에서) 두 개의 줄무늬가 나타난다는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 동영상 촬영 및/또는 동영상 디스플레이시 스미어 발생을 효과적으로 저감할 수 있는 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공하는 것을 목적으로 한다.
본 발명은 입사광으로부터 이미지데이터를 생성하는 유효영역과 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역을 갖는 촬상소자와, 상기 광학흑색영역에서 생성한 스미어데이터를 이용해 상기 유효영역이 생성한 제1이미지데이터를 수정하여 상기 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 제1스미어보정부와, 상기 제2프레임이미지 내의 피사체와 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 모션벡터 획득부와, 상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하며 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 수직평균 획득부와, 상기 모션벡터 획득부가 획득한 위치관계를 고려해 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균을 비교하여 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 상기 제1스미어보정부에 의해 스미어가 오보정된 칼럼을 확인하는 오보정칼럼 확인부와, 상기 오보정칼럼 확인부 가 확인한 스미어가 오보정된 칼럼에 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터를 이용하여 상기 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 제2스미어보정부를 구비하는 것을 특징으로 하는 디지털 촬영장치를 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 모션벡터 획득부가 획득한 위치관계를 이용하여, 상기 제2프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제2이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 정합부를 더 구비하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 오보정칼럼 확인부는, 상기 모션벡터 획득부가 획득한 위치관계를 고려한, 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균의 차이에 따라, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 상기 제1스미어보정부에 의해 스미어가 오보정된 칼럼을 확인하는 것으로 할 수 있다.
상기 제2스미어보정부는, 상기 오보정칼럼 확인부가 확인한 스미어가 오보정된 칼럼에서의 데이터를 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터로 대체하여, 상기 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 것으로 할 수 있다.
본 발명은 또한, (a) 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터를 상기 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 스미어데이터를 이용하여 수정하여, 상기 제1이미지데이 터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 단계와, (b) 상기 제2프레임이미지 내의 피사체와, 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계와, (c) 상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계와, (d) 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계와, (e) 상기 (b) 단계에서 획득한 위치관계를 고려해 상기 (c) 단계에서 획득한 휘도평균과 상기 (d) 단계에서 획득한 휘도평균을 비교하여, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼을 확인하는 단계와, (f) 상기 (e) 단계에서 확인된 스미어가 오보정된 칼럼에 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터를 이용하여, 상기 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법을 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 (b) 단계는, 상기 제2프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제2이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (e) 단계는, 상기 (b) 단계에서 획득한 위치관계를 고려한 상기 (c) 단계에서 획득한 휘도평균과 상기 (d) 단계에서 획득한 휘도평균의 차이에 따라, 상기 (a) 단계에서, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼을 확인하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (f) 단계는, 상기 (e) 단계에서 확인된 스미어가 오보정된 칼럼에서의 데이터를 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터로 대체하여, 상기 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 단계인 것으로 할 수 있다.
본 발명은 또한, 입사광으로부터 이미지데이터를 생성하는 유효영역과 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역을 갖는 촬상소자와, 상기 유효영역이 생성한 제1이미지데이터로부터의 제1프레임이미지 내의 피사체와 상기 제1프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 모션벡터 획득부와, 상기 제1프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하며 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 수직평균 획득부와, 상기 수직평균 획득부가 획득한 상기 제1프레임이미지에서의 휘도평균에서 상기 광학흑색영역에서 생성된 스미어데이터를 빼 보정된 휘도평균을 획득하는 보정 휘도평균 획득부와, 상기 모션벡터 획득부가 획득한 위치관계를 고려해 상기 보정 휘도평균 획득부가 획득한 보정된 휘도평균과 상기 수직평균 획득부가 획득한 상기 이전프레임에서의 휘도평균을 비교하여 오차데이터를 획득하는 오차데이터 획득부와, 상기 오차데이터 획득부가 획득한 오차데이터를 이용하여 상기 스미어데이터를 수정하여 수정 스미어데이터를 획득하는 수정 스미어데이터 획득부와, 상기 수정 스미어데이터 획득부가 획득한 수정 스미어데이터를 이용하여 상기 제1이미지데이터를 수정하여 제2이미지데이터를 획득하는 스미어보정부를 구 비하는 것을 특징으로 하는 디지털 촬영장치를 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 모션벡터 획득부가 획득한 위치관계를 이용하여, 상기 제1프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제1이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 정합부를 더 구비하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 오차데이터 획득부는, 상기 모션벡터 획득부가 획득한 위치관계를 고려한, 상기 보정 휘도평균 획득부가 획득한 보정된 휘도평균과 상기 수직평균 획득부가 획득한 이전 프레임이미지에서의 휘도평균의 차이에 따라, 오차데이터를 획득하는 것으로 할 수 있다.
본 발명은 또한, (a) 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터로부터의 제1프레임이미지의 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계와, (b) 상기 (a) 단계에서 획득한 휘도평균에서 상기 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 스미어데이터를 빼, 보정된 휘도평균을 획득하는 단계와, (c) 상기 제1프레임이미지 내의 피사체와, 상기 제1프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계와, (d) 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계와, (e) 상기 (c) 단계에서 획득한 위치관계를 고려해 상기 (b) 단계에서 획득한 보정된 휘도평균과 상기 (d) 단계에서 획득한 휘도평균을 비교하여, 오차데이터를 획득하는 단계와, (f) 상기 오차데이터를 이용하여 상기 스 미어데이터를 수정하여, 수정 스미어데이터를 획득하는 단계와, (g) 상기 수정 스미어데이터를 이용하여 상기 제1이미지데이터를 수정하여 제2이미지데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법을 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 (c) 단계는, 상기 제1프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제1이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (e) 단계는, 상기 (c) 단계에서 획득한 위치관계를 고려한 상기 (b) 단계에서 획득한 보정된 휘도평균과 상기 (d) 단계에서 획득한 휘도평균의 차이에 따라, 오차데이터를 획득하는 단계인 것으로 할 수 있다.
본 발명은 또한, 입사광으로부터 이미지데이터를 생성하는 유효영역과 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역을 갖는 촬상소자와, 상기 광학흑색영역에서 생성한 스미어데이터를 이용해 상기 유효영역이 생성한 제1이미지데이터를 수정하여 상기 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 제1스미어보정부와, 상기 제2프레임이미지 내의 피사체와 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 모션벡터 획득부와, 상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하며 상기 이전 프레임이미지에 서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 수직평균 획득부와, 상기 모션벡터 획득부가 획득한 위치관계를 고려해 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균을 비교하여 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 오보정데이터 획득부와, 상기 스미어데이터를 상기 오보정데이터 획득부가 획득한 오보정데이터를 이용하여 수정하여 수정 스미어데이터를 획득하는 수정 스미어데이터 획득부와, 상기 제1이미지데이터를 상기 수정 스미어데이터 획득부가 획득한 수정 스미어데이터를 이용하여 수정하여 제3이미지데이터를 획득하는 제2스미어보정부를 구비하는 것을 특징으로 하는 디지털 촬영장치를 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 모션벡터 획득부가 획득한 위치관계를 이용하여, 상기 제2프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제2이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 정합부를 더 구비하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 오보정데이터 획득부는, 상기 모션벡터 획득부가 획득한 위치관계를 고려한, 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균의 차이에 따라, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 것으로 할 수 있다.
본 발명은 또한, (a) 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터를 상기 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 스미어데이터를 이용하여 수정하여, 상기 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 단계와, (b) 상기 제2프레임이미지 내의 피사체와, 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계와, (c) 상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계와, (d) 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계와, (e) 상기 (b) 단계에서 획득한 위치관계를 고려해 상기 (c) 단계에서 획득한 휘도평균과 상기 (d) 단계에서 획득한 휘도평균을 비교하여, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 단계와, (f) 상기 스미어데이터를 상기 (e) 단계에서 획득한 오보정데이터를 이용하여 수정하여, 수정 스미어데이터를 획득하는 단계와, (g) 상기 제1이미지데이터를 상기 수정 스미어데이터를 이용하여 수정하여, 제3이미지데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법을 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 (b) 단계는, 상기 제2프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제2이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (e) 단계는, 상기 (b) 단계에서 획득한 위치관계를 고려한 상기 (c) 단계에서 획득한 휘도평균과 상기 (d) 단계에서 획득한 휘도평균의 차이에 따라, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 단계인 것으로 할 수 있다.
본 발명은 또한, 상기와 같은 방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.
상기한 바와 같이 이루어진 본 발명의 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 따르면, 동영상 촬영 및/또는 동영상 디스플레이시 스미어 발생을 효과적으로 저감할 수 있는 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 구현할 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.
도 5는 본 발명의 일 실시예에 따른 디지털 촬영장치를 개략적으로 도시하는 블록도이고, 도 6은 도 5의 일부분을 개략적으로 도시하는 개념도이다.
디지털 촬영장치의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 디지털 촬영장치에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 조작 부(200)가 구비된다. 이 조작부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 디지털 촬영장치를 제어할 수 있도록 한다.
촬영 모드일 경우, 사용자로부터의 전기적 신호가 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도 등이 제어된다. 촬상소자(30)는 도 2를 참조하여 전술한 바와 같이 입사광으로부터 이미지데이터를 생성하는 유효영역(EA)과, 유효영역(EA) 외측에 배치된 좌우로 연장된 광학흑색영역(OBA)을 갖는다. 물론 도 2에 도시된 것과 달리 광학흑색영역(OBA)의 위치는 유효영역(EA)의 하측에 위치할 수도 있다. 이러한 촬상소자(30)는 유효영역(EA)에 입사된 광으로부터 데이터를 생성하며, 아날로그/디지털 변환부(40)는 촬상소자(30)에서 출력되는 아날로그 데이터를 디지털 데이터로 변환한다. 물론 촬상소자(30)의 특성에 따라 아날로그/디지털 변환부(40)가 필요 없는 경우도 있을 수 있다.
촬상소자(30)의 유효영역(EA) 및/또는 광학흑색영역(OBA)으로부터의 데이터는 메모리(60)를 거쳐 디지털 신호 처리부(50)에 입력될 수도 있고, 메모리(60)를 거치지 않고 디지털 신호 처리부(50)에 입력될 수도 있으며, 필요에 따라 CPU(100)에도 입력될 수도 있다. 여기서 메모리(60)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리부(50)는 필요에 따라 감마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 할 수 있다. 또한 후술하는 바와 같이 디지털 신호 처리부(50)는 제1스미어보정부(51), 모션벡터 획득부(52), 수직평균 획득부(53), 오보 정칼럼 확인부(54) 및 제2스미어보정부(51')를 구비함으로써, 동영상 촬영시 또는 동영상 디스플레이시 스미어 발생을 효과적으로 저감할 수 있다. 물론 디지털 신호 처리부(50)는 제1스미어보정부(51), 모션벡터 획득부(52), 수직평균 획득부(53), 오보정칼럼 확인부(54) 및 제2스미어보정부(51')는 디지털 신호 처리부(50)의 일부가 아닌 별도의 구성요소일 수도 있으며, 나아가 다른 구성요소의 일부일 수도 있는 등 다양한 변형이 가능하다. 즉 본 실시예에 따른 디지털 촬영장치가 디지털 신호 처리부(50)는 제1스미어보정부(51), 모션벡터 획득부(52), 수직평균 획득부(53), 오보정칼럼 확인부(54) 및 제2스미어보정부(51')를 구비하고 있으면 족하다. 제1스미어보정부(51), 모션벡터 획득부(52), 수직평균 획득부(53), 오보정칼럼 확인부(54) 및 제2스미어보정부(51')의 기능에 대해서는 후술한다.
디지털 신호 처리부(50)로부터 출력된 데이터는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(81)에 전달된다. 디스플레이 제어부(81)는 디스플레이부(80)를 제어하여 디스플레이부(80)에 동영상을 디스플레이할 수 있다. 그리고 디지털 신호 처리부(50)로부터 출력된 데이터는 메모리(60)를 통하여 또는 직접 저장/판독 제어부(71)에 입력되는데, 이 저장/판독 제어부(71)는 사용자로부터의 신호에 따라 또는 자동으로 데이터를 저장매체(70)에 저장할 수 있다. 물론 저장/판독 제어부(71)는 저장매체(70)에 저장된 동영상 파일로부터 동영상에 관한 데이터를 판독하고, 이를 메모리(60)를 통해 또는 다른 경로를 통해 디스플레이 제어부(81)에 입력하여 디스플레이부(80)에 동영상이 디스플레이되도록 할 수도 있다. 저장매체(70)는 착탈가능한 것일 수도 있고 디지털 촬영장치에 영구장착된 것일 수 있다.
물론 상기와 같은 디지털 촬영장치는 동영상 촬영기능 외에도 스틸 이미지 촬영기능을 가질 수도 있음은 물론이다.
이하에서는 도 7 내지 도 12를 참조하여 제1스미어보정부(51), 모션벡터 획득부(52), 수직평균 획득부(53), 오보정칼럼 확인부(54) 및 제2스미어보정부(51')의 기능을 설명한다.
도 7은 현재 프레임이미지에서 스미어를 보정하는 중간 단계를 개략적으로 도시하는 개념도이다. 전술한 바와 같이 촬상소자는 유효영역(EA)과 광학흑색영역(OBA)을 갖는 바, 입사광으로부터 유효영역(EA)이 생성한 데이터를 제1이미지데이터라 하고 이 제1이미지데이터로부터의 프레임이미지를 제1프레임이미지라 칭한다. 제1스미어보정부(51)는 광학흑색영역(OBA)에서 생성한 스미어데이터를 이용해 유효영역(EA)이 생성한 제1이미지데이터를 수정하여, 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득한다. 도 7은 이러한 제2프레임이미지(CFI)를 개략적으로 도시하는 것으로서, 전술한 바와 같이 디지털 촬영장치가 동영상 촬영 중 좌우로 움직였을 경우 제2프레임이미지(CFI)에는 스미어가 보정된 부분(CA)의 좌우에 스미어가 보정되지 않은 부분(UCA)과 스미어가 과보정된 부분(OCA)이 존재하게 되어, 제2프레임이미지(CFI)에는 (UCA 부분과 OCA 부분에서) 두 개의 줄무늬가 나타난다.
도 8은 현재 프레임이미지인 제2프레임이미지(CFI)를 개략적으로 도시하는 개념도이고 도 9는 이전 프레임이미지(PFI)를 개략적으로 도시하는 개념도이다. 도 8과 도 9를 비교하면 촬영 중 디지털 촬영장치가 우측으로 움직여 도 9에서의 피사 체의 위치와 도 8에서의 피사체의 위치가 상이한 것을 알 수 있다. 물론 디지털 촬영장치는 좌우뿐만이 아니라 상하로도 움직일 수도 있으며, 도 8과 도 9에서도 피사체의 상하 위치 역시 상이하게 나타나고 있다.
모션벡터 획득부(52)는 도 8에 도시된 것과 같은 제2프레임이미지(CFI) 내의 피사체와, 도 9에 도시된 것과 같은 제2프레임이미지(CFI)의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득한다. 예컨대 도 8에 도시된 것과 같은 제2프레임이미지(CFI) 내의 피사체와 도 9에 도시된 것과 같은 제2프레임이미지(CFI)의 이전 프레임이미지 내의 피사체가 정합되도록 하기 위하여 도 9에 도시된 것과 같은 제2프레임이미지(CFI)를 움직여야 할 방향과 크기를 모션벡터 획득부(52)가 획득할 수 있다. 한편, 도 7에 도시된 것과 같이 제2프레임이미지(CFI)에서 스미어가 보정되지 않은 부분(UCA)과 스미어가 과보정된 부분(OCA)은 상하 줄무늬로 나타나는 바, 따라서 모션벡터 획득부(52)는 도 8에 도시된 것과 같은 제2프레임이미지(CFI) 내의 피사체와 도 9에 도시된 것과 같은 제2프레임이미지(CFI)의 이전 프레임이미지 내의 피사체의 상하 위치는 고려하지 않고 좌우 위치만 고려한 위치관계를 획득해도 좋다.
수직평균 획득부(53)는 도 7 및 도 8에 도시된 것과 같은 제2프레임이미지(CFI)에서 각 칼럼에 속한 화소들의 휘도평균을 획득한다. 즉, 제2프레임이미지(CFI)에서 가로방향으로 480개의 화소들이 존재하고 세로로 240개의 화소들이 존재한다면, 제2프레임이지(CFI)를 480개의 칼럼들로 구획할 수 있다. 각 칼럼에는 상하로 240개의 화소들이 존재하게 된다. 수직평균 획득부(53)는 첫 번째 칼럼에서 240개 화소들의 휘도평균을 획득하고 두 번째 칼럼에서도 240개 화소들의 휘도평균을 획득하는 방식으로, 각 칼럼에 속한 화소들의 휘도평균을 획득한다. 도 10은 도 7에 도시된 것과 같은 스미어를 보정하는 중간 단계의 현재 프레임이미지인 제2프레임이미지(CFI)에서 각 칼럼에 속한 화소들의 휘도평균을 개략적으로 도시하는 그래프이다. 도 10에 도시된 것과 같이, 스미어가 보정되지 않은 부분(UCA)에서의 휘도평균은 상대적으로 높고, 스미어가 보정되지 않았어야 할 부분(OCA)에서의 휘도평균은 상대적으로 낮을 수 있다.
수직평균 획득부(53)는 제2프레임이미지(CFI)에서 뿐만이 아니라 도 9에 도시된 것과 같은 이전 프레임이미지(PFI)에서도 각 칼럼에 속한 화소들의 휘도평균을 획득한다. 도 11은 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 개략적으로 도시하는 그래프이다. 후술하는 바와 같이 본 실시예에 따른 디지털 촬영장치의 경우 스미어를 효과적으로 보정할 수 있으므로, 이 이전 프레임이미지는 스미어가 효과적으로 보정된 것을 전제로 하기에 도 10에 도시된 것과 같은 휘도평균이 상대적으로 과하게 높은 부분과 과하게 낮은 부분이 존재하지 않는다. 또한, 제2프레임이미지와 이전 프레임이미지는 연속된 프레임이미지들이므로, 피사체의 위치만 살짝 상이할 뿐 전체적으로는 매우 유사한 프레임이미지들이다. 따라서 도 10 및 도 11에 도시된 것과 같이 그래프들의 형태가 유사하게 나타나게 된다.
한편, 동영상 촬영 중 디지털 촬영장치의 움직임에 의해 제2프레임이미지에서의 피사체의 위치와 이전 프레임이미지에서의 피사체의 위치가 변경되었으므로, 도 11의 그래프와 도 10의 그래프는 (도 10에서 UCA 및 OCA로 표시된 부분 이외의 부분에서) 합치할 수 없다. 즉, 도 11에 도시된 것과 달리 실제로는 그래프의 곡선이 좌우로 이동되어 도시되어야 한다. 하지만 편의상, 도 11에서는 모션벡터 획득부(52)가 획득한 제2프레임이미지 내의 피사체와 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치 관계를 고려하여 그래프를 좌우로 평행이동함으로써, (도 10에서 UCA 및 OCA로 표시된 부분 이외의 부분에서) 도 11의 그래프와 도 10의 그래프가 합치하도록 도시하였다.
오보정칼럼 확인부(54)는 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 제1스미어보정부(51)에 의해 스미어가 오보정된 칼럼을 확인한다. 즉, 도 10에서 UCA 및 OCA로 표시된 부분의 위치를 확인한다. 이를 위해 오보정칼럼 확인부(54)는 모션벡터 획득부(52)가 획득한 위치관계를 고려해, 수직평균 획득부(53)가 획득한 제2프레임이미지에서의 휘도평균과 이전 프레임이미지에서의 휘도평균을 비교한다. 즉, 도 10 및 도 11에 도시된 것과 같은 그래프로 나타나는 데이터를 비교함으로써, 도 10에서 UCA 및 OCA로 표시된 부분의 위치를 확인할 수 있다. 구체적으로, 오보정칼럼 확인부(54)는, 모션벡터 획득부(52)가 획득한 위치관계를 고려한, 수직평균 획득부(53)가 획득한 제2프레임이미지에서의 휘도평균과 이전 프레임이미지에서의 휘도평균의 차이에 따라, 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 제1스미어보정부(51)에 의해 스미어가 오보정된 칼럼을 확인한다.
전술한 바와 같이 도 11은 모션벡터 획득부(52)가 획득한 제2프레임이미지 내의 피사체와 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치 관계를 고려하여 그래프를 좌우로 평행이동함으로써, (도 10에서 UCA 및 OCA로 표시 된 부분 이외의 부분에서) 도 11의 그래프와 도 10의 그래프가 합치하도록 도시하였는 바, 도 10과 도 11에 도시된 그래프의 차이를 확인하면 도 12에 도시된 것과 같은 그래프로 나타낼 수 있다. 도 12에서 0 부근에서 작은 폭으로 변동하는 데이터는 제2프레임이미지와 이전 프레임이미지가 인접한 프레임이미지들이기 때문에 상호 유사하더라도 약간의 차이가 있을 수 있기 때문에 나타날 수 있는 작은 차이를 의미하며, 0 부근에서의 작은 차이가 아닌 도 12에 도시된 것과 같은 두 군데서의 큰 차이가 나타나게 된다. 이 부분이 바로 제2프레임이미지에서 스미어가 보정되지 않은 부분(UCA)과 보정되지 않았어야 할 부분이 보정된 부분(OCA)을 의미한다.
제2스미어보정부(51')는 오보정칼럼 확인부(54)가 확인한 스미어가 오보정된 칼럼에 대응하는 이전 프레임이미지의 칼럼에서의 데이터를 이용하여, 제2이미지데이터를 수정해 제3이미지데이터를 획득한다. 즉, 제2스미어보정부(51')는, 오보정칼럼 확인부가 확인한 스미어가 오보정된 칼럼에서의 데이터를 대응하는 이전 프레임이미지의 칼럼에서의 데이터로 대체하여, 제2이미지데이터를 수정해 제3이미지데이터를 획득한다. 간단히 설명하자면, 현재 프레임이미지와 이전 프레임이미지는 상호 유사하기 때문에, 제2스미어보정부(51')는 스미어의 오보정된 칼럼만을 (스미어가 발생하지 않았거나 스미어가 효과적으로 보정된) 이전 프레임이미지의 대응하는 칼럼으로 대체함으로써, 스미어가 효과적으로 저감된 제3프레임이미지에 대응하는 제3이미지데이터를 획득한다. 결국 이 제3프레임이미지가 최종적인 현재 프레임이미지가 되며, 또한 다음 프레임이미지에서 스미어가 오보정된 칼럼을 확인하고 수정하는데 이용하게 된다.
이와 같은 본 실시예에 따른 디지털 촬영장치의 경우에는 종래의 디지털 촬영장치와 달리 스미어가 과보정된 부분이나 보정되지 않아야 할 부분이 보정되는 것을 효과적으로 방지함으로써, 고품질의 동영상을 촬영하거나 디스플레이부에 디스플레이할 수 있도록 한다.
한편, 도 6에는 도시되지 않았으나, 모션벡터 획득부(52)가 획득한 위치관계를 이용하여, 제2프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 제2이미지데이터와 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 정합부를 더 구비할 수도 있다. 이 경우 도 11은, 그러한 정합부가 이전 프레임이미지에 대한 데이터를 수정하고, 수직평균 획득부(53)가 수정된 이전 프레임이미지에 대한 데이터로부터 각 칼럼에 있어서 휘도평균을 획득한 것을 나타내는 그래프인 것으로 이해할 수도 있다.
도 13은 본 발명의 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
본 실시예에 따른 디지털 촬영장치의 제어방법에 따르면, 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터를 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 스미어데이터를 이용하여 수정하여, 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 단계(S10)를 거친다. 여기서 제2프레임이미지는 도 7을 참조하여 전술한 바와 같다.
그 후, 제2프레임이미지 내의 피사체와, 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계(S20)를 거친다. 이는 도 8 및 도 9를 참조하여 전술한 바와 같다.
이어, 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계(S30)와 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계(S40)를 거치는데, 이 두 단계는 그 순서가 바뀔 수도 있고 병렬적으로 동시에 이루어질 수도 있는 등 다양한 변형이 가능함은 물론이다. 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균은 도 10에 도시된 것과 같은 그래프로 나타날 수 있고, 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균은 도 11에 도시된 것과 같은 그래프로 나타날 수 있다. 물론 전술한 바와 같이 도 11에 도시된 그래프는 편의상 좌우로 평행이동하여 도시하였다.
그 후, S20 단계에서 획득한 위치관계를 고려해 S30 단계에서 획득한 휘도평균과 S40 단계에서 획득한 휘도평균을 비교하여, 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼을 확인하는 단계(S50)를 거친다. 이는 도 12에 도시된 것과 같이 나타낼 수 있는 S30 단계에서 획득한 휘도평균과 S40 단계에서 획득한 휘도평균의 차이에 따라, 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼을 확인하는 것일 수 있다.
이어, S50 단계에서 확인된 스미어가 오보정된 칼럼에 대응하는 이전 프레임이미지의 칼럼에서의 데이터를 이용하여, 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 단계(S60)를 거친다. 예컨대 S60 단계는, S50 단계에서 확인된 스미 어가 오보정된 칼럼에서의 데이터를 대응하는 이전 프레임이미지의 칼럼에서의 데이터로 대체하는 단계일 수 있다.
이와 같은 본 실시예에 따른 디지털 촬영장치의 제어방법의 경우에는 종래의 디지털 촬영장치의 제어방법과 달리 스미어가 과보정된 부분이나 보정되지 않아야 할 부분이 보정되는 것을 효과적으로 방지함으로써, 고품질의 동영상을 촬영하거나 디스플레이부에 디스플레이할 수 있도록 한다.
한편, 도 12에서의 시작 및 종료의 표시는 현재 프레임이미지에서의 스미어 보정의 시작 및 종료를 의미하는 것으로, 디지털 촬영장치의 동작의 시작과 종료를 의미하는 것은 아니다.
한편, 도 13에는 도시되지 않았으나, S30 단계와 S40 단계 이전에 제2프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 제2이미지데이터와 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계를 더 거칠 수도 있음은 물론이다. 예컨대 도 11은 제2프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록 이전 프레임이미지에 대한 데이터를 수정한 후 S40 단계를 거친 경우의 그래프라고 이해할 수도 있다.
도 14는 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다. 본 실시예에 따른 디지털 촬영장치의 제어방법이 도 13을 참조하여 전술한 디지털 촬영장치의 제어방법과 상이한 것은, 먼저 이전 프레임이미지가 존재하는지 여부를 판단하는 단계(S15)를 더 거친다는 것이 다. 즉, 이전 프레임이미지가 존재하지 않는다면, 스미어데이터를 이용하여 제1이미지데이터를 수정하여 제2이미지데이터를 수정하는 단계(S10)를 거친 후, 현재 프레임이미지라 할 수 있는 제2이미지데이터로부터의 제2프레임이미지를 이전 프레임이미지로 등록하는 단계(S70)를 거치게 된다. 이에 따라 다음 프레임이미지에서의 스미어 보정에서 이전 프레임이미지로 이용되게 된다. S15 단계에서 이전 프레임이미지가 존재한다고 판단할 경우에는 도 13을 참조하여 전술한 바와 유사한 플로우를 따르게 된다. 다만 S50 단계 이후 오보정된 칼럼이 존재하는지 여부를 판단하는 단계(S55)를 더 거치게 되며, 도 12에 도시된 것과 같이 나타나는 오보정된 칼럼이 있을 경우에만 제3이미지데이터를 획득하는 단계(S60)로 플로우가 이어지고, 오보정된 칼럼이 없다면 현재 프레임이미지라고 할 수 있는 제2프레임이미지를 이전 프레임이미지로 등록하게 된다. 오보정된 칼럼이 있다면 제3이미지데이터를 획득하는 단계(S60)를 거치게 되는 바, 이 경우에는 그 후 현재 프레임이미지라고 할 수 있는 제3프레임이미지를 이전 프레임이미지로 등록하게 된다.
도 15는 본 발명의 또 일 실시예에 따른 디지털 촬영장치의 일부분을 개략적으로 도시하는 개념도이다.
본 실시예에 따른 디지털 촬영장치는 모션벡터 획득부(52), 수직평균 획득부(53), 보정 휘도평균 획득부(55), 오차데이터 획득부(56), 수정 스미어데이터 획득부(57) 및 스미어보정부(51")를 구비한다. 이하에서는 도 10 내지 도 12 및 도 16 내지 도 18을 참조하여 모션벡터 획득부(52), 수직평균 획득부(53), 보정 휘도평균 획득부(55), 오차데이터 획득부(56), 수정 스미어데이터 획득부(57) 및 스미 어보정부(51")의 기능을 설명한다.
촬상소자는 전술한 바와 같이 입사광으로부터 이미지데이터를 생성하는 유효영역(EA)과, 유효영역(EA) 외측에 배치된 좌우로 연장된 광학흑색영역(OBA)을 갖는다. 모션벡터 획득부(52)는, 도 6을 참조하여 전술한 실시예에서와는 달리, 유효영역(EA)이 생성한 제1이미지데이터로부터의 제1프레임이미지 내의 피사체와, 제1프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득한다. 물론 스미어가 상하로만 발생하는 것을 고려하여 좌우 위치관계만 파악하여도 충분하다.
수직평균 획득부(53)는 제1프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득한다. 도 16은 이와 같은 휘도평균을 개략적으로 도시하는 그래프이다. 도 16을 참조하면 스미어가 발생한 부분(SA)에서는 휘도평균이 높게 나타나는 것을 알 수 있다. 수직평균 획득부(53)는 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균도 획득하는데, 이는 도 11에 도시된 것과 같은 그래프로 나타낼 수 있다. 도 11의 그래프에 대해서는 전술한 바를 참조한다.
보정 휘도평균 획득부(55)는 수직평균 획득부(53)가 획득한 제1프레임이미지에서의 휘도평균에서 광학흑색영역(OBA)에서 생성된 스미어데이터를 빼, 보정된 휘도평균을 획득한다. 여기서 보정된 휘도평균이라 함은 도 16에 도시된 것과 같은 휘도평균을 보정한 결과물을 의미한다. 광학흑색영역(OBA)에서 생성된 스미어데이터는 도 17에 도시된 것과 같이 나타낼 수 있으므로, 도 3을 참조하여 전술한 바와 같은 이유로 제1프레임이미지에서 스미어가 발생한 부분(SA)과 스미어데이터의 높은 휘도로 나타내는 부분은 일치하지 않는다. 따라서 수직평균 획득부(53)가 획득 한 제1프레임이미지에서의 휘도평균에서 광학흑색영역(OBA)에서 생성된 스미어데이터를 뺀 결과인 보정된 휘도평균은 도 10에 도시된 것과 같은 그래프로 나타낼 수 있다.
오차데이터 획득부(56)는 모션벡터 획득부(52)가 획득한 위치관계를 고려해 보정 휘도평균 획득부(55)가 획득한 (도 10에 도시된 것과 같은) 보정된 휘도평균과 수직평균 획득부(53)가 획득한 (도 11에 도시된 것과 같은) 이전프레임에서의 휘도평균을 비교하여, 오차데이터를 획득한다. 구체적으로, 오차데이터 획득부(56)는 모션벡터 획득부(52)가 획득한 위치관계를 고려해 보정 휘도평균 획득부(55)가 획득한 (도 10에 도시된 것과 같은) 보정된 휘도평균과 수직평균 획득부(53)가 획득한 (도 11에 도시된 것과 같은) 이전프레임에서의 휘도평균의 차이를 이용하여, 도 12에 도시된 것과 같은 오차데이터를 획득한다.
수정 스미어데이터 획득부(57)는 오차데이터 획득부(56)가 획득한 도 12에 도시된 것과 같은 오차데이터를 이용하여 도 17에 도시된 것과 같은 스미어데이터를 수정하여, 도 18에 도시된 것과 같은 수정 스미어데이터를 획득한다. 예컨대 도 12에 도시된 것과 같은 오차데이터와 도 17에 도시된 것과 같은 스미어데이터를 합산함으로써 도 18에 도시된 것과 같은 수정 스미어데이터를 획득할 수 있다. 도 18을 참조하면, 제1프레임이미지에서 스미어가 발생한 부분(SA)과 스미어데이터의 높은 휘도로 나타내는 부분이 일치하게 된다.
스미어보정부(51")는 수정 스미어데이터 획득부(57)가 획득한 수정 스미어데이터를 이용하여 제1이미지데이터를 수정하여 제2이미지데이터를 획득한다. 도 18 에 도시된 것과 같이 제1프레임이미지에서 스미어가 발생한 부분(SA)과 스미어데이터의 높은 휘도로 나타내는 부분이 일치하게 되므로, 이러한 수정 스미어데이터를 이용하여 제1이미지데이터를 수정한 제2이미지데이터로부터의 제2프레임이미지는 스미어가 효과적으로 보정된 결과물이 된다.
한편, 도 15에는 도시되지 않았으나, 모션벡터 획득부(52)가 획득한 위치관계를 이용하여, 제1프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 제1이미지데이터와 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 정합부를 더 구비할 수도 있다. 이 경우 도 11은, 그러한 정합부가 이전 프레임이미지에 대한 데이터를 수정하고, 수직평균 획득부(53)가 수정된 이전 프레임이미지에 대한 데이터로부터 각 칼럼에 있어서 휘도평균을 획득한 것을 나타내는 그래프인 것으로 이해할 수도 있다.
도 19는 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
먼저 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터로부터의 제1프레임이미지의 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계(S3)를 거친다. 그 결과는 도 16에 도시된 것과 같은 그래프로 나타낼 수 있다. 그 후 S3 단계에서 획득한 휘도평균에서 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 도 17에 도시된 것과 같은 스미어데이터를 빼, 보정된 휘도평균을 획득하는 단계(S13)를 거친다. 이 결과는 도 10에 도시된 것과 같은 그래프로 나타낼 수 있다.
이어, 제1프레임이미지 내의 피사체와, 제1프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계(S23)를 거친다. 그리고 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계(S40)를 거친다. S40 단계의 결과는 도 11에 도시된 것과 같은 그래프로 나타낼 수 있다. 물론 S40 단계와 S23 단계는 그 순서가 바뀔 수도 있고 동시에 병렬로 진행될 수도 있는 등 다양한 변형이 가능함은 물론이다.
그 후, S23 단계에서 획득한 위치관계를 고려해 S13 단계에서 획득한 보정된 휘도평균과 S40 단계에서 획득한 휘도평균을 비교하여, 오차데이터를 획득하는 단계(S53)를 거친다. 오차데이터는 도 12에 도시된 것과 같은 그래프로 나타낼 수 있는데, 이는 예컨대 도 10에 도시된 것과 같은 S13 단계에서 획득한 보정된 휘도평균과 도 11에 도시된 것과 같은 S40 단계에서 획득한 휘도평균의 차이를 이용하여 획득할 수 있다.
이어, 오차데이터를 이용하여 도 17에 도시된 것과 같은 스미어데이터를 수정하여, 도 18에 도시된 것과 같은 수정 스미어데이터를 획득하는 단계(S57)를 거친다. 이는 예컨대 도 17에 도시된 것과 같은 스미어데이터와 도 12에 도시된 것과 같은 오차데이터를 합한 결과물일 수 있다.
도 18을 참조하면, 제1프레임이미지에서 스미어가 발생한 부분(SA)과 스미어데이터의 높은 휘도로 나타내는 부분이 일치하게 된다. 따라서 수정 스미어데이터를 이용하여 제1이미지데이터를 수정하여 제2이미지데이터를 획득하는 단계(S63)를 거침으로써, 스미어가 효과적으로 보정된 최종 현재 프레임이미지라고 할 수 있는 제2이미지데이터로부터의 제2프레임이미지를 획득할 수 있다.
한편, 도 19에는 도시되지 않았으나, S3 단계 이전에 제1프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 제1이미지데이터와 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계를 더 거칠 수도 있음은 물론이다. 또한, S40 단계 이전에 제1프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 이전 프레임이미지에 대한 데이터를 수정하는 단계를 더 거칠 수도 있음은 물론이다. 예컨대 도 11은 제1프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록 이전 프레임이미지에 대한 데이터를 수정한 후 S40 단계를 거친 경우의 그래프라고 이해할 수도 있다.
도 20은 본 발명의 또 일 실시예에 따른 디지털 촬영장치의 일부분을 개략적으로 도시하는 개념도이다.
본 실시예에 따른 디지털 촬영장치는 제1스미어보정부(51), 모션벡터 획득부(52), 수직평균 획득부(53), 오보정데이터 획득부(58), 수정 스미어데이터 획득부(59) 및 제2스미어보정부(51')를 구비한다. 이하에서는 도 10 내지 도 12, 도 17 및 도 18을 참조하여 제1스미어보정부(51), 모션벡터 획득부(52), 수직평균 획득부(53), 오보정데이터 획득부(58), 수정 스미어데이터 획득부(59) 및 제2스미어보정부(51')의 기능을 설명한다.
촬상소자는 전술한 바와 같이 입사광으로부터 이미지데이터를 생성하는 유효영역(EA)과, 유효영역(EA) 외측에 배치된 좌우로 연장된 광학흑색영역(OBA)을 갖는 다.
제1스미어보정부(51)는 광학흑색영역(OBA)에서 생성한 도 17에 도시된 것과 같은 스미어데이터를 이용해 유효영역(EA)이 생성한 제1이미지데이터를 수정하여, 도 2에 도시된 것과 같은 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 도 7에 도시된 것과 같은 제2프레임이미지에 대응하는 제2이미지데이터를 획득한다.
모션벡터 획득부(52)는 제2프레임이미지 내의 피사체와, 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득한다. 물론 스미어가 상하로만 발생하는 것을 고려하여 좌우 위치관계만 파악하여도 충분하다.
수직평균 획득부(53)는 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는데, 이는 도 10에 도시된 것과 같은 그래프로 나타낼 수 있다. 수직평균 획득부(53)는 또한 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균도 획득하는데, 이는 도 11에 도시된 것과 같은 그래프로 나타낼 수 있다. 도 11의 그래프의 좌우 위치변동과 관련해서는 전술한 바와 같다.
오보정데이터 획득부(58)는 모션벡터 획득부(52)가 획득한 위치관계를 고려해 수직평균 획득부(53)가 획득한 도 10에 도시된 것과 같은 제2프레임이미지에서의 휘도평균과 도 11에 도시된 것과 같은 이전 프레임이미지에서의 휘도평균을 비교하여, 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득한다. 예컨대 오보정데이터 획득부(58)는, 모션벡터 획득부(52)가 획득한 위치관계를 고려한, 수직평균 획득부(53) 가 획득한 제2프레임이미지에서의 휘도평균과 이전 프레임이미지에서의 휘도평균의 차이에 따라, 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 것일 수 있다. 이 오보정데이터는 도 12에 도시된 것과 같은 그래프로 나타낼 수 있다.
수정 스미어데이터 획득부(59)는 도 17에 도시된 것과 같은 스미어데이터를 오보정데이터 획득부(58)가 획득한 도 12에 도시된 것과 같은 오보정데이터를 이용하여 수정하여, 도 18에 도시된 것과 같은 수정 스미어데이터를 획득한다. 예컨대 도 12에 도시된 것과 같은 오차데이터와 도 17에 도시된 것과 같은 스미어데이터를 합산함으로써 도 18에 도시된 것과 같은 수정 스미어데이터를 획득할 수 있다. 도 18을 참조하면, 제1프레임이미지에서 스미어가 발생한 부분(SA)과 스미어데이터의 높은 휘도로 나타내는 부분이 일치하게 된다.
제2스미어보정부(51')는 제1이미지데이터를 수정 스미어데이터 획득부(59)가 획득한 도 12에 도시된 것과 같은 수정 스미어데이터를 이용하여 수정하여, 제3이미지데이터를 획득한다. 도 18에 도시된 것과 같이 제1프레임이미지에서 스미어가 발생한 부분(SA)과 스미어데이터의 높은 휘도로 나타내는 부분이 일치하게 되므로, 이러한 수정 스미어데이터를 이용하여 제1이미지데이터를 수정한 제3이미지데이터로부터의 제3프레임이미지는 스미어가 효과적으로 보정된 결과물이 된다.
한편, 도 20에는 도시되지 않았으나, 모션벡터 획득부(52)가 획득한 위치관계를 이용하여, 제2프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 제2이미지데이터와 이전 프레임이미지에 대한 데이 터 중 적어도 어느 하나를 수정하는 정합부를 더 구비할 수도 있다. 이 경우 도 11은, 그러한 정합부가 이전 프레임이미지에 대한 데이터를 수정하고, 수직평균 획득부(53)가 수정된 이전 프레임이미지에 대한 데이터로부터 각 칼럼에 있어서 휘도평균을 획득한 것을 나타내는 그래프인 것으로 이해할 수도 있다.
도 21은 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
먼저 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터를 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 도 17에 도시된 것과 같은 스미어데이터를 이용하여 수정하여, 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 단계(S10)를 거친다. 그리고 제2프레임이미지 내의 피사체와, 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계(S20)를 거친다.
이어, 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계(S30)와, 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계(S40)를 거치는데, 이 두 단계는 상호 순서가 바뀔 수도 있고 동시에 병렬로 이루어질 수도 있다. 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균은 도 10에 도시된 것과 같은 그래프로 나타낼 수 있고, 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균은 도 11에 도시된 것과 같은 그래프로 나타낼 수 있다. 물론 도 11에서의 그래프의 좌우 위치는 전술한 실시예들에서 설명한 바와 같 이 수정된 것일 수 있다.
그 후, S20 단계에서 획득한 위치관계를 고려해 S30 단계에서 획득한 휘도평균과 S40 단계에서 획득한 휘도평균을 비교하여, 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 단계(S50')를 거친다. 예컨대 도 10 및 도 11에 도시된 것과 같은 그래프의 차를 이용하면, 도 12에 도시된 것과 같이 나타낼 수 있는 오보정데이터를 획득할 수 있다.
이어, 스미어데이터를 S50' 단계에서 획득한 오보정데이터를 이용하여 수정하여, 수정 스미어데이터를 획득하는 단계(S57')를 거친다. 수정 스미어데이터는 예컨대 도 12에 도시된 그래프와 도 17에 도시된 그래프의 합에 의해 나타나는 도 18에 도시된 그래프로 나타낼 수 있다. 도 18을 참조하면, 제1프레임이미지에서 스미어가 발생한 부분(SA)과 스미어데이터의 높은 휘도로 나타내는 부분이 일치하게 된다.
그 후, 제1이미지데이터를 수정 스미어데이터를 이용하여 수정함으로써, 스미어가 저감된 최종적인 현재 프레임이미지에 대한 데이터라고 할 수 있는 제3이미지데이터를 획득하는 단계(S63')를 거친다. 도 18을 참조하면, 제1프레임이미지에서 스미어가 발생한 부분(SA)과 스미어데이터의 높은 휘도로 나타내는 부분이 일치하게 된다. 따라서 수정 스미어데이터를 이용하여 제1이미지데이터를 수정하여 제3이미지데이터를 획득하는 단계(S63')를 거침으로써, 스미어가 효과적으로 보정된 최종 현재 프레임이미지라고 할 수 있는 제3이미지데이터로부터의 제3프레임이미지 를 획득할 수 있다.
한편, 도 21에는 도시되지 않았으나, S30 단계 및 S40 단계 이전에 제2프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 제2이미지데이터와 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계를 더 거칠 수도 있음은 물론이다. 또한, S40 단계 이전에 제2프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 이전 프레임이미지에 대한 데이터를 수정하는 단계를 더 거칠 수도 있음은 물론이다. 예컨대 도 11은 제1프레임이미지 내의 피사체와 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록 이전 프레임이미지에 대한 데이터를 수정한 후 S40 단계를 거친 경우의 그래프라고 이해할 수도 있다.
이상에서 언급된 본 실시예들 및 그 변형예들에 따른 디지털 촬영장치의 제어방법을 디지털 촬영장치에서 실행시키기 위한 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체라 함은 예컨대 도 5에 도시된 것과 같은 저장매체(70)일 수도 있고, 도 5에 도시된 것과 같은 메모리(60)일 수도 있으며, 이와 다른 별도의 기록매체일 수도 있다. 여기서 기록매체는 마그네틱 저장매체(예컨대, 롬(ROM), 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정 한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
도 1은 종래의 디지털 촬영장치의 디스플레이부에서 동영상을 디스플레이할 시 스미어가 발생하는 것을 개략적으로 도시하는 개념도이다.
도 2와 도 3은 촬상소자를 개략적으로 도시하는 개념도이다.
도 4는 종래의 디지털 촬영장치의 디스플레이부에서 동영상을 디스플레이할 시 스미어가 오보정된 것을 개략적으로 도시하는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 디지털 촬영장치를 개략적으로 도시하는 블록도이다.
도 6은 도 5의 일부분을 개략적으로 도시하는 개념도이다.
도 7은 현재 프레임이미지에서 스미어를 보정하는 중간 단계를 개략적으로 도시하는 개념도이다.
도 8은 현재 프레임이미지를 개략적으로 도시하는 개념도이다.
도 9는 이전 프레임이미지를 개략적으로 도시하는 개념도이다.
도 10은 도 7에 도시된 것과 같은 스미어를 보정하는 중간 단계의 현재 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 개략적으로 도시하는 그래프이다.
도 11은 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 개략적으로 도시하는 그래프이다.
도 12는 도 10과 도 11의 그래프들을 비교하여 도 7에 도시된 것과 같은 스미어를 보정하는 중간 단계의 현재 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼을 나타내는 것을 개략적으로 도시하는 그래프이다.
도 13은 본 발명의 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
도 14는 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
도 15는 본 발명의 또 일 실시예에 따른 디지털 촬영장치의 일부분을 개략적으로 도시하는 개념도이다.
도 16은 스미어보정 전 현재 프레임이미지의 각 칼럼에 속한 화소들의 휘도평균을 개략적으로 도시하는 그래프이다.
도 17은 수정 전 스미어데이터를 개략적으로 도시하는 그래프이다.
도 18은 수정된 스미어데이터를 개략적으로 도시하는 그래프이다.
도 19는 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
도 20은 본 발명의 또 일 실시예에 따른 디지털 촬영장치의 일부분을 개략적으로 도시하는 개념도이다.
도 21은 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
<도면의 주요 부분에 대한 부호의 설명>
10: 렌즈 11: 렌즈 구동부
20: 조리개 21: 조리개 구동부
30: 촬상소자 31: 촬상소자 제어부
40: A/D 변환부 50: 디지털 신호 처리부
60: 메모리 71: 저장/판독 제어부
70: 저장매체 81: 디스플레이 제어부
80: 디스플레이부 100: CPU
200: 조작부

Claims (21)

  1. 입사광으로부터 이미지데이터를 생성하는 유효영역과, 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역을 갖는 촬상소자;
    상기 광학흑색영역에서 생성한 스미어데이터를 이용해 상기 유효영역이 생성한 제1이미지데이터를 수정하여, 상기 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 제1스미어보정부;
    상기 제2프레임이미지 내의 피사체와, 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 모션벡터 획득부;
    상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하며, 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 수직평균 획득부;
    상기 모션벡터 획득부가 획득한 위치관계를 고려해 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균을 비교하여, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 상기 제1스미어보정부에 의해 스미어가 오보정된 칼럼을 확인하는 오보정칼럼 확인부; 및
    상기 오보정칼럼 확인부가 확인한 스미어가 오보정된 칼럼에 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터를 이용하여, 상기 제2이미지데이터를 수정 해 제3이미지데이터를 획득하는 제2스미어보정부;를 구비하는 것을 특징으로 하는 디지털 촬영장치.
  2. 제1항에 있어서,
    상기 모션벡터 획득부가 획득한 위치관계를 이용하여, 상기 제2프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제2이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 정합부를 더 구비하는 것을 특징으로 하는 디지털 촬영장치.
  3. 제1항에 있어서,
    상기 오보정칼럼 확인부는, 상기 모션벡터 획득부가 획득한 위치관계를 고려한, 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균의 차이에 따라, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 상기 제1스미어보정부에 의해 스미어가 오보정된 칼럼을 확인하는 것을 특징으로 하는 디지털 촬영장치.
  4. 제1항에 있어서,
    상기 제2스미어보정부는, 상기 오보정칼럼 확인부가 확인한 스미어가 오보정된 칼럼에서의 데이터를 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터로 대체하여, 상기 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 것을 특징 으로 하는 디지털 촬영장치.
  5. (a) 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터를 상기 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 스미어데이터를 이용하여 수정하여, 상기 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 단계;
    (b) 상기 제2프레임이미지 내의 피사체와, 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계;
    (c) 상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계;
    (d) 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계;
    (e) 상기 (b) 단계에서 획득한 위치관계를 고려해 상기 (c) 단계에서 획득한 휘도평균과 상기 (d) 단계에서 획득한 휘도평균을 비교하여, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼을 확인하는 단계; 및
    (f) 상기 (e) 단계에서 확인된 스미어가 오보정된 칼럼에 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터를 이용하여, 상기 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 단계;를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  6. 제5항에 있어서,
    상기 (b) 단계는, 상기 제2프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제2이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  7. 제5항에 있어서,
    상기 (e) 단계는, 상기 (b) 단계에서 획득한 위치관계를 고려한 상기 (c) 단계에서 획득한 휘도평균과 상기 (d) 단계에서 획득한 휘도평균의 차이에 따라, 상기 (a) 단계에서, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼을 확인하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  8. 제5항에 있어서,
    상기 (f) 단계는,
    상기 (e) 단계에서 확인된 스미어가 오보정된 칼럼에서의 데이터를 대응하는 상기 이전 프레임이미지의 칼럼에서의 데이터로 대체하여, 상기 제2이미지데이터를 수정해 제3이미지데이터를 획득하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  9. 입사광으로부터 이미지데이터를 생성하는 유효영역과, 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역을 갖는 촬상소자;
    상기 유효영역이 생성한 제1이미지데이터로부터의 제1프레임이미지 내의 피사체와, 상기 제1프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 모션벡터 획득부;
    상기 제1프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하며, 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 수직평균 획득부;
    상기 수직평균 획득부가 획득한 상기 제1프레임이미지에서의 휘도평균에서 상기 광학흑색영역에서 생성된 스미어데이터를 빼, 보정된 휘도평균을 획득하는 보정 휘도평균 획득부;
    상기 모션벡터 획득부가 획득한 위치관계를 고려해 상기 보정 휘도평균 획득부가 획득한 보정된 휘도평균과 상기 수직평균 획득부가 획득한 상기 이전프레임에서의 휘도평균을 비교하여, 오차데이터를 획득하는 오차데이터 획득부;
    상기 오차데이터 획득부가 획득한 오차데이터를 이용하여 상기 스미어데이터를 수정하여, 수정 스미어데이터를 획득하는 수정 스미어데이터 획득부; 및
    상기 수정 스미어데이터 획득부가 획득한 수정 스미어데이터를 이용하여 상기 제1이미지데이터를 수정하여 제2이미지데이터를 획득하는 스미어보정부;를 구비하는 것을 특징으로 하는 디지털 촬영장치.
  10. 제9항에 있어서,
    상기 모션벡터 획득부가 획득한 위치관계를 이용하여, 상기 제1프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제1이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 정합부를 더 구비하는 것을 특징으로 하는 디지털 촬영장치.
  11. 제9항에 있어서,
    상기 오차데이터 획득부는, 상기 모션벡터 획득부가 획득한 위치관계를 고려한, 상기 보정 휘도평균 획득부가 획득한 보정된 휘도평균과 상기 수직평균 획득부가 획득한 이전 프레임이미지에서의 휘도평균의 차이에 따라, 오차데이터를 획득하는 것을 특징으로 하는 디지털 촬영장치.
  12. (a) 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터로부터의 제1프레임이미지의 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계;
    (b) 상기 (a) 단계에서 획득한 휘도평균에서 상기 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 스미어데이터를 빼, 보정된 휘도평균을 획득하는 단계;
    (c) 상기 제1프레임이미지 내의 피사체와, 상기 제1프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계;
    (d) 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계;
    (e) 상기 (c) 단계에서 획득한 위치관계를 고려해 상기 (b) 단계에서 획득한 보정된 휘도평균과 상기 (d) 단계에서 획득한 휘도평균을 비교하여, 오차데이터를 획득하는 단계;
    (f) 상기 오차데이터를 이용하여 상기 스미어데이터를 수정하여, 수정 스미어데이터를 획득하는 단계; 및
    (g) 상기 수정 스미어데이터를 이용하여 상기 제1이미지데이터를 수정하여 제2이미지데이터를 획득하는 단계;를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  13. 제12항에 있어서,
    상기 (c) 단계는, 상기 제1프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제1이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  14. 제12항에 있어서,
    상기 (e) 단계는, 상기 (c) 단계에서 획득한 위치관계를 고려한 상기 (b) 단계에서 획득한 보정된 휘도평균과 상기 (d) 단계에서 획득한 휘도평균의 차이에 따 라, 오차데이터를 획득하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  15. 입사광으로부터 이미지데이터를 생성하는 유효영역과, 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역을 갖는 촬상소자;
    상기 광학흑색영역에서 생성한 스미어데이터를 이용해 상기 유효영역이 생성한 제1이미지데이터를 수정하여, 상기 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 제1스미어보정부;
    상기 제2프레임이미지 내의 피사체와, 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 모션벡터 획득부;
    상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하며, 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 수직평균 획득부;
    상기 모션벡터 획득부가 획득한 위치관계를 고려해 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균을 비교하여, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 오보정데이터 획득부;
    상기 스미어데이터를 상기 오보정데이터 획득부가 획득한 오보정데이터를 이 용하여 수정하여, 수정 스미어데이터를 획득하는 수정 스미어데이터 획득부; 및
    상기 제1이미지데이터를 상기 수정 스미어데이터 획득부가 획득한 수정 스미어데이터를 이용하여 수정하여, 제3이미지데이터를 획득하는 제2스미어보정부;를 구비하는 것을 특징으로 하는 디지털 촬영장치.
  16. 제15항에 있어서,
    상기 모션벡터 획득부가 획득한 위치관계를 이용하여, 상기 제2프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제2이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 정합부를 더 구비하는 것을 특징으로 하는 디지털 촬영장치.
  17. 제15항에 있어서,
    상기 오보정데이터 획득부는, 상기 모션벡터 획득부가 획득한 위치관계를 고려한, 상기 수직평균 획득부가 획득한 상기 제2프레임이미지에서의 휘도평균과 상기 이전 프레임이미지에서의 휘도평균의 차이에 따라, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 것을 특징으로 하는 디지털 촬영장치.
  18. (a) 촬상소자의 유효영역에 입사한 입사광으로부터 생성된 제1이미지데이터를 상기 촬상소자의 상기 유효영역 외측에 배치된 좌우로 연장된 광학흑색영역에서 생성된 스미어데이터를 이용하여 수정하여, 상기 제1이미지데이터로부터의 제1프레임이미지보다 스미어가 저감된 제2프레임이미지에 대응하는 제2이미지데이터를 획득하는 단계;
    (b) 상기 제2프레임이미지 내의 피사체와, 상기 제2프레임이미지의 이전 프레임이미지 내의 피사체 사이의 위치관계를 획득하는 단계;
    (c) 상기 제2프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계;
    (d) 상기 이전 프레임이미지에서 각 칼럼에 속한 화소들의 휘도평균을 획득하는 단계;
    (e) 상기 (b) 단계에서 획득한 위치관계를 고려해 상기 (c) 단계에서 획득한 휘도평균과 상기 (d) 단계에서 획득한 휘도평균을 비교하여, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 단계;
    (f) 상기 스미어데이터를 상기 (e) 단계에서 획득한 오보정데이터를 이용하여 수정하여, 수정 스미어데이터를 획득하는 단계; 및
    (g) 상기 제1이미지데이터를 상기 수정 스미어데이터를 이용하여 수정하여, 제3이미지데이터를 획득하는 단계;를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  19. 제18항에 있어서,
    상기 (b) 단계는, 상기 제2프레임이미지 내의 피사체와 상기 이전 프레임이미지 내의 피사체가 좌우방향에 있어서 정합되도록, 상기 제2이미지데이터와 상기 이전 프레임이미지에 대한 데이터 중 적어도 어느 하나를 수정하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  20. 제18항에 있어서,
    상기 (e) 단계는, 상기 (b) 단계에서 획득한 위치관계를 고려한 상기 (c) 단계에서 획득한 휘도평균과 상기 (d) 단계에서 획득한 휘도평균의 차이에 따라, 상기 제2이미지데이터로부터의 프레임이미지의 칼럼들 중 스미어가 오보정된 칼럼 및 오보정 양에 관한 오보정데이터를 획득하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  21. 제5항 내지 제8항, 제12항 내지 제14항 및 제18항 내지 제20항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 저장한 기록매체.
KR1020090017136A 2009-02-27 2009-02-27 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 KR101552907B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090017136A KR101552907B1 (ko) 2009-02-27 2009-02-27 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
US12/713,376 US8237827B2 (en) 2009-02-27 2010-02-26 Digital photographing apparatus for correcting smear taking into consideration acquired location relationship

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090017136A KR101552907B1 (ko) 2009-02-27 2009-02-27 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체

Publications (2)

Publication Number Publication Date
KR20100098123A true KR20100098123A (ko) 2010-09-06
KR101552907B1 KR101552907B1 (ko) 2015-09-14

Family

ID=42666904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090017136A KR101552907B1 (ko) 2009-02-27 2009-02-27 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체

Country Status (2)

Country Link
US (1) US8237827B2 (ko)
KR (1) KR101552907B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE48821E1 (en) 2009-10-12 2021-11-16 Powercloud Systems, Inc. Apparatus and methods for protecting network resources

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201106681A (en) * 2009-08-10 2011-02-16 Altek Corp An image data processing method for reducing dynamic smear in the image data
US20110069204A1 (en) * 2009-09-23 2011-03-24 Zoran Corporation Method and apparatus for image correction
US8953233B2 (en) * 2010-06-14 2015-02-10 Canon Kabushiki Kaisha Image reading apparatus and image data processing method
WO2015152923A1 (en) * 2014-04-03 2015-10-08 Empire Technology Development Llc Color smear correction based on inertial measurements
CN112330544B (zh) * 2019-08-05 2024-02-09 浙江宇视科技有限公司 图像拖影的处理方法、装置、设备及介质
US11704777B2 (en) 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798786A (en) * 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
JP4328115B2 (ja) 2003-03-24 2009-09-09 パナソニック株式会社 固体撮像装置
JP2006121478A (ja) 2004-10-22 2006-05-11 Canon Inc 撮像装置
JP4742359B2 (ja) * 2005-05-19 2011-08-10 カシオ計算機株式会社 動画撮像装置及びそのプログラム
JP4358182B2 (ja) * 2005-11-29 2009-11-04 株式会社日立国際電気 撮像装置およびその雑音低減方法
JP2007174032A (ja) 2005-12-20 2007-07-05 Mitsubishi Electric Corp 撮像装置
JP4948303B2 (ja) 2007-07-20 2012-06-06 キヤノン株式会社 撮像装置及び信号処理方法
US20090147108A1 (en) * 2007-12-07 2009-06-11 Yoshinori Okura CCD signal processing device and image sensing device
JP5039588B2 (ja) * 2008-02-01 2012-10-03 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE48821E1 (en) 2009-10-12 2021-11-16 Powercloud Systems, Inc. Apparatus and methods for protecting network resources

Also Published As

Publication number Publication date
KR101552907B1 (ko) 2015-09-14
US8237827B2 (en) 2012-08-07
US20100220225A1 (en) 2010-09-02

Similar Documents

Publication Publication Date Title
JP4254841B2 (ja) 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム
US8089524B2 (en) Flicker correction apparatus, flicker correction method, and image sensing apparatus
US20140071318A1 (en) Imaging apparatus
US9554029B2 (en) Imaging apparatus and focus control method
KR20100098123A (ko) 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
US8319848B2 (en) Imaging apparatus
US9906708B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium storing imaging program for controlling an auto-focus scan drive
JP2012019397A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2009044367A (ja) 撮影方法及び撮影装置
US20130016252A1 (en) Image processing apparatus and control method for image processing apparatus
JP5039588B2 (ja) 撮像装置及び撮像装置の制御方法
US10270991B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US9237280B2 (en) Photographing apparatus and photographing method for correcting a moving characteristic of an electronic front curtain
KR101643612B1 (ko) 촬영 방법 및 장치와 그 기록 매체
US8218040B2 (en) Image processing apparatus, image processing method and computer-readable storage medium
WO2019188934A1 (ja) 撮像装置、撮像方法、及びプログラム
US10536621B2 (en) Image capturing apparatus, storage medium and controlling method for correcting a second image by correcting a pixel value of the second image corresponding to a detected defective pixel
JP2013118563A (ja) 撮像装置
JP5489545B2 (ja) 撮像システムおよび撮像方法
JP2008245236A (ja) 撮像装置および欠陥画素補正方法
JP6547742B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
US20240022813A1 (en) Imaging apparatus and signal processing method
JP2010199845A (ja) 画像撮影装置、画像撮影方法、画像処理装置、および画像処理方法
JP6904560B2 (ja) 信号処理装置
JP6415106B2 (ja) 撮像装置及びその制御方法、並びに、プログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 4