KR101626005B1 - 불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체 - Google Patents

불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체 Download PDF

Info

Publication number
KR101626005B1
KR101626005B1 KR1020090097441A KR20090097441A KR101626005B1 KR 101626005 B1 KR101626005 B1 KR 101626005B1 KR 1020090097441 A KR1020090097441 A KR 1020090097441A KR 20090097441 A KR20090097441 A KR 20090097441A KR 101626005 B1 KR101626005 B1 KR 101626005B1
Authority
KR
South Korea
Prior art keywords
brightness
histogram
unit
pattern
fireworks
Prior art date
Application number
KR1020090097441A
Other languages
English (en)
Other versions
KR20110040249A (ko
Inventor
송원석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090097441A priority Critical patent/KR101626005B1/ko
Priority to US12/902,231 priority patent/US8781226B2/en
Publication of KR20110040249A publication Critical patent/KR20110040249A/ko
Application granted granted Critical
Publication of KR101626005B1 publication Critical patent/KR101626005B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명은 불꽃놀이를 인식하고 그에 따라 화질 처리를 수행하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체에 관한 것이다. 불꽃놀이를 인식하는 디지털 영상 처리 장치는 연속적으로 입력되는 적어도 둘 이상의 프레임을 포함하는 라이브뷰 영상에 대한 불꽃의 밝기 및 크기 변화량으로 장면인식을 통하여 불꽃놀이를 인식하고 화질 처리를 수행하는 디지털 신호 처리수단을 포함하는 것이 바람직하다.
적응적 윈도우, 히스토그램 합산, 확률 연산, 패턴 인식, 화질 처리

Description

불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체{A digital image processing apparatus for recognizing firework, there of method and there of computer-readable storage medium}
본 발명은 불꽃놀이를 인식하고 그에 따라 화질 처리를 수행하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체에 관한 것이다.
일반적인 디지털 영상 처리 장치의 경우, 사용자가 전자 기기 작동에 익숙하지 않더라도 최고 품질의 영상을 획득할 수 있도록 장면 인식이라는 기능이 구비되어 있다. 따라서 사용자는 별도의 조작없이 디지털 영상 처리 장치는 현재의 장면을 인식하고, 그에 적절한 화질 처리를 수행하고 있다.
자동 디지털 영상 처리 장치는 불꽃놀이 촬영 시에, 장면 모드(scene mode)를 통해 불꽃모드가 선택되면, 촬영에 임하고 있다. 촬영 시에 노출이 2-4초 정도 자동으로 설정된다. 수동 영상 처리 장치의 경우 불꽃놀이 촬영은 조리개를 가능한 조인 상태에서 불꽃이 터지는 모양을 보고 불꽃이 올라오는 시점에서 벌브 셔터를 이용하여 촬영을 하고 있다. 불꽃놀이 촬영은 야간에 수행되는 것이기 때문에 노이즈의 영향을 줄이기 위해 ISO(international standards organization)는 200 정도로 설정해 두고 오직 셔터 스피드를 조절하여 촬영을 수행해야 좋은 화질의 영상을 획득할 수 있다.
그러나 사용자가 불꽃놀이에 적합한 촬영조건을 설정했다 하더라도, 불꽃 촬영은 많은 경험을 가지고 있어야 한다. 가령 벌브 셔터를 이용한다고 해도, 밝은 불꽃의 경우는 3-5초 정도면 충분하지만, 어두운 불꽃의 경우는 15-30초 정도까지 갈 수 있다. 또한 장시간 노출의 경우 동일한 위치에서 계속 터치는 불꽃으로 인해 노출 오버가 될 경우가 커진다. 결국 불꽃 촬영에 대한 정확한 해결책은 없지만, 노출 시간 조절을 불꽃의 크기, 밝기, 궤적에 따라 경험적으로 조절할 수 있는 능력이 필요하다.
이는 디지털 영상 처리 장치를 잘 알지 못하는 사용자에게는 큰 어려움으로 다가온다. 그리고 정작 장면 모드의 불꽃놀이 모드에서는 노출 시간을 고정으로 설정하고 있고, 결국 촬영 시에 불꽃의 크기, 밝기, 궤적을 생각하지 않기 때문에 도 11a에 도시된 바와 같이 영상이 너무 어둡거나, 도 11b에 도시된 바와 같이 영상이 너무 밝게 촬영될 수 있다.
본 발명은 영상 촬영 시에, 사용자가 장면 모드의 불꽃놀이 모드로 선택하지 않더라도, 촬영할 영상으로부터 불꽃놀이 장면을 인식하여 적절한 화질 처리를 수행하는데 목적이 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 불꽃놀이를 인식하는 디지털 영상 처리 장치는 연속적으로 입력되는 적어도 둘 이상의 프레임을 포함하는 라이브뷰 영상에 대한 불꽃의 밝기 및 크기 변화량으로 장면인식을 통하여 불꽃놀이를 인식하고 화질 처리를 수행하는 디지털 신호 처리수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 디지털 신호 처리 수단은 상기 불꽃놀이 인식 결과로부터 상기 불꽃의 밝기 및 크기에 따라 다르게 표현되는 사용자 인터페이스를 디스플레이 할 수 있다.
본 발명에 있어서, 상기 디지털 신호 처리수단은 기준 밝기 이상에 해당하는 상기 라이브뷰 영상의 소정 부분에 윈도우를 설정하고 위치정보 및 밝기 정보를 생성하는 윈도우 설정부; 상기 설정된 윈도우의 위치정보 및 밝기 정보로 상기 라이브뷰 영상의 히스토그램을 연산하는 히스토그램 연산부; 상기 연산된 히스토그램의 변화량으로 상기 라이브뷰 영상이 불꽃놀이가 될 확률을 연산하는 확률 연산부; 상기 연산된 확률값의 분포가 불꽃놀이를 통해 획득할 수 있는 패턴과 동일한 형태인 지 판단하는 패턴 인식부; 및 상기 패턴 인식 결과로부터 불꽃놀이를 모드를 판단하고, 삼각대 인식 유/무에 따라 상기 불꽃놀이 영상의 화질 처리를 수행하는 제어부를 포함할 수 있다.
본 발명에 있어서, 상기 설정된 윈도우의 밝기 정보 및 위치 정보, 상기 히스토그램 연산값 및 상기 불꽃놀이의 판단 기준이 되는 기준 패턴을 저장하는 메모리를 더 포함할 수 있다.
본 발명에 있어서, 상기 윈도우 설정부는 상기 첫 번째 프레임의 휘도 데이터로부터 전체 밝기를 산출하고, 산출된 전체 밝기의 일정 분포에 해당하는 기준 밝기를 설정하는 산출부; 및 상기 다음 프레임들에 대하여 상기 기준 밝기 이상에 해당하는 픽셀들을 블록화 하여 윈도우를 설정하는 설정부를 포함할 수 있다.
본 발명에 있어서, 상기 히스토그램 연산부는 상기 첫 번째 프레임의 윈도우 위치에 해당하는 전체 프레임들에 대해 기준값 이상인 블록내 픽셀에 대한 히스토그램의 합을 산출하는 산출부; 및 상기 산출된 히스토그램의 최대값과 최소값의 차이값에 해당하는 크기로 상기 각 프레임을 평활화하는 평활화부를 포함할 수 있다.
본 발명에 있어서, 상기 확률 연산부는 첫 번째 프레임의 히스토그램 합으로부터 변화량 판단 기준을 설정하는 설정부; 각 프레임 간의 히스토그램 합에 대한 변화량을 산출하는 제1 산출부; 및 상기 산출된 변화량이 기준 변화량 이상인 수치가 전체 윈도우에서 차지하는 수치를 확률로 산출하는 제2 산출부 평활화부를 포함할 수 있다.
본 발명에 있어서, 상기 패턴 인식부는 상기 불꽃놀이의 판단 기준이 되는 기준 패턴을 제공하는 제공부; 상기 산출된 확률로 패턴을 생성하는 생성부; 및 상기 기준 패턴과 상기 생성된 패턴을 비교하는 비교부를 포함할 수 있다.
본 발명에 있어서, 상기 제어부는 상기 기준 패턴과 상기 생성된 패턴이 유사하여 불꽃놀이 모드로 판단된 상기 영상에 대하여, 상기 삼각대가 인식되지 않는 경우 기 설정된 셔터 스피드 및 ISO 등으로 화질 처리를 수행할 수 있다.
본 발명에 있어서, 상기 제어부는 상기 삼각대가 인식된 경우, 상기 윈도우 개수로 불꽃의 밝기를 판단하고, 상기 히스토그램으로 불꽃의 크기를 판단하여 상기 셔터 스피드 및 ISO 등을 조정하여 화질 처리를 수행할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 불꽃놀이를 인식하는 디지털 영상 처리 장치의 동작 방법은 연속적으로 입력되는 적어도 둘 이상의 프레임을 포함하는 라이브뷰 영상에 대한 불꽃의 밝기 및 크기 변화량으로 장면인식을 통하여 불꽃놀이를 인식하는 단계; 및 상기 인식된 불꽃놀이 영상에 대한 화질 처리를 수행하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 불꽃놀이 인식 단계는 (a) 기준 밝기 이상에 해당하는 상기 라이브뷰 영상의 소정 부분에 윈도우를 설정하고 위치정보 및 밝기 정보를 생성하는 단계; (b) 상기 설정된 윈도우의 위치정보 및 밝기 정보로 상기 라이브뷰 영상의 히스토그램을 연산하는 단계; (c) 상기 연산된 히스토그램의 변화량으로 상기 라이브뷰 영상이 불꽃놀이가 될 확률을 연산하는 단계; 및 (d) 상기 연산된 확률값의 분포가 불꽃놀이를 통해 획득할 수 있는 패턴과 동일한 형태인지 판단하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 화질 처리 수행 단계는 (e) 삼각대 인식 유/무를 판단하는 단계; (f) 상기 삼각대가 인식되지 않는 경우 기 설정된 셔터 스피드 및 ISO 등으로 화질 처리를 수행하는 단계; 및 (g) 상기 삼각대가 인식된 경우, 상기 윈도우 개수로 불꽃의 밝기를 판단하고, 상기 히스토그램으로 불꽃의 크기를 판단하여 상기 셔터 스피드 및 ISO 등을 조정하여 화질 처리를 수행하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (a)단계는 (a-1) 상기 첫 번째 프레임의 휘도 데이터로부터 전체 밝기를 산출하고, 산출된 전체 밝기의 일정 분포에 해당하는 기준 밝기를 설정하는 단계; 및 (a-2) 상기 다음 프레임들에 대하여 상기 기준 밝기 이상에 해당하는 픽셀들을 블록화 하여 윈도우를 설정하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 첫 번째 프레임의 윈도우 위치에 해당하는 전체 프레임들에 대해 기준값 이상인 블록내 픽셀에 대한 히스토그램의 합을 산출하는 단계; 및 (b-2) 상기 산출된 히스토그램의 최대값과 최소값의 차이값에 해당하는 크기로 상기 각 프레임을 평활화하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (c)단계는 (c-1) 첫 번째 프레임의 히스토그램 합으로부터 변화량 판단 기준을 설정하는 단계; (c-2) 각 프레임 간의 히스토그램 합에 대한 변화량을 산출하는 단계; 및 (c-3) 상기 산출된 변화량이 기준 변화량 이상인 수치가 전체 윈도우에서 차지하는 수치를 확률로 산출하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (d)단계는 (d-1) 상기 불꽃놀이의 판단 기준이 되는 기준 패턴을 제공하는 단계; (b-2) 상기 산출된 확률로 패턴을 생성하는 단계; 및 (b-3) 상기 기준 패턴과 상기 생성된 패턴을 비교하여 불꽃놀이 모드를 판단하는 단계를 포함할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 불꽃놀이를 인식하는 컴퓨터 판독 가능 저장 매체는 연속적으로 입력되는 적어도 둘 이상의 프레임을 포함하는 라이브뷰 영상에 대한 불꽃의 밝기 및 크기 변화량으로 장면인식을 통하여 불꽃놀이를 인식하고 화질 처리를 수행하도록 프로그램된 코드 부분을 포함하는 컴퓨터 프로그램을 저장하는 것이 바람직하다.
본 발명에 있어서, 상기 컴퓨터 프로그램은 기준 밝기 이상에 해당하는 상기 라이브뷰 영상의 소정 부분에 윈도우를 설정하고 위치정보 및 밝기 정보를 생성하도록 프로그램된 제1 코드 부분; 상기 설정된 윈도우의 위치정보 및 밝기 정보로 상기 라이브뷰 영상의 히스토그램을 연산하도록 프로그램된 제2 코드 부분; 상기 연산된 히스토그램의 변화량으로 상기 라이브뷰 영상이 불꽃놀이가 될 확률을 연산하도록 프로그램된 제3 코드 부분; 상기 연산된 확률값의 분포가 불꽃놀이를 통해 획득할 수 있는 패턴과 동일한 형태인지 판단하도록 프로그램된 제4 코드 부분; 및 상기 패턴 인식 결과로부터 불꽃놀이를 모드를 판단하고, 삼각대 인식 유/무에 따라 상기 불꽃놀이 영상의 화질 처리를 수행하도록 프로그램된 제5 코드 부분을 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 불꽃놀이를 자동으로 인식하므로 사용자가 모드를 전화하거나 디지털 영상 처리 장치를 특정 설정값으로 바꾸지 않아도 된다. 불꽃놀이 영상이 잘 촬영될 수 있도록 디지털 영상 처리 장치의 설정값을 자동으로 조절해 주고 촬영을 도와 준다.
기존의 수동적인 장면 모드 촬영이 아니라 불꽃의 크기, 밝기에 따라 자동으로 설정값이 조절되는 능동적인 촬영을 수행하여 보다 좋은 화질의 영상을 획득할 수 있게 된다.
이하 첨부된 도면들을 참조하여 본 발명의 실시 예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명에 따른 불꽃놀이를 인식하는 디지털 영상 처리 장치, 디지털 영상 처리 장치의 동작 방법 및 컴퓨터 판독 가능 저장 매체를 실시 할 수 있는 디지털 영상 처리 장치의 예시적인 구조를 도시한 도면이다.
본 발명을 구현할 수 있는 디지털 영상 처리 장치(100)는 광학부(110), 광학 구동부(111), 촬상소자(115), 촬상소자 제어부(116), 영상 처리부(120), 조작부(130), 프로그램 저장부(140), 버퍼 저장부(150), 데이터 저장부(160), 디스플레 이부(170), 및 디지털 신호 처리부(DSP, 180)를 포함할 수 있다.
광학 구동부(111)는 렌즈의 위치, 조리개의 개폐 등을 조절한다. 렌즈의 위치를 이동시켜 초점을 맞출 수 있다. 또한, 조리개의 개폐를 조절하여 광량을 조절할 수 있다. 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 광학 구동부(111)가 광학부(110)를 제어할 수 있다.
상기 광학부(110)를 투과한 광학 신호는 촬상 소자(115)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(115)는 광학 신호를 전기 신호로 변환하는 CCD(charge coupled device) 또는 CIS(complementary metal oxide semiconductor image sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(115)는 촬상소자 제어부(116)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(116)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(115)를 제어할 수 있다.
영상 처리부(120)는 촬상 소자(115)로부터 출력되는 디지털 RAW 데이터를 디스플레이 가능하도록 신호 처리한다. 영상 처리부(120)는 온도변화에 민감한 CCD 또는 CMOS에서 발생하는 암 전류에 의한 블랙레벨(black level)을 제거하고, 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행한다. 영상 처리부(120)는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행한다. 영상 처리부(120)는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다. 영상 처리부(120)는 노이즈가 제거된 Y, U, V 신호를 압축 및 신호 처리하여 JPEG 파일을 생성하고, 생성된 JPEG 파일은 디스플레이(170)에 디스플레이 되고, 사용자 선택에 의해 데이터 저장부(160)에 저장된다. 이와 같은 영상 처리부(120)의 모든 동작은 디지털 신호 처리부(180)의 제어 하에 동작한다.
조작부(130)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(130)는 정해진 시간 동안 촬상 소자(115)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원을 공급하기 위해 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들이 있다. 조작부(130)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
또한, 상기 디지털 영상 처리 장치(100)는 상기 장치를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(140), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(150), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(160)를 포함한다.
아울러, 상기 디지털 영상 처리 장치(100)는 이의 동작 상태 또는 상기 디지털 영상 처리 장치(100)에서 촬영한 이미지 정보를 표시하도록 디스플레이부(170)를 포함한다. 상기 디스플레이부(170)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 상기 디스플레이부(170)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 등으로 이루어질 수 있다.
그리고 상기 디지털 영상 처리 장치(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(180)를 포함한다. 이러한 디지털 신호 처리부(180)는 도 2에 도시된 것과 같이, 적응적 윈도우 검출부(181), 히스토그램 연산부(182), 확률 연산부(183), 패턴 인식부(184), 메모리(185) 및 제어부(186) 등과 같은 구성요소들을 구비할 수 있다. 적응적 윈도우 검출부(181), 히스토그램 연산부(182), 확률 연산부(183), 패턴 인식부(184), 메모리(185) 및 제어부(186) 등은 디지털 신호 처리부(180) 내의 구성요소가 아닌 별도의 구성요소 일 수도 있는 등 다양한 변형이 가능하며, 이들의 동작에 대해서는 후술한다.
이하에서는 도 2 내지 도 8을 참조하여 장면모드의 불꽃놀이 모드 인식 및 그에 따른 화질 처리를 수행하는 디지털 신호 처리부(180)의 기능을 설명한다.
불꽃놀이는 다음과 같은 특성을 가지고 있다.
1. 불꽃놀이는 밤에만 한다.
2. 불꽃은 하늘 멀리에서 터진다.
3. 불꽃은 다양한 색깔과 위치, 모양, 밝기를 가지고 있다.
4. 불꽃은 터지면 사그라진다.
그 밖에 삼각대가 없으면 불꽃놀이 촬영이 힘들다는 것을 가정해 볼 수 있다.
이러한 특성들을 감안하여 도 2는 도 1 중 디지털 신호 처리부(180)의 상세도로서, 연속적으로 입력되는 적어도 둘 이상의 프레임을 포함하는 라이브뷰 영상에 대한 밝기 변화량으로 장면인식을 통하여 불꽃놀이를 인식하고 화질 처리를 수행한다.
이를 위해 디지털 신호 처리부(180)는 적응적 윈도우 검출부(181), 히스토그램 연산부(182), 확률 연산부(183), 패턴 인식부(184), 메모리(185) 및 제어부(186)를 포함한다.
라이브뷰 영상은 주간의 경우 1초에 30 프레임이, 야간에는 1초에 15 프레임이 생성된다. 불꽃놀이는 야간에 수행되기 때문에 1초에 15 프레임이 생성되는데, 본 발명에서는 설명이 편의 상 연속적인 5 개의 프레임(1st-5th)을 한 주기로 설정하여 설명하도록 한다. 그러나, 상기 한 주기는 연속적인 5 개의 프레임으로 국한되는 것이 아니고, 적어도 둘 이상의 연속 프레임으로 설정될 수 있다.
또한 불꽃은 다양한 색깔을 가지고 있기 때문에, 불꽃놀이 모드 인식 시에, 영상 처리부(120)로부터 획득한 휘도(Y) 데이터를 이용한다.
적응적 윈도우 검출부(181)는 라이브뷰 영상으로부터 획득한 한 주기의 프레임들(1st-5th)로부터 밝기 정도를 파악하여 불꽃 인식을 위해 필요한 윈도우를 설정하고, 위치정보, 개수정보 및 밝기 정보를 생성하여 메모리(185)에 저장한다.
먼저, 첫 번째 프레임 영상의 휘도 데이터로 전체 밝기를 파악하고, 기준 밝기(예를 들어 전체 밝기의 90%)를 설정한다. 기준 밝기가 설정되면, 첫 번째 프레임부터 다섯 번째 프레임까지, 기준밝기 이상에 해당하는 픽셀들에 윈도우를 설정한다. 도 3a 및 도 3c는 불꽃의 크기와 밝기에 상관없이 항상 일정한 위치에 윈도우를 설정한 모습이다. 이렇게 되면 불꽃의 다양한 변화에 대한 대응을 할 수 없기 때문에 인식률에 문제가 발생한다. 따라서 도 3b 및 도 3d에 도시된 바와 같이 불꽃이 터지는 지점 즉, 기준 밝기 이상인 지점에 맞추어 윈도우를 설정할 수 있도록 한다.
이후 두 번째 내지 다섯 번째 프레임은 첫 번째 프레임에서 설정한 적응적 윈도우의 위치에서 필요한 정보를 획득한다. 이러한 적응적 윈도우 설정은 한 주기 즉, 1st-5th 프레임을 주기로 변경된다.
히스토그램 연산부(182)는 적응적 윈도우 검출부(181)에서 획득한 윈도우의 위치 정보 및 개수 정보를 활용하여 매 프레임의 히스토그램 합을 계산하고 밝기에 대한 평활화를 수행한다.
히스토그램 연산부(182)는 첫 번째 프레임의 윈도우 위치에 해당하는 첫 번째 내지 다섯 번째 프레임들에 대해 기준값 이상인 블록내 픽셀값(휘도값)에 대한 히스토그램의 합을 산출한다. 산출된 히스토그램의 합은 메모리(185)에 저장된다.
선택하는 기준값에 따라 불꽃의 크기와 밝기의 한계(limit)가 결정된다. 이는 히스토그램 연산부(182)에 대한 연산량을 크게 줄여주어 시스템 동작의 부하를 줄여준다. 도 4는 임의의 윈도우에 보이는 히스토그램의 분포를 도시한 도면으로, 히스토그램의 분포를 이용하여 기준값을 설정할 수 있다.
불꽃은 진행성이 있기 때문에 매 프레임의 휘도 데이터에서 계산한 히스토그램 합을 직접 활용할 수는 없게 된다. 가령 첫 번째 프레임에서 한 개의 불꽃이 터지고 세 번째 프레임 이후부터는 다섯 개의 불꽃이 터졌을 경우, 밝기에 대한 기준값을 맞추어 주지 않는 한 직접적인 비교가 힘들게 된다. 따라서 이를 위해 매 프레임 마다 최대값과 최소값의 차이에 해당하는 크기로 평활화를 수행하는데, 수학식 1과 같은 방법으로 진행한다.
Figure 112009062776078-pat00001
수학식 1에서 위 첨자는 프레임의 수를 의미하고, i는 윈도우를 의미한다.
확률 연산부(183)는 히스토그램 연산부(182)에서 획득한 결과를 가지고 현재 라이브뷰 영상의 장면이 불꽃놀이가 될 확률치를 연산한다. 메모리(185)에는 한 주기의 프레임 즉, 1st-5th 프레임에서 설정된 윈도우에 따른 히스토그램 합이 저장되어 있다.
확률 연산부(183)는 먼저 첫 번째 프레임의 히스토그램 합의 분포 정도에 따라 변화량 판단 기준을 설정한다. 그리고 나서 첫 번째 프레임과 두 번째 프레임 사이, 두 번째 프레임과 세 번째 프레임 사이, 세 번째 프레임과 네 번째 프레임 사이 및 네 번째 프레임과 다섯 번째 프레임 사이의 히스토그램 변화량을 산출한다. 이후 산출된 변화량이 기준 변화량 이상인 수치가 전체 윈도우에서 차지하는 수치를 확률(probability, P)로 산출한다.
히스토그램 변화량 즉, 밝기 변화량이 큰 경우에는 확률이 높게 산출되고, 밝기 변화량이 작은 경우에는 확률이 낮게 산출된다. 확률 연산부(183)는 한 주기의 프레임에서 하나의 확률값을 산출한다.
패턴 인식부(184)는 확률 연산부(183)에서 획득한 확률값의 분포가 불꽃놀이를 통해 획득할 수 있는 패턴과 동일한 형태인지 판단한다. 확률 연산부(183)의 결과만을 가지고도 불꽃을 인식할 수 있지만, 패턴 인식부(184)는 불꽃 인식의 성능 향상을 위해 필요한 부분이다. 밝기 변화량이 크면 확률값이 높게 나오게 된다. 그러나 야경 조건에서 사용자가 디지털 영상 처리 장치를 움직일 때나 손떨림 등이 발생하면 윈도우에 대한 밝기 변화량이 커져 확률값이 높아지게 된다. 이러한 상황은 실제로 많이 발생할 수 있으며, 불꽃 오인식의 원인이 된다.
불꽃이 터지면 사그라지는 특성을 이용하여 패턴 인식부(184)는 도 5에 제시된 바와 같이 불꽃으로 정의할 수 있는 기준 패턴을 이용하며, 이는 메모리(185)에 저장되어 있다. 이 기준 패턴은 불꽃의 확률 모양을 시간의 흐름으로 표현한 것으로 도 5에 도시된 첫 번째 기준 패턴은 P1, P2 및 P3가 시간의 흐름으로 표현된 것 이다. P1은 한 주기의 프레임에서 산출한 확률값, P2는 다음 한 주기의 프레임에서 산출한 확률값, P3는 그 다음 주기의 프레임에서 산출한 확률값을 의미한다. 각 기준 패턴에는 상한치와 하한치가 설정되어 있다.
패턴 인식부(184)는 확률 연산부(183)에서 획득한 확률값(P)으로 현재의 패턴을 생성하고, 생성된 현재 패턴과 기준 패턴을 비교하여, 동일한 패턴이면서 확률값이 기준패턴의 상한치를 초과하거나 하한치 미만인 패턴에 대해 불꽃으로 인식한다.
제어부(186)는 각 블록을 제어하면서, 패턴 인식부(184)의 인식 결과를 이용하여 삼각대 인식 유/무에 따라 불꽃놀이 영상의 화질 처리를 수행한다.
일반적으로 제어부(186)는 장면 모드에서 불꽃 놀이가 선택되면, 설정값을 예를 들어, 셔터 스피드:2초, ISO:160, 조리개:소조리개, 초점거리:무한대로 조정하여 화질 처리를 수행한다. 그러나, 본 발명에서는 장면인식을 통하여 불꽃놀이를 인식한 후에, 삼각대 인식 여부에 따라 디테일한 화질 처리를 수행한다.
삼각대 인식이 안되었을 경우, 제어부(186)는 손떨림으로 인한 블러 현상을 줄이기 위해 불꽃모드 인식을 통한 셔터 스피드를 적용하지 못하고 상기에 개시된 바와 같이 일반적인 화질 처리를 수행한다.
그러나, 삼각대가 인식되었을 경우, 아름다운 불꽃놀이 영상을 촬영하기 위해 ISO를 최대한 낮추어 노이즈를 최소화 한다. 또한 불꽃 인식을 통해 획득한 윈도우 개수와 히스토그램 기준값을 이용하여 화질 처리를 다르게 수행한다.
윈도우 개수는 전체 영상에서 불꽃 데이터를 획득하기 위해 연산할 유효한 윈도우의 수를 의미한다. 예를 들어, 50개 중에 유효한 윈도우 개수가 40개라고 가정하면, 현재 불꽃의 크기는 80%(40/50×100)임을 알 수 있다.
히스토그램 기준값은 예를 들어, 히스토그램 분포에서 90%에 해당하는 밝기 값을 의미할 수 있다. 도 6a의 입력 영상에 대해, 도 6b의 8 비트로 표현된 히스토그램에서 기준값은 대략 100 정도 되는 것을 알 수 있다. 이는 불꽃의 밝기가 39%(100/256×100)가 됨을 알 수 있다.
도 6c는 불꽃놀이 인식을 통해 얻은 정보를 그래프화 한 것이다. [가] 영역은 불꽃놀이 라이브뷰 영상에 대해 불꽃의 밝기가 밝고 불꽃의 크기도 큰 영역을 나타낸다. [나] 영역은 불꽃놀이 라이브뷰 영상에 대해 불꽃의 밝기가 어둡고 불꽃의 크기도 작은 영역을 나타낸다. 이러한 영역 정보를 이용한다면 도 6d와 같은 화질 처리가 가능해 진다.
도 6d에서 셔터 스피드:2초, ISO:160이 만나는 지점이 일반적인 장면모드에 대한 화질 처리를 나타낸다. 장면 모드 선택 시 불꽃놀이에 대한 어떠한 정보도 없기 때문에 셔터 스피드 및 ISO가 고정된다. 이 경우는 삼각대가 거치되어 있는 지를 알 수 없기 때문에 셔터 스피드를 늘릴 수 없고, 최대한 블러되지 않는 범위 안에서 셔터 스피드가 조정된다. 일반적으로 불꽃놀이 촬영은 셔터 스피드를 길게하여 불꽃이 변화하는 궤적을 촬영해야 아름다운 영상을 획득할 수 있는데, 장면 모드에서는 이러한 문제로 궤적 촬영이 불가능해 지는 단점이 발생한다.
그러나, 불꽃놀이를 인식한 후 화질 처리에 들어가면, 불꽃의 크기와 밝기 정보를 이용하여 기존의 화질 처리 보다 섬세하게 불꽃의 궤적 촬영을 도와주는데, 준다. 도 6d로부터 제어부(186)는 설정값을 예를 들어, 셔터 스피드:[가]-[나], ISO:80, 조리개:소조리개, 초점거리:무한대로 조정하여 불꽃 영상을 촬영하여 좋은 화질의 불꽃놀이 영상을 획득할 수 있도록 해준다.
다른 실시 예로 제어부(186)는 첫 번째 프레임에서 찾은 불꽃의 밝기와 크기 정보를 이용하여 도 7a에 도시된 바와 같이 큰 불꽃을 나타내는 사용자 인터페이스(예를 들어 아이콘) 또는 도 7b에 도시된 바와 같이 작은 불꽃을 나타내는 사용자 인터페이스를 디스플레이부(170)에 표시하도록 할 수 있다.
이하, 도 8을 참조하여 본 발명에 따른 불꽃놀이를 인식하는 디지털 영상 처리 장치의 동작 방법을 상세히 설명한다. 본 발명에 따른 디지털 영상 처리 장치의 동작 방법은 도 1에 도시된 바와 같은 디지털 영상 처리 장치의 내부에서 수행될 수 있는데, 실시 예에 따라 동작 방법의 주 알고리즘은 기기 내의 주변 구성 요소들의 도움을 받아 디지털 신호 처리부(180) 내부에서 수행될 수 있다.
상기에 개시된 바와 같이 라이브뷰 영상은 야간에는 1초에 15 프레임이 생성되고, 연속적인 5 개의 프레임(1st-5th)을 한 주기로 설정하고, 이 한 주기를 다시 스트림(stream)으로 설정하여 설명하도록 한다.
디지털 신호 처리부(180)는 스트림1에 대해 윈도우를 설정하고, 히스토그램 합을 구하고, 확률을 연산한다(810단계).
디지털 신호 처리부(180)는 스트림2에 대해 윈도우를 설정하고, 히스토그램 합을 구하고, 확률을 연산한다(820단계).
디지털 신호 처리부(180)는 스트림3에 대해 윈도우를 설정하고, 히스토그램 합을 구하고, 확률을 연산한다(830단계).
본 발명에서 스트림1 내지 스트림 3에 대한 내용을 도시하였으나, 이는 설명의 편의를 위한 것이며, 스트림 4, 스트림 5 등 확장이 가능하다. 스트림2 및 스트림3의 동작은 스트림1의 동작과 동일하므로 스트림1의 동작만을 설명하도록 한다.
디지털 신호 처리부(180)는 첫 번째 프레임 영상의 휘도 데이터로 전체 밝기를 파악하고, 기준 밝기(예를 들어 전체 밝기의 90%)를 설정한다. 기준 밝기가 설정되면, 첫 번째 프레임부터 다섯 번째 프레임까지, 기준밝기 이상에 해당하는 픽셀들에 윈도우를 설정한다(811단계).
윈도우 설정이 완료되면, 디지털 신호 처리부(180)는 첫 번째 프레임의 윈도우 위치에 해당하는 첫 번째 내지 다섯 번째 프레임들에 대해 상기 기준값 이상인 블록내 픽셀값(휘도값)에 대한 히스토그램의 합을 산출한다(812단계).
불꽃은 진행성이 있기 때문에 매 프레임의 휘도 데이터에서 계산한 히스토그램 합을 직접 활용할 수는 없게 된다. 가령 첫 번째 프레임에서 한 개의 불꽃이 터지고 세 번째 프레임 이후부터는 다섯 개의 불꽃이 터졌을 경우, 밝기에 대한 기준값을 맞추어 주지 않는 한 직접적인 비교가 힘들게 된다. 따라서 이를 위해 매 프레임 마다 최대값과 최소값의 차이에 해당하는 크기로 평활화를 수행한다.
이어서, 디지털 신호 처리부(180)는 첫 번째 프레임의 히스토그램 합의 분포 정도에 따라 변화량 판단 기준을 설정하고, 그리고 나서 각 프레임 사이의 히스토 그램 변화량을 산출한 후 산출된 변화량이 기준 변화량 이상인 수치가 전체 윈도우에서 차지하는 수치를 확률(probability, P1)로 산출한다(813단계). 스트림2에 대한 확률(P2), 스트림3에 대한 확률(P3)이 상기와 같은 방법으로 산출된다.
확률 산출이 완료되면, 디지털 신호 처리부(180)는 산출한 확률값의 분포가 불꽃놀이를 통해 획득할 수 있는 패턴과 동일한 형태인지 판단한다(840단계). 불꽃이 터지면 사그라지는 특성을 이용하여 디지털 신호 처리부(180)는 불꽃으로 정의할 수 있는 기준 패턴을 이용한다. 디지털 신호 처리부(180)는 산출된 획득한 확률값(P1, P2, P3)으로 현재의 패턴을 생성하고, 생성된 현재 패턴과 기준 패턴을 비교하여, 동일한 패턴이면서 확률값이 기준패턴의 상한치를 초과하거나 하한치 미만인 패턴에 대해 불꽃으로 인식한다.
이후 디지털 신호 처리부(180)는 패턴 인식 결과를 이용하여 삼각대 인식 유/무에 따라 불꽃놀이 영상의 화질 처리를 수행한다(850단계).
삼각대 인식이 안되었을 경우, 디지털 신호 처리부(180))는 손떨림으로 인한 블러 현상을 줄이기 위해 불꽃모드 인식을 통한 셔터 스피드를 적용하지 못하고 상기에 개시된 바와 같이 일반적인 화질 처리를 수행한다. 그러나, 삼각대가 인식되었을 경우, 아름다운 불꽃놀이 영상을 촬영하기 위해 ISO를 최대한 낮추어 노이즈를 최소화 한다. 또한 불꽃 인식을 통해 획득한 윈도우 개수와 히스토그램 기준값을 이용하여 화질 처리를 다르게 수행한다. 불꽃 인식을 통한 화질 처리는 상기에 상세하게 개시되어 있으므로 생략한다.
본 발명의 실시 예에 포함되는 구성요소들은 하드웨어 또는 소프트웨어적으 로 구현되거나, 또는 이들의 결합으로 구현될 수 있다. 예를 들면, 상기 구성요소들은 각 구성요소의 동작을 수행하도록 프로그램되어 프로그램 저장부(130)에 저장된 컴퓨터 코드들을 디지털 신호 처리부(180)에서 실행함으로써 구현될 수 있다.
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 디지털 신호 처리부(180)에 의하여 독출되어 실행될 때, 본 발명에 따른 디지털 촬영 장치 제어 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독 가능 저장 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 본 발명에 따른 불꽃놀이를 인식하는 디지털 영상 처리 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 디지털 신호 처리부의 상세 블록도 이다.
도 3은 도 2 중 적응적 윈도우 설정을 설명하기 위한 도면이다.
도 4는 도 2 중 히스토그램 연산을 설명하기 위한 도면이다.
도 5는 도 2 중 패턴 인식을 설명하기 위한 도면이다.
도 6은 불꽃놀이 모드 인식에 따른 화질 처리를 설명하기 위한 도면이다.
도 7은 불꽃놀이 모드 인식 결과에 따라 표시 가능한 사용자 인터페이스를 보이는 도면이다.
도 8은 본 발명에 따른 불꽃놀이를 인식하는 디지털 영상 처리 장치의 동작 방법을 보이는 흐름도 이다.
도 9는 종래 기술에 따른 불꽃놀이 인식결과에 따라 촬영된 영상의 일 실시 예를 보이는 도면이다.

Claims (19)

  1. 연속적으로 입력되는 적어도 둘 이상의 프레임을 포함하는 라이브뷰 영상에 대한 불꽃의 밝기 및 크기 변화량으로 장면인식을 통하여 사용자의 조작없이 불꽃놀이를 인식하고 화질 처리를 수행하는 디지털 신호 처리수단을 포함하고,
    상기 디지털 신호 처리수단은,
    상기 라이브뷰 영상의 히스토그램을 연산하는 히스토그램 연산부;
    상기 연산된 히스토그램의 변화량으로 상기 라이브뷰 영상이 불꽃놀이가 될 확률을 연산하는 확률 연산부;
    상기 연산된 확률값의 분포가 불꽃놀이를 통해 획득할 수 있는 패턴과 동일한 형태인지 판단하는 패턴 인식부; 및
    상기 패턴 인식 결과로부터 불꽃놀이를 모드를 판단하고, 상기 불꽃놀이 영상의 화질 처리를 수행하는 제어부를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  2. 제 1항에 있어서, 상기 디지털 신호 처리 수단은
    상기 불꽃놀이 인식 결과로부터 상기 불꽃의 밝기 및 크기에 따라 다르게 표현되는 사용자 인터페이스를 디스플레이 하는 것을 특징으로 하는 디지털 영상 처리 장치.
  3. 제 1항에 있어서, 상기 디지털 신호 처리수단은
    기준 밝기 이상에 해당하는 상기 라이브뷰 영상의 소정 부분에 윈도우를 설정하고 위치정보 및 밝기 정보를 생성하는 윈도우 설정부를 더 포함하고,
    상기 제어부는,
    삼각대 인식 유/무에 따라 상기 불꽃놀이 영상의 화질 처리를 수행하는 것을 특징으로 하는 디지털 영상 처리 장치.
  4. 제 3항에 있어서,
    상기 설정된 윈도우의 밝기 정보 및 위치 정보, 상기 히스토그램의 연산된 값 및 상기 불꽃놀이의 판단 기준이 되는 기준 패턴을 저장하는 메모리를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  5. 제 4항에 있어서, 상기 윈도우 설정부는
    첫 번째 프레임의 휘도 데이터로부터 전체 밝기를 산출하고, 산출된 전체 밝기의 일정 분포에 해당하는 기준 밝기를 설정하는 산출부; 및
    상기 첫 번째 프레임의 다음 프레임들에 대하여 상기 기준 밝기 이상에 해당하는 픽셀들을 블록화 하여 윈도우를 설정하는 설정부를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  6. 제 5항에 있어서, 상기 히스토그램 연산부는
    상기 첫 번째 프레임의 윈도우 위치에 해당하는 전체 프레임들에 대해 기준값 이상인 블록내 픽셀에 대한 히스토그램의 합을 산출하는 산출부; 및
    상기 산출된 히스토그램의 최대값과 최소값의 차이값에 해당하는 크기로 상 기 각 프레임을 평활화하는 평활화부를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  7. 제 6항에 있어서, 상기 확률 연산부는
    첫 번째 프레임의 히스토그램 합으로부터 변화량 판단 기준을 설정하는 설정부;
    각 프레임 간의 히스토그램 합에 대한 변화량을 산출하는 제1 산출부; 및
    상기 산출된 변화량이 기준 변화량 이상인 수치가 전체 윈도우에서 차지하는 수치를 확률로 산출하는 제2 산출부 평활화부를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  8. 제 7항에 있어서, 상기 패턴 인식부는
    상기 불꽃놀이의 판단 기준이 되는 기준 패턴을 제공하는 제공부;
    상기 산출된 확률로 패턴을 생성하는 생성부; 및
    상기 기준 패턴과 상기 생성된 패턴을 비교하는 비교부를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  9. 제 8항에 있어서, 상기 제어부는
    상기 기준 패턴과 상기 생성된 패턴이 유사하여 불꽃놀이 모드로 판단된 상기 영상에 대하여, 상기 삼각대가 인식되지 않는 경우 기 설정된 셔터 스피드 및 ISO 등으로 화질 처리를 수행하는 것을 특징으로 하는 디지털 영상 처리 장치.
  10. 제 9항에 있어서, 상기 제어부는
    상기 삼각대가 인식된 경우, 상기 윈도우 개수로 불꽃의 밝기를 판단하고, 상기 히스토그램으로 불꽃의 크기를 판단하여 상기 셔터 스피드 및 ISO 등을 조정하여 화질 처리를 수행하는 것을 특징으로 하는 디지털 영상 처리 장치.
  11. 연속적으로 입력되는 적어도 둘 이상의 프레임을 포함하는 라이브뷰 영상에 대한 불꽃의 밝기 및 크기 변화량으로 장면인식을 통하여 사용자의 조작없이 불꽃놀이를 인식하는 단계; 및
    상기 인식된 불꽃놀이 영상에 대한 화질 처리를 수행하는 단계를 포함하고,
    상기 인식 단계는,
    상기 라이브뷰 영상의 히스토그램을 연산하는 단계;
    상기 연산된 히스토그램의 변화량으로 상기 라이브뷰 영상이 불꽃놀이가 될 확률을 연산하는 단계; 및
    상기 연산된 확률값의 분포가 불꽃놀이를 통해 획득할 수 있는 패턴과 동일한 형태인지 판단하는 단계를 포함하는 디지털 영상 처리 장치의 동작 방법.
  12. 제 11항에 있어서, 상기 불꽃놀이 인식 단계는
    (a) 기준 밝기 이상에 해당하는 상기 라이브뷰 영상의 소정 부분에 윈도우를 설정하고 위치정보 및 밝기 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 장치의 동작 방법.
  13. 제 12항에 있어서, 상기 화질 처리 수행 단계는
    (e) 삼각대 인식 유/무를 판단하는 단계;
    (f) 상기 삼각대가 인식되지 않는 경우 기 설정된 셔터 스피드 및 ISO 등으로 화질 처리를 수행하는 단계; 및
    (g) 상기 삼각대가 인식된 경우, 상기 윈도우 개수로 불꽃의 밝기를 판단하고, 상기 히스토그램으로 불꽃의 크기를 판단하여 상기 셔터 스피드 및 ISO 등을 조정하여 화질 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치의 동작 방법.
  14. 제 12항에 있어서, 상기 (a)단계는
    (a-1) 첫 번째 프레임의 휘도 데이터로부터 전체 밝기를 산출하고, 산출된 전체 밝기의 일정 분포에 해당하는 기준 밝기를 설정하는 단계; 및
    (a-2) 상기 첫 번째 프레임의 다음 프레임들에 대하여 상기 기준 밝기 이상에 해당하는 픽셀들을 블록화 하여 윈도우를 설정하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치의 동작 방법.
  15. 제 14항에 있어서, 상기 히스토그램을 연산하는 단계는
    (b-1) 상기 첫 번째 프레임의 윈도우 위치에 해당하는 전체 프레임들에 대해 기준값 이상인 블록내 픽셀에 대한 히스토그램의 합을 산출하는 단계; 및
    (b-2) 상기 산출된 히스토그램의 최대값과 최소값의 차이값에 해당하는 크기로 상기 각 프레임을 평활화하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치의 동작 방법.
  16. 제 15항에 있어서, 상기 확률을 연산하는 단계는
    (c-1) 첫 번째 프레임의 히스토그램 합으로부터 변화량 판단 기준을 설정하는 단계;
    (c-2) 각 프레임 간의 히스토그램 합에 대한 변화량을 산출하는 단계; 및
    (c-3) 상기 산출된 변화량이 기준 변화량 이상인 수치가 전체 윈도우에서 차지하는 수치를 확률로 산출하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치의 동작 방법.
  17. 제 16항에 있어서, 상기 판단 단계는,
    (d-1) 상기 불꽃놀이의 판단 기준이 되는 기준 패턴을 제공하는 단계;
    (b-2) 상기 산출된 확률로 패턴을 생성하는 단계; 및
    (b-3) 상기 기준 패턴과 상기 생성된 패턴을 비교하여 불꽃놀이 모드를 판단하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치의 동작 방법.
  18. 제11항 내지 제17항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체.
  19. 삭제
KR1020090097441A 2009-10-13 2009-10-13 불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체 KR101626005B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090097441A KR101626005B1 (ko) 2009-10-13 2009-10-13 불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체
US12/902,231 US8781226B2 (en) 2009-10-13 2010-10-12 Digital image processing apparatus for recognizing fireworks, method of operating the same, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090097441A KR101626005B1 (ko) 2009-10-13 2009-10-13 불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체

Publications (2)

Publication Number Publication Date
KR20110040249A KR20110040249A (ko) 2011-04-20
KR101626005B1 true KR101626005B1 (ko) 2016-06-13

Family

ID=43854884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090097441A KR101626005B1 (ko) 2009-10-13 2009-10-13 불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체

Country Status (2)

Country Link
US (1) US8781226B2 (ko)
KR (1) KR101626005B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD886860S1 (en) * 2018-05-21 2020-06-09 Spherica Systems Limited Display screen with computer graphical user interface
USD886859S1 (en) * 2018-05-21 2020-06-09 Spherica Systems Limited Display screen with computer graphical user interface
USD956789S1 (en) * 2018-08-07 2022-07-05 Aristocrat Technologies Australia Pty Limited Display screen or portion thereof with transitional graphical user interface
USD876477S1 (en) 2018-09-11 2020-02-25 Aristocrat Technologies Australia Pty Limited Display screen or portion thereof with transitional graphical user interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060158536A1 (en) * 2005-01-19 2006-07-20 Satoshi Nakayama Image sensing apparatus and method of controlling the image sensing apparatus
JP2007019635A (ja) 2005-07-05 2007-01-25 Canon Inc 撮像装置、その制御方法、プログラム、及び記憶媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792203B1 (en) * 1999-09-01 2004-09-14 Olympus Optical Co., Ltd. Camera and distance measuring apparatus used in the same
US7872670B2 (en) * 2002-04-22 2011-01-18 Sanyo Electric Co., Ltd. Camera performing photographing in accordance with photographing mode depending on object scene
JP4104904B2 (ja) * 2002-05-29 2008-06-18 富士フイルム株式会社 画像処理方法および装置並びにプログラム
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
US8169484B2 (en) * 2005-07-05 2012-05-01 Shai Silberstein Photography-specific digital camera apparatus and methods useful in conjunction therewith
JP2007049320A (ja) * 2005-08-09 2007-02-22 Sanyo Electric Co Ltd 電子カメラ
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
JP4961282B2 (ja) * 2007-07-03 2012-06-27 キヤノン株式会社 表示制御装置及びその制御方法
JP5148989B2 (ja) * 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060158536A1 (en) * 2005-01-19 2006-07-20 Satoshi Nakayama Image sensing apparatus and method of controlling the image sensing apparatus
JP2007019635A (ja) 2005-07-05 2007-01-25 Canon Inc 撮像装置、その制御方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
US8781226B2 (en) 2014-07-15
KR20110040249A (ko) 2011-04-20
US20110085731A1 (en) 2011-04-14

Similar Documents

Publication Publication Date Title
CN108200354B (zh) 控制方法及装置、成像设备、计算机设备及可读存储介质
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
US7973848B2 (en) Method and apparatus for providing composition information in digital image processing device
JP5624809B2 (ja) 画像信号処理装置
CN108712608B (zh) 终端设备拍摄方法和装置
US8334914B2 (en) Gradation correcting apparatus, and recording medium storing a program recorded therein
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
JP5321163B2 (ja) 撮像装置及び撮像方法
US20090160963A1 (en) Apparatus and method for blurring image background in digital image processing device
CN107509044B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US9025050B2 (en) Digital photographing apparatus and control method thereof
EP3820141A1 (en) Imaging control method and apparatus, electronic device, and readable storage medium
US20130335619A1 (en) Imaging device and imaging method
JP4999871B2 (ja) 撮像装置およびその制御方法
JP2018056702A (ja) 画像処理装置と画像処理方法およびプログラム
KR101626005B1 (ko) 불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체
EP4199528A1 (en) Image processing apparatus, image capture apparatus, and image processing method
JP2010011153A (ja) 撮像装置、撮像方法及びプログラム
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2012095223A (ja) 撮像装置、撮像方法及びプログラム
JP5335964B2 (ja) 撮像装置およびその制御方法
KR101408339B1 (ko) 디지털 영상 처리 장치 및 그 제어 방법
KR101571331B1 (ko) 휘도 표시 방법 및 장치, 및 이를 이용한 디지털 촬영 장치
JP2008005083A (ja) 撮像装置
JP2006270752A (ja) 電子ファインダー及びそれを用いた電子カメラ

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant