KR20110087595A - 디지털 영상 처리 장치 및 그 제어 방법 - Google Patents

디지털 영상 처리 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20110087595A
KR20110087595A KR1020100007085A KR20100007085A KR20110087595A KR 20110087595 A KR20110087595 A KR 20110087595A KR 1020100007085 A KR1020100007085 A KR 1020100007085A KR 20100007085 A KR20100007085 A KR 20100007085A KR 20110087595 A KR20110087595 A KR 20110087595A
Authority
KR
South Korea
Prior art keywords
image
tracking
roi
information
unit
Prior art date
Application number
KR1020100007085A
Other languages
English (en)
Inventor
김은영
이장원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100007085A priority Critical patent/KR20110087595A/ko
Publication of KR20110087595A publication Critical patent/KR20110087595A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 촬영 대상자를 중심으로 한 영상 촬영을 할 수 있도록 하는 디지털 영상 처리 장치 및 그 제어 방법에 관한 것이다. 디지털 영상 처리장치는 영상으로부터 선택된 추적 대상에 대한 관심영역이 설정되면, 상기 관심영역으로부터 추적용 정보를 추출하고, 상기 추출된 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 디지털 신호 처리수단을 포함한다. 상술한 바와 같이 본 발명에 따르면, 특정 촬영 대상자를 중심으로 한 동영상 촬영 또는 연속 촬영을 진행하고자 하는 경우, 촬영 전반부에 촬영 대상자를 간단히 선정하는 행위만으로 촬영 중 초점의 흐트러짐이나 촬영 대상이 촬영 범위를 벗어나는 것에 대한 걱정 없이 촬영을 진행하는 것이 가능하다.

Description

디지털 영상 처리 장치 및 그 제어 방법{Apparatus for processing digital image and thereof method}
본 발명은 촬영 대상자를 중심으로 한 영상 촬영을 할 수 있도록 하는 디지털 영상 처리 장치 및 그 제어 방법에 관한 것이다.
얼굴 검출 기술을 이용하여 촬영 대상을 설정하고, 대상을 추적하는 기술이 많이 개발되어 왔다. 영상으로부터 얼굴이 검출되면, 이 정보를 바탕으로 대상을 추적하고 초점을 맞추는 작업을 진행하게 되는데, 이 경우 촬영 대상 추적에 실패한 경우, 즉 얼굴 검출이 실패한 경우에 대한 대응 방법이 없다.
본 발명이 해결하고자 하는 기술적인 과제는 촬영 전반부에 촬영 대상자를 선정하는 것 이외의 별도의 조작 없이 손쉽게 촬영 대상자를 중심으로 한 영상 촬영이 가능하도록 하는 디지털 영상 처리 장치 및 그 제어 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 디지털 영상 처리장치는 영상으로부터 선택된 추적 대상에 대한 관심영역이 설정되면, 상기 관심영역으로부터 추적용 정보를 추출하고, 상기 추출된 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 디지털 신호 처리수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 영상은 동영상 이거나 연속 촬영될 영상일 수 있다.
본 발명에 있어서, 상기 디지털 신호 처리수단은 상기 영상으로부터 적어도 하나 이상의 얼굴을 검출하는 검출부; 상기 검출된 얼굴로부터 선택된 추적 대상에 대하여 관심영역을 설정하는 설정부; 상기 관심영역으로부터 추적용 정보를 추출하는 추출부; 및 상기 추출된 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 추적부를 포함할 수 있다.
본 발명에 있어서, 상기 추출부는 상기 관심영역으로부터 소정의 특징점을 추출하는 특징점 추출부; 및 상기 관심영역으로부터 색상정보를 추출하는 색상정보 추출부를 포함할 수 있다.
본 발명에 있어서, 상기 추적부는 상기 추출된 특징점을 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 특징점 추적부; 및 상기 추출된 색상 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 색상정보 추적부를 포함할 수 있다.
본 발명에 있어서, 상기 디지털 신호 처리수단은 상기 특징점 기반 추적에 우선 순위를 설정하고, 상기 추출된 특징점의 개수가 일정 개수 이하이면, 상기 색상정보 추출 및 이를 기반으로 한 추적을 수행할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 디지털 영상 처리장치의 제어 방법은 (a) 영상으로부터 선택된 추적 대상에 대한 관심영역을 설정하는 단계; (b) 상기 관심영역으로부터 추적용 정보를 추출하는 단계; 및 (c) 상기 추출된 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 영상은 동영상 이거나 연속 촬영될 영상일 수 있다.
본 발명에 있어서, 상기 (b)단계에서 상기 추적용 정보는 상기 관심영역의 특징점 이거나, 관심영역의 색상정보일 수 있다.
본 발명에 있어서, 상기 (c)단계에서 상기 추출된 특징점을 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하거나, 상기 추출된 색상 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적할 수 있다.
본 발명에 있어서, 상기 특징점 기반 추적에 우선 순위를 설정하고, 상기 추출된 특징점의 개수가 일정 개수 이하이면, 상기 색상정보 추출 및 이를 기반으로 한 추적을 수행할 수 있다.
상술한 바와 같이 본 발명에 따르면, 특정 촬영 대상자를 중심으로 한 동영상 촬영 또는 연속 촬영을 진행하고자 하는 경우, 촬영 전반부에 촬영 대상자를 간단히 선정하는 행위만으로 촬영 중 초점의 흐트러짐이나 촬영 대상이 촬영 범위를 벗어나는 것에 대한 걱정 없이 촬영을 진행하는 것이 가능하다.
단순히 촬영하고자 하는 인물을 설정하는 행위만으로 별도의 조작 없이도 원하는 인물을 중심으로 촬영할 수 있어 사용자에게 편리함을 준다.
도 1은 본 발명에 따른 디지털 영상 처리 장치의 예시적인 구조를 도시한 도면이다.
도 2는 도 1 중 디지털 신호 처리부의 상세 블록도 이다.
도 3은 도 2에서 디지털 신호 처리부가 영상으로부터 얼굴 검출, 관심영역 검출, 특징점 추출 및 색상 정보 추출을 보이는 예시적인 도면이다.
도 4는 도 2에서 디지털 신호 처리부가 관심영역을 추적하는 예시적인 도면이다.
도 5는 본 발명에 따른 디지털 영상 처리 장치 제어 방법의 동작을 보이는 흐름도 이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명한다.
본 발명을 구현할 수 있는 디지털 영상 처리 장치(100)는 광학부(110), 광학 구동부(111), 촬상소자(115), 촬상소자 제어부(116), 조작부(120), 프로그램 저장부(130), 버퍼 저장부(140), 데이터 저장부(150), 디스플레이부(160), 및 디지털 신호 처리부(DSP, 170)를 포함할 수 있다.
광학부(110)는 피사체로부터의 입력된 광학 신호를 촬상 소자(115)로 제공한다. 광학부(110)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등 적어도 하나의 렌즈를 포함할 수 있다. 또한, 상기 광학부(110)는 광량을 조절하는 조리개를 더 포함할 수 있다.
광학 구동부(111)는 렌즈의 위치, 조리개의 개폐 등을 조절한다. 렌즈의 위치를 이동시켜 초점을 맞출 수 있다. 또한, 조리개의 개폐를 조절하여 광량을 조절할 수 있다. 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 광학 구동부(111)가 광학부(110)를 제어할 수 있다.
상기 광학부(110)를 투과한 광학 신호는 촬상 소자(115)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(115)는 광학 신호를 전기 신호로 변환하는 CCD(charge coupled device) 또는 CIS(complementary metal oxide semiconductor image sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(115)는 촬상소자 제어부(116)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(116)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(115)를 제어할 수 있다.
조작부(120)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(120)는 정해진 시간 동안 촬상 소자(115)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원을 공급하기 위해 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들이 있다. 조작부(120)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
또한, 상기 디지털 영상 처리 장치(100)는 상기 디지털 카메라를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(130), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(140), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(150)를 포함한다.
아울러, 상기 디지털 영상 처리 장치(100)는 이의 동작 상태 또는 상기 디지털 영상 처리 장치(100)에서 촬영한 이미지 정보를 표시하도록 디스플레이부(160)를 포함한다. 상기 디스플레이부(160)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 상기 디스플레이부(160)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 등으로 이루어질 수 있다.
그리고 상기 디지털 영상 처리 장치(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(170)를 포함한다. 디지털 신호 처리부(170)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 압축한 상기 데이터 저장부(150)에 저장될 수 있다. 또한, 디지털 신호 처리부(170)에서는 기능적으로 불선명 처리, 색체 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, 디지털 신호 처리부(170)에서는 제1 표시부(164) 및 제2 표시부(168)에 디스플레이 하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 디지털 신호 처리부(170)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
더 나아가 디지털 신호 처리부(170)는 영상으로부터 선택된 추적 대상에 대한 관심영역이 설정되면, 관심영역으로부터 추적용 정보를 추출하고, 추출된 정보를 기반으로 하여 영상 내에서 관심영역을 추적할 수 있다. 이를 위해 디지털 신호 처리부(170)는 얼굴 검출부(171), 관심영역 설정부(172), 특징점 추출부(173-1) 및 색상정보 추출부(173-2)를 포함하는 관심영역 정보 추출부(173), 특징점 추적부(174-1) 및 색상정보 추적부(174-2)를 포함하는 관심영역 추적부(174) 및 제어부(175) 등과 같은 구성요소들을 구비할 수도 있다. 얼굴 검출부(171), 관심영역 설정부(172), 관심영역 정보 추출부(173), 관심영역 추적부(174) 및 제어부(175) 등은 디지털 신호 처리부(170) 내의 구성요소가 아닌 별도의 구성요소일 수도 있는 등 다양한 변형이 가능하며, 이들의 작동에 대해서는 후술한다.
이하에서는 도 2 내지 도 4를 참조하여 디지털 신호 처리부(170)의 기능을 설명한다.
디지털 신호 처리부(170)는 동영상 또는 연속영상 촬영 시에, 촬영 전반부에 영상으로부터 선택된 추적 대상에 대한 관심영역이 설정되면, 관심영역으로부터 추적용 정보를 추출하고, 추출된 정보를 기반으로 하여 영상 내에서 관심영역을 추적할 수 있다. 이를 위해 디지털 신호 처리부(170)는 얼굴 검출부(171), 관심영역 설정부(172), 관심영역 정보 추출부(173), 관심영역 추적부(174) 및 제어부(175)를 포함한다.
얼굴 검출부(171)는 제어부(175)의 제어 하에 영상으로부터 적어도 하나 이상의 얼굴을 검출한다. 얼굴 검출부(171)는 특징 기반 얼굴 검출 방법으로 얼굴의 불변하는 특징(눈, 코, 입과 같은 얼굴 요소, 질감, 살색)들을 찾고, 얼굴의 특징점 좌표를 산출한다. 얼굴의 여러 가지 특징들 중에서 특히 살색은 얼굴의 이동, 회전, 크기 변화 등에 덜 민감한 특성을 가지므로 가장 많이 사용되고 있는 방법이다. 그 이외에 얼굴 검출부(171)는 얼굴 형판(template) 기반 검출 방법은 얼굴에 대한 몇 가지의 표준 패턴을 만든 뒤에 패턴을 얼굴 검출을 위해 저장한다. 그런 뒤에 패턴들은 영상의 탐색 윈도우 안에서 영상과 하나씩 비교되어 얼굴이 검출된다. 얼굴 검출의 방법으로 최근에 많이 사용되는 SVM(support vector machine)에 기반을 둔 얼굴 검출방법이 있다. SVM 기반 방법들은 영상으로부터 각기 다른 영역들을 서브 샘플링(sub-sampling)하여 학습기를 통해 얼굴과 비 얼굴(얼굴이 아닌 부분)에 대해 학습시킨 뒤 입력 영상에서 얼굴을 찾도록 하는 방법이다. 이러한 얼굴 검출부(171)의 얼굴 검출에 관한 내용은 이미 공지된 내용이 많으므로 상세한 설명은 생략한다. 얼굴이 검출되면, 사용자는 촬영 대상을 설정하기 위해 임의의 얼굴을 선택하며, 이는 제어부(175)가 수신하여 저장한다.
이어서, 관심영역 설정부(172)는 제어부(175)의 제어 하에 선택된 추적 대상의 얼굴 검출 영역을 바탕으로 관심영역을 설정한다. 예를 들어, 관심영역 설정부(172)는 선택된 얼굴 아래 부분의 영역(촬영 대상자의 몸 영역)을 관심영역으로 설정할 수 있다. 그 이유는 인물 촬영의 경우 얼굴을 제외하면 대상 인물이 입고 있는 옷이 추적을 하기 위한 정보(특징점 또는 색상정보)를 가장 풍부하게 포함하고 있기 때문이다. 도 3에는 사용자에 의해 선택된 얼굴 검출 영역(300) 및 검출된 얼굴에 따른 몸 부분이 관심영역(310)으로 설정된 예가 도시되어 있다.
또한 설정된 관심영역은 대상 인물과 디지털 영상 처리 장치(100)의 거리에 따라 적절하게 변경된다. 즉, 인물과 디지털 영상 처리 장치(100)의 위치가 가까워진다면 인물의 얼굴(300)과 관심영역(310)이 크게 표현되고, 인물과 디지털 영상 처리 장치(100)의 위치가 멀어진다면 인물의 얼굴(300)과 관심영역(310)이 작게 표현된다. 이를 위해 관심영역(310)은 얼굴(300)의 위치정보를 바탕으로 계산하도록 한다. 얼굴 검출 시의 나타나는 녹색 박스 자체가 일종의 관심영역이고, 얼굴의 특징점 추출을 이용해서 구해지는 이 영역은 대상과 디지털 영상 처리 장치(100)의 거리에 따라서 적절하게 변하기 때문에 몸 부분의 영역 또한 얼굴 부분의 관심영역을 바탕으로 거리가 변화할 때 비례하는 크기로 같이 변화시켜 대상 인물과의 거리 변화에 대처할 수 있도록 한다.
관심영역 정보 추출부(173)는 제어부(175)의 제어 하에 설정된 관심영역(310)으로부터 추적을 위한 정보(예를 들어 특징점 또는 색상정보)를 추출한다. 이를 위해 관심영역 정보 추출부(173)는 특징점 추출부(173-1) 및 색상정보 추출부(173-2)를 포함한다.
특징점 추출부(173-1)는 관심영역(310)으로부터 추적을 위한 특징점을 추출한다. 영상처리 분야에서 특징점을 추출하기 위한 알고리즘은 다양하게 개발되어 왔는데, 본 발명에서는 일 예로 실시간 추적이 가능한 Lucas-Kanade 추적 알고리즘을 사용하도록 한다. 이 알고리즘에서는 원 영상에 가우시안 필터를 적용하여 불필요한 점을 제거하고 특징점을 추출하게 되는데, 예를 들어 가우시안 필터를 K번 적용한 K개의 영상이 있다면, K, K-1, K-2, ,,, 0번 적용한 영상 순으로 특징점을 찾아 원하는 개수의 특징점을 찾으면 추적 알고리즘을 중단한다. 대상 인물을 추적할 만큼 특징점이 충분히 검출되었다면 이를 이용하여 인물을 추적하도록 한다. 도 3에는 특징점 추출 알고리즘에 의해 추출된 복수의 특징점(320)이 도시되어 있다.
색상정보 추출부(173-2)는 관심영역(310)으로부터 추적을 위한 색상 정보를 추출한다. 추적 대상 인물이 현재 입고 있는 의상에 따라서 특징점이 거의 추출되지 않는 경우가 있다. 이러한 경우 색상정보 추출부(173-2)가 동작하여 설정된 관심영역(310)으로부터 색상정보를 검출한 후, 이 색상정보를 바탕으로 인물의 추적을 진행하도록 한다. 그러나 배경의 색상과 대상 인물이 입고 있는 의상의 색상이 비슷하거나, 같은 색상의 옷을 입은 인물이 촬영 범위에 두 명 이상 들어오는 경우에는, 색상정보를 이용한 추적이 불가능하기 때문에, 본 발명에서는 이를 진행하기 전에 색상정보를 이용한 추적이 가능하다고 판단되는 경우에 이 방법을 사용하도록 한다. 도 3에는 색상정보 추출부(173-2)가 추출한 색상정보(330)이 도시되어 있다.
관심영역 추적부(174)는 제어부(175)의 제어 하에 추출된 정보(특징점(320) 또는 색상정보(330))에 따라 관심영역을 추적한다. 이를 위해 관심영역 추적부(174)는 특징점 추적부(174-1) 및 색상정보 추적부(174-2)를 포함한다.
특징점 추적부(174-1)는 특징점 추출부(173-1)에 추출한 특징점(320)을 기반으로 하여 영상 내에서 특징점(320)을 추적한다.
색상정보 추적부(174-2)는 색상정보 추출부(173-2)에 추출한 색상정보(330)를 기반으로 하여 영상 내에서 색상정보(330)를 추적한다.
추적을 기반으로 하여 제어부(175)는 대상 인물에게 포커싱이 되면서 영상 촬영을 진행한다.
도 4에는 인물 추적의 일 실시 예를 보이는 도면으로, 학예회에서 동영상 촬영 시 사용자의 자녀를 중심으로 동영상을 촬영하고자 하는 경우, 자녀를 촬영 대상으로 선택하고 다음과 같은 촬영을 진행하게 된다. 그러나 얼굴 정보만을 활용하여 자녀를 추적하는 경우, 자녀의 움직임에 따라 얼굴을 놓치는 경우가 발생할 수 있다. 이러한 경우, 도 4a 및 도 4b에 도시된 바와 같이, 검출된 얼굴로부터 자녀의 얼굴을 선택하고, 선택된 자녀의 얼굴로부터 관심영역(옷)을 설정한다. 이어서, 자녀의 옷(관심영역)에서 색상정보(예를 들어 파란색)을 찾아 낸 후, 색상정보를 추적함으로써 자녀를 중심으로 한 동영상 촬영을 수행할 수 있게 된다.
이하, 도 5를 참조하여 본 발명에 따른 디지털 영상 처리 장치의 제어 방법을 상세히 설명한다. 본 발명에 따른 디지털 영상 처리 장치의 제어 방법은 도 1에 도시된 바와 같은 디지털 영상 처리 장치의 내부에서 수행될 수 있는데, 실시 예에 따라 동작 방법의 주 알고리즘은 기기 내의 주변 구성 요소들의 도움을 받아 디지털 신호 처리부(170) 내부에서 수행될 수 있다.
사용자에 의해 인물 추적 모드가 설정되면, 디지털 신호 처리부(170)는 디지털 영상 처리 장치(100)를 인물 추적 모드로 진입시킨다(501단계).
인물 추적 모드로 진입되면, 디지털 신호 처리부(170)는 영상 촬영을 위해 디스플레이부(160)에 라이브뷰 영상을 디스플레이 한다(503단계).
디지털 신호 처리부(170)는 디스플레이된 라이브뷰 영상으로부터 적어도 하나 이상의 얼굴이 검출되었는지 판단하고(505단계), 얼굴이 검출된 경우, 사용자로부터 추적 대상이 선택되었는지 판단한다(507단계).
추적 대상이 선택된 경우, 디지털 신호 처리부(170)는 선택된 추적 대상의 얼굴 검출 영역을 바탕으로 관심 영역을 설정한다(509단계). 디지털 신호 처리부(170)는 선택된 얼굴 아래 부분의 영역(촬영 대상자의 몸 영역)을 관심영역으로 설정할 수 있다.
관심 영역이 설정되면, 디지털 신호 처리부(170)는 관심영역으로부터 추적을 위한 특징점을 추출한다(511단계). 영상처리 분야에서 특징점을 추출하기 위한 알고리즘은 다양하게 개발되어 왔는데, 본 발명에서는 일 예로 실시간 추적이 가능한 Lucas-Kanade 추적 알고리즘을 사용하도록 한다. 이 알고리즘에서는 원 영상에 가우시안 필터를 적용하여 불필요한 점을 제거하고 특징점을 추출하게 되는데, 예를 들어 가우시안 필터를 K번 적용한 K개의 영상이 있다면, K, K-1, K-2, ,,, 0번 적용한 영상 순으로 특징점을 찾아 원하는 개수의 특징점을 찾으면 추적 알고리즘을 중단한다.
디지털 신호 처리부(170)는 추출된 특징점의 개수가 기준 개수 이상인가를 판단한다(513단계).
추출된 특징점의 개수가 기준 개수 이상인 경우, 디지털 신호 처리부(170)는 특징점을 이용하여 영상 내에서 대상을 추적한다(515단계).
그러나, 추출된 특징점의 개수가 기준 개수 이하인 경우, 디지털 신호 처리부(170)는 관심영역으로부터 색상정보를 추출한다(517단계). 추적 대상 인물이 현재 입고 있는 의상에 따라서 특징점이 거의 추출되지 않는 경우가 있다. 이러한 경우 디지털 신호 처리부(170)는 관심영역으로부터 색상정보를 검출하여, 이 색상정보를 바탕으로 인물의 추적을 진행하도록 한다.
이때 디지털 신호 처리부(170)는 색상정보 추적이 가능한가를 판단한다(519단계). 배경의 색상과 대상 인물이 입고 있는 의상의 색상이 비슷하거나, 같은 색상의 옷을 입은 인물이 촬영 범위에 두 명 이상 들어오는 경우에는, 색상정보를 이용한 추적이 불가능하기 때문에, 본 발명에서는 이를 진행하기 전에 색상정보를 이용한 추적이 가능하다고 판단되는 경우에 이 방법을 사용하도록 한다.
판단결과, 색상정보 추적이 가능하나 경우, 디지털 신호 처리부(170)는 추출된 색상 정보를 이용하여 대상을 추적한다(521단계).
디지털 신호 처리부(170)는 추출된 특징점 또는 추출된 색상정보를 이용하여 대상을 추적하면서, 대상 인물에게 포커싱이 되면서 영상을 촬영한다(523단계).
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서 상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨데, ROM(read-only memory), RAM(random-access memory), 프로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨데, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disk)) 등이 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 상기 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에 의해 실행될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조부호를 기재하였으며, 상기 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 상기 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어 질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능을 실행할 수 있는 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세서들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(Assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어 질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허 청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범위 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (11)

  1. 영상으로부터 선택된 추적 대상에 대한 관심영역이 설정되면, 상기 관심영역으로부터 추적용 정보를 추출하고, 상기 추출된 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 디지털 신호 처리수단을 포함하는 디지털 영상 처리 장치.
  2. 제 1항에 있어서, 상기 영상은
    동영상 이거나 연속 촬영될 영상인 것을 특징으로 하는 디지털 영상 처리 장치.
  3. 제 2항에 있어서, 상기 디지털 신호 처리수단은
    상기 영상으로부터 적어도 하나 이상의 얼굴을 검출하는 검출부;
    상기 검출된 얼굴로부터 선택된 추적 대상에 대하여 관심영역을 설정하는 설정부;
    상기 관심영역으로부터 추적용 정보를 추출하는 추출부; 및
    상기 추출된 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 추적부를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  4. 제 3항에 있어서, 상기 추출부는
    상기 관심영역으로부터 소정의 특징점을 추출하는 특징점 추출부; 및
    상기 관심영역으로부터 색상정보를 추출하는 색상정보 추출부를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  5. 제 4항에 있어서, 상기 추적부는
    상기 추출된 특징점을 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 특징점 추적부; 및
    상기 추출된 색상 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 색상정보 추적부를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
  6. 제 5항에 있어서, 상기 디지털 신호 처리수단은
    상기 특징점 기반 추적에 우선 순위를 설정하고, 상기 추출된 특징점의 개수가 일정 개수 이하이면, 상기 색상정보 추출 및 이를 기반으로 한 추적을 수행하는 것을 특징으로 하는 디지털 영상 처리 장치.
  7. (a) 영상으로부터 선택된 추적 대상에 대한 관심영역을 설정하는 단계;
    (b) 상기 관심영역으로부터 추적용 정보를 추출하는 단계; 및
    (c) 상기 추출된 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 단계를 포함하는 디지털 영상 처리 장치의 제어 방법.
  8. 제 7항에 있어서, 상기 영상은
    동영상 이거나 연속 촬영될 영상인 것을 특징으로 하는 디지털 영상 처리 장치의 제어 방법.
  9. 제 8항에 있어서, 상기 (b)단계에서
    상기 추적용 정보는 상기 관심영역의 특징점 이거나, 관심영역의 색상정보인 것을 특징으로 하는 디지털 영상 처리 장치의 제어 방법.
  10. 제 9항에 있어서, 상기 (c)단계에서
    상기 추출된 특징점을 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하거나, 상기 추출된 색상 정보를 기반으로 하여 상기 영상 내에서 상기 관심영역을 추적하는 것을 특징으로 하는 디지털 영상 처리 장치의 제어 방법.
  11. 제 10항에 있어서,
    상기 특징점 기반 추적에 우선 순위를 설정하고, 상기 추출된 특징점의 개수가 일정 개수 이하이면, 상기 색상정보 추출 및 이를 기반으로 한 추적을 수행하는 것을 특징으로 하는 디지털 영상 처리 장치의 제어 방법.
KR1020100007085A 2010-01-26 2010-01-26 디지털 영상 처리 장치 및 그 제어 방법 KR20110087595A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100007085A KR20110087595A (ko) 2010-01-26 2010-01-26 디지털 영상 처리 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100007085A KR20110087595A (ko) 2010-01-26 2010-01-26 디지털 영상 처리 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20110087595A true KR20110087595A (ko) 2011-08-03

Family

ID=44926318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100007085A KR20110087595A (ko) 2010-01-26 2010-01-26 디지털 영상 처리 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20110087595A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234046B1 (ko) * 2011-11-11 2013-02-15 재단법인대구경북과학기술원 객체 내부의 특징점을 이용한 객체 추적 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234046B1 (ko) * 2011-11-11 2013-02-15 재단법인대구경북과학기술원 객체 내부의 특징점을 이용한 객체 추적 방법 및 장치

Similar Documents

Publication Publication Date Title
JP6106921B2 (ja) 撮像装置、撮像方法および撮像プログラム
KR101817657B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP5159515B2 (ja) 画像処理装置およびその制御方法
KR101537948B1 (ko) 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
JP5268433B2 (ja) 撮像装置、及び撮像装置の制御方法
KR101679290B1 (ko) 영상 처리 방법 및 장치
US8582891B2 (en) Method and apparatus for guiding user with suitable composition, and digital photographing apparatus
KR101642402B1 (ko) 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
KR20100048600A (ko) 인물 구도 제안 영상 촬영 장치 및 방법
KR20100055946A (ko) 동영상 썸네일 생성 방법 및 장치
JP2014128002A (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP2013228930A (ja) 被写体領域検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP2010074815A (ja) 画像処理装置、画像処理方法、および、プログラム
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP2021128537A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
EP2690859B1 (en) Digital photographing apparatus and method of controlling same
JP2011193066A (ja) 撮像装置
KR20110087595A (ko) 디지털 영상 처리 장치 및 그 제어 방법
KR20100098122A (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP5247419B2 (ja) 撮像装置および被写体追跡方法
KR20100121944A (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2021105850A (ja) 画像処理装置及び方法、及び撮像装置
JP2020043544A (ja) 撮像装置およびその制御方法、プログラムならびに記憶媒体
KR20180028962A (ko) 영상이동검출장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application