KR20100022918A - 화상 처리장치, 화상 처리방법 및 기억매체 - Google Patents

화상 처리장치, 화상 처리방법 및 기억매체 Download PDF

Info

Publication number
KR20100022918A
KR20100022918A KR1020090071184A KR20090071184A KR20100022918A KR 20100022918 A KR20100022918 A KR 20100022918A KR 1020090071184 A KR1020090071184 A KR 1020090071184A KR 20090071184 A KR20090071184 A KR 20090071184A KR 20100022918 A KR20100022918 A KR 20100022918A
Authority
KR
South Korea
Prior art keywords
tracking target
image
tracking
area
region
Prior art date
Application number
KR1020090071184A
Other languages
English (en)
Other versions
KR101206389B1 (ko
Inventor
야스요시 미야자키
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20100022918A publication Critical patent/KR20100022918A/ko
Application granted granted Critical
Publication of KR101206389B1 publication Critical patent/KR101206389B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

프레임 화상 사이의 상관에 근거하여 트랙킹 처리를 행하는 화상 처리장치에 있어서, 트랙킹 대상이 되는 피사체를 놓쳐 트랙킹 대상을 표시하는 틀이 트랙킹 처리중에 균일한 배경으로 설정되어 버리면, 트랙킹 틀의 표시가 흐릿해지는 일이 있다. 설정된 트랙킹 대상 영역과 가장 상관이 높은 트랙킹 대상 후보 영역을 검출하고, 이 트랙킹 대상 후보 영역에서 얻어진 평가값과, 트랙킹 타켓 후보 영역의 주변 영역에서 얻어진 평가값의 차이를 산출하고, 그 차이가 임계값 미만이면 트랙킹을 정지하는 화상 처리장치를 제공한다.
화상 처리, 트랙킹, 상관, 트랙킹 대상 영역, 트랙킹 대상 후보 영역,

Description

화상 처리장치, 화상 처리방법 및 기억매체{IMAGE PROCESSING APPARATUS. IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}
본 발명은, 화상들 사이의 상관(correlation)을 구함으로써 피사체를 트랙킹(tracking)하는 기술에 관한 것이다.
촬영하고 있는 화상을 실시간으로 모니터에 표시하고, 조작자가 이 모니터에 표시된 동화상 위의 영역을 지정함으로써, 그 영역에 존재하는 피사체의 노출 제어 및 초점맞춤 제어를 행하는 디지털 카메라나 비디오 카메라가 있다.
또한, 모니터에 표시된 동화상 위의 임의의 피사체를 조작자에게 지정하게 함으로써, 트랙킹할 트랙킹 대상으로서 주 피사체를 지정하는 디지털 카메라나 비디오 카메라가 있다. 일본국 특개 2008-011497호 공보에는, 동화상의 프레임 화상들 사이에서 상관 연산을 행하고, 주 피사체로서 초기 지정된 피사체와 유사한 영역을 검출하는 처리를 시계열로 연속해서 행함으로써, 초기 지정한 주 피사체를 계속해서 트랙킹하는 카메라 구성이 개시되어 있다.
그렇지만, 트랙킹 대상인 피사체의 움직임이 크면, 프레임 화상들이 동일한 피사체를 포함하더라도 프레임 화상들 사이의 공통되는 부위가 감소한다. 따라서, 프레임 화상 내부의 피사체를 동일한 피사체로서 인식할 수 없어, 트랙킹에 실패해 버리는 일이 있다.
도 4a, 도 4b 및 도 4c를 참조하여, 예를 설명한다. 도 4a, 도 4b 및 도 4c에 있어서, 굵은선으로 표시된 사각형의 틀이, 조작자에 의해 지정된 피사체, 또는 트랙킹 처리에서 검출된 주 피사체의 영역을 표시하는 트랙킹 틀이다. 이 트랙킹 틀은, 조작자에 의해 지정된 피사체(이 예에서는, 인물의 얼굴)가 이 틀 내에 넣어지도록, 지정된 피사체보다도 약간 크게 설정되어 있다.
예를 들면, 도 4a에서는, 상관 연산에 의해, 주 피사체로서 초기 지정된 인물의 얼굴의 트랙킹에 성공하고 있는 것으로 가정한다. 이 인물이 갑자기 이동하면, 도 4b에 도시된 것과 같이, 이 인물의 상이 크게 흐릿해져 버린다. 도 4a에 도시된 트랙킹 틀은 인물 뒤의 배경도 일부 포함하고 있기 때문에, 도 4b에 도시된 프레임 화상에서는, 이 인물보다도 배경이 가장 상관의 높은 영역으로 판정되어 버린다. 이에 따라, 배경이 새로운 주 피사체의 영역으로서 선택되어 버리는 일이 있다.
이때, 낮은 상관을 영역밖에 검출되지 않았을 경우에는, 주 피사체를 놓쳤다고 판정할 수도 있다. 그렇지만, 주 피사체의 자세 또는 방향이 변화하면, 화상 내부에 주 피사체가 존재하더라도, 이들 영역들 사이에 반드시 높은 상관을 얻을 수 있다고는 할 수 없다. 따라서, 피사체가 어느 정도 움직이거나 그것의 자세를 변화 하여도 트랙킹할 수 있도록 하기 위해서는, 화상 내부에서 낮은 상관을 갖는 영역밖에 존재하지 않더라도, 그중에서 화상 내부에서 가장 상관이 높은 영역을 주 피사체의 영역으로서 선택하는 것이 바람직하다.
그렇지만, 이 경우에는, 도 4b에 도시된 것과 같이, 배경의 일부가 새로운 주 피사체의 영역으로서 선택되는 경우도 생길 수 있다. 이 배경이 콘트라스트가 낮은 균일한 물체이면, 그 주변에는 유사한 영역이 많이 존재한다. 그 때문에, 도 4c에 도시된 것과 같이, 트랙킹 틀이 배경 주위를 이리저리 돌아다녀, 트랙킹 틀이 흐릿하게 보인다.
본 발명은, 트랙킹 처리 중에 트랙킹 대상이 되는 피사체를 놓쳤을 경우에, 트랙킹 대상을 표시하는 틀의 표시가 화상들 사이의 상관을 사용하여 흐릿해지는 것을 방지할 수 있는 화상 처리장치와 화상 처리방법을 제공하는데 목적이 있다.
본 발명의 일면에 따르면, 제1화상에서 설정된 트랙킹 대상 영역에 존재하는 피사체를 제2화상에서 검출함으로써, 동화상을 구성하는 프레임 화상들에서 트랙킹 처리를 행하는 화상 처리장치는, 상기 제1화상에서 상기 트랙킹 대상 영역을 설정하는 설정 유닛과, 상기 제2화상에서, 상기 설정 유닛에 의해 설정된 상기 트랙킹 대상 영역과 가장 상관이 높은 트랙킹 대상 후보 영역을 검출하는 트랙킹 유닛과, 상기 트랙킹 대상 후보 영역에서 얻어진 평가값과 상기 트랙킹 대상 후보 영역의 주변 영역에서 얻어진 평가값의 차이를 산출하는 판정 유닛과, 상기 차이가 임계값 이상이면, 상기 트랙킹 대상 영역을 상기 트랙킹 대상 후보 영역으로서 갱신하고, 상기 차이가 임계값 미만이면, 상기 트랙킹 대상 영역을 리셋하는 제어 유닛을 포함한다.
본 발명의 또 다른 국면에 따르면, 제1화상에서 설정된 트랙킹 대상 영역에 존재하는 피사체를 제2화상에서 검출함으로써, 동화상을 구성하는 프레임 화상들에서 트랙킹 처리를 행하기 위해 화상을 처리하는 방법은, 상기 제1화상에서 상기 트랙킹 대상 영역을 설정하는 단계와, 상기 제2화상에서, 상기 트랙킹 대상 영역과 가장 상관이 높은 트랙킹 대상 후보 영역을 검출하는 단계와, 상기 트랙킹 대상 후보 영역에서 얻어진 평가값과 상기 트랙킹 대상 후보 영역의 주변 영역에서 얻어진 평가값의 차이를 산출하는 단계와, 상기 차이가 임계값 이상이면, 상기 트랙킹 대상 영역을 상기 트랙킹 대상 후보 영역으로서 갱신하고, 상기 차이가 임계값 미만이면, 상기 트랙킹 대상 영역을 리셋하는 단계를 포함한다.
본 발명의 또 다른 특징 및 국면은 첨부도면을 참조하여 주어지는 이하의 실시예들의 상세한 설명으로부터 명백해질 것이다.
이하, 첨부도면을 참조하여 본 발명의 다양한 실시예들, 특징 및 국면을 상세히 설명한다.
본 발명의 실시예에서는, 화상 처리장치로서 디지털 카메라를 사용한 예를 들어 설명한다.
도 1은, 본 실시예에 따른 디지털 카메라의 기능 구성을 나타낸 블록도이다.
조작부(101)는, 조작자가 디지털 카메라에 대하여 각종의 지시를 입력하기 위해 조작하는 스위치나 버튼을 포함한다. 조작부(101)는 셔터 스위치를 구비한다. 이 셔터 스위치가 반누름의 경우에는, 신호 SW1이 발생되어, 조작부(101)로부터 제어부(102)로 송신된다.
또한, 셔터 스위치가 완전 누름으로 될 때, 신호 SW2가 발생되어, 조작부(101)로부터 제어부(102)로 송신된다.
제어부(102)는, 조작부(101)로부터의 지시에 따라, 도 1에 나타낸 각 부의 동작을 제어한다.
촬상소자(103)는, 렌즈(108a) 및 노출 기구(109a)를 거쳐 입사되는 빛을 받아, 그 광량에 따라 전하를 출력한다. 광전변환 기능을 갖는 CCD(charge couple device)와 CMOS(complementary metal oxide semiconductor) 센서가 촬상소자(103)로서 사용될 수 있다.
아날로그/디지털(A/D) 변환부(104)는, 촬상소자(103)에서 출력된 아날로그 화상신호에 대하여 샘플링, 게인 조정 및 A/D 변환 등을 행하여, 디지털 화상신호를 출력한다.
화상 처리부(105)는, A/D 변환부(104)에서 출력된 디지털 화상신호에 대하여 각종의 화상 처리를 행하여, 처리 완료된 디지털 화상신호를 출력한다. 예를 들면, 화상 처리부(105)는 A/D 변환부(104)에서 받은 디지털 화상신호를 YUV 화상신호로 변환하고, 이 YUV 신호를 출력한다.
얼굴 검출부(106)는, A/D 변환부(104)에서 받은 디지털 화상신호에 대해 얼굴 검출을 행하여, 이 영역에 관한 정보를 제어부(102)에 통지한다. 상기 얼굴 검출에 의해 얻어진 정보에는, 촬상소자의 화면 내의 차광 영역의 휘도에 따른 위치, 범위, 신뢰도(얼굴의 형태로서의 정확도)가 포함된다.
모니터부(107)는, 소형 액정화면을 포함하며, 화상 처리부(105)에 의한 처리완료된 화상 데이터에 따른 화상을 표시한다.
트랙킹 처리부(115)는, 프레임 화상들 사이의 상관을 이용하여, 어떤 프레임 화상에서 검출된 얼굴과 동일하다고 간주되는 영역이, 이 프레임 화상보다도 나중의 프레임 화상의 어디에 존재하고 있을지를 판별한다. 더구나, 트랙킹 처리부(115)는, 그 영역의 위치, 범위 및 크기를 산출한다. 여기에서는 각속도 센서를 사용해서 카메라 자체의 움직임도 산출한다. 본 실시예에 따르면, 시계열적으로 늘어선 2매의 화상을 서로 비교하여, 그것의 차이에 관한 정보를 얻는다. 이 차이 정보를 사용하여, 동일한 얼굴을 갖는 것으로 간주되는 영역들을 추출한다. 트랙킹 처리부(115)는 동일한 얼굴을 갖는 것으로 간주되는 영역들을 연속해서 추출함으로써, 얼굴 검출부(106)에 의해 검출된 얼굴 영역의 트랙킹을 행한다.
판정부(116)는, 트랙킹 처리부(115)에 의해 산출된 상관으로부터 평가값을 취득하여, 현재의 틀이 피사체에 놓여 있는지, 배경의 균일한 면에 놓여 있는지를 판정한다. 이 판단 방법이 본 실시예의 큰 특징으로, 나중에 상세히 설명한다.
화상 처리부(105)에 의해 취득된 화상에서 얻어진 AF(automatic focusing) 평가값에 근거하여, AF 처리부(108)는 피사체에 초점을 맞추기 위해 렌즈(108a)를 동작시킨다. 또한, 화상 처리부(105)에 의해 취득된 화상으로부터 얻어진 측광값에 근거하여, AE(automatic exposing) 처리부(109)는 화면이 최적의 휘도가 되도록 노출 기구(109a)를 동작시킨다.
제어부(102)가 신호 SW1의 통지를 셔터 스위치에서 받으면, AF 처리부(108)와 AE 처리부(109)가, 그 시점에 있어서의 최신의 화상을 이용해서 초점맞춤 제어와 노출 제어를 행한다.
제어부(102)는, 셔터 스위치로부터 신호 SW2의 통지(더욱 구체적으로는, 셔터 스위치의 완전 누름의 통지)를 받으면, 플래쉬를 발광할 것인지 아닌지의 판단을 행한다. 플래쉬를 발광할 것인지 아닌지는 조작부(101)를 사용해서 사용자가 미리 설정해 두어, 조작부(101)가 그 설정 데이터를 판독함으로써 판단할 수 있도록 하여도 된다. 또한, 제어부(102)는 주위의 어두움을 검지하여 자동적으로 판단할 수도 있다.
이 판단의 결과, 플래쉬가 발광되는 것으로 판단된 경우에는, 제어부(102)가 EF 처리부(110)를 제어하여, 플래쉬부(111)에게 플래쉬의 사전 발광을 행하게 하여, 발광량의 산출을 행한다. 그리고, 제어부(102)는 사전의 발광에 근거하여 계산된 본 발광량으로 플래쉬부(111)를 발광시켜, 본 촬영을 행한다.
포맷 변환부(112)는, 본 촬영이 수행될 때 화상 처리부(105)에서 출력된 디지털 화상신호(화상 데이터)의 포맷을 예를 들어 JPEG 포맷으로 변환하여, 이 디지털 화상신호를 화상 기억부(113)에 출력한다. 화상 기억부(113)는, 포맷 변환부(112)에서 받은 포맷 변환 완료의 화상 데이터를, 이 디지털 카메라 내부의 메모 리(미도시) 또는 이 디지털 카메라에 삽입되어 있는 외부 메모리에 기억한다.
외부 접속부(114)는, 이 디지털 카메라를 퍼스널컴퓨터(PC)와 프린터 등의 외부장치에 접속하기 위한 인터페이스로서 기능하는 것이다.
다음에, 균일한 면의 판정에 근거하여, 피사체를 성공적으로 트랙킹할 수 있는지 여부, 즉 동체의 트랙킹을 정지할지 여부의 판단을 행하기 위한 제어에 관해 설명한다.
도 2는, 본 실시예에 따른 트랙킹 처리를 나타낸 흐름도이다. 사용자가 디지털 카메라를 촬영 모드로 설정하면, 이 흐름도의 처리가 개시되는 것으로 한다.
스텝 S201에서, 사용자가 디지털 카메라를 촬영 모드로 설정하면, 셔터가 열려, 촬상소자(103)에는, 렌즈(108a) 및 노출 기구(109a)를 거쳐 빛이 입광하게 된다. 촬상소자(103)에 의해 연속적으로 생성된 프레임 화상들은, 조작자가 피사체의 상황을 실시간으로 관찰할 수 있도록 하기 위해 동화상으로서 모니터부(107)에 표시된다.
스텝 S202에서, 제어부(102)는, 동화상에 대하여 평가 측광(evaluative light metering)(예를 들면, 중앙 중점 측광(center-weighted light metering)을 행하여, 노출 제어를 행한다.
스텝 S203에서, 제어부(102)는 최신의 프레임 화상을 판독해서 이 프레임 화상을 얼굴 검출부(106)에 보내고, 얼굴 검출부가 프레임 화상으로부터 얼굴 영역의 검출을 행한다. 얼굴 영역의 검출방법으로서는, 예를 들면, 눈, 코, 입 등의 얼굴을 구성하는 부위의 특징점을 이용하는 방법을 적용할 수 있다. 예를 들면, 미리 카메라 내부에 기억해 놓은 눈, 코, 입 등의 표준 패턴과 그 특징(형상 및 위치)이 일치하는 부위가 많이 포함되고 그것들을 밸런스가 좋게 배치되면, 이 영역이 얼굴 영역인 것으로 추정할 수 있다.
얼굴 영역이 복수 검출되었을 경우에는, 복수의 얼굴 영역 전체를 트랙킹 대상 영역으로 설정하여도 된다. 또한, 얼굴의 위치 및 크기와, 얼굴로서의 신뢰도(표준 패턴과의 일치도) 각각에 각각 포인트를 부여하고, 가장 포인트가 높은 1개의 얼굴만 트랙킹 대상 영역으로 설정해도 된다. 더구나, 촬영자가 조작부(101)를 조작하여, 복수의 얼굴 영역 중 어느 하나를 선택하도록 하여도 된다. 그리고, 조작자가 트랙킹 대상 영역의 위치와 크기를 인식할 수 있도록, 동화상을 트랙킹 틀을 중첩 표시시켜도 된다. 더구나, 트랙킹 대상 영역에 해당하는 화상 데이터를 트랙킹 처리에 있어서의 기준 화상 데이터로 사용하기 위해 트랙킹 처리부(115)에 송신한다.
도 3a는 전술한 상태와 모니터부(107)에 표시된 화상을 나타낸 것으로, 검출된 얼굴 영역에 대하여 굵은선으로 표시된 트랙킹 틀이 중첩 표시되어 있다. 이 트랙킹 틀은 검출된 얼굴 영역이 완전히 트랙킹 틀 내부에 포함될 수 있도록 얼굴 영역보다도 약간 크게 설정되어 있다.
스텝 S204에서는, 제어부(102)는 스텝 S203에서 얼굴 영역을 검출할 수 있었는지 아닌지를 판정한다. 얼굴 영역이 검출되면(스텝 S204에서 YES), 처리가 스텝 S205로 진행한다. 얼굴 영역이 검출되지 않으면(스텝 S204에서 NO), 처리가 스텝 S209로 진행한다.
스텝 S205에서, 제어부(102)는, 새롭게 프레임 화상을 판독하고, 이 프레임 화상에 대하여 트랙킹 처리를 행한다. 트랙킹 처리부(115)는, 새롭게 판독된 프레임 화상의 크기 또는 좌표를 점차적으로 시프트하면서 이 새롭게 판독한 프레임 화상으로부터 부분 영역을 잘라내고, 이 잘라낸 영역의 휘도, 색차 및 콘트라스트에 대한 정보로부터, 그 잘라낸 영역의 평가값을 구한다.
스텝 S206에서는, 트랙킹 처리부(115)는, 앞서 얻어진 기준 화상 데이터로부터 얻어진 평가값과, 전체의 잘라낸 영역의 각각의 평가값을 비교한다. 이 잘라낸 영역들 중에서, 즉 대상 영역들 중에서, 기준 화상 데이터와 가장 상관이 높다고 판단된 영역을 선택하여 트랙킹 대상 후보 영역으로서 설정한다.
도 3b는 전술한 상태를 나타낸 것이다. 도 3b에서, 얼굴 영역으로 검출된 인물이 급격히 이동하여, 이 인물의 상이 흐릿해지기 때문에, 도 3a에 표시한 트랙킹 틀로 둘러싸인 영역과 가장 상관이 높은 트랙킹 대상 후보 영역으로서 점선 틀로 표시된 배경이 선택된다.
스텝 S207에서는, 판정부(116)가, 설정된 트랙킹 대상 후보 영역을 중심으로 하여, 4개소(즉, 좌측 상부, 우측 상부, 좌측 하부 및 우측 하부)로 트랙킹 대상 후보 영역을 시프트하여 얻어진 4개의 주변 영역을 설정하고, 그들 4개의 주변 영역의 평가값들을 구한다. 시프트 양으로서는, 예를 들면, 트랙킹 대상 후보 영역의 세로 폭 및 가로 폭의 50 내지 100 퍼센트가 설정될 수 있다. 시프트 양은, 트랙킹 대상 영역으로서 설정된 피사체의 크기와 이전의 움직임을 고려하여, 실험적으로 최적의 값을 구하도록 하면 된다.
도 3c는 전술한 상태를 나타낸 것이다. 도 3c에서는, 도 3b에 표시한 트랙킹 대상 후보 영역을 중심으로 하여, 4가지 비스듬한 방향으로 시프트된 주변 영역들이 설정된다.
그리고, 판정부(116)는, 4개의 주변 영역에서 얻어진 각각의 평가값과, 트랙킹 대상 후보 영역에서 얻어진 평가값의 차이를 구한다. 이들 차이가 모두 임계값 미만이면(스텝 S207에서 YES), 스텝 S208로 처리가 진행한다. 이들 차이 모두가 임계값 미만이 아니라면, 즉 1개의 영역이라도 임계값 이상의 평가값을 가지면, 스텝 S211로 처리가 진행한다.
스텝 S208에서는, 제어부(102)는, 도 3d에 도시된 것과 같이 트랙킹 대상 영역 및 기준 화상 데이터에 대한 정보를 소거하고 리셋하여, 트랙킹 처리를 정지한다. 그리고, 제어부(102)는 모니터부(107)에 표시된 화상으로부터 트랙킹 틀을 소거한다. 스텝 S207에서의 판정의 결과, 트랙킹 대상 후보 영역과 그 4개의 주변 영역 모두가 유사한 것이라면, 콘트라스트가 낮은 균일한 배경으로 트랙킹 대상 후보 영역이 설정되어 있다고 생각할 수 있다. 이대로 트랙킹 처리를 계속하면, 도 4a, 도 4b 및 도 4를 사용하여 설명한 것 같이, 주변에 상관이 높은 영역들이 많이 존재하기 때문에, 트랙킹 처리가 정지된다. 이에 따르면, 트랙킹 틀의 위치가 불안정하여 흐릿해진다.
스텝 S209에서는, 트랙킹해야 할 대상을 놓쳤기 때문에, 제어부(102)는, 중앙부에 존재하는 피사체에 대략적인 초점이 맞도록 AF 처리부(108)가 초점맞춤 제어를 행하게 하고, AE 처리부(109)가 중앙 중점 측광에 의해 노출 제어를 행하게 한다.
스텝 S210에서는, 제어부(102)는, 조작부(101)의 셔터 스위치가 반누름되어 신호 SW1이 생겼는지 여부를 감시한다. 신호 SW1이 발생하였으면(스텝 S210에서 YES), 스텝 S214로 처리가 진행한다. 신호 SW!이 발생하지 않으면(스텝 S210에서 NO), 스텝 S203으로 처리가 되돌아가, 제어부(102)가 새롭게 트랙킹 대상 영역을 검출하고, 얼굴 검출부(106)에 의해 새롭게 판독한 프레임 화상으로부터 얼굴 영역의 검출을 행한다.
스텝 S207로부터 스텝 S211로 처리가 진행한 경우에, 제어부(102)는, 트랙킹에 성공하고 있는 것으로 판단하여, 트랙킹 대상 영역을 새로운 트랙킹 대상 영역으로서 트랙킹 대상 후보 영역으로 갱신한다. 더구나, 제어부(102)는, 새로운 트랙킹 대상 영역에 트랙킹 틀을 중첩 표시시킨 화상을 모니터부(107)에 표시한다.
스텝 S212에서는, AF 처리부(108)와 AE 처리부(109)가, 트랙킹 대상 영역으로 얻어진 측광값과 AF 평가값에 대해 가장 큰 가중치 부여를 행하여, 초점맞춤 및 노출을 각각 제어한다.
스텝 S213에서는, 제어부(102)는, 조작부(101)의 셔터 스위치가 반누름되어 신호 SW1이 생겼는지 여부를 감시한다. 신호 SW1이 발생되면(스텝 S213에서 YES), 스텝 S214로 처리가 진행한다. 신호 SW1이 발생하지 않고 있으면(스텝 S213에서 NO), 트랙킹 처리를 계속하기 위해 스텝 S205로 처리가 되돌아간다.
스텝 S210 및 S213에서 신호 SW1이 발생하면, 스텝 S214에서, AF 처리부(108)와 AE 처리부(109)가 본(main) 촬영용의 초점맞춤 제어와 노출 제어를 각각 행한다. 트랙킹 대상 영역이 존재하면, 제어부(102)는 AF 처리부(108)와 AE 처리부(109)를 제어하여 그 트랙킹 대상 영역에 맞추어 초점을 조정하고 휘도를 적정값으로 조종한다. 트랙킹 대상 영역이 존재하지 않으면, 제어부(102)가 AF 처리부(108)와 AE 처리부(109)를 제어하여, 중앙부에서의 초점맞춤 및 측광값을 우선하여, 전체 화면을 최적 상태로 조정한다.
스텝 S215에서는, 제어부(102)는, 조작부(101)의 셔터 스위치가 완전 누름되어서 신호 SW2가 발생될 때까지 대기한다. 신호 SW2가 발생하면(스텝 S215에서 YES), 스텝 S216으로 처리가 진행하여, 제어부(102)가 정지 화상 데이터를 생성해서 이 정지 화상 데이터를 화상 기억부(113)에 기억한다.
이상과 같이, 상기 실시예에 따르면, 콘트라스트가 낮은 균일한 배경으로 트랙킹 틀이 설정되어 이 균일한 배경 위에서 흐릿해지는 문제를 방지할 수 있게 된다.
또한, 상기 실시예에 따르면, 트랙킹 속행의 가부를 판정하기 위해 4개소의 주변 영역들을 트랙킹 대상 후보 영역 주위에 설정하고 있지만, 트랙킹 대상 후보 영역과 주변 영역의 상관의 정도를 판정하기 위해 주변 영역들만 설정하여도 된다. 따라서, 설정할 주변 영역들의 수는 예를 들어 3개소나 6개소로 설정되어도 된다. 또한, 주변 영역의 위치도 4개소의 비스듬한 방향 뿐만 아니라 수직 방향 및 수평 방향으로도 설정해도 된다.
또한, 상기한 실시예에서는 얼굴 검출부(106)에 의해 검출된 얼굴 영역을 트랙킹 대상 영역으로서 설정하는 예를 들어 설명을 행하였다. 그러나, 일본국 특개 2008-011497에 개시된 것과 같이, 촬영자가 조작부(101)를 조작함으로써 임의의 트랙킹 대상 영역을 지정하도록 하여도 된다. 이러한 방법을 채용함으로써, 인물의 얼굴 뿐만 아니라, 동물이나 탈것도 트랙킹 대상으로서 설정하는 것이 가능해진다.
이와 달리, 트랙킹 처리부(115)가 프레임 화상들의 차이를 고려하여 동체들을 추출하고, 촬영자가 조작부(101)를 조작하여, 복수의 얼굴 영역 중 어느 하나를 선택하도록 하여도 된다.
더 구체적으로 설명하면, 프레임 화상들 사이의 상관으로부터, 제1화상에서 검출된 얼굴과 동일하다고 간주되는 영역이, 그것보다도 나중의 제2화상의 어디에 존재하고 있을지를 판별하는 트랙킹 처리부(115)를 구비하고 있는 구성이면, 본 발명을 적용하는 것이 가능하다.
전술한 것과 같이, 디지털 카메라를 예로 들어 본 발명의 실시예의 설명을 행하였다. 디지털 카메라 대신에, 비디오 카메라에 본 발명을 적용할 수 있다. 더구나, 감시 시스템에 접속된 카메라에서 동화상 데이터를 수취하고, 수취한 동화상 데이터에 대하여 화상 처리 유닛에서 트랙킹 처리를 행하는 감시 시스템 등의 컴퓨터 시스템에도 본 발명을 적용할 수 있다.
또한, 본 발명은, 이하와 같이 하여 달성하는 것도 가능하다. 우선, 전술한 실시예의 기능을 실현하는 소프트웨어의 프로그램 코드를 기억한 판독가능한 기억매체(또는 기록매체)를 시스템 또는 장치에 공급한다. 그리고, 그 시스템 또는 장치의 컴퓨터(또는 CPU(central processing unit) 또는 MPU(micro processing unit)가 기억매체에 격납된 프로그램 코드를 판독하여 실행한다.
이 경우, 기억매체에서 판독된 프로그램 코드 자체가 전술한 실시예의 기능을 실현하게 되어, 그 프로그램 코드를 기억한 기억매체는 본 발명을 구성하게 된다.
또한, 컴퓨터에 의해 판독된 프로그램 코드의 실행 이외에, 전술한 실시예의 기능이 아래와 같이 하여 달성될 수 있다. 구체적으로 설명하면, 판독된 프로그램 코드의 지시에 근거하여 컴퓨터 상에서 가동하고 있는 오퍼레이팅 시스템(OS)이 실제의 처리의 일부 또는 전부를 행하고, 그 처리에 의해 전술한 실시예의 기능이 실현되는 경우이다.
여기에서 프로그램 코드를 기억하는 컴퓨터 판독가능한 기억매체는, 예를 들면, 플로피 디스크, 하드 디스크, ROM(read only memory), RAM(random access memory), 자기 테이프, 불휘발성의 메모리 카드, CD-ROM, CD-R(CD-recordable), DVD(digital versatile disk), 광디스크, 광자기(MO) 디스크 등을 포함한다. 또한, LAN(local area network)과 WAN(wide area network) 등의 컴퓨터 네트워크를 프로그램 코드를 공급하기 위해 사용할 수 있다.
전술한 실시예들을 참조하여 본 발명을 설명하였지만, 본 발명이 전술한 실시예들에 한정되지 않는다는 것은 자명하다. 다음의 청구항의 보호범위는 모든 변형, 등가의 구조 및 기능을 포함하도록 가장 널게 해석되어야 한다.
도 1은 본 발명의 실시예에 따른 디지털 카메라의 기능 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 트랙킹 처리를 나타낸 흐름도이다.
도 3a, 도 3b, 도 3c 및 도 3d는 본 발명의 실시예에 따라, 균일한 배경으로 트랙킹 대상 후보 영역이 설정되었기 때문에, 트랙킹 처리가 정지되는 모양을 설명하기 위한 도면이다.
도 4a, 도 4b 및 도 4c는 종래의 트랙킹 틀의 갱신방법을 설명하기 위한 도면이다.

Claims (6)

  1. 제1화상에서 설정된 트랙킹 대상 영역에 존재하는 피사체를 제2화상에서 검출함으로써, 동화상을 구성하는 프레임 화상들에서 트랙킹 처리를 행하는 화상 처리장치로서,
    상기 제1화상에서 상기 트랙킹 대상 영역을 설정하는 설정 유닛과,
    상기 제2화상에서, 상기 설정 유닛에 의해 설정된 상기 트랙킹 대상 영역과 가장 상관이 높은 트랙킹 대상 후보 영역을 검출하는 트랙킹 유닛과,
    상기 트랙킹 대상 후보 영역에서 얻어진 평가값과 상기 트랙킹 대상 후보 영역의 주변 영역에서 얻어진 평가값의 차이를 산출하는 판정 유닛과,
    상기 차이가 임계값 이상이면, 상기 트랙킹 대상 영역을 상기 트랙킹 대상 후보 영역으로서 갱신하고, 상기 차이가 임계값 미만이면, 상기 트랙킹 대상 영역을 리셋하는 제어 유닛을 포함하는 화상 처리장치.
  2. 제 1항에 있어서,
    상기 설정 유닛은, 인물의 얼굴이 검출된 영역을 트랙킹 대상 영역으로 설정하는 화상 처리장치.
  3. 제 1항에 있어서,
    상기 설정 유닛은, 상기 트랙킹 대상 영역의 크기에 근거하여, 상기 트랙킹 대상 후보 영역을 중심으로 하여 상기 주변 영역을 설정하는 화상 처리장치.
  4. 제 1항에 있어서,
    상기 설정 유닛은, 상기 트랙킹 대상 영역의 움직임에 근거하여, 상기 트랙킹 대상 후보 영역을 중심으로 하여 상기 주변 영역을 설정하는 화상 처리장치.
  5. 제1화상에서 설정된 트랙킹 대상 영역에 존재하는 피사체를 제2화상에서 검출함으로써, 동화상을 구성하는 프레임 화상들에서 트랙킹 처리를 행하기 위해 화상을 처리하는 방법으로서,
    상기 제1화상에서 상기 트랙킹 대상 영역을 설정하는 단계와,
    상기 제2화상에서, 상기 트랙킹 대상 영역과 가장 상관이 높은 트랙킹 대상 후보 영역을 검출하는 단계와,
    상기 트랙킹 대상 후보 영역에서 얻어진 평가값과 상기 트랙킹 대상 후보 영역의 주변 영역에서 얻어진 평가값의 차이를 산출하는 단계와,
    상기 차이가 임계값 이상이면, 상기 트랙킹 대상 영역을 상기 트랙킹 대상 후보 영역으로서 갱신하고, 상기 차이가 임계값 미만이면, 상기 트랙킹 대상 영역을 리셋 하는 단계를 포함하는 화상 처리방법.
  6. 컴퓨터에서 제 5항에 기재된 방법을 실행시키기 위한 프로그램을 기억한 컴퓨터 판독가능한 기억매체.
KR1020090071184A 2008-08-20 2009-08-03 화상 처리장치, 화상 처리방법 및 기억매체 KR101206389B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008211842 2008-08-20
JPJP-P-2008-211842 2008-08-20
JP2009155684A JP5279635B2 (ja) 2008-08-20 2009-06-30 画像処理装置、画像処理方法、および、プログラム
JPJP-P-2009-155684 2009-06-30

Publications (2)

Publication Number Publication Date
KR20100022918A true KR20100022918A (ko) 2010-03-03
KR101206389B1 KR101206389B1 (ko) 2012-11-29

Family

ID=41403948

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090071184A KR101206389B1 (ko) 2008-08-20 2009-08-03 화상 처리장치, 화상 처리방법 및 기억매체

Country Status (5)

Country Link
US (1) US8284994B2 (ko)
EP (1) EP2157547B1 (ko)
JP (1) JP5279635B2 (ko)
KR (1) KR101206389B1 (ko)
CN (1) CN101656830B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102239687B (zh) * 2009-10-07 2013-08-14 松下电器产业株式会社 追踪对象选择装置、方法及其电路
JP5631181B2 (ja) * 2010-12-01 2014-11-26 キヤノン株式会社 画像処理装置及びその制御方法、及びプログラム
JP5825851B2 (ja) * 2011-05-27 2015-12-02 キヤノン株式会社 撮像装置及びその制御方法
US8929598B2 (en) 2011-06-29 2015-01-06 Olympus Imaging Corp. Tracking apparatus, tracking method, and storage medium to store tracking program
US9258462B2 (en) * 2012-04-18 2016-02-09 Qualcomm Incorporated Camera guided web browsing based on passive object detection
JP6525545B2 (ja) * 2014-10-22 2019-06-05 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP6743337B1 (ja) * 2019-06-04 2020-08-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、撮像システム、制御方法、及びプログラム
CN110414447B (zh) * 2019-07-31 2022-04-15 京东方科技集团股份有限公司 行人跟踪方法、装置及设备
KR20210024859A (ko) * 2019-08-26 2021-03-08 삼성전자주식회사 영상 처리 방법 및 장치
CN112561963A (zh) * 2020-12-18 2021-03-26 北京百度网讯科技有限公司 目标跟踪的方法、装置、路侧设备以及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
JP3846553B2 (ja) * 2001-03-30 2006-11-15 三菱電機株式会社 画像処理装置
WO2005066897A1 (ja) * 2004-01-06 2005-07-21 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
US7710498B2 (en) * 2004-02-13 2010-05-04 Sony Corporation Image processing apparatus, image processing method and program
JP4819380B2 (ja) * 2004-03-23 2011-11-24 キヤノン株式会社 監視システム、撮像設定装置、制御方法、及びプログラム
EP1742169B1 (en) * 2005-07-05 2012-02-22 Omron Corporation Tracking apparatus
JP4830650B2 (ja) * 2005-07-05 2011-12-07 オムロン株式会社 追跡装置
CN100417223C (zh) * 2005-12-30 2008-09-03 浙江工业大学 基于全方位视觉传感器的智能安保装置
WO2007090133A2 (en) * 2006-01-30 2007-08-09 Kramer Jame F System for providing a service to venues where people aggregate
JP2008011497A (ja) * 2006-06-01 2008-01-17 Canon Inc カメラ装置
WO2008026434A1 (fr) * 2006-08-30 2008-03-06 Nikon Corporation Appareil et procédé d'alignement d'image, ainsi que caméra
JP5268433B2 (ja) * 2008-06-02 2013-08-21 キヤノン株式会社 撮像装置、及び撮像装置の制御方法

Also Published As

Publication number Publication date
EP2157547B1 (en) 2016-10-19
JP5279635B2 (ja) 2013-09-04
JP2010074815A (ja) 2010-04-02
US8284994B2 (en) 2012-10-09
CN101656830A (zh) 2010-02-24
KR101206389B1 (ko) 2012-11-29
EP2157547A3 (en) 2014-04-09
CN101656830B (zh) 2013-01-16
US20100046798A1 (en) 2010-02-25
EP2157547A2 (en) 2010-02-24

Similar Documents

Publication Publication Date Title
KR101206389B1 (ko) 화상 처리장치, 화상 처리방법 및 기억매체
JP4957850B2 (ja) 撮像装置、警告方法、および、プログラム
US8692888B2 (en) Image pickup apparatus
US11089228B2 (en) Information processing apparatus, control method of information processing apparatus, storage medium, and imaging system
KR20080027443A (ko) 촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램
JP2010226709A (ja) 被写体追尾装置及び撮像装置
JP2010056692A (ja) 撮像装置およびその制御方法
CN107645632B (zh) 焦点调节设备、焦点调节方法、摄像设备和存储介质
CN114845057A (zh) 信息处理设备和方法、摄像设备及其控制方法、存储介质
JP6431429B2 (ja) 撮像装置およびその制御方法、プログラム、ならびに記憶媒体
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
US20200177814A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2010243899A (ja) 焦点検出装置および方法、撮像装置
JP6346484B2 (ja) 画像処理装置およびその制御方法
US11727716B2 (en) Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection
JP5111293B2 (ja) 撮像装置及びその制御方法
JP2008172733A (ja) 撮像装置及びその制御方法
JP5323243B2 (ja) 画像処理装置及びその制御方法
JP2019041414A (ja) 電子機器、撮像装置、およびプログラム
JP2014023054A (ja) 画像処理装置、撮像装置、および画像処理プログラム
US9525815B2 (en) Imaging apparatus, method for controlling the same, and recording medium to control light emission
JP2012065128A (ja) 画像評価装置及び画像評価プログラム
EP3855724B1 (en) Control apparatus, control method, storage medium, and imaging control system
US20230186449A1 (en) Image processing apparatus, image processing method, imaging apparatus, and storage medium
US20240179393A1 (en) Imaging apparatus, control method of the same, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161025

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171025

Year of fee payment: 6