KR101321780B1 - 화상처리장치 및 화상처리방법 - Google Patents

화상처리장치 및 화상처리방법 Download PDF

Info

Publication number
KR101321780B1
KR101321780B1 KR1020100073755A KR20100073755A KR101321780B1 KR 101321780 B1 KR101321780 B1 KR 101321780B1 KR 1020100073755 A KR1020100073755 A KR 1020100073755A KR 20100073755 A KR20100073755 A KR 20100073755A KR 101321780 B1 KR101321780 B1 KR 101321780B1
Authority
KR
South Korea
Prior art keywords
pixel
attribute
adjacent
tracking target
evaluated
Prior art date
Application number
KR1020100073755A
Other languages
English (en)
Other versions
KR20110014960A (ko
Inventor
아키라 쿠보타
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20110014960A publication Critical patent/KR20110014960A/ko
Application granted granted Critical
Publication of KR101321780B1 publication Critical patent/KR101321780B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

화상처리장치는, 화상에 대하여 설정된 추적 목표 영역내의 각 화소의 속성과, 해당 화소에 인접한 화소의 속성을 기억하는 기억부; 평가 대상의 화소의 속성과, 상기 추적 목표 영역내의 화소의 속성간의 비교 결과와, 상기 평가 대상의 화소에 인접한 화소의 속성과, 상기 추적 목표 영역내의 상기 화소에 인접한 화소의 속성간의 비교 결과에 따라, 상기 평가 대상의 상기 화소에 평가 값을 부여하는 부여부; 및 상기 부여된 평가 값에 의거하여 상기 추적 목표 영역을 변경하는 변경부를 구비한다.

Description

화상처리장치 및 화상처리방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은, 화상처리장치 및 화상처리방법에 관한 것이다. 특히, 본 발명은, 화상을 사용해서 대상물을 추적하는 방법에 관한 것이다.
임의의 대상물을 추적하는 종래의 방법은, 미리 기억한 템플릿 화상과의 일치도가 높은 영역을 찾는 패턴 매칭법을 사용한다. 또한, 종래의 대상물 추적방법은, 템플릿 화상을 순차적으로 갱신하고 현재 프레임과 이전 프레임과의 차분에 의거하여 대상위치를 식별하는 상대적 차분법을 사용한다. 또한, 종래의 대상물 추적방법은, 대상물의 색이나 휘도의 히스토그램(histogram)과의 일치도가 높은 영역의 검색 결과에 의거하여 대상물의 위치를 식별하는 히스토그램 매칭법을 사용한다.
상기 패턴 매칭법을 사용하는 경우, 정지 대상물을 고 정밀도로 검색할 수 있다. 그렇지만, 상기 패턴 매칭법을 사용하는 경우 이동 대상물을 추적하는 성능은 좋지 않다. 보다 구체적으로는, 대상물과 추적 장치간의 거리의 변화, 대상물의 회전, 또는 추적 장치자체의 자세 변화일 경우, 상기 패턴 매칭법은, 상기 대상물을 고 정밀도로 추적할 수 없다.
상기 상대적 차분법을 사용하는 경우, 추적 목표 대상물 앞에 또 다른 대상물이 이동하는 경우나, 그 추적 목표 대상물이 촬상 범위에서 없어지는 경우, 상기 추적 목표 대상물이 적절하게 추적되지 않을 수도 있다.
상기 히스토그램 매칭법을 사용하는 경우, 이동하는 추적 목표 대상물을 추적할 수 있지만, 색이나 휘도의 히스토그램만으로 식별을 실행하는 경우 추적 목표 대상물을 식별하는 능력이 낮다. 또한, 상기 히스토그램 매칭법의 추적 성능은, 유사한 색이나 대략 동일한 레벨의 휘도를 갖는 영역이 대상물의 배경으로 크게 분포되는 경우에 충분하게 양호하지 않다.
이러한 각 종의 추적 방법을 사용하는 경우 추적 성능을 향상시키기 위해서, 일본국 공개특허공보 특개 2004-348273호에는, 참조 영역의 히스토그램과 그 참조 영역과는 별도로 구성된 확장 참조 영역의 히스토그램을 작성하고, 이 히스토그램들에 의거하여 추적을 실행하는 히스토그램 매칭법이 개시되어 있다. 보다 구체적으로는, 일본국 공개특허공보 특개 2004-348273호에 기재된 방법은, 인물의 얼굴 주위의 영역 등의 참조 영역의 히스토그램과, 인물의 목주위의 영역 등의 확장 참조 영역의 다른 히스토그램을 작성한다.
그렇지만, 일본국 공개특허공보 특개 2004-348273호에 기재된 방법을 사용하는 경우, 히스토그램의 작성 대상영역으로서, 참조 영역과, 확장 참조 영역의 서로 독립적인 2개의 영역을 설정할 필요가 있다. 따라서, 확장 참조 영역에 있어서 대상물이 무언가 뒤에 숨겨져버리면, 추적 성능이 떨어지기도 한다.
본 발명의 일 국면에 따른 화상처리장치는, 화상에 대하여 설정된 추적 목표 영역내의 각 화소의 속성과, 해당 화소에 인접한 화소의 속성을 기억하는 기억부; 평가 대상의 화소의 속성과, 상기 추적 목표 영역내의 화소의 속성간의 비교 결과와, 상기 평가 대상의 화소에 인접한 화소의 속성과, 상기 추적 목표 영역내의 상기 화소에 인접한 화소의 속성간의 비교 결과에 따라, 상기 평가 대상의 상기 화소에 평가 값을 부여하는 부여부; 및 상기 부여된 평가 값에 의거하여 상기 추적 목표 영역을 변경하는 변경부를 구비한다.
본 발명의 또 다른 특징들 및 국면들을 첨부된 도면들을 참조하여 아래의 예시적 실시예들의 상세한 설명으로부터 명백해질 것이다.
본 명세서에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 예시적인 실시예들, 특징들 및 국면들을 나타내고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명의 제1실시예에 따른 촬상장치의 기본구성의 일례를 나타낸다.
도 2a는 촬상범위의 대략 중앙에 화상이 위치하는 동물을 추적 목표 대상물로서 설정한 상태를 나타낸다. 도 2b는 추적 목표 대상물로서 설정한 동물이 이동한 상태를 나타낸다.
도 3은 촬상장치에서 실행한, 추적 목표 대상물의 추적처리의 일례를 설명하는 흐름도다.
도 4는 추적 목표 대상물 인식 처리의 일례를 설명하는 흐름도다.
도 5는 화상과, 그 화상의 추적 목표 대상영역에 포함된 화소의 일례를 나타낸다.
도 6a는 색상 히스토그램의 일례를 나타낸다. 도 6b는 평균 색상 히스토그램의 일례를 나타낸다.
도 7a는 휘도 히스토그램의 일례를 나타낸다. 도 7b는 평균 휘도 히스토그램의 일례를 나타낸다.
도 8a는 2개의 핑크(Pink)화소에 인접한 화소들의 일례를 나타낸다. 도 8b는 3개의 옐로우(Yellow)에 인접한 화소들의 일례를 나타낸다. 도 8c는 2개의 그린(Green)화소에 인접한 화소들의 일례를 나타낸다. 도 8d는 1개의 블루2(Blue2) 화소에 인접한 화소들의 일례를 나타낸다.
도 9a는 1개의 블랙0(Black0) 화소에 인접한 화소들의 일례를 나타낸다. 도 9b는 12개의 블랙1 화소에 인접한 화소들의 일례를 나타낸다. 도 9c는 2개의 그레이2(Gray)2 화소에 인접한 화소들의 일례를 나타낸다. 도 9d는 3개의 화이트(White)화소에 인접한 화소들의 일례를 나타낸다.
도 10은 주 히스토그램의 색상 히스토그램에 대응하는 인접 히스토그램의 일례를 나타낸다.
도 11은 주 히스토그램의 휘도 히스토그램에 대응하는 인접 히스토그램의 일례를 나타낸다.
도 12a 및 도 12b로 이루어진 도 12는 도 3에 도시된 흐름도에서의 단계S103의 추적 가부(trackability) 판정 처리의 일례를 설명하는 흐름도다.
도 13은 도 3에 도시된 흐름도에서의 단계S105의 추적 계속 가부(continued tracking availability) 판정 처리의 일례를 설명하는 흐름도다.
도 14는 도 3에 도시된 흐름도에서의 단계S107의 추적 목표 대상물 검출 처리의 일례를 설명하는 흐름도다.
도 15는 추적 목표 영역을 추적하는 방법의 일례를 개략적으로 나타낸다.
도 16a는 처리 대상의 화소가 주 히스토그램의 유채색과 일치하는 상태의 일례를 나타낸다. 도 16b는 처리 대상의 화소가 주 히스토그램의 무채색과 일치하는 상태의 일례를 나타낸다. 도 16c는 주 히스토그램의 유채색과 일치한 처리 대상의 화소에 인접한 화소가, 그 인접 히스토그램에 포함되는 유채색 또는 무채색과 일치하는 상태의 일례를 나타낸다. 도 16d는 주 히스토그램의 무채색과 일치한 처리 대상의 화소에 인접한 화소가, 인접 히스토그램에 포함된 유채색 또는 무채색과 일치하는 상태의 예를 나타낸다.
도 17은 평가 값의 산출 결과의 일례를 나타낸다.
도 18은 촬상장치에서 실행한 추적 목표 대상물을 추적하는 처리의 일례를 나타낸 흐름도다.
이하, 도면을 참조하여, 본 발명의 각종 예시적 실시예들, 특징들 및 국면들을 상세히 설명한다.
도 1은, 본 발명의 제1 실시예에 따른 촬상장치(100)의 기본구성의 일례를 나타낸다. 그 촬상장치(100)는, 정지화상과 동화상 양쪽을 촬상할 수 있다. 도 1을 참조하면, 피사체로부터 반사된 광은, 포커스 렌즈, 변배 렌즈 및 고정 렌즈를 구비한 촬상광학계(101)를 통과한다. 그 피사체로부터 반사된 광은 이미지 센서(102)에 결상된다.
이미지 센서(102)는, 수광면 위에 결상된 상에 의한 광신호를, 대응하는 위치의 수광 화소마다 전기신호로 변환하는 광전변환소자다. 이미지 센서(102)에 결상된 광은 이미지 센서(102)에 의해 전기신호로 변환된다. 그 전기신호는, 아날로그 투 디지털(A/D)컨버터(103)에 입력된다. A/D컨버터(103)는, 그 입력된 전기신호를 디지탈 신호로 변환한다. 그 후, 디지털 신호는, 화상처리회로(104)에 입력된다. 화상처리회로(104)는, 입력된 디지탈 신호(화상 데이터)에 대하여 화상처리를 행한다.
표시장치(105)는, 촬상장치(100)의 배면에 설치된 표시부다. 표시장치(105)는, 전자 뷰 파인더(viewfinder)로서의 기능을 가진다. 또한, 표시장치(105)는, 촬상장치(100)의 설정 상황에 대한 정보를 표시한다. 또한, 표시장치(105)는, 촬상장치(100)로 작성된 섬네일(thumbnail) 화상을 표시한다.
촬상광학계 제어회로(106)는 렌즈 정보를 생성한다. 그 렌즈 정보는, 피사체 거리와, 변배 렌즈 군의 위치에 관한 정보에 근거하는 초점거리와, 조리개의 개구경에 근거하여 취득된 Ｆ넘버를 포함한다.
시스템 컨트롤러(107)는, 마이크로컴퓨터를 구비한다. 시스템 컨트롤러(107)는, 제어 프로그램을 실행해서 촬상장치(100) 전체의 동작을 제어한다. 화상 기록 매체(108)에는, 화상 데이터를 기록한다. 본 실시예에서는, 이러한 구성으로 이루어진 촬상장치(100)에서 실행되는 임의의 대상물의 화상을 추적하는 방법의 일례에 대해서 상세히 설명한다.
도 2a 및 2b는, 종래의 대상물 추적 방법이 적절하게 추적할 수 없는 화상을 포함하는 씬(scene)의 예를 나타낸다.
도 2a를 참조하면, 화면(200)의 중앙부근에 위치하는 동물을 추적 목표 대상물로서 설정한다. 추적 목표 대상물의 지정 방법은, 소정의 색조건이나 휘도조건을 충족시킨 영역을 자동으로 식별해서 추적 목표 대상물로 설정하는 경우에 유용하다. 또한, 유저가 임의의 위치에서 상기 표시장치(105) 내부에 포함된 터치패널 상의 표시장치를 터치하고, 그 유저가 터치한 그 위치에 대응한 화상을 추적 목표 대상물로서 설정하는 경우에도 유용하다.
도 2a 및 2b 각각에 도시된 예에서는, 동물의 배와 부근에 해당한 영역인 영역(202)을 추적 목표 영역으로서 설정하고, 그 후 그 동물이 다른 장소로 이동함과 아울러, 그 동물의 자세가 변화되었다고 한다.
상기 추적 목표 대상물을 변화시킨 경우, 도 2a에 나타낸 추적 목표 대상물의 영역 202에 포함된 화상과, 그 동물이 다른 위치로 이동한 후의 동물의 배 영역에 해당하는 영역 210에 포함된 화상을 서로 비교하는 패턴매칭법으로는, 동물을 추적할 수 없다.
도 2a 및 2b에 나타나 있는 바와 같이, 추적 목표 영역 202의 히스토그램 220과, 다른 장소로 이동한 후의 동물의 배부근에 해당한 영역 210의 화상의 히스토그램 222를 비교하는 히스토그램 매칭법에서도, 그 히스토그램이 서로 일치하지 않기 때문에 그 동물을 적절하게 추적할 수 없다.
계속해서, 아래의 흐름도를 참조하면서, 본 실시예에 따른 임의의 대상물을 추적하는 방법의 일례를 상세히 설명한다.
본 실시예에서는, 시스템 컨트롤러(107)가 이하의 흐름도에 의한 처리를 실행한다. 그렇지만, 그 처리의 일부 또는 전부를 시스템 컨트롤러(107)이외(예를 들면, 화상처리회로(104))의 구성요소로 실행하는 경우도 유용하다.
도 3은, 추적 목표 대상물을 추적하기 위해 촬상장치(100)에서 실행된 처리의 일례를 설명하는 메인 흐름도다. 도 3을 참조하면, 단계S101에서, 시스템 컨트롤러(107)는, 추적 목표 대상물의 위치와 사이즈를 확정한다.
상술한 것처럼, 자동으로 추적 목표 대상물을 식별할 수 있다. 또는, 유저가, 전자 뷰 파인더를 통해 보아서 임의의 영역을 지정하여 추적 목표 대상물을 확정할 수 있다. 추적 목표 대상물의 위치와 사이즈가 결정된 후, 단계S102로 처리가 진행된다. 단계S102에서, 시스템 컨트롤러(107)는, 추적 목표 영역에 관한 색정보와 휘도정보에 의거하여 추적 목표 대상물의 인식 처리를 행한다.
도 4는, 도 3에 도시된 단계S102의 추적 목표 대상물 인식 처리의 일례를 설명하는 흐름도다. 도 4를 참조하면, 단계S201에서, 시스템 컨트롤러(107)는, 추적 목표 영역의 히스토그램(주 히스토그램)을 작성한다.
도 5는, 화상과, 그 화상의 추적 목표 영역에 포함된 화소들의 일례를 나타낸다. 도 5를 참조하면, 화상(300)은, 카메라로 찍은 펭귄의 씬을 포함한다. 유저는, 그 화상(300)의 일부를 추적 목표 영역(302) 위의 터치패널을 터치해서 지정하여 상기 추적 목표 영역을 확정할 수 있다.
추적 목표 영역 302는, 그 우측부분에 도 5에 도시된, 굵은선의 직사각형으로 둘러싸진 영역 304에 해당한다. 시스템 컨트롤러(107)는, 그 영역(304) 내외의 화소들의 히스토그램을 작성한다.
그 히스토그램은, 색상(hue) 히스토그램과 휘도 히스토그램으로 이루어진다. 각 화소가 유채색 화소인지 무채색 화소인지에 따라, 각각 색상 히스토그램과 휘도 히스토그램으로 분포를 취한다. 각 화소가 유채색 화소인지 무채색 화소인지에 관한 판정은, 각 화소의 채도를 그 임계치와 비교한 결과에 의거하여 실행된다. 본 실시예에서는, 시스템 컨트롤러(107)는, 추적 목표 영역 302안에 포함된 각 영역과 추적 목표 영역 302밖에 있는 각 영역의 히스토그램을 작성한다.
도 6a는, 색상 히스토그램(예를 들면, 유채색 화소의 히스토그램)의 일례를 나타낸다. 도 6b는 평균 색상 히스토그램의 일례를 나타낸다. 이 평균 색상 히스토그램은, 색상 히스토그램에서 분류된 화소의 평균 휘도, 평균 채도, 및 평균 색상을 나타낸다. 도 7a는, 휘도 히스토그램(예를 들면, 무채색 화소의 히스토그램)의 일례를 나타낸다. 도 7b는 평균 휘도 히스토그램의 일례를 나타낸다. 그 평균 휘도 히스토그램은, 휘도 히스토그램에서 분류된 화소의 평균 휘도를 나타낸다. 유채색 화소는, 색상 히스토그램(400)에 분류(등록)된다.
시스템 컨트롤러(107)는, 추적 목표 영역 302안에 존재하는 색상마다(도 6a에서 "Hue") 추적 목표 영역내(도 6a에서 "In")와, 추적 목표 영역외(도 6a의 "Out")의 화소수를 카운트한다.
도 6a 및 도 6b에 도시된 예에서, 시스템 컨트롤러(107)는, 각도 40°마다의 분할 단위(분류 단위)로 색상 히스토그램(400)을 작성한다. 그렇지만, 요구되는 추적 정밀도에 따라 분할 단위를 변경하는 경우도 유용하다. 무채색 화소는, 휘도 히스토그램(440)으로 분류(등록)된다.
시스템 컨트롤러(107)는, 추적 목표 영역(302)안에 존재하는 휘도Y마다, 추적 목표 영역내("In")와 추적 목표 영역외("Out")에 존재하는 화소수를 카운트한다. 도 7a 및 7b의 예에서, 시스템 컨트롤러(107)는, 40 LSB의 분할 단위로 휘도 히스토그램(440)을 작성한다. 그렇지만, 요구되는 추적 정밀도에 따라 분할 단위를 변경할 수 있다.
시스템 컨트롤러(107)는, 색상 히스토그램(400) 및 휘도 히스토그램(440)을 작성한 후, 추적 목표 영역내외의 각 색상의 존재 비율을 산출한다. 그 추적 목표 영역내외의 각 색상의 존재 비율은 다음식으로 산출될 수 있다:
추적 목표 영역내외의 각 색상의 존재 비율[%]＝(추적 목표 영역내의 화소수/추적 목표 영역외의 화소수)×100.
예를 들면, 도 6a에 도시된 예에서, 핑크 색상을 갖는 15 화소, 즉, 추적 목표 영역(302)안에 2화소와 추적 목표 영역 302밖에 13화소가 존재한다. 이에 따라, 그 존재 비율은 15%(=(2/13)×100)이 된다.
그렇지만, 추적 목표 영역내의 화소수가 1이상이며 추적 목표 영역외의 화소수가 0일 경우에, 그 존재 비율은 100%다. 이 존재 비율은, 상기 방식으로 산출된다. 그렇지만, 본 발명은 이것에 한정되지 않는다. 보다 구체적으로는, 그 존재 비율이 다음식으로 산출되는 경우도 유용하다:
존재 비율［％］＝[추적 목표 영역내의 화소수/(추적 목표 영역내의 화소수+추적 목표 영역외의 화소수)]×100.
시스템 컨트롤러(107)는, 색상의 분포를 산출하는 처리와 아울러, 추적 목표 영역(302)안의 화소들의 히스토그램의 분할 단위마다, 해당 분할 단위로 분류된 화소의 평균 휘도AveY, 평균 색상AveChroma, 및 평균 색상AveHue를 산출한다.
보다 구체적으로, 도 6a에 나타낸 색상 히스토그램(400)에서, 옐로우 색상은, 추적 목표 영역(302)안에 3화소가 있다. 따라서, 도 6b에 나타낸 평균 색상 히스토그램(420)에서는, 이 3화소의 평균 휘도AveY가 153 LSB, 평균 색상AveChroma가 55 LSB, 및 평균 색상AveHue가 113°인 것을 보이고 있다.
마찬가지로, 도 7a에 나타낸 히스토그램(440)에서는, 무채색의 색상(화이트 색상)은, 추적 목표 영역(302)안에 3화소가 있다. 따라서, 도 7b에 나타내는 평균 휘도 히스토그램(480)에서는, 이 3화소의 평균 휘도가 210 LSB이다.
상기와 같이, 추적 목표 영역(302)안의 유채색 화소에 관한 정보로서, 색상 히스토그램(400)과, 색상 히스토그램(400)에 분류된 평균 휘도AveY, 평균 채도AveChroma 및 평균 색상AveHue(평균 색상 히스토그램(420))을 취득한다. 추가로, 추적 목표 영역(302)안의 무채색 화소에 관한 정보로서, 휘도 히스토그램(440)과, 해당 휘도 히스토그램(440)에 분류되는 화소의 평균 휘도AveY(평균 휘도 히스토그램(480))을 취득한다. 이하의 설명에서는, 색상 히스토그램(400), 평균 색상 히스토그램(420), 휘도 히스토그램(440), 및 평균 휘도 히스토그램(480)을 필요에 따라서 "주 히스토그램"이라고 총칭한다.
도 4로 되돌아가서, 단계S202에서, 시스템 컨트롤러(107)는, 주 히스토그램의 색상 히스토그램(400)과 휘도 히스토그램(440)의 각각에 있어서 분할 단위로 분류된 각 화소에 인접한 화소 집합의 히스토그램(500, 520)을 작성한다. 이하의 설명에서는, 이 히스토그램(500, 520)을 필요에 따라서 "인접 히스토그램"이라고 총칭한다.
도 8a∼8d 및 도 9a∼9d는, 인접 히스토그램의 작성 대상이 되는 화소의 제1 및 제2 예를 개념적으로 나타낸다. 도 6a, 도 6b, 도 7a 및 도 7b에 나타나 있는 바와 같이, 추적 목표 영역(302)안의 유채색 화소에 관한 정보로서, 핑크, 옐로우, 그린 및 블루2의 4개의 분포와, 추적 목표 영역(302)안의 무채색 화소에 관한 정보로서 블랙0, 블랙1, 그레이2, 화이트(white)의 4개의 분포로 이루어진 합계 8개의 분포를 취득한 것으로 한다. 도 8a∼8d, 도 9a∼9d는, 그 8개의 분포를 갖는 각 화소의 인접화소의 예를 나타낸다.
도 8a를 참조하면, 2개의 핑크 화소(550, 552)의 인접화소를, 그 주위를 둘러싸는 원으로 나타내고 있다. 핑크 화소(550)의 주위에는, 블루2이 1화소, Gary2가 1화소, 블랙1이 1화소, 핑크가 2화소, 화이트가 1화소, 그린이 2화소로 이루어진 합계 8화소가 분포되어 있다. 추가로, 핑크 화소(552)의 주위에는, 그레이2가 1화소, 블랙1이 3화소, 블랙0이 1화소, 화이트가 1화소, 그린이 1화소, 핑크가 1화소로 이루어진 합계 8화소가 분포되어 있다.
시스템 컨트롤러(107)는, 그 핑크 화소들에 인접한 화소 집합으로 구성되는 핑크 화소(550, 552)의 주위에 있는 16화소에 의거하여 히스토그램을 작성한다.
마찬가지로, 도 8b에 도시된 예에서는 3개의 옐로우 화소(554, 556, 558)에 인접하게 전부 24화소가 있다. 도 8c에 도시된 예에서는, 2개의 그린 화소(560, 562)에 인접하게 전부 16화소가 있다. 도 8d에 도시된 예에서는 1개의 블루2 화소(564)에 인접하게 전부 8화소가 있다.
도 9a∼9d는, 무채색의 화소의 인접화소의 예를 나타낸다. 보다 구체적으로, 도 9a∼9d에는, 인접 화소, 즉 블랙0, 블랙1, 그레이2 및 화이트의 화소가 도시되어 있다.
본 실시예에서는, 도 5에 나타낸 추적 목표 영역(304)에 대한 주 히스토그램에 대하여, 시스템 컨트롤러(107)는, 그 추적 목표 영역(304)안의 화소의 히스토그램을 작성한다. 한편, 인접 화소에 대해서는, 시스템 컨트롤러(107)는, 추적 목표 영역(304)보다도 넓은 영역에 존재하는 그것들의 인식을 실행한다.
상술한 구성으로, 본 실시예에 따른 시스템 컨트롤러(107)는, 추적 목표 대상물과 그 배경간의 관계에 관한 정보를 포함한 인접화소에 관한 정보를 취득할 수 있다. 이에 따라서, 본 실시예는, 양호한 추적 결과를 취득할 수 있다. 그렇지만, 양자를 같은 영역을 참조하는 경우도 유용하다.
시스템 컨트롤러(107)는, 도 8a∼8d 및 도 9a∼9d로 나타낸 주 히스토그램의 각 분할 단위로 분류된 각 화소의 인접화소로 이루어진 화소 집합의 히스토그램(인접 히스토그램)을, 주 히스토그램과 연관시킨다. 또한, 시스템 컨트롤러(107)는, 도 10 및 도 11에 나타낸 형식으로 인접 히스토그램과 주 히스토그램을 기억한다.
도 10은, 주 히스토그램의 색상 히스토그램에 대응하는 인접 히스토그램의 예를 나타낸다. 도 11은 주 히스토그램의 휘도 히스토그램에 대응하는 인접 히스토그램의 예를 나타낸다.
그 인접 히스토그램에 있어서, 인접한 화소의 분포 정보로서, 시스템 컨트롤러(107)는, 유채색("Color")의 화소로부터 휘도("Y"), 채도("Chroma"), 및 색상("Hue")을 추출해서 각각의 분포를 취득할 수 있다. 또한, 시스템 컨트롤러(107)는, 무채색("Colorless")의 화소에 의거하여 휘도Y의 분포를 취득할 수 있다.
본 실시예에서는, 단계S201, S202의 처리를 함으로써, 기억부가 실현된다. 보다 구체적으로, 단계S201의 처리를 함으로써, 주 히스토그램의 기억부의 일례가 실현되고, 단계S202의 처리를 함으로써 인접 히스토그램의 기억부의 일례가 실현된다.
본 실시예에서는, 평가 대상의 화소가 유채색 화소일 경우에는, 그 화소의 제1 속성은 색상("Hue")이다. 한편, 평가 대상의 화소가 무채색 화소일 경우에는, 그 화소의 제1 속성은 휘도("Y")다.
본 실시예에서는, 평가 대상의 화소에 인접한 화소가 유채색 화소일 경우에는, 그 인접한 화소의 제2 속성은 색상("Hue"), 채도("Chroma"), 및 휘도("Y")를 포함한다. 한편, 평가 대상의 화소에 인접한 화소가 무채색 화소일 경우에는, 그 인접 화소의 제2 속성은 휘도("Y")다.
도 4의 흐름도에 나타낸 주 히스토그램의 취득과 인접 히스토그램의 취득을 포함하는 추적 목표 대상물 인식 처리가 종료한 후, 단계S103(도 3)에서, 시스템 컨트롤러(107)는, 추적 목표 대상물을 추적하는 것이 가능한가 아닌가의 판정 처리를 행한다.
도 12a 및 도 12b로 이루어진 도 12는, 도 3에 도시된 흐름도의 단계S103의 추적 가부 판정 처리의 일례를 설명하는 흐름도다.
도 12를 참조하면, 단계S301 및 S302에서, 시스템 컨트롤러(107)는, 도 4, 도 6a, 도 6b, 도 7a 및 도 7b를 참조하여 설명한 것과 같은 방식으로 추적 목표 영역의 내외에 있어서, 색상 히스토그램과 휘도 히스토그램으로 이루어진 주 히스토그램을 작성한다.
도 12에 도시된 흐름도에 있어서, "aHistColorTarget[m]"은, 도 6a의 색상 히스토그램(400)에 있어서의 색상("Hue")마다의 추적 목표 영역내("In")의 화소수를 나타낸다. 추가로, "aHistYTarget[n]"은, 도 7a의 휘도 히스토그램(440)에 있어서의 휘도("Y")마다의 추적 목표 영역내("In")의 화소수를 나타낸다. 또한, "aHistColorOther[m]" 은, 도 6a의 색상 히스토그램(400)에 있어서의 색상("Hue")마다의 추적 목표 영역외("Out")의 화소수를 나타낸다. 아울러, "aHistYOther[n]"은, 도 7a의 휘도 히스토그램(440)에 있어서의 휘도("Y")마다의 추적 목표 영역외("Out")의 화소수를 나타낸다. 또한, 시스템 컨트롤러(107)는, 이것들의 값에 의거하여, 도 6b에 나타내는 평균 색상 히스토그램과, 도 7b에 나타내는 평균 휘도 히스토그램을 작성한다.
단계S303에서, 시스템 컨트롤러(107)는, 색상 히스토그램에 포함된 분할 단위마다, 추적 목표 영역내에 화소가 분포되어 있는 것인가 아닌가를 판정한다. 본 실시예에서는, 단계S303에서 사용된 "aHistColorTarget[i]"는, 색상 히스토그램(400)에 있어서의 특정 색상("Hue")(i)에 대응하는 추적 목표 영역내("In")의 화소수의 값을 나타낸다. 보다 구체적으로, 단계S303에서, 시스템 컨트롤러(107)는, aHistColorTarget[i]>0인지를 판정한다.
추적 목표 영역내에 그 색상(i)을 갖는 1이상의 화소가 존재하고 있는 경우(단계S303에서 YES)에, 단계S304로 처리가 진행된다. 단계S304에서,
시스템 컨트롤러(107)는, 그 색상("Hue")(i)에 대하여 추적 목표 영역의 내외의 존재 비율을 산출한다.
추적 목표 영역내외의 색상의 존재 비율에 대해서는, 도 6a 및 도 7a를 참조해서 나타낸 것과 같이 산출된다. 보다 구체적으로, 시스템 컨트롤러(107)는, 그 색상("Hue")(i)에 있어서의 추적 목표 영역내("In")의 화소수(aHistColorTarget[i])을 추적 목표 영역외("Out")의 화소수 (aHistColorOther[i])로 나눈 결과에 100을 곱해서 이 존재 비율을 산출한다. 그렇지만, aHistColorTarget[i]≥1이며 aHistColorOther[i]=0일 경우에는, 그 존재 비율은 100이다.
단계S305에서, 시스템 컨트롤러(107)는, 이 존재 비율이, 소정의 색상채용 조건이 되는 비율보다 높은 것인가 아닌가를 판정한다. 그 존재 비율이, 소정의 색상채용 조건이 되는 비율보다 높지 않은 경우에는(단계S305에서 NO), 추적 목표 대상물과 같은 색이 배경에 많이 존재하고, 이 색을 사용한 추적을 실행하는 경우, 그 추적의 정밀도가 저하하기도 한다고 판단된다. 이에 따라서, 단계S306에서, 시스템 컨트롤러(107)는, 높은 추적 정밀도를 실현하기 위해서, 처리 대상의 색상(i)을 불채용이라고 판단한다.
한편, 존재 비율이, 소정의 색상채용 조건이 되는 비율보다 높은 경우 단계S307의 처리로 진행된다. 단계S307에서, 시스템 컨트롤러(107)는, 처리 대상의 색상(i)을 채용이라고 판단한다.
단계S308에서, 시스템 컨트롤러(107)는, 처리 목표 색상(i)의 "SumOKTarget"와 "SumOKOther"를 기억한다. 본 실시예에서, "SumOKTarget"는, 추적 목표 영역내의 화소수("aHistColorTarget[i]")의 총수를 나타낸다. 또한, 본 실시예에서, "SumOKOther"는, 추적 목표 영역외의 화소수("aHistColorOther[i]")의 총수를 나타낸다. 단계S309에서, 시스템 컨트롤러(107)는, 모든 색상(i)에 대하여, 상기 단계S303으로부터 S308까지의 처리를 반복한다.
이렇게 본 실시예에서는, 시스템 컨트롤러(107)가, 색상 히스토그램의 모든 분할 단위의 색상(i)에 대하여 채용할 것인가를 판정한다. 아울러, 시스템 컨트롤러(107)는, 채용된 화소수의 총 합계를 기억한다.
또한, 시스템 컨트롤러(107)는, 휘도 히스토그램에 대하여도 추적 목표 영역의 내외의 존재 비율이, 상기 소정의 휘도 채용 조건이 되는 비율보다 높은가 아닌가를 판정한다. 단계S310∼S316에서, 시스템 컨트롤러(107)는, 휘도 히스토그램의 분할 단위의 휘도Y(i)를 채용하는가 불채용하는가를 결정한다.
또한, 상기 추적 목표 영역내의 화소의 총수를 나타낸 "SumOKTarget"과, 추적 목표 영역외의 화소의 총수를 나타낸 "SumOKOther"는, 각각 채용된 색상(i)의 화소수의 총 합계에, 채용된 휘도Y(i)의 화소수를 가산해서 산출된 값들이다.
따라서, 결과적으로 얻어진 추적 목표 영역내의 화소의 총수를 나타낸 "SumOKTarget"은, 채용된 색상(i)의 화소수의 총 합계이다. 또한, 결과적으로 얻어진 추적 목표 영역외의 화소의 총수를 나타낸 "SumOKOther"는, 채용된 휘도Y(i)의 화소수의 총 합계이다.
본 실시예에서는, "색상 채용 조건"과 "휘도 채용 조건"을 서로 개별적으로 설정할 수 있다. 특히, 무채색은 유채색에 비교하여, 추적 목표 대상물의 특징으로서 사용하기가 덜 쉽다. 이에 따라, 휘도 채용 조건으로서 색상 채용 조건보다도 엄격한 채용 조건을 설정할 수 있다.
아울러, 도면에 도시하지 않았지만, 본 발명은 유채색 또는 무채색의 채용 조건설정 대신에 특정한 색이나 휘도에 대해서만 채용 조건을 변경하는 경우에도 유용하다. 또한, 단계S303∼S309의 처리와, 단계S310∼S316의 처리 중 어느 한쪽을 실행하지 않는 경우도 유용하다.
색상 히스토그램과 휘도 히스토그램 (주 히스토그램)의 분할 단위마다 상기 채용 판정처리를 실행한 후, 단계S317의 처리로 진행된다. 단계S317에서, 시스템 컨트롤러(107)는, 추적 목표 영역내에 존재하는 상기 채용된 유채색 화소나 무채색 화소의 비율을 판단한다.
보다 구체적으로, 시스템 컨트롤러(107)는, 채용된 추적 목표 영역내의 화소의 총수인 "SumOKTarget"를 상기 프레임내의 화소수로 나눈 값에 100을 곱해서 이 비율을 산출한다.
단계S318에서, 시스템 컨트롤러(107)는, 그 비율이 소정의 프레임내조건보다 높은가 아닌가를 판정한다. 그 비율이 상기 소정의 프레임내 조건보다 높지 않다고 판정된 경우(단계S318에서 NO), 단계S319의 처리로 진행된다. 단계S319에서, 시스템 컨트롤러(107)는, 추적 목표 대상물의 적절한 특징을 취득하지 않았고, 추적 목표 대상물을 추적 불가능하다고 확정한다.
한편, 그 비율이 상기 소정의 프레임내 조건보다 높다고 판정된 경우(단계S318에서 YES), 시스템 컨트롤러(107)는, 추적 목표 대상물의 적절한 특징을 취득하였다고 확정한다. 그 후, 단계S320의 처리로 진행된다. 단계S320에서, 시스템 컨트롤러(107)는, 상기 채용된 유채색이나 무채색의 화소가, 화면내에 존재하는 비율을 산출한다.
보다 구체적으로, 시스템 컨트롤러(107)는, 아래의 방식으로 상기 비율을 산출한다. 먼저, 시스템 컨트롤러(107)는, 추적 목표 영역내의 화소의 총수인 SumOKTarget를, 추적 목표 영역외의 화소의 총수인 SumOKOther에 가산한다. 그리고, 시스템 컨트롤러(107)는, 그 가산 결과를 상기 화면내의 화소수로 나눈다. 그리고, 시스템 컨트롤러(107)는, 그 나눈 결과에 100을 곱한다.
그리고, 단계S321에서, 시스템 컨트롤러(107)는, 상기 방식으로 산출된 비율이 소정의 전체 화면조건B보다 낮은가 아닌가를 판정한다. 이 비율이 상기 소정의 전체 화면조건B보다 낮지 않다고 판정된 경우는(단계S321에서 NO), 단계S319의 처리로 진행된다. 단계S319에서, 시스템 컨트롤러(107)는, 추적되는 유채색이나 무채색의 화소가 추적 목표 대상물이외의 배경영역에 많이 있는 것으로 인해 추적 성능이 저하하기도 하기 때문에 추적 목표 대상물을 추적 불가능하다고 확정한다.
한편, 그 비율이 소정의 전체 화면조건B보다 낮다고 판정된 경우(단계S321에서 YES), 단계S322의 처리로 진행된다. 단계S322에서, 시스템 컨트롤러(107)는, 추적 목표 대상물을 추적 가능하다고 확정한다.
이상과 같이, 시스템 컨트롤러(107)는, 추적 목표 대상물을 추적 가능한가 아닌가의 판단을, 각 색 및 휘도에 대해 단일 속성 평가처리, 추적 목표 영역내의 화소들에 관한 평가처리, 및 화면 전체에 포함된 화소들에 관한 평가처리로 이루어진 복수의 스테이지로 행할 수 있다. 이에 따라, 본 실시예에 따른 시스템 컨트롤러(107)는, 추적 목표 대상물의 추적 가능 여부를 확실하고 적절하게 판정할 수 있다. 그렇지만, 단계S320 및 S321에서는 화면전체 평가를 반드시 행할 필요는 없다.
도 3으로 되돌아가면, 단계S104에서, 시스템 컨트롤러(107)는, 이상의 추적 가부 판정 처리의 결과에 의거하여 추적 목표 영역을 추적하는 것이 가능한 것인가 아닌가를 판정한다. 추적 목표 영역을 추적하는 것이 가능하지 않은 경우에는(단계S104에서 NO), 도 3의 흐름도에 의한 처리를 종료한다. 한편, 추적 목표 영역을 추적하는 것이 가능할 경우에는(단계S104에서 YES), 추적 루프 처리가 개시된다.
그 추적 루프 처리에 있어서, 단계S105에서, 시스템 컨트롤러(107)는, 추적 계속 가부 판정을 행한다. 도 13은, 도 3에 도시된 흐름도에서의 단계S105의 추적 계속 가부 판정 처리의 일례를 설명하는 흐름도다.
도 13을 참조하면, 단계S401에서, 시스템 컨트롤러(107)는, 도 6a 및 도 7a에 나타낸 히스토그램에서 채용된 유채색 및 무채색의 화소가, 화면내에 존재하는 비율을 산출한다. 보다 구체적으로, 시스템 컨트롤러(107)는, 도 6a 및 도 7a에 나타낸 히스토그램에서 채용된 유채색 및 무채색의 화소의 총수인 "SumOKALL"을 전체 화면에 포함된 화소수로 나누어서 산출된 값에 100을 곱해서 그 비율을 산출한다. 본 실시예에서, 상기 화소의 총수 "SumOKALL"은, 추적 목표 영역내의 화소의 총수인 "SumOKTarget"와, 추적 목표 영역외의 화소의 총수인 "SumOKOther"를 가산하여 산출된 값이다.
단계S402에서, 시스템 컨트롤러(107)는, 상기 비율이 소정의 전체 화면조건C보다 낮은가 아닌가를 판정한다. 그 비율이 소정의 전체 화면조건C보다 낮지 않다고 판정되는 경우(단계S402에서 NO), 단계S403의 처리로 진행된다. 단계S403에서, 시스템 컨트롤러(107)는, 추적되는 유채색이나 무채색의 화소가 추적 목표 대상물이외의 배경영역에 많이 있는 것으로 인해, 추적 성능이 저하하기도 하기 때문에 추적 목표 대상물을 추적 불가능하다고 확정한다.
한편, 상기 비율이 소정의 전체 화면조건C보다 낮다고 판정되는 경우(단계S402에서 YES), 단계S404의 처리로 진행된다. 단계S404에서, 시스템 컨트롤러(107)는, 추적 목표 대상물을 추적 가능하다고 확정한다. 본 실시예에서, "전체 화면조건C"는, 도 12를 참조하여 상술한 단계S321에서 처리하고 있는 추적 목표 대상물의 추적 가부를 판정하기 위한 최종 판정 조건인 "전체 화면조건B"와는 다른 조건으로서 설정될 수 있다.
상기 전체 화면조건B보다도 엄격한 상기 전체 화면조건C을 사용함으로써, 본 실시예에 따른 시스템 컨트롤러(107)는, 추적 시작후에 배경의 상황이 변화되어, 추적 목표 대상물과 같은 색상이나 같은 휘도의 화소수가 증가하는 경우, 추적을 즉시 중단할 것인가 아닌가의 판단을 행할 수 있다.
도 13에 도시된 예에서는, 그 조건이 "전체 화면조건C"로 고정된다. 그렇지만, 추적 시작 후 경과된 시간에 따라 서서히 조건을 변화시키는 경우(범위를 좁히는 경우)도 유용하다.
아울러, 단계S318(도 12)에서 사용된 "프레임내 조건", 단계S321(도 12)에서 사용된 "전체 화면조건B", 및 단계S402(도 13)에서 사용된 "전체 화면조건C"를, 상기 대상물이 색상에 의해서만 추적되는 경우, 상기 대상물이 휘도에 의해서만 추적되는 경우, 및 상기 대상물이 색상과 휘도의 양쪽에 의해서 추적되는 경우마다 범위를 좁히는 경우에도 유용하다. 추가로, 특정한 색만에 대한 조건과 특정한 휘도만에 대한 조건을 한층 더 바꾸는 경우에도 유용하다.
도 3으로 되돌아가면, 단계S106에서, 시스템 컨트롤러(107)는, 상기 추적 계속 가부 판정 처리의 결과에 의거하여 추적 목표 영역의 추적을 계속하는 것이 가능한 것인가 아닌가를 판정한다. 상기 추적 목표 영역의 추적을 계속하는 것이 가능하지 않을 경우에는(단계S106에서 NO), 도 3의 흐름도에 도시된 처리를 종료한다. 한편, 추적 목표 영역의 추적을 계속하는 것이 가능할 경우에는(단계S106에서 YES), 단계S107의 처리로 진행된다. 단계S107에서, 시스템 컨트롤러(107)는, 추적 목표 대상물의 검출 처리를 실행한다.
도 14는, 도 3에 도시된 흐름도에서 단계S107의 추적 목표 대상물 검출 처리의 일례를 설명하는 흐름도다. 추적 목표 대상물 검출 처리는, 화면 전체나, 화면내의 임의의 영역에 대해서만 실행할 수 있다. 그렇지만, 본 실시예에서는, 화면 전체에 대하여 추적 목표 대상물 검출 처리를 실행한다고 한다.
도 15는, 추적 목표 대상물 검출 처리를 실행하여 추적 목표 영역을 추적하는 방법의 일례를 개략적으로 나타낸다. 화면내의 추적 목표 대상물을 추적할 때 기점, 방향 또는 순서를 다양하게 설정할 수 있다. 그렇지만, 본 실시예에서는, 도 15에 나타나 있는 바와 같이 화면 좌측위를 기점으로 수평방향으로 상기 추적 목표 대상물의 추적을 실행하는 것으로 한다. 그리고, 아래의 라인에, 순차로 상기 추적을 행한다.
도 14를 참조하면, 단계S501에서, 시스템 컨트롤러(107)는, 처리 대상의 화소(평가 대상의 화소)가, 주 히스토그램에 분포된 화소에 일치하는 것인가 아닌가를 판정한다. 보다 구체적으로, 단계S501에서, 시스템 컨트롤러(107)는, 처리 대상의 화소가, 추적 목표 영역내에 존재하는 화소로서 도 6a 및 도 7a의 흐름도에 나타낸 주 히스토그램에 기억된 유채색 화소인지 무채색 화소인지를 판정한다. 아울러, 단계S501에서, 시스템 컨트롤러(107)는, 처리 대상의 화소가, 도 6b 및 도 7b에 나타낸 평균 히스토그램에 기억한 평균 휘도, 평균 채도 또는 평균 색상에 대하여 그 소정의 범위내에 속하는가 아닌가를 판정한다.
상기 처리 대상의 화소가, 주 히스토그램에 분포된 화소에 일치하지 않다고 판정된 경우에는(단계S501에서 NO), 단계S506의 처리로 진행된다. 한편, 처리 대상의 화소가, 주 히스토그램에 분포된 화소에 일치한다고 판정된 경우에는(단계S501에서 YES), 단계S502의 처리로 진행된다. 단계S502에서, 시스템 컨트롤러(107)는, 그 화소의 위치에 대하여 레이팅 포인트를 부여한다.
도 16a∼16d는, 추적 목표 대상물을 검출하기 위해서 탐색되는 화소에 레이팅 포인트를 부여하는 방법의 일례를 개략적으로 나타낸다. 도 16a를 참조하면, 처리되는 화소(처리 대상 화소)(650)가 주 히스토그램의 유채색과 일치할 경우에, 시스템 컨트롤러(107)는, 그 처리 대상 화소(650)에 1레이팅 포인트를 부여한다.
한편, 도 16b에 나타나 있는 바와 같이, 처리 대상 화소(660)가 주 히스토그램의 무채색과 일치할 경우에, 시스템 컨트롤러(107)는, 그 처리 대상 화소(660)에 0포인트를 부여한다(레이팅 포인트를 상기 처리 대상 화소(660)에 부여하지 않는다).
또는, 다음의 구성을 이용하는 것도 유용하다. 보다 구체적으로, 이 경우에, 처리 대상 화소(650)가 주 히스토그램의 유채색과 일치할 경우에는, 시스템 컨트롤러(107)는, 2 레이팅 포인트를 상기 처리 대상 화소(650)에 부여한다. 한편, 이 경우에, 처리 대상 화소(650)가 주 히스토그램의 무채색과 일치할 경우에는, 시스템 컨트롤러(107)는, 유채색일 경우에 부여한 것보다 작은 레이팅 포인트인 1포인트를 부여한다.
단계S503에서, 시스템 컨트롤러(107)는, 처리 대상 화소에 인접한 화소가, 인접 히스토그램에 분포된 화소에 일치하는 것인가 아닌가를 판정한다. 보다 구체적으로, 시스템 컨트롤러(107)는, 주 히스토그램과 일치하는 화소에 대해, 처리 대상 화소(610)의 주변의 8화소가, 도 10 및 도 11에 나타낸 인접 히스토그램과 일치하는 것인가 아닌가를 판정한다.
처리 대상 화소에 인접한 화소가, 인접 히스토그램에 분포된 화소에 일치하지 않는다고 판정된 경우에는(단계S503에서 NO), 단계S505의 처리로 진행된다. 한편, 처리 대상 화소에 인접한 화소가, 인접 히스토그램에 분포된 화소에 일치한다고 판정된 경우에는(단계S503에서 YES), 단계S504의 처리로 진행된다. 단계S504에서, 시스템 컨트롤러(107)는, 그 화소의 위치에 대하여 레이팅 포인트를 부여한다.
보다 구체적으로, 도 16c에 나타나 있는 바와 같이, 인접 히스토그램에 분포되고 상기 주 히스토그램의 유채색과 일치한 유채색 화소의 색상과 다른 색상을 갖는 유채색 화소(652)가 상기 유채색 화소에 인접하게 존재하는 경우에, 시스템 컨트롤러(107)는, 5 포인트를 부여한다.
한편, 도 16c에 나타나 있는 바와 같이, 인접 히스토그램에 분포되고 상기 주 히스토그램의 유채색과 일치한 유채색 화소의 색상과 같은 색상을 갖는 유채색 화소(654)가 상기 유채색 화소에 인접하게 존재하는 경우에, 시스템 컨트롤러(107)는, 4 포인트를 부여한다.
또한, 도 16c에 나타나 있는 바와 같이, 주 히스토그램의 유채색과 일치하는 유채색의 화소에 인접하게, 인접 히스토그램에 분포된 무채색의 화소(656)가 존재하는 경우에, 시스템 컨트롤러(107)는, 3포인트를 부여한다.
한편, 도 16d에 나타나 있는 바와 같이, 주 히스토그램의 유채색과 일치한 유채색의 화소에 인접하게, 인접 히스토그램에 분포된 유채색의 화소(662)가 존재하는 경우에, 시스템 컨트롤러(107)는, 3포인트를 부여한다.
또한, 도 16d에 나타나 있는 바와 같이, 주 히스토그램의 무채색과 일치한 무채색의 화소의 이웃에, 해당 무채색과 다른 휘도의 무채색의 화소(664)가 존재하는 경우에, 시스템 컨트롤러(107)는, 2포인트를 부여한다. 한편, 주 히스토그램의 무채색과 일치한 무채색의 화소의 이웃에, 해당 무채색과 같은 휘도의 무채색의 화소(666)가 존재하는 경우에, 시스템 컨트롤러(107)는, 2포인트를 부여한다.
처리 대상의 화소에 인접한 화소가, 도 10 및 도 11에 나타낸 인접 히스토그램에 분포된 화소들 중 어느 하나와 일치하는 것인가 아닌가를 판정할 때, 인접한 화소가 유채색 화소인 경우만 그 색상에 의거하여 판정을 행하는 경우도 유용하다. 이와는 달리, 이 경우에, 색상, 채도("Chroma"), 및 휘도Y 모두에 의거하여 판정을 행하는 경우에도 유용하다.
또한, 도 16a∼16d에 나타낸 예들에서는, 처리 대상 화소와 이에 인접한 화소와의 조합에 따라 부여되는 레이팅 포인트를 변경한다. 그렇지만, 상술한 모든 경우에서 같은 레이팅 포인트를 부여하는 경우도 유용하다. 또한, 상술한 것과 다른 레이팅 포인트를 부여하는 경우도 유용하다.
시스템 컨트롤러(107)는, 이 추적 목표 대상물 검출 처리에서는, 처리 대상 화소가 주 히스토그램에 분포된 화소들 중 어느 하나와 일치하는 것인가 아닌가와, 그 처리 대상 화소에 인접한 화소가 인접 히스토그램에 분포된 화소들 중 어느 하나와 일치하는 것인가 아닌가를 판정한다.
이 판정에서, 시스템 컨트롤러(107)는, 주 히스토그램과 인접 히스토그램에 포함된 화소수에 관한 정보를 사용하지 않는다. 이에 따라, 상기 주 히스토그램과 인접 히스토그램으로부터 화소수에 관한 정보를 삭제할 수 있다. 보다 구체적으로, 이 추적 목표 대상물 검출 처리에서는, 추적 목표 영역에 포함된 각 화소의 속성이 무엇인지에 관한 정보와, 추적 목표 영역에 포함된 각 화소에 인접한 각 화소의 속성이 무엇인지에 관한 정보가, 필요하다.
바꿔 말하면, 추적 목표 대상물 검출 처리에서는, 추적 목표 영역에 포함된 화소의 속성이 무엇인지에 관한 정보와, 추적 목표 영역에 포함된 각 화소에 인접한 화소의 속성이 무엇인지에 관한 정보가, 필요하다.
이 추적 목표 대상물 검출 처리에서 사용된 분류 데이터는, 그 분류 데이터가 상술한 정보를 포함할 수 있으면, 도 6a, 도 6b, 도 7a 및 도 7b에 나타낸 주 히스토그램에 한정되는 것이 아니다. 아울러, 상술한 것과 다른 형태의 주 분류 데이터를 사용하는 경우에도 유용하다.
추가로, 상기 인접 분류 데이터는, 도 10 및 도 11에 나타낸 인접 히스토그램에 한정되는 것이 아니다. 보다 구체적으로는, 상술한 것과 다른 형태의 인접 분류 데이터를 사용하는 경우에도 유용하다. 보다 구체적으로, 도 6a, 도 6b, 도 7a 및 도 7b에 나타낸 주 히스토그램을 작성하여 사용하는 것 대신에, 추적 목표 영역내에 존재하는 화소가 갖는 색상의 종류만을 의미하는 주 분류 데이터를 작성해서 사용하는 경우도 유용하다.
또한, 도 10 또는 도 11에 나타낸 인접 히스토그램을 작성하여 사용하는 대신에, 시스템 컨트롤러(107)가, 추적 목표 영역내에 존재하는 화소가 갖는 색상의 종류와, 그 화소에 인접한 모든 화소가 각각 갖는 색상의 종류만을 의미하는 인접 분류 데이터를 작성해서 사용하는 경우에도 유용하다.
도 15 및 도 16a∼16d를 참조하여 설명한 바와 같이, 본 실시예에서, 시스템 컨트롤러(107)는, 화면내의 처리 대상의 화소와 그 화소에 인접한 화소들과의 관계를 평가한다. 아울러, 시스템 컨트롤러(107)는, 처리 대상 화소와 주 히스토그램간의 일치 상황과, 상기 인접 화소와 상기 인접 히스토그램간의 일치 상황을 판정한다. 그들이 서로 일치한다고 판정된 경우, 시스템 컨트롤러(107)는, 평가 화소 위치에 레이팅 포인트를 부여한다. 단계S505에서, 시스템 컨트롤러(107)는, 이러한 처리를 모든 인접화소에 대해서 완전히 실행하였는지를 판정한다.
상기 처리를 모든 인접화소에 대해서 완전히 실행하였다고 판정된 경우에(단계S505에서 YES), 단계S506의 처리로 진행된다. 단계S506에서, 시스템 컨트롤러(107)는, 상기 부여된 레이팅 포인트와, 도 6b 및 도 7b를 참조하여 설명한 방식으로 기억해둔 주 히스토그램의 분할 단위마다의 평균 휘도, 평균 채도 및 평균 색상을 사용하여, 상기 평가 화소 위치마다 평가 값을 산출한다.
보다 구체적으로, 시스템 컨트롤러(107)는, 상기 평가 화소가 유채색일 경우에는, 이하의 식(1)로 평가 값을 산출하고, 그 평가 화소가 무채색일 경우에는 이하의 식(2)로 평가 값을 산출한다:
Figure 112010049343705-pat00001
(1)
Figure 112010049343705-pat00002
(2)
여기에서, "ΔHue"는, 평가 화소의 색상과, 도 6b 및 도 7b에 나타낸 평균 히스토그램에 이미 기억된 평균 색상간의 차이, "Δchroma"는 평가 화소의 채도와, 도 6b 및 도 7b에 나타낸 평균 히스토그램에 이전에 기억된 평균 채도간의 차이, "ΔY"는, 평가 화소의 휘도와, 도 6b 및 도 7b에 나타낸 평균 히스토그램에 이미 기억된 평균 휘도간의 차이, "Δdistance" 는, 표시장치(105)에 표시하고 있는 추적 목표 대상물 위치를 나타내는 프레임의 위치와, 평가 화소의 위치간의 거리를 의미한다. 추적 목표 대상물을 검출하는 정밀도가 극히 높은 경우, 상기 거리 "Δdistance"는 불필요하거나 매우 작을 수 있다.
그렇지만, 유사한 색상이나 휘도의 화소가 평가 화소의 주변에 많이 있는 경우에, 특정의 거리 계수를 상기 식(1) 및 식(2)의 항목에 가산하여서 추적 목표 대상물 검출 정밀도 부족으로 인해 일어나기도 하는 프레임 표시의 헌팅(hunting) 현상을 억제할 수 있다.
식(1) 및 식(2)에서는, 다른 단위계를 갖는 항목을 서로 가산한다. 이에 따라, 그들간의 밸런스를 유지하기 위해서, 계수"K0"∼"K4"를 사용한다. 또는, 그 처리를 간소화하기 위해서, 식(1)과 식(2) 각각의 분모로서 정수를 사용하는 경우도 유용하다. 이것은, 단계S501에서의 판정기준을 엄격하게 설정하면, 이 식(1)과 식(2) 각각의 분모에 있어서의 "ΔHue"와 "ΔChroma"의 값의 변화 범위가 작아지기 때문이다.
단계S507에서, 시스템 컨트롤러(107)는, 화면내의 모든 화소의 평가 값의 산출을 완료한 것인가 아닌가를 판정한다. 화면내의 모든 화소의 평가 값의 산출을 완료하지 않았다고 판정된 경우에(단계S507에서 NO), 단계S501의 처리로 귀환한다. 한편, 화면내의 모든 화소의 평가 값의 산출을 완료하였다고 판정된 경우에(단계S507에서 YES), 단계S508의 처리로 진행된다.
단계S508에서, 시스템 컨트롤러(107)는, 그 산출한 평가 값을 사용하여, 추적 목표 대상물 위치를 식별한다. 보다 구체적으로, 시스템 컨트롤러(107)가 산출한 평가 값의 화소단위의 피크 위치를 탐색하고, 그 위치를 추적 목표 대상물 위치로서 설정하는 경우에 유용하다. 추가로, 시스템 컨트롤러(107)가 소정의 값보다 큰 평가 값을 갖는 화소의 집합의 위치를 탐색하고, 그 화소의 집합의 위치를 상기 추적 목표 대상물의 위치로서 설정하는 경우에 유용하다.
그렇지만, 상기 평가 값이 특정값에 도달하는 위치를 결정할 수 없는 경우, 즉, 상기 산출한 평가 값을 사용하여 추적 목표 대상물 위치를 식별할 수 없는 경우, 시스템 컨트롤러(107)는, 추적 목표 대상물 위치를 식별하지 않는다.
시스템 컨트롤러(107)는, 상기 추적 목표 대상물 위치가 식별된 경우에, 그 식별된 추적 목표 대상물의 위치에 따른 상기 프레임을 표시하는 위치를 결정한다. 추적 목표 대상물 위치가 식별되지 않은 경우에는, 시스템 컨트롤러(107)는, 상기 프레임을 표시하는 위치를 결정하지 않는다.
이상과 같이 본 실시예에서는 단계S502, S504 및 S506의 처리를 행함으로써, 부여(allocation)부의 일례가 실현된다. 또한, 본 실시예에서는, 단계S508, S509의 처리를 행함으로써 변경부의 일례가 실현된다.
도 17은, 평가 값의 산출 결과의 일례를 나타낸다. 도 17에 도시된 예에서는, 도 2a에 나타낸 화상으로부터 도 2b에 나타낸 화상으로 화상이 변경이 되었을 경우, 도 2b에 나타낸 화상의 평가 값을 나타낸다.
도 17에 도시된 예에서, 세로축과 가로축은, 각각 도 2b에 나타낸 화상의 수직방향의 좌표와 수평방향의 좌표를 나타내는 축이다. 이들의 축에 평행한 평면에 대하여 직교하는 또 하나의 축은, 각 좌표에 있어서의 평가 값을 나타낸다.
도 2a에 도시된 예에서는, 추적 목표 대상물이 확정된 시점의 화상을 보이고 있다. 시스템 컨트롤러(107)는, 그 영역 202내의 부분을 추적 목표 영역으로서 인식한다. 추가로, 시스템 컨트롤러(107)는, 주 히스토그램 및 그의 인접 히스토그램을 작성한다.
도 2b에 도시된 예에서는, 추적 목표 영역이 이동한 후의 화상을 나타낸다. 이러한 상태에서 산출한 평가 값은, 도 17에 나타낸 분포가 된다. 이 결과, 시스템 컨트롤러(107)는, 높은 평가 값(612)을 갖는 영역에 추적 목표 영역을 나타내는 프레임을 표시할 수 있다.
본 실시예의 도 17에 나타낸 예에서는, 평가 값 612와 다른 높은 평가 값 620, 622, 624의 복수의 영역이 존재한다.
현재 표시하고 있는 추적 목표 영역을 나타내는 프레임이 평가 값 620의 위치에 있다고 한다. 이 평가 값 620은, 평가 값 612보다 낮다. 또한, 이 평가 값 620을 갖는 화소의 위치는, 상기 평가 값 612를 갖는 화소에 보다 가깝다. 이에 따라, 이미 추적 목표 대상물 위에 그 프레임을 표시하고 있었는지 모른다.
따라서, 이러한 경우에는, 시스템 컨트롤러(107)가 그 프레임 표시 위치를 변경하지 않는 경우도 유용하다. 보다 구체적으로, 평가 값 612의 위치를 변경하는 대신에, 평가 값 620의 위치에 그 프레임을 표시하는 경우도 유용하다.
도 3으로 되돌아가서, 단계S108에서, 시스템 컨트롤러(107)는, 도 14의 단계S508의 처리의 결과로서 상기 추적 목표 영역을 검출하였는가 아닌가를 판정한다. 그 추적 목표 영역을 검출하였다고 판정된 경우(단계S108에서 YES), 단계S109의 처리로 진행된다. 단계S109에서, 시스템 컨트롤러(107)는, 도 14의 단계S509에서 결정한 프레임 표시 위치에 그 프레임을 표시시킨다. 그리고, 단계S105의 처리로 귀환한다.
한편, 추적 목표 영역을 검출하지 않은 경우(단계S108에서 NO), 단계S110의 처리로 진행된다. 단계S110에서, 시스템 컨트롤러(107)는, 타임아웃(즉, 추적 목표 영역을 검출하지 않았다고 판정된 타이밍 이후 소정의 시간이 경과함)이 일어났는가를 판정한다.
타임아웃이 일어났다고 판정된 경우에는(단계S110에서 YES), 도 3의 흐름도에 의한 처리를 종료한다. 한편, 타임아웃이 일어나지 않았다고 판정된 경우에는(단계S110에서 NO), 단계S105의 처리로 되돌아간다.
이상과 같이, 본 실시예에서는, 시스템 컨트롤러(107)는, 추적 목표 영역내외에 존재하는 화소들을 분류하는 주 분류 데이터인 히스토그램(주 히스토그램)을 작성한다. 보다 구체적으로, 유채색에 관해서는, 시스템 컨트롤러(107)는, 색상 히스토그램(400)을 작성한다. 무채색에 관해서는, 시스템 컨트롤러(107)는, 휘도 히스토그램(440)을 작성한다. 또한, 추적 목표 영역내의 각 화소에 대해서, 시스템 컨트롤러(107)는, 해당 화소에 인접한 화소를 분류하는 인접 분류 데이터인 히스토그램(500, 520)(인접 히스토그램)을 작성한다.
추적 목표 대상물을 검출할 때, 처리 대상의 화소에 대해서, 해당 화소의 속성에 대응한 속성의 화소가 주 히스토그램내에 있는 경우에, 시스템 컨트롤러(107)는, 그 처리 대상의 화소의 평가 값을 증가시킨다. 한편, 처리 대상의 화소에 인접한 화소에 대해서, 해당 화소의 속성에 대응한 속성의 화소가 인접 히스토그램내에 있는 경우에, 시스템 컨트롤러(107)는, 처리 대상의 화소의 평가 값을 증가시킨다.
이 인접 히스토그램에 대해, 본 실시예에서는, 처리 대상의 화소에 인접한 화소의 속성을 판정할 뿐이고, 처리 대상의 화소에 대하여 상기 인접 화소의 방향을 판정하지 않는다. 그 때문에, 추적 목표 대상물의 방향이 회전에 의해 변화되거나, 추적 장치(촬상장치)자체의 세로 또는 가로 방향의 자세가 변화되는 경우에, 그 평가 값은 영향을 받기 어렵다.
상기 인접 히스토그램을 사용함으로써, 본 실시예에서는, 처리 대상의 화소마다 인접한 화소의 속성을 판정한다. 따라서, 본 실시예는, 추적 목표 대상물 자체의 형상이 변형된 경우에도 추적 성능의 향상을 유지할 수 있다.
보다 구체적으로, 정면을 보는 인물의 얼굴을 추적 목표 대상물로서 설정하였을 경우와, 추적 목표 대상물(인물의 얼굴)이 비스듬히 옆으로 향하는 경우에, 인물의 얼굴의 화상의 폭이 축소된다. 이에 따라, 이 경우에는, 그 인물의 얼굴의 화상의 형상은, 그 인물의 얼굴을 추적 목표 대상물로서 설정한 타이밍에서의 얼굴과 달라도 된다.
추가로, 정면을 보는 얼굴을 추적 목표 대상물로서 설정하는 경우와 그 인물이 추적장치에 가깝게 되는 경우, 그 인물의 얼굴의 화상의 사이즈는, 그 인물의 얼굴을 추적 목표 대상물로서 설정한 타이밍에서의 얼굴과 달라도 된다.
일례는, 3개의 화소, 즉 인물의 눈초리에 해당하는 화소, 눈의 홍채의 외측 가장자리에 해당하는 화소, 및 입술의 단부에 해당하는 화소에 대해서 초점을 둔다. 이 예에서, 인물의 얼굴의 방향이 바뀌거나, 인물의 얼굴이 추적장치에 가깝게 되는 경우에, 상기 3개의 화소들간의 방향 관계와 그들간의 상대적 거리는 변화되어도 된다. 그렇지만, 이 경우에, 각 화소의 속성들과 그 화소에 인접한 화소들의 속성들 중에서 일어나는 변화량이 작다는 것을 용이하게 이해한다.
본 실시예에서는, 시스템 컨트롤러(107)는, 상기 평가 값의 산출을 화면내에 포함된 모든 화소에 대해서 실행한다. 또한, 시스템 컨트롤러(107)는, 평가 값이 높은 화소를 포함하는 영역을 추적 목표 영역으로서 설정한다.
상기 구성으로, 본 실시예는, 종래의 추적 방법이 적절한 추적동작을 실행할 수 없는 상태에서 추적 성능을 향상시킬 수 있다.
추가로, 상술한 구성의 본 실시예에 의해 추적용의 템플릿 화상을 기억할 필요가 없다. 이 때문에, 메모리 용량을 절감할 수 있다. 또한, 본 실시예는, 화상의 해상도가 낮을 경우에 추적 성능을 향상할 수 있다. 이 때문에, 본 실시예는, 높은 화상처리능력을 필요로 하지 않는다.
이하, 본 발명의 제2실시예를 상세히 설명한다. 본 실시예에서는, 프레임간 차분 방법을 이용 가능한 경우 프레임간 차분 방법에 의해 추적 목표 대상물을 추적한다. 한편, 본 실시예에서는, 프레임간 차분 방법에 의한 추적이 이용 가능하지 않은 경우에, 제1실시예에서 상술한 방식과 같은 방식으로 추적 목표 대상물을 추적한다.
달리 말하면, 본 실시예는, 전술한 제1실시예에 대하여, 프레임간 차분 방법을 병용하는 점에서 다르다. 전술한 제1실시예와 동일한 본 실시예의 구성요소에는, 도 1∼도 17을 참조하여 상술한 제1실시예의 것과 같은 참조번호나 부호가 구비된다. 이에 따라서, 여기서는 그 설명을 반복하지 않겠다.
도 18은, 본 실시예에 따른 촬상장치에서 실행된 추적 목표 대상물을 추적하는 처리의 일례를 설명하는 메인 흐름도다.
도 18을 참조하면, 단계S1001에서, 시스템 컨트롤러(107)는, 추적 목표 대상물의 위치와 사이즈를 확정한다. 단계S1002에서, 시스템 컨트롤러(107)는, 추적 목표 대상물 인식 처리를 행한다. 단계S1003에서, 시스템 컨트롤러(107)는, 추적 가부 판정 처리를 행한다. 단계S1001∼S1003에서, 시스템 컨트롤러(107)는, 도 3의 흐름도에 도시된 단계S101∼S103과 같은 처리를 행한다.
단계S1004에서, 시스템 컨트롤러(107)는, 프레임간 상대 차분법으로 추적 목표 영역을 추적한다. 프레임간 상대 차분법동안, 시스템 컨트롤러(107)는, 지정된 추적 위치에 있는 화상 데이터를 템플릿 화상으로서 사용하고, 다음 화상 프레임으로부터 패턴 매칭하는 영역을 검색한다.
또한, 시스템 컨트롤러(107)는, 패턴 매칭하는 영역으로서 검출한 위치에 있는 화상 데이터를 템플릿 화상으로서 갱신한다. 또한, 시스템 컨트롤러(107)는, 다음 프레임 화상으로부터 패턴 매칭하는 상기 영역을 계속 검색한다.
상술한 것처럼, 본 실시예에서, 시스템 컨트롤러(107)는, 템플릿 화상을 순차로 갱신하면서, 다음 프레임 화상으로부터 추적 목표 대상물을 계속해서 추적한다. 상기 프레임간 상대 차분법을 사용하는 경우, 패턴 매칭이 실행될 수 없고, 추적 목표 대상물이 추적 불가능하다고 판단되는 경우가 있다.
이에 따라, 단계S1005에서, 시스템 컨트롤러(107)는, 프레임간 상대 차분법에서의 추적이 가능한 것인가 아닌가를 판정한다. 보다 구체적으로, 추적 목표 대상물의 방향이 그 회전으로 인해 갑자기 변화되었을 경우나, 추적 장치자체의 세로 또는 가로방향의 자세가 변화되었을 경우와, 패턴 매칭이 이들의 원인으로 인해 실행될 수 없는 경우에, 프레임간 상대 차분법에서의 추적이 불가능해진다.
그 프레임간 상대 차분법에서의 추적이 가능하다고 판정되는 경우에는(단계S1005에서 YES), 단계S1004의 처리로 되돌아가고, 시스템 컨트롤러(107)는 프레임간 상대 차분법으로의 추적 목표 대상물을 계속 추적한다. 한편, 프레임간 상대 차분법에서의 추적이 불가능하다고 판정될 경우에는(단계S1005에서 NO), 단계S1006의 처리로 진행된다.
이 경우에, 단계S1006에서, 시스템 컨트롤러(107)는, 추적 계속 가부 판정 처리를 실행한다. 단계S1007에서, 시스템 컨트롤러(107)는, 추적 목표 대상물의 추적의 계속이 가능한 것인가 아닌가를 판정한다. 단계S1008에서, 시스템 컨트롤러(107)는, 추적 목표 대상물 검출 처리를 행한다. 보다 구체적으로, 단계S1009에서, 시스템 컨트롤러(107)는, 추적 목표 대상물이 검출되었는지를 판정한다.
그 추적 목표 대상물이 검출되었다고 판정된 경우에는(단계S1009에서 YES), 단계S1010의 처리로 진행된다. 단계S1010에서, 시스템 컨트롤러(107)는, 프레임 표시 위치에 그 프레임을 표시시킨다. 그 후, 단계S1004로 되돌아간다.
단계S1004에서, 시스템 컨트롤러(107)는, 단계S1008에서 검출된 추적 목표 영역으로부터, 프레임간 상대 차분법으로 상기 추적 목표 대상물의 추적을 재개한다. 한편, 추적 목표 영역이 검출되지 않은 경우에는, 단계S1011의 처리로 진행된다. 단계S1011에서, 시스템 컨트롤러(107)는, 타임아웃이 일어났는가 아닌가를 판정한다. 타임아웃이 일어났다고 판정된 경우에는(단계S1011에서 YES), 도 18의 흐름도에 따른 처리를 종료한다. 한편, 타임아웃이 일어나지 않았다고 판정된 경우에는(단계S1011에서 NO), 단계S1006의 처리로 되돌아간다.
단계S1006 내지 S1011의 처리는, 도 3의 흐름도에 도시된 단계S105 내지 S110의 처리와 같다.
이상과 같이, 도 18에 나타낸 흐름도에 따른 처리에서는, 프레임간 상대 차분법에서의 추적과, 제1실시예에서 상술한 추적을 동시에 실행하지 않는다. 그렇지만, 본 발명은 이것에 한정되지 않는다. 보다 구체적으로, 양쪽의 처리를 동시 평행적으로 실시하는 경우에도 유용하다. 이 경우에, 시스템 컨트롤러(107)는, 어느쪽의 처리가 정확도가 높은지를 판정하고, 정확도가 보다 높은 처리의 결과를 사용해서 상기 추적 목표 대상물의 추적을 실행한다. 추가로, 상기 프레임간 상대 차분법 대신에, 상기 배경기술의 설명에서 상술한 것 등의 어떠한 다른 추적 방법을 채용하는 경우도 유용하다.
또한, 본 발명은, 전술한 실시예들의 기능을 실현하는 소프트웨어의 프로그램 코드를 기억하는 기억매체(또는 기록매체)를 갖는 시스템 또는 디바이스를 제공하고, 그 시스템 또는 그 디바이스(ＣＰＵ 또는 ＭＰＵ)의 컴퓨터로 상기 기억매체 격납된 프로그램 코드를 판독하여 실행함으로써 실현될 수 있다. 이 경우에, 그 기억매체로부터 판독된 프로그램 코드 자체는, 상술한 실시예들의 기능들을 실현한다. 추가로, 본 발명의 실시예를 실현하는 프로그램은, 컴퓨터 판독 가능한 기억매체에 격납될 수 있다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

Claims (20)

  1. 화상에 대하여 설정된 추적 목표 영역내의 각 화소의 속성과, 해당 화소에 인접한 화소의 속성을 기억하는 기억부;
    평가 대상의 화소의 속성과, 상기 추적 목표 영역내의 화소의 속성간의 비교 결과와, 상기 평가 대상의 화소에 인접한 화소의 속성과, 상기 추적 목표 영역내의 상기 화소에 인접한 화소의 속성간의 비교 결과에 따라, 상기 평가 대상의 상기 화소에 평가 값을 부여하는 부여(allocation)부; 및
    상기 부여된 평가 값에 의거하여 상기 추적 목표 영역을 변경하는 변경부를 구비한, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 기억부는, 상기 추적 목표 영역내의 각 화소의 분류의 데이터로서 제1 속성에 있어서의 소정의 분류 단위에 따라 분류된 데이터인 주 분류 데이터를 작성해서 기억매체에 기억하는 주 분류부; 및
    상기 추적 목표 영역내의 각 화소에 인접한 화소의 분류 데이터로서 상기 제1 속성에 있어서의 상기 소정의 분류 단위와, 제2 속성에 있어서의 소정의 분류 단위에 따라 분류된 데이터인 인접 분류 데이터를 작성해서 기억매체에 기억하는 인접 분류부를 구비하고,
    상기 부여부는, 상기 제1 속성의 적어도 1개에 대응하는 화소가 상기 주 분류 데이터에 등록되어 있는 경우와, 상기 제1 속성의 적어도 1개와 상기 제2 속성의 적어도 1개에 대응한 화소가, 상기 인접 분류 데이터에 등록되어 있는 경우에, 상기 평가 대상의 화소에 평가 값을 부여하는, 화상처리장치.
  3. 제 2 항에 있어서,
    상기 부여부는, 상기 제1 속성의 적어도 1개와 상기 제2 속성의 적어도 1개에 대응한 화소가 상기 인접 분류 데이터에 등록되어 있는 경우에, 상기 평가 대상의 화소의 속성과, 상기 평가 대상의 화소에 인접한 화소의 속성의 조합에 따라, 상기 평가 대상의 화소에 부여하는 평가 값을 변화시키고,
    상기 평가 대상의 화소가 유채색 화소일 경우에 상기 제1 속성은 색상이며, 상기 평가 대상의 화소가 무채색 화소일 경우에 상기 제1 속성은 휘도이고,
    상기 평가 대상의 화소에 인접한 화소가 유채색 화소일 경우에는, 상기 제2 속성은 색상이며, 상기 평가 대상의 화소에 인접한 화소가 무채색 화소일 경우에는, 상기 제2 속성은 휘도인, 화상처리장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제 2 항에 있어서,
    상기 주 분류 데이터는, 상기 제1 속성에 있어서의 소정의 분류 단위에 따라 분류된 히스토그램이며, 상기 인접 분류 데이터는, 상기 제1 속성에 있어서의 상기 소정의 분류 단위와, 상기 제2 속성에 있어서의 소정의 분류 단위에 따라 분류된 히스토그램인, 화상처리장치.
  9. 화상에 대하여 설정된 추적 목표 영역내의 각 화소의 속성과, 해당 화소에 인접한 화소의 속성을 기억하는 단계;
    평가 대상의 화소의 속성과, 상기 추적 목표 영역내의 화소의 속성간의 비교 결과와, 상기 평가 대상의 화소에 인접한 화소의 속성과, 상기 추적 목표 영역내의 상기 화소에 인접한 화소의 속성간의 비교 결과에 따라, 상기 평가 대상의 상기 화소에 평가 값을 부여하는 단계; 및
    상기 부여된 평가 값에 의거하여 상기 추적 목표 영역을 변경하는 단계를 포함한, 화상처리방법.
  10. 제 9 항에 있어서,
    상기 추적 목표 영역내의 각 화소의 분류의 데이터로서 제1 속성에 있어서의 소정의 분류 단위에 따라 분류된 데이터인 주 분류 데이터를 작성해서 기억매체에 기억하는 단계; 및
    상기 추적 목표 영역내의 각 화소에 인접한 화소의 분류 데이터로서 상기 제1 속성에 있어서의 상기 소정의 분류 단위와, 제2 속성에 있어서의 소정의 분류 단위에 따라 분류된 데이터인 인접 분류 데이터를 작성해서 기억매체에 기억하는 단계를 더 포함하고,
    상기 부여하는 단계는, 상기 제1 속성의 적어도 1개에 대응하는 화소가 상기 주 분류 데이터에 등록되어 있는 경우와, 상기 제1 속성의 적어도 1개와 상기 제2 속성의 적어도 1개에 대응한 화소가, 상기 인접 분류 데이터에 등록되어 있는 경우에, 상기 평가 대상의 화소에 평가 값을 부여하는 것을 포함하는, 화상처리방법.
  11. 제 10 항에 있어서,
    상기 제1 속성의 적어도 1개와 상기 제2 속성의 적어도 1개에 대응한 화소가 상기 인접 분류 데이터에 등록되어 있는 경우에, 상기 평가 대상의 화소의 속성과, 상기 평가 대상의 화소에 인접한 화소의 속성의 조합에 따라, 상기 평가 대상의 화소에 부여하는 평가 값을 변화시키는 단계를 더 포함하고,
    상기 평가 대상의 화소가 유채색 화소일 경우에 상기 제1 속성은 색상이며, 상기 평가 대상의 화소가 무채색 화소일 경우에 상기 제1 속성은 휘도이고,
    상기 평가 대상의 화소에 인접한 화소가 유채색 화소일 경우에는, 상기 제2 속성은 색상이며, 상기 평가 대상의 화소에 인접한 화소가 무채색 화소일 경우에는, 상기 제2 속성은 휘도인, 화상처리방법.
  12. 제 10 항에 있어서,
    상기 평가 대상의 화소가 유채색 화소일 경우에 상기 제1 속성은 색상이며, 상기 평가 대상의 화소가 무채색 화소일 경우에 상기 제1 속성은 휘도인, 화상처리방법.
  13. 제 10 항에 있어서,
    상기 평가 대상의 화소에 인접한 화소가 유채색 화소일 경우에는, 상기 제2 속성은 색상, 채도 및 휘도이며, 상기 평가 대상의 화소에 인접한 화소가 무채색 화소일 경우에는, 상기 제2 속성은 휘도인, 화상처리방법.
  14. 제 10 항에 있어서,
    상기 주 분류 데이터는, 상기 제1 속성에 있어서의 소정의 분류 단위에 따라 분류된 히스토그램이며, 상기 인접 분류 데이터는, 상기 제1 속성에 있어서의 상기 소정의 분류 단위와, 상기 제2 속성에 있어서의 소정의 분류 단위에 따라 분류된 히스토그램인, 화상처리방법.
  15. 화상처리장치의 컴퓨터에게,
    화상에 대하여 설정된 추적 목표 영역내의 각 화소의 속성과, 해당 화소에 인접한 화소의 속성을 기억하는 단계;
    평가 대상의 화소의 속성과, 상기 추적 목표 영역내의 화소의 속성간의 비교 결과와, 상기 평가 대상의 화소에 인접한 화소의 속성과, 상기 추적 목표 영역내의 상기 화소에 인접한 화소의 속성간의 비교 결과에 따라, 상기 평가 대상의 상기 화소에 평가 값을 부여하는 단계; 및
    상기 부여된 평가 값에 의거하여 상기 추적 목표 영역을 변경하는 단계를 포함한 화상처리방법을 실행시키기 위한 프로그램을 기억한, 컴퓨터 판독 가능한 기억매체.
  16. 제 15 항에 있어서,
    상기 추적 목표 영역내의 각 화소의 분류의 데이터로서 제1 속성에 있어서의 소정의 분류 단위에 따라 분류된 데이터인 주 분류 데이터를 작성해서 기억매체에 기억하는 단계; 및
    상기 추적 목표 영역내의 각 화소에 인접한 화소의 분류 데이터로서 상기 제1 속성에 있어서의 상기 소정의 분류 단위와, 제2 속성에 있어서의 소정의 분류 단위에 따라 분류된 데이터인 인접 분류 데이터를 작성해서 기억매체에 기억하는 단계를 더 포함하고,
    상기 부여하는 단계는, 상기 제1 속성의 적어도 1개에 대응하는 화소가 상기 주 분류 데이터에 등록되어 있는 경우와, 상기 제1 속성의 적어도 1개와 상기 제2 속성의 적어도 1개에 대응한 화소가, 상기 인접 분류 데이터에 등록되어 있는 경우에, 상기 평가 대상의 화소에 평가 값을 부여하는 것을 포함하는, 컴퓨터 판독 가능한 기억매체.
  17. 제 16 항에 있어서,
    상기 제1 속성의 적어도 1개와 상기 제2 속성의 적어도 1개에 대응한 화소가 상기 인접 분류 데이터에 등록되어 있는 경우에, 상기 평가 대상의 화소의 속성과, 상기 평가 대상의 화소에 인접한 화소의 속성의 조합에 따라, 상기 평가 대상의 화소에 부여하는 평가 값을 변화시키는 단계를 더 포함하고,
    상기 평가 대상의 화소가 유채색 화소일 경우에 상기 제1 속성은 색상이며, 상기 평가 대상의 화소가 무채색 화소일 경우에 상기 제1 속성은 휘도이고,
    상기 평가 대상의 화소에 인접한 화소가 유채색 화소일 경우에는, 상기 제2 속성은 색상이며, 상기 평가 대상의 화소에 인접한 화소가 무채색 화소일 경우에는, 상기 제2 속성은 휘도인, 컴퓨터 판독 가능한 기억매체.
  18. 제 16 항에 있어서,
    상기 평가 대상의 화소가 유채색 화소일 경우에 상기 제1 속성은 색상이며, 상기 평가 대상의 화소가 무채색 화소일 경우에 상기 제1 속성은 휘도인, 컴퓨터 판독 가능한 기억매체.
  19. 제 16 항에 있어서,
    상기 평가 대상의 화소에 인접한 화소가 유채색 화소일 경우에는, 상기 제2 속성은 색상, 채도 및 휘도이며, 상기 평가 대상의 화소에 인접한 화소가 무채색 화소일 경우에는, 상기 제2 속성은 휘도인, 컴퓨터 판독 가능한 기억매체.
  20. 제 16 항에 있어서,
    상기 주 분류 데이터는, 상기 제1 속성에 있어서의 소정의 분류 단위에 따라 분류된 히스토그램이며, 상기 인접 분류 데이터는, 상기 제1 속성에 있어서의 상기 소정의 분류 단위와, 상기 제2 속성에 있어서의 소정의 분류 단위에 따라 분류된 히스토그램인, 컴퓨터 판독 가능한 기억매체.
KR1020100073755A 2009-08-06 2010-07-30 화상처리장치 및 화상처리방법 KR101321780B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009183629A JP5279653B2 (ja) 2009-08-06 2009-08-06 画像追尾装置、画像追尾方法、及びコンピュータプログラム
JPJP-P-2009-183629 2009-08-06

Publications (2)

Publication Number Publication Date
KR20110014960A KR20110014960A (ko) 2011-02-14
KR101321780B1 true KR101321780B1 (ko) 2013-10-25

Family

ID=43063604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100073755A KR101321780B1 (ko) 2009-08-06 2010-07-30 화상처리장치 및 화상처리방법

Country Status (5)

Country Link
US (1) US8503723B2 (ko)
EP (1) EP2282224B1 (ko)
JP (1) JP5279653B2 (ko)
KR (1) KR101321780B1 (ko)
CN (1) CN101996408B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129678A (zh) * 2010-01-12 2011-07-20 鸿富锦精密工业（深圳）有限公司 影像特征模型建立系统及方法以及应用其的影像处理系统
US10423858B2 (en) 2014-07-21 2019-09-24 Ent. Services Development Corporation Lp Radial histogram matching
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
US11336831B2 (en) 2018-07-06 2022-05-17 Canon Kabushiki Kaisha Image processing device, control method, and program storage medium
CN114430457B (zh) * 2020-10-29 2024-03-08 北京小米移动软件有限公司 拍摄方法、装置、电子设备和存储介质
JP7117593B1 (ja) * 2021-07-08 2022-08-15 パナソニックＩｐマネジメント株式会社 撮像装置
US11917293B2 (en) 2021-07-08 2024-02-27 Panasonic Intellectual Property Management Co., Ltd. Imaging device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348273A (ja) 2003-05-20 2004-12-09 Toshiba Corp 画像処理方法、画像処理装置、画像処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160900A (en) * 1994-02-04 2000-12-12 Canon Kabushiki Kaisha Method and apparatus for reducing the processing time required in motion vector detection
US6072889A (en) * 1997-12-03 2000-06-06 The Raytheon Company Method and system for imaging target detection
JP3630569B2 (ja) * 1998-10-23 2005-03-16 株式会社東芝 映像領域追跡方法および装置
US6700999B1 (en) * 2000-06-30 2004-03-02 Intel Corporation System, method, and apparatus for multiple face tracking
DE602005012673D1 (de) * 2005-02-21 2009-03-26 Mitsubishi Electric Corp Schnelles Verfahren zum Detektieren von Objekten durch statistischen Mustervergleich
US8089515B2 (en) * 2005-12-30 2012-01-03 Nokia Corporation Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
DE102007061935A1 (de) * 2007-12-21 2009-06-25 Siemens Aktiengesellschaft Verfahren zur Qualitätssteigerung von computertomographischen Aufnahmeserien durch Bildverarbeitung und CT-System mit Recheneinheit
JP5279654B2 (ja) * 2009-08-06 2013-09-04 キヤノン株式会社 画像追尾装置、画像追尾方法、及びコンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348273A (ja) 2003-05-20 2004-12-09 Toshiba Corp 画像処理方法、画像処理装置、画像処理プログラム

Also Published As

Publication number Publication date
JP5279653B2 (ja) 2013-09-04
CN101996408A (zh) 2011-03-30
JP2011039596A (ja) 2011-02-24
US8503723B2 (en) 2013-08-06
EP2282224A3 (en) 2011-10-05
EP2282224A2 (en) 2011-02-09
CN101996408B (zh) 2013-06-05
US20110033085A1 (en) 2011-02-10
KR20110014960A (ko) 2011-02-14
EP2282224B1 (en) 2017-01-11

Similar Documents

Publication Publication Date Title
US8538075B2 (en) Classifying pixels for target tracking, apparatus and method
KR101321780B1 (ko) 화상처리장치 및 화상처리방법
CN102103754B (zh) 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN107258077B (zh) 用于连续自动聚焦(caf)的系统和方法
JP6553624B2 (ja) 計測機器、及びシステム
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN104902182B (zh) 一种实现连续自动对焦的方法和装置
KR20100020903A (ko) 화상 식별 방법 및 촬상장치
US11682131B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2000102040A (ja) 電子ステレオカメラ
US10762372B2 (en) Image processing apparatus and control method therefor
CN104508680A (zh) 改善之视讯追踪
CN108632604B (zh) 镜头光心的检测方法及装置
JP5240305B2 (ja) 被写体特定用プログラム、およびカメラ
JP2013012117A (ja) 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
JP3496563B2 (ja) 物体検出装置、物体検出方法及び物体検出プログラムを記録した記録媒体
US10565712B2 (en) Image processing apparatus and method for controlling the same
JP7458723B2 (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
JP4306333B2 (ja) 物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN116934608A (zh) 一种图像处理方法、装置、电子设备和存储介质
JP5761984B2 (ja) 撮像装置およびその制御方法
CN115471571A (zh) 标定方法、图像处理方法、装置、存储介质与电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160926

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170925

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 6