KR20080103586A - 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20080103586A
KR20080103586A KR1020087023741A KR20087023741A KR20080103586A KR 20080103586 A KR20080103586 A KR 20080103586A KR 1020087023741 A KR1020087023741 A KR 1020087023741A KR 20087023741 A KR20087023741 A KR 20087023741A KR 20080103586 A KR20080103586 A KR 20080103586A
Authority
KR
South Korea
Prior art keywords
tracking
information
priority
face
feature information
Prior art date
Application number
KR1020087023741A
Other languages
English (en)
Other versions
KR101001060B1 (ko
Inventor
사토루 쿠와노
타카시 카키우치
토모히로 이노우에
마사히로 센가
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20080103586A publication Critical patent/KR20080103586A/ko
Application granted granted Critical
Publication of KR101001060B1 publication Critical patent/KR101001060B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

트래킹 장치(1)는, 촬영 화상으로부터 얼굴정보를 검출하는 얼굴 검출부(21)와, 검출한 얼굴정보를, 복수의 인물에 관한 얼굴정보가 해당 얼굴정보의 트래킹 순위를 나타내는 우선도와 대응시켜져서 등록되어 있는 얼굴정보 데이터페이스(41)와 대조하여, 해당 촬영 화상에 찍혀들어온 정보가 트래킹 대상인지의 여부를 판정하는 얼굴 대조부(22)와, 상기 촬영 화상에 찍혀들어온 얼굴정보가 트래킹 대상인 경우에, 얼굴정보 데이터베이스(41)로부터, 상기 촬영 화상에 찍혀들어온 얼굴정보의 우선도를 취득하는 우선도 취득부(23)와, 취득한 우선도에 의거하여, 상기 촬영 화상중에서 보다 우선도가 높은 얼굴정보가 촬영 화상에 계속 찍혀 들어가도록 촬영부(3)를 제어하는 촬영 제어부(25)를 갖는다.

Description

트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체{TRACKING DEVICE, TRACKING METHOD, TRACKING DEVICE CONTROL PROGRAM, AND COMUTER READABLE RECORDING MEDIUM}
본 발명은, 촬영 화상 내의 특정 인물의 위치를 인식하고, 트래킹하기 위한 장치에 관한 것이다.
종래의 촬영 화상에서 인물을 트래킹하는 장치에서는, 특정한 인물을 트래킹한다는 관점에서 본 경우, 펄스 발신 장치나 GPS(golbal positioning system) 장치 등, 트래킹 대상의 인물에 특정한 장치를 장착할 필요가 있다(예를 들면, 특허문헌1, 2 참조). 그래서, 트래킹 대상의 인물에 특정한 장치를 장착하지 않아도 좋은 것으로서, 다음과 같은 기술이 있다. 구체적으로는, 인물의 얼굴 위치를 확인하고, 얼굴이 화면의 중앙에 위치하도록, 감시 카메라의 팬, 틸트 및 줌을 제어하여 얼굴의 움직임을 추적하고, 또한 화상으로부터 얼굴의 특징을 추출하고, 데이터베이스에 등록되어 있는 얼굴과 일치하는지의 여부를 비교하여, 특정 개인을 인식하는 기술이 있다(예를 들면, 특허문헌3 참조). 또한, 화상으로부터 얼굴정보를 취득하여, 데이터베이스에 등록되어 있지 않은, 또는 되어 있는 인물을, 복수의 카메라로 연 휴(連携)하여 트래킹하는 기술이 있다(예를 들면, 특허문헌4 참조). 또한, 화면상에서 포인팅에 의해 지정한 피사체(트래킹 대상)의 움직임에 추종하여 자동 트래킹하고, 피사체가 모니터 화면의 중앙에 오도록 비디오 카메라를 제어하는 기술이 있다(예를 들면, 특허문헌5 참조).
또한, 본 명세서에 있어서 "트래킹"이란, 촬영 화상 내에 피사체(트래킹 대상)의 화상을 계속 보존하도록(화면 내에 계속 포착하도록) 하는 것을 가리키는 것으로 한다.
특허문헌1 : 일본국 공개특허공보 「특개2004-40514호 공보(2004년 2월 5일 공개)」
특허문헌2 : 일본국 공개특허공보 「특개2005-20205호 공보(2005년 1월 20일 공개)」
특허문헌3 : 일본국 공개특허공보 「특개2000-163600호 공보(2000년 6월 16일 공개)」
특허문헌4 : 일본국 공개특허공보 「특개2003-324720호 공보(2003년 11월 14일 공개)」
특허문헌5 : 일본국 공개특허공보 「특개평6-339056호 공보(1994년 12월 6일 공개)」
발명의 개시
그러나, 종래의 기술에서는, 트래킹하여야 할 인물이 복수 존재하는 경우에, 어떤 인물의 트래킹 중에, 트래킹하여야 할 인물이 화상에 더 들어와 있어도(프레임 인), 트래킹 대상을 자동적으로 전환하는 수단이 없다. 그 때문에, 어떤 인물의 트래킹 중에, 트래킹하여야 할 인물이 화상에 더 들어온 경우에는, 감시자 등의 유저가, 촬영 화상이 표시되는 화면상에서 그 트래킹하여야 할 인물을 포인팅하는 등 지정하여, 트래킹 대상의 전환의 조작을 할 필요가 있다. 이와 같이 트래킹 대상에 트래킹의 우선 순위가 있는 경우, 유저는, 일부러 트래킹 대상의 전환을 행하여야 한다. 게다가, 트래킹의 우선 순위가 보다 높은 대상이, 언제 촬영 화상에 들어오는지 알지 못하기 때문에, 유저는, 항상 촬영 화상이 표시되는 화면을 감시하고 있어야 한다.
본 발명은, 상기한 문제점을 감안하여 이루어진 것으로, 그 목적은, 유저를 번거롭게 하지 않고, 트래킹에 관해 우선 순위가 있는 인물이 존재하고 있는 상황에서도 자율적으로 트래킹을 행할 수 있는, 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체를 실현하는 데 있다.
본 발명에 관한 트래킹 장치는, 상기 과제를 해결하기 위해, 트래킹 대상이 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어함에 의해, 해당 트래킹 대상을 포착하는 트래킹 장치로서, 촬영 화상으로부터 해당 촬영 화상에 찍혀들어온 특징 정보를 검출하는 특징 정보 검출 수단과, 상기 특징 정보 검출 수단이 검출한 특징 정보를, 복수의 인물에 관한 특징 정보가 해당 특징 정보의 트래킹 순위를 나타내는 우선도와 대응시켜져서 등록되어 있는 트래킹 대상 정보와 대조하여, 상기 검출한 특징 정보가 트래킹 대상인지의 여부를 판정하는 트래킹 대상 대조 수단과, 상기 검출한 특징 정보가 트래킹 대상인 경우에, 상기 트래킹 대상 정보로부터, 해당 검출한 특징 정보의 우선도를 취득하는 우선도 취득 수단과, 상기 취득한 우선도에 의거하여, 상기 특징 정보를 검출한 촬영 화상중에서 보다 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 상기 촬영부를 제어하는 촬영 제어 수단을 갖는 것을 특징으로 하고 있다.
또한, 본 발명에 관한 트래킹 방법은, 상기 과제를 해결하기 위해, 트래킹 대상이 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어함에 의해, 해당 트래킹 대상을 포착하는 트래킹 방법으로서, 촬영 화상으로부터 해당 촬영 화상에 찍혀들어온 특징 정보를 검출하는 특징 정보 검출 스텝과, 상기 검출한 특징 정보를, 복수의 인물에 관한 특징 정보가 해당 특징 정보의 트래킹 순위를 나타내는 우선도와 대응시켜져서 등록되어 있는 트래킹 대상 정보와 대조하여, 상기 검출한 특징 정보가 트래킹 대상인지의 여부를 판정하는 트래킹 대상 대조 스텝과, 상기 검출한 특징 정보가 트래킹 대상인 경우에, 상기 트래킹 대상 정보로부터, 해당 검출한 특징 정보의 우선도를 취득하는 우선도 취득 스텝과, 상기 취득한 우선도에 의거하여, 상기 특징 정보를 검출한 촬영 화상중에서 보다 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 상기 촬영부를 제어하는 촬영 제어 스텝을 포함하는 것을 특징으로 하고 있다.
상기 구성 및 상기 방법에 의하면, 촬영 화상에 찍혀들어온 특징 정보를 검출하고, 검출한 특징 정보가 트래킹 대상인 경우에는, 검출한 특징 정보의 트래킹 순위를 나타내는 우선도를 취득한다. 우선도의 취득은, 트래킹 대상이라고 판정된 특징 정보에 관해 행하여지기 때문에, 특징 정보가 다수 상기 촬영 화상에 찍혀들어와 있어도, 취득한 우선도에 의거하여, 상기 특징 정보를 검출한 촬영 화상중에서, 보다 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어하여 촬영을 행할 수 있다. 따라서, 항상 보다 우선도가 높은 특징 정보를 계속 트래킹할 수 있다. 여기서, 우선도는, 예를 들면 수치에 의해 표시되고, 우선도의 수치가 적은 쪽이 보다 우선도가 높은 것으로서 취급되도록 되어 있어도 좋다. 예를 들면, 우선도 1, 2, 3이 있는 경우, 우선도는, 1>2>3의 순으로 작아지는 것으로 한다. 물론, 우선도를 붙이는 방법은, 이것으로 한정되는 것이 아니다. 또한 "트래킹"이란, 촬영 화상 내에 피사체(트래킹 대상)의 화상을 계속 보존하도록(화면내에 계속 포착하도록) 하는 것을 가리키는 것으로 한다.
물론, 트래킹 대상 정보에 있어서의 우선도가 붙어 있는 특징 정보가 하나만인 경우에는, 그 특징 정보를 계속 트래킹하게 된다. 또한, 트래킹 대상 정보에 하나의 특징 정보만이 등록되어 있는 경우에는, 그 하나의 특징 정보에 실제의 우선도가 붙어 있지 않아도, 최상위의 우선도가 붙어 있는 것으로 하여, 우선도를 취득하도록 되어 있어도 좋다. 또한, 복수의 특징 정보의 일부에만 우선도가 붙어 있고, 그 밖의 특징 정보에는 붙어 있지 않은 경우에는, 해당 그 밖의 특징 정보에는 일률 최하위의 우선도가 붙어 있는 것으로 하여, 우선도를 취득하도록 되어 있어도 좋다.
여기서, 촬영부의 제어는, 예를 들면, 촬영 장치인 카메라의 동작, 구체적으로는, 카메라의 위치를 좌우, 상하, 전후로 이동시켜서 행하는 팬·틸트, 줌, 노출 변화, 또는, 촬영 카메라가 복수 있는 경우에는 카메라 전환 등을 제어함으로써 행하는 것이 바람직하다. 상기 촬영 카메라의 위치의 이동은, 예를 들면, 카메라를 레일상의 대(臺)에 실음으로써 행할 수 있다. 물론, 보다 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 할 수 있기만 하면, 촬영부를 어떻게 제어하도록 되어 있어도 상관없다.
또한, 상기 카메라의 동작이, 촬영 화상에 있어서의 보다 높은 우선도의 특징 정보가 변화한 때에 행하여지도록, 제어하는 것이 바람직하다. 보다 구체적으로는, 보다 높은 우선도의 특징 정보에 관해, 촬영 화상에서의, 위치(특징 정보에 포함되는 일부의 위치의 변화라도 상관없다), 크기, 기울기, 및 방향의, 적어도 하나의 변화가 있을 때, 상기 카메라의 동작이 행하여지도록 제어하는 것이 바람직하다. 물론, 이들 이외에, 특징 정보에 변화가 있을 때에 상기 카메라가 동작하도록 제어하여도 상관없다.
또한, 상기 구성 및 상기 방법에 의하면, 상기 특징 정보를 검출한 촬영 화상중에서, 보다 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어하기 때문에, 예를 들면, 보다 우선도가 높은 특징 정보가, 촬영부가 촬영할 수 있는 범위 외로 나가서, 우선도가 보다 높은 특징 정보를 포착할 수 없게 된 경우에도, 그 시점에서의 촬영 화상중에 있어서의 보다 높은 우선도의 특징 정보(포착할 수 없게 된 특징 정보의 다음으로 우선도가 높은 특징 정보)를 트래킹할 수 있다.
이상과 같이, 상기 구성 및 상기 방법에 의하면, 트래킹 대상이 복수 있고, 트래킹 대상에 트래킹의 우선 순위가 있는 경우에도, 보다 우선도가 높은 특징 정보를 촬영 화상에 계속 포착하도록 촬영부가 제어되기 때문에, 유저의 조작을 통하지 않고 보다 우선도가 높은 트래킹을 행할 수 있다. 유저는 트래킹 대상을 지정할 필요도 없기 때문에, 유저의 조작을 경감할 수 있다. 따라서, 상기 구성 및 상기 방법에서는, 유저를 번거롭게 하지 않고, 트래킹에 관해 우선 순위가 있는 인물이 존재하여도 자율적으로 트래킹을 행하는 것이 가능하게 된다.
본 발명에 관한 트래킹 장치에서는, 상기 구성에 더하여, 상기 특징 정보는, 인물의 얼굴의 특징을 나타내는 얼굴정보라도 좋다.
상기 구성에 의하면, 특징 정보가 얼굴정보이면, 얼굴정보는 피사체를 구별하고 개인을 특정하는데도 우수하기 때문에, 대조시에 인증을 행하는 것을 용이하게 할 수 있다. 얼굴정보는 개인을 식별하는 것을 용이하게 할 수 있기 때문에, 예를 들면, 야구나 축구 등의 스포츠의 중계 방송에 있어서, 인기가 높은 선수의 얼굴정보로부터 순차로 우선도를 붙여서 트래킹할 수도 있다.
물론, 상기 특징 정보는, 피사체를 구별할 수 있는 것이면, 인물의 얼굴의 얼굴정보가 아니라도 좋고, 예를 들면, 자동차의 외견의 정보라도 좋다. 이 경우, 예를 들면 자동차 레이스의 중계 방송에 있어서 인기가 높은 자동차로부터 순차로 우선도를 붙여서 트래킹할 수도 있다. 또한, 특징 정보가, 예를 들면 말(馬)의 얼굴의 정보인 경우에는, 예를 들면, 경마의 중계 방송에 있어서 인기가 높은 말부터 순차로 우선도를 붙여서 트래킹할 수도 있다. 그리고, 이들은, 단순한 예시이다.
본 발명에 관한 트래킹 장치에서는, 상기 구성에 더하여, 상기 특징 정보 검출 수단이 검출한 특징 정보에 관해, 촬영 화상 내에서의 위치를 계속 파악하는 위치 파악 수단을 구비하고, 상기 특징 정보 검출 수단이 특징 정보를 검출한 촬영 화상보다 시간이 뒤의 촬영 화상에서, 상기 특징 정보 검출 수단이 재차 같은 특징 정보를 검출하고, 그 특징 정보의 촬영 화상 내에서의 위치가 상기 위치 파악 수단에 의해 파악되어 있는 경우에는, 상기 트래킹 대상 대조 수단은, 상기 대조를 생략하여도 좋다.
상기 구성에 의하면, 특징 정보를 검출한 촬영 화상보다 시간이 뒤의 촬영 화상에서, 재차 같은 특징 정보를 검출하고, 그 특징 정보의 위치가 상기 위치 파악 수단에 의해 파악되어 있는 경우에는, 트래킹 대상 대조 수단에 의한 대조는 행하여지지 않는다. 이것은, 보다 우선도가 높은 특징 정보인 현재의 트래킹 대상, 이외의 특징 정보에 대해서도 촬영 화상 내에서의 위치의 파악(트래킹)을 행하고 있다는 것이 된다. 따라서, 트래킹 대상 대조 수단에 의한 대조의 회수를 줄일 수 있기 때문에, 트래킹 장치의 부하를 경감하는 것이 가능하게 된다.
본 발명에 관한 트래킹 장치에서는, 상기 구성에 더하여, 촬영부는 복수의 촬영 장치를 구비하고 있고, 상기 촬영 제어 수단은, 상기 보다 우선도가 높은 특징 정보를 포착하고 있던 촬영 장치가 해당 보다 우선도가 높은 특징 정보를 포착할 수 없게 되면, 해당 보다 우선도가 높은 특징 정보를 포착할 수 있는 다른 촬영 장치에서 포착하도록, 촬영부를 제어하여도 좋다.
상기 구성에 의하면, 보다 우선도가 높은 특징 정보를 포착하고 있던 촬영 장치가 포착할 수 없게 되면, 해당 보다 우선도가 높은 특징 정보를 포착할 수 있는 다른 촬영 장치에서 포착할 수 있다. 이 때, 미리 특징 정보의 이동을 예측하여 두고, 보다 우선도가 높은 특징 정보를 포착하고 있던 촬영 장치로부터 다른 장치로 촬영이 전환되면, 스무스하게, 보다 우선도가 높은 특징 정보를 못보는 일 없이, 계속 포착할 수 있다.
상기 구성에 의하면, 화각(畵角)이 다른 복수의 촬영 장치에서, 보다 우선도가 높은 특징 정보의 트래킹을 이용할 수 있기 때문에, 보다 광범위하고, 보다 우선도가 높은 특징 정보, 예를 들면 특정 인물의 트래킹을 행하는 것이 가능하게 된다.
본 발명에 관한 트래킹 장치에서는, 상기 구성에 더하여, 상기 트래킹 대상 정보에 있어서의 우선도의 설정 또는 변경을 유저가 입력 가능하게 마련된 입력부를 구비하고 있어도 좋다.
상기 구성에 의하면, 유저가, 트래킹 대상 정보에 있어서의 우선도의 설정 또는 변경에 관한 입력을 트래킹 장치에 대해 행할 수 있다. 여기서, 우선도는, 미리 등록된 트래킹 대상 정보에 포함되는 특징 정보에 대해 설정하여 두는 것으로 하고, 수시로, 변경할 수 있도록 되어 있으면 바람직하다. 물론 미리 설정되어 있지 않은 경우, 우선도가 설정되어 있지 않은 특징 정보가 검출된 때에, 설정할 수 있도록 되어 있어도 상관없다. 또한, 트래킹 대상 정보에 등록되어 있지 않은, 특징 정보가 검출된 때에는, 우선도를 붙여서 트래킹 대상 정보에 등록하도록 되어 있어도 좋다.
예를 들면, 스포츠의 중계 방송시 등, 복수의 선수에 예를 들면 인기가 있는 사람부터 순차로 우선 순위를 붙여서 트래킹할 수도 있다. 또한, 수시로, 우선도의 변경을 행할 수도 있고, 예비 선수가 들어온 경우 등에 새롭게 우선도를 붙여서 트래킹할 수도 있다. 이들은, 단순한 예시이다.
또는, 트래킹 대상 정보에 등록되어 있지 않은 특징 정보를 검출한 경우, 트래킹 대상 정보에 등록하여 유저에게 우선도를 설정시키도록 되어 있어도 좋다.
본 발명에 관한 트래킹 장치에서는, 상기 구성에 더하여, 상기 트래킹 대상 대조 수단은, 상기 특징 정보 검출 수단이 검출한 특징 정보와, 상기 트래킹 대상 정보에 포함되는 특징 정보와의 유사도를 산출하고, 산출한 유사도가 미리 정해진 인증 임계치보다 크면, 해당 검출한 특징 정보가 트래킹 대상이라고 판정하고, 또한, 상기 미리 정해진 인증 임계치보다 얼마만큼 큰가로 나타나는 인증 신뢰도를 산출하고, 상기 우선도가 같은 값인 특징 정보가 복수 상기 촬영 화상에 찍혀들어와 있는 경우에는, 상기 촬영 제어 수단은, 상기 산출된 인증 신뢰도가 보다 큰 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어하여도 좋다.
상기 구성에 의하면, 검출한 특징 정보와, 트래킹 대상 정보에 포함되는 특징 정보와의 유사도를 산출하고, 산출한 유사도가 미리 정해진 인증 임계치보다 크면, 검출한 특징 정보가 트래킹 대상이라고 판정한다. 또한, 인증 신뢰도를 산출하고, 우선도가 같은 값인 특징 정보가 복수 촬영 화상에 찍혀들어와 있는 경우에는, 인증 신뢰도가 보다 큰 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 할 수 있다.
따라서, 우선도가 같은 값의 특징 정보가 복수 촬영 화상에 찍혀들어와 있다고 하여도, 항상 촬영 화상에 찍혀 들어오도록 하는 대상을 정하여, 그 대상의 특징 정보를 트래킹할 수 있다. 또한, 촬영 화상에 계속 찍혀들어오는 대상을 결정하는 것은, 인증 신뢰도에 의존하기 때문에, 보다 확실한 트래킹 대상을 트래킹할 수 있다.
본 발명에 관한 트래킹 장치에서는, 상기 구성에 더하여, 상기 촬영 제어 수단은, 상기 보다 우선도가 높은 특징 정보의 크기와 위치의 적어도 한쪽이, 촬영 화상 내에서 항상 일정하게 되도록, 상기 촬영부를 제어하여도 좋다.
상기 구성에 의하면, 보다 우선도가 높은 특징 정보의 크기와 위치의 적어도 한쪽을, 촬영 화상 내에서 항상 일정하게 할 수 있다. 촬영 화상 내에서 크기를 일정하게 하여 두면, 보다 우선도가 높은 특징 정보를, 촬영 화상 내에서 발견하기 쉽게 할 수 있다. 또한, 위치를 일정하게 하여 두면, 보다 우선도가 높은 특징 정보를, 항상 그 일정하게 한 위치, 예를 들면 촬영 화상을 표시하는 모니터의 중앙을 보는 것만으로, 발견할 수 있다. 이와 같이, 보다 우선도가 높은 특징 정보의 크기와 위치의 적어도 한쪽을, 촬영 화상 내에서 항상 일정하게 함으로써, 보다 우선도가 높은 특징 정보의 감시를 용이하게 행할 수 있다.
또한, 상기 트래킹 장치는, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 각 수단으로서 동작시킴에 의해 상기 트래킹 장치를 컴퓨터에 실현시키는 트래킹 장치의 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도 본 발명의 범주에 들어간다.
이상과 같이, 본 발명에 관한 트래킹 장치는, 촬영 화상으로부터 해당 촬영 화상에 찍혀들어온 특징 정보를 검출하는 특징 정보 검출 수단과, 상기 검출한 특징 정보를, 복수의 인물에 관한 특징 정보가 해당 특징 정보의 트래킹 순위를 나타내는 우선도와 대응시켜져서 등록되어 있는 트래킹 대상 정보와 대조하여, 상기 검출한 특징 정보가 트래킹 대상인지의 여부를 판정하는 트래킹 대상 대조 수단과, 상기 검출한 특징 정보가 트래킹 대상인 경우에, 상기 트래킹 대상 정보로부터, 해당 검출한 특징 정보의 우선도를 취득하는 우선도 취득 수단과, 상기 취득한 우선도에 의거하여, 상기 특징 정보를 검출한 촬영 화상중에서 보다 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어하는 촬영 제어 수단을 갖고 있다.
상기 구성에 의하면, 촬영 화상에 찍혀들어온 특징 정보를 검출하고, 검출한 특징 정보가 트래킹 대상인 경우에는, 검출한 특징 정보의 트래킹 순위를 나타내는 우선도를 취득한다. 우선도의 취득은, 트래킹 대상이라고 판정된 특징 정보에 관해 행하여지기 때문에, 특징 정보가 다수 상기 촬영 화상에 찍혀들어와 있어도, 취득한 우선도에 의거하여, 상기 특징 정보를 검출한 촬영 화상중에서, 보다 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어하여 촬영을 행할 수 있다. 따라서, 항상 보다 우선도가 높은 특징 정보를 계속 트래킹할 수 있다. 물론, 우선 순위 정보에 있어서의 우선도가 붙어 있는 특징 정보가 하나만인 경우에는, 그 특징 정보를 계속 트래킹하는 것이 된다.
또한, 상기 구성에 의하면, 상기 특징 정보를 검출한 촬영 화상중에서, 보다 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어하기 때문에, 예를 들면, 보다 우선도가 높은 특징 정보가, 촬영부가 촬영할 수 있는 범위 외로 나가, 우선도가 보다 높은 특징 정보를 포착할 수 없게 된 경우에도, 그 시점에서의 촬영 화상중에 있어서의 보다 높은 우선도의 특징 정보(포착할 수 없게 된 특징 정보의 다음으로 우선도가 높은 특징 정보)를 트래킹할 수 있다.
이상과 같이, 상기 구성에 의하면, 트래킹 대상이 복수 있고, 트래킹 대상에 트래킹의 우선 순위가 있는 경우에도, 보다 우선도가 높은 특징 정보를 촬영 화상에 계속 포착하도록 촬영부가 제어되기 때문에, 유저의 조작을 통하지 않고서 보다 우선도가 높은 트래킹을 행할 수 있고, 유저는 트래킹 대상을 지정할 필요도 없기 때문에, 유저의 조작을 경감할 수 있다. 따라서, 상기 구성에서는, 유저를 번거롭게 하지 않고, 트래킹에 관해 우선 순위가 있는 인물이 존재하여도 자율적으로 트래킹을 행하는 것이 가능하게 된다.
도 1은 본 발명의 실시 형태를 나타내는 것으로, 트래킹 장치의 주요부 구성을 도시하는 블록도.
도 2는 얼굴정보 데이터베이스의 한 예를 표 형식으로 도시하는 도면.
도 3(a)는 트래킹 대상의 전환에 있어서의 이미지도.
도 3(b)는 트래킹 대상의 전환에 있어서의 이미지도.
도 3(c)는 트래킹 대상의 전환에 있어서의 이미지도.
도 4(a)는 카메라 전환에 있어서의 이미지도.
도 4(b)는 카메라 전환에 있어서의 이미지도.
도 4(c)는 카메라 전환에 있어서의 이미지도.
도 5는 실시의 형태의 트래킹 장치가 행하는 트래킹 처리에 있어서의 흐름을 도시하는 플로우 차트.
도 6은 카메라 전환에 있어서의 처리의 흐름을 도시하는 플로우 차트.
도 7(a)는 본 실시의 형태의 트래킹 장치를 경마의 중계 방송에 이용한 예의 이미지도.
도 7(b)는 도 7(a)에서의 카메라의 촬영 화상을 도시하는 이미지도.
도 8(a)는 본 실시의 형태의 트래킹 장치를 야구의 중계 방송에 이용한 예의 이미지도.
도 8(b)는 도 8(a)에서의 어떤 카메라의 촬영 화상을 도시하는 이미지도.
도 8(c)는 도 8(a)에서의 다른 카메라의 촬영 화상을 도시하는 이미지도.
도 8(d)는 도 8(a)에서의 다른 카메라의 촬영 화상을 도시하는 이미지도.
(도면의 주요 부분에 대한 부호의 설명)
1 : 트래킹 장치
2 : 제어부
3 : 촬영부
4 : 기억부
5 : 입력 접수부
6 : 표시부
21 : 얼굴 검출부(특징 정보 검출 수단)
22 : 얼굴 대조부(트래킹 대상 대조 수단)
23 : 우선도 취득부(우선도 취득 수단)
24 : 이동량 계산부
25 : 촬영 제어부(촬영 제어 수단)
26 : 위치 파악부(위치 파악 수단)
33 : 촬영 장치
41 : 얼굴정보 데이터베이스(트래킹 대상 정보)
발명을 실시하기 위한 최선의 형태
본 발명의 한 실시 형태에 관해 도 1 내지 도 8에 의거하여 설명하면 이하와 같다. 이하에서는, 본 실시의 형태의 트래킹 장치는, 특정한 대상을 트래킹하기 위해, 촬영 화상에 찍혀들어온 특징 정보를 인물(사람이나 물건)의 얼굴정보로 하고, 얼굴정보를 대조하는 것으로 하여 설명한다. 그러나, 특징 정보는, 촬영 화상에 찍혀들어온 피사체를 식별할 수 있는 정보라면, 어떤 정보라도 상관없다.
[트래킹 장치의 구성]
본 실시의 형태의 트래킹 장치(1)는, 제어부(2), 촬영부(3), 기억부(4), 입력부(5), 및 표시부(6)를 구비하고 있다.
제어부(2)는, 마이크로 컴퓨터를 내장하고, 컴퓨터 프로그램에 따라, 입력부(5)가 접수한 입력 조작 등에 의해 동작하고, 트래킹 장치(1)에서의 각종 구성의 동작을 통괄적으로 제어한다. 또한 제어부(2)는, 얼굴 검출부(21), 얼굴 대조 부(22), 우선도 취득부(23), 이동량 계산부(24), 촬영 제어부(25), 및 위치 파악부(26)로서 기능한다.
얼굴 검출부(21)는, 촬영부(3)가 촬영한 촬영 화상으로부터 해당 촬영 화상에 찍혀들어온 얼굴정보(얼굴)를 검출한다.
얼굴 대조부(22)는, 얼굴 검출 수단이 검출한 얼굴정보를, 복수의 인물에 관한 얼굴정보가 해당 얼굴정보의 트래킹 순위를 나타내는 우선도와 대응시켜져서 등록되어 있는 얼굴정보 데이터베이스(DB)(41)와 대조하여, 검출한 얼굴이 트래킹 대상인지의 여부를 판정한다. 여기서, 얼굴정보란, 얼굴화상인 것으로 한다. 이 경우 얼굴화상을 비교하여 동일성을 판단하는 수법은, 고유 얼굴법, LFA(Local Feature Analysis)법, 그래프 매칭법, 뉴럴 네트워크법, 제약 상호 부분 공간법, 섭동 공간법, 주파수 해석법 등과 같은, 종래 공지의 수법에 의해 행하여진다.
예를 들면, 다음과 같이 행하여진다. 가보르 웨이브렛 변환 등을 이용하여 얼굴화상의 특징량을 산출하고, 데이터베이스상에 등록되어 있는 특징량과의 유사도를 산출함에 의해, 동일성의 판단을 행하고, 유사도가 미리 설정된 임계치를 초과한 경우, 양자는 동일한 얼굴이라고 판단한다. 이와 같이 얼굴화상을 비교하여 동일성을 판단할 수 있지만, 이 판단은 상기한 방법으로 한정되는 것은 아니다.
또한, 얼굴 대조부(22)는, 얼굴정보와, 얼굴정보 데이터베이스(41)에 포함되는 얼굴정보와의 유사도를 산출하고, 산출한 유사도가 미리 정해진 인증 임계치보다 크면, 얼굴 검출부(21)가 검출한 얼굴정보가 트래킹 대상이라고 판정하고, 또한, 상기 미리 정해진 인증 임계치보다 얼마만큼 큰가로 나타나는 인증 신뢰도를 산출한다.
우선도 취득부(23)는, 얼굴정보 데이터베이스(41)로부터, 검출한 얼굴정보의 우선도를 취득한다.
이동량 계산부(24)는, 검출한 중에서 보다 우선도가 높은 얼굴정보의 움직임을 측정하고, 해당 보다 우선도가 높은 얼굴정보의 이동량을 산출한다. 이동량 계산부(24)에서의 이동량의 계산은, 예를 들면, 특허문헌5 등의 공지의 방법으로 행할 수 있다.
촬영 제어부(25)는, 얼굴정보를 검출한 촬영 화상중에서부터 우선도가 높은 얼굴정보가 촬영 화상에 계속 찍혀 들어오도록 촬영부(3)를 제어한다. 이 때, 이동량 계산부(24)에서 산출한 이동량을 기초로, 보다 우선도가 높은 얼굴정보의 움직임을 쫓아서 제어한다. 촬영부(3)의 제어는, 예를 들면, 촬영 장치(33)인 카메라의 동작, 구체적으로는, 카메라의 위치를 좌우, 상하, 전후로 이동시켜서 행하는 팬·틸트, 줌, 노출 변화, 또는, 촬영 카메라가 복수 있는 경우에는 카메라 전환 등을 제어함으로써 행하는 것이 바람직하다. 이 카메라의 위치의 이동은, 예를 들면, 촬영 카메라를 레일상의 대에 실음으로써 행할 수 있다. 물론, 보다 우선도가 높은 얼굴정보가 촬영 화상에 계속 찍혀 들어오도록 할 수 있기만 하면, 촬영부(3)를 어떻게 제어하도록 되어 있어도 상관없다.
또한, 카메라의 동작이, 촬영 화상에 있어서의 보다 높은 우선도의 얼굴정보가 변화한 때에 행하여지도록, 제어하는 것이 바람직하다. 보다 구체적으로는, 보다 높은 우선도의 얼굴정보의, 촬영 화면 내에서의, 위치(얼굴정보에 포함되는 일 부, 예를 들면 눈의 위치의 변화라도 상관없다), 크기, 기울기, 방향의, 적어도 하나의 변화가 있을 때, 상기 카메라의 동작이 행하여지도록 제어하는 것이 바람직하다. 물론, 이들 이외에서, 카메라가 동작하도록 제어하여도 상관없다.
또한, 촬영 제어부(25)는, 보다 우선도가 높은 얼굴의 크기와 위치의 적어도 한쪽이, 촬영 화상 내에서 항상 일정하게 되도록, 촬영부(3)를 제어하여도 좋다. 물론, 보다 우선도가 높은 얼굴이 촬영 화상 내에 존재하도록 하여 트래킹하는 것만으로 상관없지만, 촬영 화상 내에서 얼굴의 크기를 일정하게 하여 두면, 보다 우선도가 높은 얼굴을, 촬영 화상 내에서 발견하기 쉽게 할 수 있다. 또한, 얼굴의 위치를 일정하게 하여 두면, 보다 우선도가 높은 얼굴정보를, 항상 그 일정하게 한 위치, 예를 들면 촬영 화상을 표시하는 표시 화면의 중앙을 보는 것만으로, 발견할 수 있다. 물론, 위치는 중앙으로 한정되지 않는다. 이와 같이, 보다 우선도가 높은 얼굴의 크기와 위치의 적어도 한쪽을, 촬영 화상 내에서 항상 일정하게 함으로써, 보다 우선도가 높은 얼굴의 감시를 용이하게 행할 수 있다.
위치 파악부(26)는, 얼굴 검출부(21)가 검출한 얼굴정보(얼굴)에 관해, 장치 내의 도시하지 않은 얼굴 위치 보존 영역(메모리)에 보존된 얼굴 좌표 정보를 나타내는 화상에 있어서의 좌표(얼굴의 위치)를 계속 갱신함에 의해, 촬영 화상 내에서의 얼굴정보(얼굴)의 위치를 계속 파악한다. 여기서 얼굴 좌표 정보는, 얼굴 검출부(21)가 검출한 얼굴정보(얼굴)가 어느 위치에 존재하는지에 관한 정보이다. 그리고, 얼굴 검출부(21)가 얼굴정보를 검출한 촬영 화상보다 시간이 뒤의 촬영 화상에서, 상기 얼굴 검출부(21)가 재차 같은 얼굴정보를 검출하고, 그 얼굴정보의 촬영 화상 내에서의 위치가 위치 파악부(26)에 의해 파악되어 있는 경우에는, 얼굴 대조부(22)는, 얼굴정보 데이터베이스(41)에 액세스하지 않도록 되어 있다. 이것은, 보다 우선도가 높은 얼굴정보인 현재의 트래킹 대상, 이외의 얼굴정보에 대해서도 촬영 화상 내에서의 위치의 파악(트래킹)을 행하고 있다고 하는 것이 된다. 따라서, 얼굴 대조부(22)에 의한 대조의 회수를 줄일 수 있기 때문에, 트래킹 장치(1)의 부하를 경감하는 것이 가능하게 된다.
촬영부(3)는, 복수의 카메라를 구비한 촬영 장치(33)와, 카메라 구동 장치(31)와, 카메라 전환 장치(32)를 구비하고 있고, 촬영 제어부(25)의 제어에 의거하여, 트래킹 대상의 촬영을 행한다. 카메라 구동 장치(31)는, 촬영 장치(33)에서의 카메라를 구동시키는 장치이고, 카메라 전환 장치(32)는, 구동 대상의 카메라를 전환하는 장치이다. 또한, 촬영 장치(33)에서의 카메라는 각각, 팬·틸트, 줌, 노출 변화가 행하여질 수 있도록 되어 있다.
본 실시 형태에서는, 카메라는 복수 있는 것으로 도시하고 있지만, 1대라도 상관없다. 이 경우, 카메라 전환 장치(32)는 없어도 좋다. 또한, 카메라 1대 또는 복수대를 제어한 트래킹 장치(1)가 복수대 있고, 그 트래킹 장치가 통신부를 갖고 있고, 서로 통신하여 보다 우선도가 높은 얼굴을 트래킹하도록 되어 있어도 좋다.
기억부(4)는, 하드 디스크등의 불휘발성의 기억 장치에 의해 구성되는 것이다. 기억부(4)는, 얼굴정보 데이터베이스(41)를 보존하고 있다. 이 얼굴정보 데이터베이스(41)에는, 복수의 인물에 관한 얼굴정보가 해당 얼굴정보의 트래킹 순위를 나타내는 우선도와 대응시켜져서 등록되어 있다.
예를 들면 도 2를 참조로 설명하면, 얼굴정보 데이터베이스(41)에는, 인물(A)의 얼굴정보와 인물(B)의 얼굴정보가, 인물(A)의 얼굴의 우선도가 1, 인물(B)의 얼굴의 우선도가 2로 되어 등록되어 있다. 우선도의 숫자가 적은 쪽이 보다 우선도가 높은 것으로 한다. 도 2에서는, 트래킹 대상으로서 2인분의 등록밖에 행하여져 있지 않지만, 이 이상의 얼굴정보가 등록되어 있어도 좋다. 또한, 하나의 트래킹 대상에 대해 하나의 얼굴정보만이 아니라, 하나의 트래킹 대상에 대해 복수의 얼굴정보(예를 들면, 정면, 우향, 좌향, 상향, 하향 등)가 등록되어 있으면, 얼굴 대조부(22)에서의 대조를 보다 정확하게 행할 수 있다. 또한, 얼굴정보 데이터베이스(41)에는, 트래킹 대상의 이름, 특징점(예를 들면, 야구 선수라면 수비 위치 등) 등의 트래킹 대상에 관한 정보가 등록되어 있어도 좋다. 이와 같이 되어 있으면, 유저가 우선도를 설정하거나 변경하거나 할 때에 참조할 수 있기 때문에, 유저의 도움이 된다.
물론, 얼굴정보 데이터베이스(41)에서 우선도가 붙어 있는 얼굴정보가 하나만인 경우에는, 그 얼굴정보를 계속 트래킹하게 된다. 또한, 얼굴정보 데이터베이스(41)에 하나의 얼굴정보만이 있는 경우에는, 그 하나의 얼굴정보에 실제의 우선도가 붙어 있지 않아도, 최상위의 우선도가 붙어 있는 것으로서, 우선도를 취득하도록 되어 있어도 좋다. 또한, 복수의 얼굴정보의 일부에만 우선도가 붙어 있고, 그 밖의 얼굴정보에는 붙어 있지 않은 경우에는, 해당 그 밖의 얼굴정보에는 일률적으로 최하위의 우선도가 붙어 있는 것으로서, 우선도를 취득하도록 되어 있어도 좋다.
또한, 이 기억부(4)에는, 상기한 트래킹 장치(1)의 각종 구성의 동작을 제어하는 제어 프로그램, 0S(operating system) 프로그램, 그 밖의 각종 프로그램이 기억되어 있어도 좋다.
입력부(5)는, 트래킹 장치(1)가 유저로부터의 조작을 접수하기 위한 인터페이스이다. 입력부(5)는, 유저가 트래킹 장치(1)에 대한 조작을 행하는 것이 가능하게 마련되어 있고, 예를 들면, 얼굴정보 데이터베이스에서의 우선도의 설정 또는 변경을 유저가 입력 가능하게 마련되어 있다. 따라서, 유저는, 미리 등록된 얼굴정보 데이터베이스(41)에 포함되는 얼굴정보에 대해, 입력부(5)로부터, 우선도를 설정하거나, 변경하거나 할 수 있다. 우선도는, 미리 설정되어 있지 않은 경우, 우선도가 설정되어 있지 않은 얼굴정보가 검출된 때에, 설정할 수 있도록 되어 있어도 상관없다. 또한, 트래킹 대상 정보에 등록되어 있지 않은 얼굴정보가 검출된 때에는, 우선도를 붙여서 트래킹 대상 정보에 등록하도록 되어 있어도 좋다. 예를 들면, 스포츠의 중계 방송할 때 등, 복수의 선수에 예를 들면 인기가 있는 사람부터 순차로 우선 순위를 붙여서 트래킹할 수도 있다. 또한, 수시로, 우선도의 변경을 행할 수도 있고, 예비 선수가 들어온 경우 등에 새롭게 우선도를 붙여서 트래킹할 수도 있다. 이들은, 단순한 예시이다. 또는, 트래킹 대상 정보에 등록되어 있지 않은 얼굴정보를 검출한 경우, 트래킹 대상 정보에 등록하여 유저에게 우선도를 설정시키도록 되어 있어도 좋다.
입력부(5)에서는, 예를 들면, 조작 키/버튼 등이 유저 조작에 제공되도록 마련되어 있다. 유저는, 이 입력부(5)로부터, 트래킹 장치(1)에 대해 각종 지시, 예 를 들면, 트래킹 조작의 시작, 정지, 얼굴정보 데이터베이스(41)의 재기록, 얼굴정보 데이터베이스(41)의 우선 순위의 설정, 변경 등을 행할 수 있도록 되어 있다. 또한, 입력부(5)를 표시부(6)에서의 표시 화면과 겸용하여도 좋다. 즉, 예를 들면, 입력부(5)와 표시부(6)의 표시 화면이 일체형의 터치 패널이 마련되어 있어도 좋다. 이 경우, 표시 화면에 유저에 의한 입력이 가능한 항목을 표시하고, 유저가, 소망하는 항목이 표시되어 있는 표시 영역에 접촉함에 의해, 트래킹 장치(1)에 대해 지시를 줄 수 있다. 이 경우, 표시 영역에 접촉하기 위해, 입력부(5)로서, 스틱형상의 조작 수단 등을 마련하여도 좋다.
표시부(6)는, 표시 화면(촬영 화면)을 포함하고, 촬영 장치에서 촬영한 촬영 화상을 출력(표시)하는 것이다. 표시부(6)는, 복수 마련되어 있어도 좋고, 예를 들면 카메라와 동수 마련되어 있어도 좋다. 또는, 표시부(6)의 표시 화면이 복수의 카메라로부터의 화상이 비치도록 구획되어 있어도 상관없다.
또한, 예를 들면, 촬영 장치(33)에서 촬영한 촬영 화상에 수반하는 음성을 출력하는 음성 출력부(도시 생략)를 갖고 있어도 좋다.
또한, 얼굴 대조부(22) 및 얼굴정보 데이터베이스(41)를 외부의 장치에 마련하고, 트래킹 장치(1)와 해당 외부의 장치가 통신을 행함으로써, 대조 처리를 행하여도 좋다.
또한, 본 발명의 트래킹 장치는, 촬영부(3)나 얼굴정보 데이터베이스(41)를 준비하고 있지 않아도 좋고, 제어부(2)를, 본 발명에 관한 트래킹 장치로 표현하여도 상관없다.
상기한 구성의 트래킹 장치(1)를 이용하여 트래킹하고 있는 상태를, 도 3(a) 내지 (c)를 이용하여 설명한다. 여기서는 미리, 얼굴정보 데이터베이스(41)에, 도 2에 도시하는 바와 같이, 인물(A)의 얼굴정보와 인물(B)의 얼굴정보가, 인물(A)의 얼굴의 우선도가 1, 인물(B)의 얼굴의 우선도가 2로 되어 등록되어 있는 것으로 한다. 우선도의 숫자가 적은 쪽이 보다 우선도가 높은 것으로 한다.
처음에, 도 3(a)에 도시하는 바와 같이, 촬영 화상(50)에서 인물(A)(의 얼굴)에 대해 트래킹하고 있는 상태라고 한다. 여기서, 인물(C)은, 얼굴정보 데이터베이스(41)에 등록되어 있지 않기 때문에 트래킹 대상이 아니다. 따라서, 인물(C)에 관해서는 트래킹 대상으로서 위치 파악부(26)에 의해 얼굴 위치만 파악하고 있지만, 트래킹은 행하고 있지 않다.
다음에, 도 3(b)에 도시하는 바와 같이, 촬영 화상(50) 내에 인물(A)보다도, 트래킹의 우선 순위인 우선도가 높은 인물(B)의 얼굴이 들어왔다고 한다(프레임 인, 동 도면의 검은화살표). 이 경우, 트래킹 대상을 인물(A)의 얼굴로부터 인물(B)의 얼굴로 전환한다(동 도면의 흰화살표). 이 때, 인물(C)의 얼굴은 트래킹 대상이 아니기 때문에 얼굴 위치만 파악하고 있다. 트래킹 대상은 인물(B)의 얼굴이 되고, 인물(A)의 얼굴은, 우선도의 낮은 트래킹 대상(추적 대상)으로서, 인물(B)의 얼굴이 촬영 화상(50) 내에 있는 한, 얼굴 위치만 파악되게 된다.
그리고, 도 3(c)에 도시하는 바와 같이, 인물(B)의 얼굴을 트래킹 대상으로 하여, 인물(B)의 얼굴이 촬영 화상(50)을 표시한 촬영 화면의 일정 범위(51) 내에 수속되도록 한다. 또한, 인물(A)의 얼굴을 우선도가 낮은 트래킹 대상(트래킹 대 상)으로 하여, 화면 내에 존재하고 있는 경우는 얼굴 위치를 확인(파악)을 계속한다. 이 상태에서 인물(B)의 얼굴이 어떠한 원인으로 촬영 화상(50)으로부터 사라진 경우는, 재차 인물(A)의 얼굴을 트래킹 대상으로 한다. 또한, 인물(C)의 얼굴은 화상 외로 이동하였기 때문에(프레임 아웃), 인물(C)의 얼굴 위치의 파악(추적)을 종료한다.
이상의 트래킹하고 있는 상태의 설명은, 카메라 1대로 트래킹하고 있는 것으로 하여 행하였다. 여기서, 카메라는 하나라도 복수라도 상관없다.
다음에, 촬영부(3)에서의 카메라의 전환에 관해, 도 4(a) 내지 (c)를 이용하여 설명한다. 여기서는, 카메라(C1)로부터 카메라(C2)로 전환이 행하여지는 것으로 한다. 도 4(a) 내지 (c)의 각각에는, 왼쪽부터 순번대로, 카메라(C2)가 촬영하는 화상(I2), 카메라(C1)의 촬영하는 화상(I1), 및, 카메라(C1·C2)의 촬영 범위와 피사체와의 위치 관계가 도시되어 있다. 또한, 도 4(a) 내지 (c)에서, 도트가 있는 화상(I1·I2)의 영역이 카메라(C1)와 카메라(C2)의 화각이 겹치는 부분이라고 한다.
도 4(a)에 도시하는 바와 같이, 카메라(C1)의 화각 내에 트래킹 대상의 인물(P)의 얼굴이 존재하는 경우는 카메라(C1)로 트래킹 대상의 인물(P)의 얼굴을 트래킹한다.
도 4(b)에서는, 이동량 계산부(24)의 계산에 의해, 카메라(C1)의 화각으로부터 트래킹 대상의 인물(P)이 벗어나는 것이 예측되고, 또한 카메라(C2)의 화각에 트래킹 대상의 인물(P)이 들어오면, 화면을 카메라(C1)가 촬영하는 화상(I1)으로부 터 카메라(C2)가 촬영하는 화상(I2)으로 전환한다. 전환의 제어는, 촬영 제어부(25)가 카메라 전환 장치(32)를 제어함으로써 행하여진다.
그리고, 도 4(c)에 도시하는 바와 같이, 카메라(C2)의 화각 내에 트래킹 대상의 인물(P)의 얼굴이 존재하는 경우는 카메라(C2)로 트래킹 대상의 인물(P)의 얼굴을 트래킹한다.
이상과 같이, 트래킹 장치(1)에서는, 트래킹 대상이 복수 있고, 트래킹 대상에 트래킹의 우선 순위가 있는 경우에도, 보다 우선도가 높은 얼굴을 촬영 화상에 계속 포착하도록 촬영부(3)가 제어되기 때문에, 유저의 조작을 통하지 않고 보다 우선도가 높은 트래킹을 행할 수 있고, 유저는 트래킹 대상을 지정할 필요도 없기 때문에, 유저의 조작을 경감할 수 있다. 따라서, 트래킹 장치(1)를 이용함으로써, 유저를 번거롭게 하지 않고, 트래킹에 관해 우선 순위가 있는 인물이 존재하여도 자율적으로 트래킹을 행하는 것이 가능하게 된다.
[트래킹 장치에 의한 트래킹 처리]
트래킹 장치(1)에 있어서의 트래킹의 처리의 흐름에 관해, 도 5의 플로우 차트를 이용하여 설명한다. 또한, 이하에서 설명하는 처리 전에, 미리 얼굴정보 데이터베이스(41)에는, 우선도가 설정된 얼굴정보가 등록되어 있는 것으로 한다.
우선, 얼굴 검출부(21)가 촬영 화상 내에서 얼굴정보(이후 「얼굴」과 같이 생략한다)를 검출하고, 촬영 화상 내에 얼굴이 존재하는지의 여부를 판정한다(스텝 1, 이후 S1과 같이 생략한다). 여기서, 얼굴의 검출은, 피사체가 들어올 때까지 계속 대기하여도 좋고, 카메라가 예를 들면 머리돌림 등 동작하여, 피사체가 들어오 면, 검출을 시작하여도 좋다.
얼굴을 검출한 경우(S1에서 YES), 검출한 얼굴이 화상중에서 위치를 파악하고 있는 얼굴인지의 여부(전(前) 프레임에도 존재하는 얼굴인지의 여부)를 판단한다(S2).
S1에서 검출한 얼굴이 화상중에서 위치를 파악하고 있지 않은 S얼굴인 경우(S2에서 NO)에 관해 우선 설명하고, 위치를 파악하고 있는 얼굴인 경우(S2에서 YES)에 관해서는 후술한다.
S1에서 검출한 얼굴이 화상중에서 위치를 파악하고 있지 않은 얼굴인 경우(S2에서 NO), 얼굴 대조부(22)는, 얼굴정보 데이터베이스(41)를 대조하여, S1에서 검출한 얼굴이 등록되어 있는지의 여부를 판정한다(S3). 여기서의 판정은, 다음과 같이 행한다. 검출한 얼굴과, 얼굴정보 데이터베이스(41)에 포함되는 얼굴정보와의 유사도를 산출하고, 산출한 유사도가 미리 정해진 인증 임계치보다 크면, 검출한 얼굴이 트래킹 대상이라고 판정한다. 또한, 미리 정해진 인증 임계치보다 얼마만큼 큰가로 나타나는 인증 신뢰도를 산출한다.
Sl에서 검출한 얼굴이 등록되어 있는 경우(S3에서 YES), 우선도 취득부(23)는, Sl에서 검출한 얼굴의 우선도를 취득한다(S4). 우선도를 취득하면, 다음에, 현재 트래킹 중의 얼굴(보다 우선도가 높은 얼굴)이 화상 내에 존재하는지의 여부를 판정한다(S5). 현재 트래킹 중의 얼굴이 화상 내에 존재하는 경우(S5에서 YES), Sl에서 검출한 얼굴과 현재 트래킹 중의 얼굴과의 우선도를 비교한다(S6). Sl에서 검출한 얼굴과 현재 트래킹 중의 얼굴과의 우선도가 같은 경우, S3에서의 판정시에 산출한 인증 신뢰도가, 현재 트래킹 중의 얼굴의 인증 신뢰도와 비교하여 높은지를 판정한다(S7). 또한, 현재 트래킹 중의 얼굴의 인증 신뢰도는, 도시하지 않은 메모리 등에 보존되어 있는 것으로 한다.
얼굴의 인증 신뢰도의 비교의 결과, Sl에서 검출한 얼굴의 인증 신뢰도가 높은 경우(S7에서 YES), 현재의 트래킹 대상의 얼굴을 트래킹 대상에서 제외하고, 현재의 트래킹 대상의 얼굴을 우선도가 낮은 트래킹 대상으로 하여, 도시하지 않은 메모리 등에 등록한다(S8). S6에서, S1에서 검출한 얼굴의 쪽이 우선도가 높은 경우도, S8로 진행하여, 현재의 트래킹 대상의 얼굴을 트래킹 대상에서 제외하고, 현재의 트래킹 대상의 얼굴을 우선도가 낮은 트래킹 대상으로서, 도시하지 않은 메모리 등에 등록한다.
또한, S6에서, Sl에서 검출한 얼굴의 쪽이 우선도가 낮은 경우에는, S1에서 검출한 얼굴을, 우선도가 낮은 트래킹 대상으로서, 도시하지 않은 메모리 등에 등록하고(S10), S18로 진행한다. 또한, S7에서, S1에서 검출한 얼굴의 쪽이 인증 신뢰도가 낮은 경우(S7에서 NO)에도, S1에서 검출한 얼굴을, 우선도가 낮은 트래킹 대상으로서, 도시하지 않은 메모리 등에 등록하고(S10), S18로 진행한다.
또한, S3에서 검출한 얼굴이 등록되어 있지 않은 경우(S3에서 NO), S1에서 검출한 얼굴을 트래킹 대상으로서, 도시하지 않은 메모리 등에 등록하고(S9), S18로 진행한다.
또한, S5에서 현재 트래킹 중의 얼굴이 화상 내에 존재하지 않는 경우(S5에서 NO), 처리 대상의 얼굴(여기서는, S1에서 검출한 얼굴)을, 트래킹 대상으로서, 도시하지 않은 메모리 등에 등록하고(S11), S18로 진행한다. 또한, 현재의 트래킹 대상의 얼굴을 우선도가 낮은 트래킹 대상으로서, 도시하지 않은 메모리 등에 등록한(S8) 후에도, S11로 진행하여, 처리 대상의 얼굴(여기서는, S1에서 검출한 얼굴)을, 트래킹 대상으로서, 도시하지 않은 메모리 등에 등록하고, S18로 진행한다.
다음에, Sl에서 검출한 얼굴이 화상중에서 위치를 파악하고 있는 얼굴인 경우(S2에서 YES), 현재 트래킹 중의 얼굴인지의 여부를 판정한다(S12). 현재 트래킹 중의 얼굴인 경우(S12에서 YES), 화상 내의 중앙 부근에 검출한 얼굴(현재 트래킹 중의 얼굴)이 있는지의 여부를 판정한다(S13). 화상 내의 중앙 부근에 검출한 얼굴이 없는 경우에는(S13에서 NO), 검출한 얼굴이 화상의 중앙 부근에 오도록, 촬영 제어부(25)는 촬영부(3)를 제어한다(S14). 화상 내의 중앙 부근에 검출한 얼굴이 있는 경우에는(S13에서 YES), 또는, 검출한 얼굴이 화상의 중앙 부근에 오도록, 촬영 제어부(25)는 촬영부(3)를 제어한(S14) 후에는, S18로 진행한다.
S12에서, 현재 트래킹 중의 얼굴이 아닌 경우(S12에서 NO), Sl에서 검출한 얼굴이 우선도가 낮은 얼굴(우선도보다 높은 얼굴이 아닌 트래킹 대상)인지의 여부를 판정한다(S15). 우선도가 낮은 얼굴인 경우(S15에서 YES), 현재 트래킹 중의 얼굴이 화상 내에 있는지의 여부를 판정한다(S16). 우선도가 낮은 얼굴이 아닌 경우(S15에서 NO), 또는, 현재 트래킹 중의 얼굴이 화상 내에 있는 경우(S16에서 YES), S18로 진행한다. 그리고, S15에서 우선도가 낮은 얼굴이 아닌 경우라는 것은, 트래킹 대상이라는 것이다.
S16에서 현재 트래킹 중의 얼굴이 화상 내에 없는 경우(S16에서 NO), S1에서 검출된 얼굴을, 트래킹 대상으로서, 도시하지 않은 메모리 등에 등록하고(S11), S18로 진행한다.
최후로, 장치의 얼굴 위치 보존 영역(메모리)에 보존된 얼굴 좌표 정보를 나타내는 화상에 있어서의 좌표(얼굴의 위치)를, 검출 좌표(S1에서 얼굴 검출부(21)에 의해 얼굴정보가 검출된 위치)에 재기록함에 의해 얼굴 위치 정보의 갱신이 행하여진다(S18)
또한, S1에서 화상 내에서 얼굴을 검출할 수 없는 경우에는(S1에서 NO), 메모리 등에 등록된 트래킹 대상의 정보, 트래킹 대상의 정보를 소거하고(S17), 종료한다. 이상과 같은, 도 5에 도시하는 처리가 반복하여 행하여짐에 의해, 트래킹 장치(1)에서의 트래킹의 처리가 행하여진다.
다음에, 촬영부(3)에, 카메라가 복수 있는 경우, 카메라의 전환의 처리에 관해, 도 6의 플로우 차트를 이용하여 설명한다. 이하의 설명에서는, 카메라(C1)로부터 카메라(C2)로 전환하는 것을 전제로 하여 설명한다.
도 6에 도시하는 바와 같이, 처음에, 카메라(C1)의 전환 영역(도 4(a) 내지 (c)의 도트 영역)에, 보다 우선도가 높은 얼굴이 있는지의 여부를 판정한다(S51). 영역에 얼굴이 없는 경우(S51에서 NO), 처리는 종료한다. 영역에 얼굴이 있는 경우(S51에서 YES), 카메라(C1)의 이전 프레임에 있어서의, 보다 우선도가 높은 얼굴이 있는 위치는 전환 영역 외인지의 여부를 판정한다(S52). 전환 영역 외가 아닌 경우(S52에서 NO), 처리는 종료한다. 전환 영역 외인 경우(S52에서 YES), 카메라(C2)의 전환 영역 외에, 보다 우선도가 높은 얼굴이 있는지의 여부를 판정한 다(S53). 영역 외에 해당 얼굴이 없는 경우(S53에서 NO), 처리는 종료한다. 영역 외에 해당 얼굴이 있는 경우(S53에서 YES), 카메라(C2)의 이전 프레임에 있어서의, 보다 우선도가 높은 얼굴이 있는 위치는 전환 영역인지의 여부를 판정한다(S54). 전환 영역이 아닌 경우(S54에서 NO), 처리는 종료한다. 전환 영역인 경우(S54에서 YES), 카메라(C1)로부터 카메라(C2)로의 전환이 행하여진다(S55).
이상과 같이 카메라의 전환이 행하여지지만, 2개 이상의 카메라에 있어서의 전환도, 마찬가지로 행하여지고, 보다 우선도가 높은 얼굴을 포착하고 있던 카메라가 해당 보다 우선도가 높은 얼굴을 포착할 수 없게 되면, 해당 보다 우선도가 높은 얼굴을 포착할 수 있는 다른 카메라에서 포착하도록, 제어되는 것으로 한다.
[실시예 1]
상기 실시의 형태의 트래킹 장치(1)를, 예를 들면 경마의 중계 방송에 이용하는 경우를 상정하고, 도 7(a)·(b)를 이용하여 설명한다. 또한, 이 경우는, 촬영 장치(33)의 카메라는 1대만 있는 것으로 하여 설명한다.
미리, 말의 얼굴이 얼굴정보로서 얼굴정보 데이터베이스(41)에 등록해 있고, 우선도는 말(H2)이 1, 말(H5)이 2의 인기순으로 붙어 있다고 한다. 또한, 도 7(a)에 도시하는 바와 같이, 카메라(C1)는, 레일(1)상에 설치되고, 말의 진행 방향으로 이동할 수 있도록 되어 있다고 한다. 이 경우, 처음에는, 도 7(b)에 도시하는 바와 같이, 선두의 말(H5)을 촬영 화상(I1)의 중심이 되도록 카메라(C1)를 제어하여 말(H5)을 계속 트래킹하지만, 말(H2)이 촬영 화상(I1)에 들어온 때에, 그 다음의 프레임에서는, 말(H2)이 화면의 중심이 되도록 카메라(C1)는 제어된다.
이와 같이, 트래킹의 우선도를 인기순으로 설정함에 의해, 촬영 화상 내에서 인식할 수 있는 중 가장 인기가 높은 말을 중심으로 화면을 구성할 수 있다.
또한, 말의 얼굴 대신에, 말에 승마하고 있는 기수의 얼굴을 이용하여도 좋다. 이 경우, 상기 기수의 얼굴을 얼굴정보로서 얼굴정보 데이터베이스(41)에 등록하면 좋다. 또한, 우선도는, 상기 기수의 인기순으로 붙여도 좋고, 상기 기수가 승마하고 있는 말의 인기순으로 붙여도 좋다.
[실시예 2]
상기 실시의 형태의 트래킹 장치(1)를, 예를 들면, 도 8(a)에 도시하는 바와 같은, 야구의 중계 방송에 이용하는 경우를 상정하여, 도 8(a) 내지 (d)를 이용하여 설명한다. 이 경우는, 촬영 장치(33)의 카메라는 3대로 하여 설명한다.
미리, 선수의 얼굴이 얼굴정보로서 얼굴정보 데이터베이스(41)에 등록되어 있고, 트래킹의 우선도가 주자>타자>야수로서 등록되어 있다고 한다.
도 8(b) 내지 (d)에 도시하는 바와 같이, 카메라(C1)에서는 주자(A), 카메라(C2)에서는 야수(B), 카메라(C3)에서는 야수(C)를 포착하여, 각각 화면(I1 내지 I3)의 중심이 되도록 제어되어 있고, 각각 트래킹하고 있다고 한다. 카메라(C2)에서는, 주자(A)가 베이스 러닝으로 카메라(C2)의 화각에 들어온 때, 주자(A)가 화면(I2)의 중심이 되도록, 즉 주자(A)의 트래킹으로 전환한다. 그리고, 화각으로부터 사라지면, 야수(B)의 트래킹으로 되돌아온다. 또한, 카메라(C3)에서도, 주자(A)가 베이스 러닝으로 카메라(C3)의 화각에 들어온 때, 화면(I3)의 중심이 되도록 주자(A)의 트래킹으로 전환한다. 그리고, 화각으로부터 사라지면, 야수(C)의 트래킹 으로 되돌아온다.
이와 같이, 우선도에 의거하여 트래킹을 행할 수 있다.
그 밖에도, 실시의 형태의 트래킹 장치(1)를, 예를 들면, 축구의 중계 방송에 이용하는 경우, 예를 들면, 포워드>미들필드>디펜더>골키퍼 또는, 홈의 선수>어웨이의 선수의 순으로 우선도를 설정하여, 트래킹을 행하여도 좋다. 또한, 예를 들면, 방범을 위해 의심스러운 인물을 트래킹하는 경우, 지명 수배중의 인물>범죄력이 있는 인물>그 밖의 인물의 순으로 우선도를 설정하여, 트래킹을 행하여도 좋다. 또한, 경륜, 경정(競艇), 자동차 레이스, 오토바이 레이스, 마라톤, 역전 경주, 육상 경기, 등에 있어서도, 1번 인기>2번 인기>…의 순으로 우선도를 설정하여, 트래킹을 행하여도 좋다. 또한, 예를 들면 아마추어 야구의 중계 방송의 경우, 드래프트 후보로 우선 순위를 붙여서 트래킹하여도 좋다. 또한, 이들은, 단순한 예시이고, 트래킹 순위의 붙이는 방식에는 한정이 없고, 트래킹 대상에도 한정이 없다.
본 발명은 상술한 실시 형태 및 각 실시예로 한정되는 것이 아니고, 청구항에 나타난 범위에서 여러가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시 형태 및 실시예에 대해서도 본 발명의 기술적 범위에 포함된다.
최후로, 트래킹 장치(1)의 각 블록, 특히 제어부(2)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같이 CPU를 이용하여 소프트웨어에 의해 실현하여도 좋다.
즉, 트래킹 장치(1)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하 는 CPU(central processing unit), 상기 프로그램을 격납한 ROM(read Only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납한 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 트래킹 장치(1)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 트래킹 장치(1)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하여 실행함에 의해서도, 달성 가능하다.
상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크ROM/EPROM/EEPROM/플래시ROM 등의 반도체 메모리계 등을 이용할 수 있다.
또한, 트래킹 장치(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE1394, USB, 전력선 반송, 케이블 TV회선, 전화선, ADSL 회선 등의 유선이라도, IrDA나 리모트콘트롤과 같은 적외선, Bluetooth(등록상표), 802.11 무선, HDR, 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선으로도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태로도 실현될 수 있다.
본 발명은, 복수의 피사체를 트래킹하는 시스템에 적용할 수 있고, 예를 들면 방범 시스템, 또한 예를 들면, 텔레비전 회의, 텔레비전 강의, 스포츠 중계 등, 다양한 용도에도 이용할 수 있다.

Claims (10)

  1. 트래킹 대상이 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어함에 의해, 해당 트래킹 대상을 포착하는 트래킹 장치로서,
    촬영 화상으로부터 해당 촬영 화상에 찍혀들어온 특징 정보를 검출하는 특징 정보 검출 수단과,
    상기 검출한 특징 정보를, 복수의 인물에 관한 특징 정보가 해당 특징 정보의 트래킹 순위를 나타내는 우선도와 대응시켜져서 등록되어 있는 트래킹 대상 정보와 대조하여, 상기 검출한 특징 정보가 트래킹 대상인지의 여부를 판정하는 트래킹 대상 대조 수단과,
    상기 검출한 특징 정보가 트래킹 대상인 경우에, 상기 트래킹 대상 정보로부터, 해당 검출한 특징 정보의 우선도를 취득하는 우선도 취득 수단과,
    상기 취득한 우선도에 의거하여, 상기 특징 정보를 검출한 촬영 화상중에서부터 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 상기 촬영부를 제어하는 촬영 제어 수단을 갖는 것을 특징으로 하는 트래킹 장치.
  2. 제 1항에 있어서,
    상기 특징 정보는, 인물의 얼굴의 특징을 나타내는 얼굴정보인 것을 특징으로 하는 트래킹 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 특징 정보 검출 수단이 검출한 특징 정보에 관해, 촬영 화상 내에서의 위치를 계속 파악하는 위치 파악 수단을 구비하고,
    상기 특징 정보 검출 수단이 특징 정보를 검출한 촬영 화상보다 시간이 뒤의 촬영 화상에서, 상기 특징 정보 검출 수단이 재차 같은 특징 정보를 검출하고, 그 특징 정보의 촬영 화상 내에서의 위치가 상기 위치 파악 수단에 의해 파악되어 있는 경우에는, 상기 트래킹 대상 대조 수단은, 상기 대조를 줄이는 것을 특징으로 하는 트래킹 장치.
  4. 제 1항 내지 제 3항중 어느 한 항에 있어서,
    촬영부는 복수의 촬영 장치를 구비하고 있고,
    상기 촬영 제어 수단은, 상기 보다 우선도가 높은 특징 정보를 포착하고 있던 촬영 장치가 해당 보다 우선도가 높은 특징 정보를 포착할 수 없게 되면, 해당 보다 우선도가 높은 특징 정보를 포착할 수 있는 다른 촬영 장치에서 포착하도록, 촬영부를 제어하는 것을 특징으로 하는 트래킹 장치.
  5. 제 1항 내지 제 4항중 어느 한 항에 있어서,
    상기 트래킹 대상 정보에 있어서의 우선도의 설정 또는 변경을 유저가 입력 가능하게 마련된 입력부를 구비한 것을 특징으로 하는 트래킹 장치.
  6. 제 1항 내지 제 5항중 어느 한 항에 있어서,
    상기 트래킹 대상 대조 수단은, 상기 특징 정보 검출 수단이 검출한 특징 정보와, 상기 트래킹 대상 정보에 포함되는 특징 정보와의 유사도를 산출하고, 산출한 유사도가 미리 정해진 인증 임계치보다 크면, 해당 검출한 특징 정보가 트래킹 대상이라고 판정하고, 또한, 상기 미리 정해진 인증 임계치보다 얼마만큼 큰가로 나타나는 인증 신뢰도를 산출하고,
    상기 우선도가 같은 값인 특징 정보가 복수 상기 촬영 화상에 찍혀들어와 있는 경우에는, 상기 촬영 제어 수단은, 상기 산출된 인증 신뢰도보다 큰 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어하는 것을 특징으로 하는 트래킹 장치.
  7. 제 1항 내지 제 6항중 어느 한 항에 있어서,
    상기 촬영 제어 수단은, 상기 보다 우선도가 높은 특징 정보의 크기와 위치의 적어도 한쪽이, 촬영 화상 내에서 항상 일정하게 되도록, 상기 촬영부를 제어하는 것을 특징으로 하는 트래킹 장치.
  8. 트래킹 대상이 촬영 화상에 계속 찍혀 들어오도록 촬영부를 제어함에 의해, 해당 트래킹 대상을 포착하는 트래킹 방법으로서,
    촬영 화상으로부터 해당 촬영 화상에 찍혀들어온 특징 정보를 검출하는 특징 정보 검출 스텝과,
    상기 검출한 특징 정보를, 복수의 인물에 관한 특징 정보가 해당 특징 정보의 트래킹 순위를 나타내는 우선도와 대응시켜져서 등록되어 있는 트래킹 대상 정보와 대조하여, 상기 검출한 특징 정보가 트래킹 대상인지의 여부를 판정하는 트래킹 대상 대조 스텝과,
    상기 검출한 특징 정보가 트래킹 대상인 경우에, 상기 트래킹 대상 정보로부터, 해당 검출한 특징 정보의 우선도를 취득하는 우선도 취득 스텝과,
    상기 취득한 우선도에 의거하여, 상기 특징 정보를 검출한 촬영 화상중에서부터 우선도가 높은 특징 정보가 촬영 화상에 계속 찍혀 들어오도록 상기 촬영부를 제어하는 촬영 제어 스텝을 포함하는 것을 특징으로 하는 트래킹 방법.
  9. 제 1항 내지 제 7항중 어느 한 항에 기재된 트래킹 장치를 동작시키기 위한 제어 프로그램으로서, 컴퓨터를 상기 트래킹 장치에 있어서의 상기 각 수단으로서 기능시키기 위한 트래킹 장치의 제어 프로그램.
  10. 제 9항에 기재된 트래킹 장치 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020087023741A 2006-03-15 2007-03-14 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체 KR101001060B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00071861 2006-03-15
JP2006071861 2006-03-15

Publications (2)

Publication Number Publication Date
KR20080103586A true KR20080103586A (ko) 2008-11-27
KR101001060B1 KR101001060B1 (ko) 2010-12-14

Family

ID=38609152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087023741A KR101001060B1 (ko) 2006-03-15 2007-03-14 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체

Country Status (6)

Country Link
US (1) US8599267B2 (ko)
EP (1) EP1998567B1 (ko)
JP (1) JP4957721B2 (ko)
KR (1) KR101001060B1 (ko)
CN (1) CN101401426B (ko)
WO (1) WO2007119355A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012170898A2 (en) * 2011-06-09 2012-12-13 Utah State University Research Foundation Systems and methods for sensing occupancy
KR101298646B1 (ko) * 2007-04-30 2013-08-21 삼성전자주식회사 얼굴 영역이 효율적으로 검색되는 디지털 영상 처리 장치의제어 방법
KR101337060B1 (ko) * 2009-09-28 2013-12-05 가부시끼가이샤 도시바 화상 처리 장치 및 화상 처리 방법
KR20140052357A (ko) * 2012-10-24 2014-05-07 주식회사 케이티 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8432449B2 (en) * 2007-08-13 2013-04-30 Fuji Xerox Co., Ltd. Hidden markov model for camera handoff
JP2009193424A (ja) * 2008-02-15 2009-08-27 Nec Corp 動線捕捉装置及び動線捕捉方法並びにプログラム
JP5084550B2 (ja) * 2008-02-25 2012-11-28 キヤノン株式会社 入室監視システム、開錠指示装置及びその制御方法、並びに、プログラム
JP5039607B2 (ja) * 2008-02-27 2012-10-03 キヤノン株式会社 撮像装置及びその制御方法
EP2104339A3 (en) * 2008-03-19 2011-05-11 Fujinon Corporation Autofocus system
EP2104337A3 (en) * 2008-03-19 2011-04-27 Fujinon Corporation Autofocus system
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
ITMI20081628A1 (it) * 2008-09-12 2010-03-12 March Networks Corp Inseguimento automatico di un oggetto di interesse mediante una videocamera
JP2010117663A (ja) * 2008-11-14 2010-05-27 Fujinon Corp オートフォーカスシステム
JP5441151B2 (ja) * 2008-12-22 2014-03-12 九州日本電気ソフトウェア株式会社 顔画像追跡装置及び顔画像追跡方法並びにプログラム
JP2010200084A (ja) * 2009-02-26 2010-09-09 Nikon Corp 撮像装置
JP5325012B2 (ja) * 2009-04-27 2013-10-23 株式会社第一興商 歌唱者画像撮影機能を有するカラオケシステム
JP5434339B2 (ja) * 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
US8675066B2 (en) * 2009-10-02 2014-03-18 Alarm.Com Incorporated Image surveillance and reporting technology
US9386281B2 (en) 2009-10-02 2016-07-05 Alarm.Com Incorporated Image surveillance and reporting technology
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
GB2476097A (en) * 2009-12-11 2011-06-15 Tony Jones A portable communication device for evaluating an environment
JP5495855B2 (ja) * 2010-03-01 2014-05-21 キヤノン株式会社 映像処理装置及び映像処理方法
JP5911201B2 (ja) * 2011-04-20 2016-04-27 キヤノン株式会社 カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
KR101288248B1 (ko) * 2011-12-09 2013-07-26 정영규 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
US8704904B2 (en) 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
US9615015B2 (en) * 2012-01-27 2017-04-04 Disney Enterprises, Inc. Systems methods for camera control using historical or predicted event data
WO2013114862A1 (ja) * 2012-01-30 2013-08-08 パナソニック株式会社 最適カメラ設定装置及び最適カメラ設定方法
US9124800B2 (en) * 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
WO2013131036A1 (en) 2012-03-01 2013-09-06 H4 Engineering, Inc. Apparatus and method for automatic video recording
US9313394B2 (en) 2012-03-02 2016-04-12 H4 Engineering, Inc. Waterproof electronic device
US9723192B1 (en) 2012-03-02 2017-08-01 H4 Engineering, Inc. Application dependent video recording device architecture
JP2013192154A (ja) 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
US8938124B2 (en) * 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9256781B2 (en) * 2012-05-10 2016-02-09 Pointguard Ltd. System and method for computer vision based tracking of an object
JP6089549B2 (ja) * 2012-10-05 2017-03-08 富士ゼロックス株式会社 情報処理装置、情報処理システム、およびプログラム
US9381445B2 (en) * 2013-03-15 2016-07-05 Zebra Innovations, LLC Distance detector
JP6316023B2 (ja) * 2013-05-17 2018-04-25 キヤノン株式会社 カメラシステム及びカメラ制御装置
CN103347117B (zh) * 2013-05-31 2015-08-12 东莞宇龙通信科技有限公司 通信终端的拍摄方法及通信终端
KR101292907B1 (ko) 2013-06-13 2013-08-02 정영규 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
JP6481249B2 (ja) * 2013-07-29 2019-03-13 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックＩｐマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
CN104573617B (zh) * 2013-10-28 2018-10-02 杭州慧知连科技有限公司 一种摄像控制方法
WO2015088795A1 (en) 2013-12-09 2015-06-18 Todd Martin System and method for event timing and photography
JP6056774B2 (ja) * 2014-01-17 2017-01-11 ソニー株式会社 撮像装置と撮像方法およびプログラム。
WO2015151449A1 (ja) * 2014-03-31 2015-10-08 日本電気株式会社 画像処理システム、画像処理装置、画像処理方法および記録媒体
US10070077B2 (en) * 2014-09-26 2018-09-04 Sensormatic Electronics, LLC System and method for automated camera guard tour operation
TWI537842B (zh) * 2014-09-30 2016-06-11 廣達電腦股份有限公司 人流計數系統
US10362075B2 (en) 2015-10-14 2019-07-23 Benjamin Nowak Presenting content captured by a plurality of electronic devices
US11973813B2 (en) 2014-10-15 2024-04-30 Benjamin Nowak Systems and methods for multiple device control and content curation
EP3207433A4 (en) * 2014-10-15 2018-06-27 Nowak, Benjamin Multiple view-point content capture and composition
JP6597643B2 (ja) * 2015-02-05 2019-10-30 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6364372B2 (ja) * 2015-03-24 2018-07-25 トヨタホーム株式会社 地域監視システム
TWI562642B (en) * 2015-06-24 2016-12-11 Vivotek Inc Image surveillance method and image surveillance device thereof
US20170039010A1 (en) * 2015-08-03 2017-02-09 Fuji Xerox Co., Ltd. Authentication apparatus and processing apparatus
JP2017033358A (ja) 2015-08-03 2017-02-09 富士ゼロックス株式会社 認証装置
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
CN109074484B (zh) 2016-03-02 2022-03-01 蒂诺克股份有限公司 用于有效率的面部识别的系统和方法
EP3427240A4 (en) 2016-03-08 2019-10-30 Tinoq Inc. SYSTEMS AND METHOD FOR A COMPOSITE SENSOR SYSTEM
US10303930B2 (en) * 2016-03-30 2019-05-28 Tinoq Inc. Systems and methods for user detection and recognition
CN107623836A (zh) * 2016-07-15 2018-01-23 中国电信股份有限公司 用于处理抓拍人脸的方法、装置和系统
CN107666590B (zh) 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
GB2556344A (en) * 2016-10-17 2018-05-30 Nctech Ltd Camera controller
KR102286006B1 (ko) * 2016-11-23 2021-08-04 한화디펜스 주식회사 추종 장치 및 추종 시스템
US10136049B2 (en) 2017-01-09 2018-11-20 International Business Machines Corporation System, method and computer program product for contextual focus/zoom of event celebrities
KR20180092621A (ko) * 2017-02-10 2018-08-20 엘지전자 주식회사 단말기 및 그 제어 방법
US10304207B2 (en) * 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
AU2018350362B9 (en) 2017-10-22 2024-01-25 Todd Martin System and method for image recognition registration of an athlete in a sporting event
EP3477941B1 (en) * 2017-10-27 2020-11-25 Axis AB Method and controller for controlling a video processing unit based on the detection of newcomers in a first environment
CN110443833B (zh) * 2018-05-04 2023-09-26 佳能株式会社 对象跟踪方法和设备
EP3806447A4 (en) * 2018-06-11 2021-07-14 Panasonic Intellectual Property Management Co., Ltd. IMAGING CONTROL DEVICE, IMAGING CONTROL METHOD, AND PROGRAM
CN109034063A (zh) 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
US11263418B2 (en) 2018-08-21 2022-03-01 Tinoq Inc. Systems and methods for member facial recognition based on context information
CN111383251B (zh) * 2018-12-28 2023-06-13 杭州海康微影传感科技有限公司 一种跟踪目标对象的方法、装置、监控设备和存储介质
JP6675564B1 (ja) * 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
CN110892412B (zh) * 2019-05-13 2024-01-19 微网股份有限公司 脸部辨识系统、脸部辨识方法及脸部辨识程序
CN110245630B (zh) * 2019-06-18 2023-02-17 广东中安金狮科创有限公司 监控数据处理方法、装置及可读存储介质
DE102019216003B4 (de) 2019-10-17 2022-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optisches Sicherheitsmerkmal geeignet für Track & Trace- und/oder Serialisierungssysteme
CN110691197A (zh) * 2019-11-04 2020-01-14 上海摩象网络科技有限公司 一种拍摄追踪的方法、装置、电子设备
CN110809116A (zh) * 2019-11-04 2020-02-18 上海摩象网络科技有限公司 一种拍摄追踪的方法、装置、电子设备
KR20210074915A (ko) * 2019-12-12 2021-06-22 현대자동차주식회사 안면 인식 잠금 해제 장치 및 그것의 동작방법
DE102020131382A1 (de) 2020-11-26 2022-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Methode zur Kennzeichnung von Produkten mit optischem Sicherheitsmerkmal mit zeitlicher Dimension
CN114356088B (zh) * 2021-12-30 2024-03-01 纵深视觉科技(南京)有限责任公司 一种观看者跟踪方法、装置、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04126473A (ja) * 1990-09-18 1992-04-27 Toshiba Corp 自動追尾カメラ装置
JPH06339056A (ja) 1993-05-31 1994-12-06 Oki Electric Ind Co Ltd ビデオカメラ駆動装置
JPH09331520A (ja) 1996-06-13 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 自動追跡システム
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
JP3656823B2 (ja) 2000-09-04 2005-06-08 三菱電機株式会社 自動監視方法および自動監視装置
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP3999561B2 (ja) 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ
JP2004040514A (ja) 2002-07-04 2004-02-05 Nippon Hoso Kyokai <Nhk> 自動追尾撮像装置及び自動追尾撮像方法
JP4036051B2 (ja) * 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
JP2004129049A (ja) * 2002-10-04 2004-04-22 Matsushita Electric Ind Co Ltd カメラ装置及びカメラシステム並びにこのカメラシステムの制御方法
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP2005020205A (ja) 2003-06-24 2005-01-20 Casio Comput Co Ltd 画像撮影装置
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
JP2005086626A (ja) 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置
JP4478510B2 (ja) 2004-06-03 2010-06-09 キヤノン株式会社 カメラシステム、カメラ、及びカメラの制御方法
US7760917B2 (en) * 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101298646B1 (ko) * 2007-04-30 2013-08-21 삼성전자주식회사 얼굴 영역이 효율적으로 검색되는 디지털 영상 처리 장치의제어 방법
KR101337060B1 (ko) * 2009-09-28 2013-12-05 가부시끼가이샤 도시바 화상 처리 장치 및 화상 처리 방법
WO2012170898A2 (en) * 2011-06-09 2012-12-13 Utah State University Research Foundation Systems and methods for sensing occupancy
WO2012170898A3 (en) * 2011-06-09 2013-04-04 Utah State University Research Foundation Systems and methods for sensing occupancy
US8831287B2 (en) 2011-06-09 2014-09-09 Utah State University Systems and methods for sensing occupancy
KR20140052357A (ko) * 2012-10-24 2014-05-07 주식회사 케이티 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법

Also Published As

Publication number Publication date
US20090096871A1 (en) 2009-04-16
JP4957721B2 (ja) 2012-06-20
CN101401426B (zh) 2010-12-01
EP1998567A1 (en) 2008-12-03
JPWO2007119355A1 (ja) 2009-08-27
EP1998567B1 (en) 2016-04-27
KR101001060B1 (ko) 2010-12-14
EP1998567A4 (en) 2013-05-15
CN101401426A (zh) 2009-04-01
WO2007119355A1 (ja) 2007-10-25
US8599267B2 (en) 2013-12-03

Similar Documents

Publication Publication Date Title
KR101001060B1 (ko) 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체
US8965061B2 (en) Person retrieval apparatus
US8208028B2 (en) Object verification device and object verification method
US11308777B2 (en) Image capturing apparatus with variable event detecting condition
US7742625B2 (en) Autonomous camera having exchangable behaviours
KR101972918B1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
JP4497236B2 (ja) 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
KR101423916B1 (ko) 복수의 얼굴 인식 방법 및 장치
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
JP2007158421A (ja) 監視カメラシステム及び顔画像追跡記録方法
JP5959923B2 (ja) 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
WO2007105768A1 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JPWO2020065852A1 (ja) 認証システム、認証方法、及び、プログラム
JP6214762B2 (ja) 画像検索システム、検索画面表示方法
US11729501B2 (en) Imaging control system, imaging control method, control device, control method, and storage medium
KR101478560B1 (ko) 원격 영상 촬영 휴대단말기 및 그의 촬영 방법
JP2011259384A (ja) 撮像装置、表示装置、プログラム及び記録媒体
CN110800313B (zh) 信息处理设备和信息处理方法
WO2021084895A1 (en) A method, an apparatus and a system for managing an event to generate an alert indicating a subject is likely to be unauthorized
JP5131131B2 (ja) 表示システムおよび表示制御方法
JP2023084461A (ja) 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム
JP2017194798A (ja) 情報処理装置、情報処理方法及びプログラム
JP2023124598A (ja) 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム
TWM653857U (zh) 影像辨識的門禁控制系統
JP2017194796A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 9