KR20230155432A - 촬상 장치, 추적 시스템 및 촬상 방법 - Google Patents

촬상 장치, 추적 시스템 및 촬상 방법 Download PDF

Info

Publication number
KR20230155432A
KR20230155432A KR1020237028412A KR20237028412A KR20230155432A KR 20230155432 A KR20230155432 A KR 20230155432A KR 1020237028412 A KR1020237028412 A KR 1020237028412A KR 20237028412 A KR20237028412 A KR 20237028412A KR 20230155432 A KR20230155432 A KR 20230155432A
Authority
KR
South Korea
Prior art keywords
unit
imaging
feature
priority
person
Prior art date
Application number
KR1020237028412A
Other languages
English (en)
Inventor
마사히로 와타나베
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20230155432A publication Critical patent/KR20230155432A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

데이터 대역을 경량화하면서 오브젝트의 검출 정밀도를 높일 수 있는 촬상 장치를 제공하는 것. 촬상 장치(12)는, 오브젝트를 촬상하는 촬상부(22)와, 촬상부(22)에서 촬상한 오브젝트의 특징량을 복수 추출하는 특징량 추출부(24)와, 특징량 추출부(24)에서 추출한 복수의 특징량의 우선도를 결정하는 우선도 결정부(27)와, 우선도의 높이 및 출력처의 허용량에 따라, 특징량을 결정하는 제어부(28)와, 제어부(28)에서 결정한 특징량을 출력하는 출력부(32)를 구비한다. 촬상 장치(12)는, 오브젝트의 이동 방향을 연산하는 이동 방향 연산부(25)를 더 구비하고, 출력부(32)는, 특징량과 이동 방향을 관련지어 출력할 수 있다.

Description

촬상 장치, 추적 시스템 및 촬상 방법
본 기술은, 촬상 장치, 추적 시스템 및 촬상 방법에 관한 것이고, 더 상세하게는, 촬상 대상을 식별하고, 그 촬상 대상의 이동을 추적하는 촬상 장치, 추적 시스템 및 촬상 방법에 관한 것이다.
종래부터, 감시 카메라로 촬영된 화상으로부터 인물의 이동 궤적을 구하여 기록해 두고, 이동 궤적이 구해지는 인물에 대하여 얼굴 인식을 행함으로써, 얼굴 인식되는 다른 인물과 식별하는 것이 가능한 감시 시스템이 알려져 있다.
예를 들어, 특허문헌 1에서는, 감시용의 촬상 수단과, 상기 촬상 수단으로 촬영되는 화상으로부터 사람을 검지하는 인체 검지 수단과, 상기 인체 검지 수단으로 검지된 사람을 상기 화상상에서 해석하여 이동 궤적을 구하는 궤적 해석 수단과, 상기 인체 검지 수단에 의해 검지됨과 함께 상기 궤적 해석 수단에 의해 상기 이동 궤적이 구해지는 사람의 상기 화상상의 얼굴로부터 다른 얼굴과 식별 가능한 얼굴 데이터를 구하여 얼굴을 인식하는 얼굴 인식 수단과, 다른 사람의 상기 얼굴 데이터를 서로 식별 가능하게 하는 식별 부호에 관련지어 상기 얼굴 데이터와 상기 얼굴 데이터에 대응하는 상기 이동 궤적을 기록하는 기록 수단과, 상기 기록 수단에 기록되어 있는 상기 얼굴 데이터에 대하여 상기 얼굴 인식 수단에 의해 구해진 상기 얼굴 데이터를 비교하여, 이들 얼굴 데이터가 소정의 조건을 충족시키는지 여부를 판정하는 얼굴 판정 수단과,
상기 조건을 충족시키는 경우에, 상기 얼굴 인식 수단에 의해 구해진 상기 얼굴 데이터에 대응하는 상기 이동 궤적을, 당해 얼굴 데이터와 일치하는 상기 기록 수단에 기록된 상기 얼굴 데이터에 관련지어진 상기 식별 부호와 관련지어 상기 기록 수단에 기록하고, 상기 조건을 충족시키지 않는 경우에, 상기 얼굴 인식 수단에 의해 구해진 상기 얼굴 데이터 및 당해 얼굴 데이터에 대응하는 상기 이동 궤적에, 아직 상기 얼굴 데이터에 관련지어져 있지 않은 상기 식별 부호를 관련지어 상기 기록 수단에 기록하는 얼굴 데이터 취집 수단을 구비하는 감시 정보 수집 시스템이 제안되어 있다.
일본 특허 공개 제2018-93283호 공보
그러나, 특허문헌 1의 기술에서는, 촬상 수단에 기록하는 데이터양이 커져, 촬상 수단의 상호간에서의 통신 속도가 느려지거나, 데이터 교환을 할 수 없게 되거나 할 가능성이 있다. 또한, 특허문헌 1의 기술에서는, 데이터를 수신하는 측의 촬상 수단의 환경 상황 등에 따라, 데이터를 주고 받는 촬상 수단을 정하는 것은 상정되어 있지 않기 때문에, 환경 등의 상황에 따라서는, 정밀도 높게 오브젝트를 검출할 수 없는 경우가 있다.
그래서, 본 기술에서는, 데이터 대역을 경량화하면서 오브젝트의 검출 정밀도를 높일 수 있는 촬상 장치를 제공하는 것을 주목적으로 한다.
본 기술에 관한 촬상 장치는, 오브젝트를 촬상하는 촬상부와, 촬상부에서 촬상한 오브젝트의 특징량을 복수 추출하는 특징량 추출부와, 특징량 추출부에서 추출한 복수의 특징량의 우선도를 결정하는 우선도 결정부와, 우선도의 높이 및 출력처의 허용량에 따라, 특징량을 결정하는 제어부와, 제어부에서 결정한 특징량을 출력하는 출력부를 구비한다. 상기 촬상부는, 동시에 동일 영역의 상기 오브젝트를 촬상할 수 있다.
본 기술에 관한 촬상 장치는, 상기 오브젝트의 이동 방향을 연산하는 이동 방향 연산부를 더 구비하고, 상기 출력부는, 상기 특징량과 상기 이동 방향을 관련지어 출력할 수도 있다. 상기 우선도 결정부는, 각각의 상기 특징량의 프라이버시 레벨을 설정하는 프라이버시 레벨 설정부를 갖고, 상기 프라이버시 레벨에 따라 상기 우선도를 결정할 수도 있다. 본 기술에 관한 촬상 장치는, 상기 촬상부의 촬상 위치 및 촬상 방향을 취득하는 촬상 위치 취득부를 더 구비하고, 상기 출력부는, 상기 촬상 위치 및 상기 촬상 방향을 출력할 수도 있다. 본 기술에 관한 촬상 장치는, 상기 촬상 장치가 설치되는 주위의 환경 정보를 취득하는 환경 정보 취득부를 더 구비하고, 상기 제어부는, 상기 환경 정보에 기초하여, 상기 특징량의 출력처를 결정할 수도 있다. 본 기술에 관한 촬상 장치는, 상기 특징량의 출력처의 상태 변화 정보를 취득하는 상태 변화 정보 취득부를 더 구비하고, 상기 제어부는, 상기 상태 변화 정보에 따라, 상기 출력처를 결정할 수도 있다. 본 기술에 관한 촬상 장치는, 상기 오브젝트의 감정에 관한 감정 정보를 취득하는 감정 정보 취득부를 더 구비하고, 상기 출력부는, 상기 특징량과 상기 감정 정보를 관련지어 출력할 수도 있다. 상기 촬상부는, 상기 오브젝트를 복수 촬상하고, 상기 촬상부에서 촬상한 복수의 상기 오브젝트로부터, 주목하는 상기 오브젝트를 선택하는 대상 선택부를 더 구비하고, 상기 특징량 추출부는, 상기 대상 선택부에서 선택한 상기 오브젝트의 특징량을 복수 추출할 수도 있다.
또한, 본 기술에 관한 다른 촬상 장치는, 우선도의 높이 및 입력 가능한 허용량에 따라, 오브젝트의 복수의 특징량을 입력하는 입력부와, 입력부에서 입력한 특징량에 기초하여, 오브젝트를 추적하는 추적부를 구비한다.
또한, 본 기술에 관한 추적 시스템은, 오브젝트를 촬상하는 촬상부와, 상기 촬상부에서 촬상한 상기 오브젝트의 특징량을 복수 추출하는 특징량 추출부와, 상기 특징량 추출부에서 추출한 복수의 상기 특징량의 우선도를 결정하는 우선도 결정부와, 상기 우선도의 높이 및 송신처의 허용량에 따라, 상기 특징량을 송신하는 송신부와, 상기 우선도의 높이 및 수신 가능한 허용량에 따라, 상기 특징량을 수신하는 수신부와, 상기 수신부에서 수신한 상기 특징량에 기초하여, 상기 오브젝트를 추적하는 추적부를 갖는 촬상 장치를 복수 구비하고, 복수의 상기 촬상 장치는, 서로 연계하여 상기 특징량을 송수신한다.
또한, 본 기술에 관한 촬상 방법은, 오브젝트를 촬상하는 스텝과, 촬상한 상기 오브젝트의 특징량을 복수 추출하는 스텝과, 추출한 복수의 상기 특징량의 우선도를 결정하는 스텝과, 상기 우선도의 높이 및 출력처의 허용량에 따라, 상기 특징량을 결정하는 스텝과, 결정한 상기 특징량을 출력하는 스텝을 포함한다. 또한, 본 기술에 관한 다른 촬상 방법은, 우선도의 높이 및 입력 가능한 허용량에 따라, 오브젝트의 복수의 특징량을 입력하는 스텝과, 입력한 상기 특징량에 기초하여, 상기 오브젝트를 추적하는 스텝을 포함한다.
본 기술에 의하면, 데이터 대역을 경량화하면서 오브젝트의 검출 정밀도를 높일 수 있는 촬상 장치를 제공할 수 있다. 또한, 상기한 효과는 반드시 한정적인 것은 아니고, 상기한 효과와 함께, 또는 상기한 효과 대신에, 본 명세서에 개시된 어느 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은 본 기술의 제1 실시 형태에 관한 추적 시스템의 구성예를 나타내는 모식도이다.
도 2는 본 기술의 제1 실시 형태에 관한 촬상 장치의 구성예를 나타내는 블록도이다.
도 3은 본 기술의 제1 실시 형태에 관한 촬상 장치의 동작예를 나타내는 흐름도이다.
도 4는 본 기술의 제1 실시 형태에 관한 추적 시스템에 의한 트래킹 방법을 설명하기 위한 화상이다.
도 5는 본 기술의 제1 실시 형태에 관한 추적 시스템에 의한 리스트 관리를 나타내는 개념도이다.
도 6은 본 기술의 제1 실시 형태에 관한 추적 시스템에 의한 리스트 배포의 예를 나타내는 시퀀스도이다.
도 7은 본 기술의 제1 실시 형태에 관한 추적 시스템에 의한 트래킹 방법을 설명하기 위한 개념도이다.
도 8은 본 기술의 제2 실시 형태에 관한 추적 시스템에 의한 리스트 배포의 예를 나타내는 시퀀스도이다.
도 9는 본 기술의 제2 실시 형태에 관한 추적 시스템에 의한 트래킹 방법을 설명하기 위한 개념도이다.
도 10은 본 기술의 제2 실시 형태에 관한 추적 시스템에 의한 트래킹 방법의 예를 나타내는 흐름도이다.
도 11은 본 기술의 제3 실시 형태에 관한 추적 시스템에 의한 리스트 관리를 나타내는 개념도이다.
도 12는 본 기술의 제3 실시 형태에 관한 추적 시스템에 의한 트래킹 방법의 예를 나타내는 시퀀스도이다.
도 13은 본 기술의 제4 실시 형태에 관한 추적 시스템에 의한 트래킹 방법을 설명하기 위한 개념도이다.
이하, 본 기술을 실시하기 위한 적합한 형태에 대하여 도면을 참조하면서 설명한다. 이하에 설명하는 실시 형태는, 본 기술의 대표적인 실시 형태의 일례를 나타낸 것이고, 어느 실시 형태든 조합하는 것이 가능하다. 또한, 이것들에 의해 본 기술의 범위가 좁게 해석되는 일은 없다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태
(1) 추적 시스템(10)의 구성예
(2) 카메라(12)의 구성예
(3) 카메라(12)의 동작예
(4) 추적 시스템(10)에 의한 트래킹 방법
2. 제2 실시 형태
3. 제3 실시 형태
4. 제4 실시 형태
1. 제1 실시 형태
(1) 추적 시스템(10)의 구성예
먼저, 도 1을 참조하여, 본 기술의 제1 실시 형태에 관한 추적 시스템(10)의 구성예에 대하여 설명한다. 도 1은, 추적 시스템(10)의 구성예를 나타내는 모식도이다. 추적 시스템(10)은, 수상한 사람의 추종, 교통량 조사, 데모 검출 등의 애플리케이션에 적용할 수 있다.
도 1에 나타낸 바와 같이, 추적 시스템(10)은, 일례로서, 서버(11)와, 서버(11)에 각각 통신 접속되는 복수의 촬상 장치인 카메라(12)를 구비하고 있다. 서버(11)는, 클라우드 서버를 사용할 수 있다.
각 카메라(12)는, 일례로서, 각각 RGB 카메라 및 Depth 카메라를 구비하고, 하나 또는 복수의 오브젝트를 촬상할 수 있다. 또한, 본 실시 형태에서는, 카메라(12)를 3대(Cam1, Cam2, Cam3) 사용하는 예를 나타내고 있지만, 복수의 카메라(12)의 대수는, 이에 한정되지 않고 2대여도 되고, 4대 이상이어도 된다.
추적 시스템(10)은, 복수의 카메라(12)(Cam1, Cam2, Cam3)의 각각에서 추적 대상의 오브젝트를 촬상하고, 각 오브젝트의 특징량과 3차원의 이동 방향 벡터를 연산하여, 촬상한 카메라(12)로부터 서버(11)로 연산 결과 정보를 송신한다. 특징량 및 이동 방향 벡터의 연산은, 예를 들어 인공 지능(AI)을 사용하여 행할 수 있다.
연산 결과 정보를 수신한 서버(11)는, 그 연산 결과 정보에 의한 특징량과 등록 완료된 특징량을 대조하여 추적 대상을 특정하고, 추적 대상의 이동 방향을 따라 각 카메라(12)로 추적 대상의 정보를 송신한다. 각 카메라(12)는, 서로 연계하여 특징량을 송수신하여 추적 대상을 추적(트래킹)한다. 이 트래킹 방법의 상세에 대해서는, 후술한다.
(2) 카메라(12)의 구성예
이어서, 도 2를 참조하여, 카메라(12)의 구성예에 대하여 설명한다. 도 2는, 카메라(12)의 구성예를 나타내는 블록도이다.
카메라(12)에는, 일례로서, RGB 카메라, Depth 카메라(iTOF/dToF/Structured Light/Stereo/Active Stereo), 편향 카메라, DVS 카메라, 멀티스펙트럼·IR 카메라, 고속 비전 카메라, 적외선 카메라 등을 사용할 수 있다.
도 2에 나타낸 바와 같이, 카메라(12)는, 일례로서, 외부로부터 수신한 정보를 필요한 구성으로 입력하는 입력부(21)와, 오브젝트를 촬상하는 촬상부(22)와, 촬상부(22)의 촬상 위치 및 촬상 방향을 취득하는 촬상 위치 취득부(23)와, 촬상부(22)에서 촬상한 오브젝트의 특징량을 복수 추출하는 특징량 추출부(24)와, 오브젝트의 이동 방향을 연산하는 이동 방향 연산부(25)를 구비하고 있다.
또한, 카메라(12)는, 특징량 추출부(24)에서 추출한 복수의 특징량의 우선도를 결정하는 우선도 결정부(27)와, 우선도의 높이 및 출력처의 허용량에 따라, 특징량을 결정하는 제어부(28)와, 카메라(12)가 설치되는 주위의 환경 정보를 취득하는 환경 정보 취득부(29)와, 특징량의 출력처 카메라(12)의 상태 변화 정보를 취득하는 상태 변화 정보 취득부(30)와, 제어부(28)에서 결정한 특징량을 출력하는 출력부(32)를 구비하고 있다.
또한, 카메라(12)는, 입력부(21)에서 입력한 특징량에 기초하여, 오브젝트를 추적하는 추적부(33)와, 외부와 정보의 송수신을 행하는 통신부(34)를 구비하고 있다. 또한, 카메라(12)는, 오브젝트의 감정에 관한 감정 정보를 취득하는 감정 정보 취득부(31)를 구비할 수 있다.
입력부(21)는, 우선도의 높이 및 입력 가능한 허용량에 따라, 오브젝트의 복수의 특징량을 입력할 수 있다.
촬상부(22)는, 촬상부(22)에서 촬상한 복수의 오브젝트로부터, 주목하는 오브젝트를 선택하는 대상 선택부(41)를 구비할 수 있다. 또한, 촬상부(22)는, 동시에 동일 영역의 오브젝트를 촬상할 수 있다. 이때, 특징량 추출부(24)는, 대상 선택부(41)에서 선택한 오브젝트의 특징량을 복수 추출할 수 있다. 또한, 대상 선택부(41)는, 카메라(12) 내의 촬상부(22) 이외의 구성으로서 구비될 수도 있다.
우선도 결정부(27)는, 각각의 특징량의 프라이버시 보호의 레벨을 설정하는 프라이버시 레벨 설정부(26)를 갖고 있다. 우선도 결정부(27)는, 프라이버시 레벨 설정부(26)에서 설정한 프라이버시 레벨에 따라 우선도를 결정할 수 있다.
프라이버시 레벨 설정부(26)는, 프라이버시 우려가 있는 정보를 「취급할 수 있다」 또는 「취급할 수 없다」를 전환하는 기능을 갖고 있다. 또한, 특징량에는 프라이버시 레벨을 나타내는 정보가 부가되어 있다. 프라이버시 레벨 설정부(26)는, 특징량을 출력할 때, 프라이버시 레벨에 따라 출력 가부나 그 순서를 제어하는 기능도 갖고 있다.
제어부(28)는, 환경 정보 취득부(29)에 의해 취득한 환경 정보에 기초하여, 특징량의 출력처를 결정하거나, 상태 변화 정보 취득부(30)에 의해 취득한 상태 변화 정보에 따라, 출력처를 결정하거나 할 수 있다.
환경 정보 취득부(29)가 취득하는 환경 정보로서는, 위도, 경도, 시간, 방향, 천후, 온도, 습도, 기류, SO2, CO, NOx, SPM, CO2, 소음 등을 들 수 있다.
상태 변화 정보 취득부(30)가 취득하는 상태 변화 정보란, 특징량 검출 알고리즘 교체 기능에 의해, 대상이 되는 카메라(12)에서 취득할 수 있는 특징량이 변화된 경우의 정보나, 그 카메라(12)의 환경 변화(고장, 명암, 악천후, 배터리 용량 저하 등)에 의해 특징량을 취득할 수 없게 된 경우의 정보 등도 포함된다.
출력부(32)는, 촬상 위치 취득부(23)에 의해 취득한 촬상 위치 및 촬상 방향을 출력할 수 있다. 또한, 출력부(32)는, 특징량과 이동 방향 연산부(25)에 의해 연산한 이동 방향을 관련지어 출력하거나, 감정 정보 취득부(31)에 의해 취득한 특징량과 감정 정보를 관련지어 출력하거나 할 수 있다.
통신부(34)는, 우선도의 높이 및 송신처의 허용량에 따라, 특징량을 송신하는 송신부(42)와, 우선도의 높이 및 수신 가능한 허용량에 따라, 특징량을 수신하는 수신부(43)를 갖고 있다.
여기서, 오브젝트의 특징량의 구체예에 대하여 설명한다. RGB 카메라에 의해 추출하는 특징량으로서는, 사람의 정적인 특징인 얼굴, 손, 발, 지문, 체격, 머리카락색, 눈빛의 키 파츠 위치나 이동량 등을 들 수 있다. 또한, 사람의 동적인 특징인 보용, 목소리, 행동, 깜박임, 이동 방향 벡터 등을 들 수 있다. 또한, 부가 정보로서, 옷 또는 물체의 형태나 색이나 무늬나 이동량, 소지품, 액세서리, 장바구니, 대차 등을 들 수 있다.
또한, Depth 카메라에 의해 추출하는 특징량으로서는, 사람 또는 물체의 이동량, 형태 및 반사율(액티브 방식) 등을 들 수 있다. 또한, RGB 카메라에서도 2차원의 이동량은 취득할 수 있지만, 깊이 정보가 취득 가능한 Depth 카메라는, 3차원의 이동량을 취득할 수 있다.
상기 외에, 편향 카메라에서는, RGB 카메라와 마찬가지의 특징량을 추출할 수 있고, 특히, 유리너머나 수중 등의 피사체에 사용할 수 있다. DVS 카메라에서는, 물체의 이동 물체의 외형, 고휘도 또는 저휘도 물체의 위치 변화 등의 특징량을 추출할 수 있다. 멀티스펙트럼·IR 카메라에서는, 식물의 식생 지수(NDVI) 등의 특징량을 추출할 수 있다. 고속 비전 카메라에서는, 물체의 이동량이나 벡터, 고속 이동 물체 상의 모양이나 문자 등의 특징량을 추출할 수 있다. 또한, 적외선 카메라에서는, 사람 또는 물체의 온도 등의 특징량을 추출할 수 있다.
(3) 카메라(12)의 동작예
이어서, 도 3을 참조하여, 카메라(12)의 동작예에 대하여 설명한다. 도 3은, 카메라(12)의 동작예를 나타내는 흐름도이다. 카메라(12)의 촬상부(22)가, 오브젝트를 포함하는 화상을 촬상하면, 이하의 동작을 개시한다.
도 3에 나타낸 바와 같이, 스텝 S1에 있어서, 특징량 추출부(24)는, 촬상부(22)에서 촬상한 RGB 화상으로부터 오브젝트를 추출한다.
스텝 S2에 있어서, 특징량 추출부(24)는, 추출한 각 오브젝트로부터, 그 오브젝트의 특징량을 복수 추출한다.
스텝 S3에 있어서, 이동 방향 연산부(25)는, Depth 정보로부터 각 대응하는 오브젝트의 이동 방향 벡터를 연산한다.
스텝 S4에 있어서, 제어부(28)는, 추출한 특징량으로부터 우선도의 높이 및 출력처의 허용량에 따라 특징량을 결정하고, 결정한 특징량 및 연산한 이동 방향 벡터의 정보를 오브젝트마다 패킹한다.
스텝 S5에 있어서, 출력부(32)는, 오브젝트의 수만큼 패킹된 데이터를 외부로 출력한다. 즉, 출력부(32)는, 제어부(28)에서 결정한 특징량을 외부로 출력할 수 있다.
(4) 추적 시스템(10)에 의한 트래킹 방법
이어서, 도 4 내지 도 7을 참조하여, 본 실시 형태에 관한 추적 시스템(10)에 의한 트래킹 방법에 대하여 설명한다. 도 4는, 추적 시스템(10)에 의한 트래킹 방법을 설명하기 위한 화상이다. 도 4의 A는 카메라(12)의 Cam1로 촬상한 화상을 나타내고, 도 4의 B는 카메라(12)의 Cam2로 촬상한 화상을 나타내고, 도 4의 C는 카메라(12)의 Cam3으로 촬상한 화상을 나타내고 있다.
본 실시 형태에서는, 도 4의 B에 나타낸 바와 같이, 사람 1 및 사람 2가 Cam1 방향(도면의 좌측 방향)으로 이동하고, 사람 3이 Cam3 방향(도면의 우측 방향)으로 이동하는 화상을 Cam2로 촬상하고, 그 촬상한 화상에 기초하여, Cam1로 사람 1 및 사람 2를 트래킹하고, Cam3으로 사람 3을 트래킹하는 경우에 대하여 설명한다.
도 5 및 도 6을 참조하여, 추적 시스템(10)에 의한 리스트 관리에 대하여 설명한다. 도 5는, 추적 시스템(10)에 의한 리스트 관리를 나타내는 개념도이다. 도 5의 A는 호스트인 서버(11)가 관리하는 특징량의 리스트를 나타내고, 도 5의 B는 Cam1이 관리하는 특징량의 리스트를 나타내고, 도 5의 C는 Cam2가 관리하는 특징량의 리스트를 나타내고, 도 5의 D는 Cam3이 관리하는 특징량의 리스트를 나타내고 있다.
도 5의 A에 나타낸 바와 같이, 서버(11)는, 예를 들어 추적 대상의 오브젝트의 전 특징량인 특징량 1부터 특징량 8까지의 리스트를 관리하고 있다. 도 5의 B에 나타낸 바와 같이, Cam1은, 예를 들어 추적 대상의 오브젝트의 특징량을, 우선도순으로, 특징량 1, 3, 6, 2, 4, 5의 순서로 리스트를 관리하고 있다. 도 5의 C에 나타낸 바와 같이, Cam2는, 예를 들어 추적 대상의 오브젝트의 특징량을, 우선도순으로, 특징량 2, 1, 4, 5, 3, 6의 순서로 리스트를 관리하고 있다. 도 5의 D에 나타낸 바와 같이, Cam3은, 예를 들어 추적 대상의 오브젝트의 특징량을, 우선도순으로, 특징량 5 , 2, 1, 3, 4, 6의 순서로 리스트를 관리하고 있다.
도 6은, 추적 시스템(10)에 의한 리스트 배포의 예를 나타내는 시퀀스도이다. 도 6에 나타낸 바와 같이, 호스트인 서버(11)가 특징량을 관리하는 경우, 예를 들어 서버(11)가, Cam2에 Cam1 및 Cam3의 리스트를 배포하고, Cam1 및 Cam3에 각각 Cam2의 리스트를 배포한다.
여기서, 하나의 카메라(12)는, 특징량 추출부(24)에서 추출한 복수의 특징량을 취급할 수 있다. 그것들 복수의 특징량은, 상기한 바와 같이, 카메라(12)마다 리스트(우선도를 갖는 특징량 테이블)로 관리되어 있다. 각 카메라(12)는, 각각 독자적으로 우선도 결정부(27)에 의해 리스트 내의 복수의 특징량의 우선 순위를 결정할 수 있다.
송신측(송부원) 카메라(12)는, 특징량을 출력할 때, 송신측과 수신측(송부처)의 리스트를 비교하여, 수신측 카메라(12)의 우선도에 따라, 송신 데이터를 재배열하여 출력할 수 있다.
통신 대역 등의 제약이나 그밖의 시스템적인 요청에 의해 송수신 용량이 제한되는 경우, 각 카메라(12)는, 우선도가 낮은 것부터 차례로 버리고, 제약 내에 들어가도록 오브젝트마다 출력하는 특징량의 총 용량을 조정할 수 있다.
또한, 각 카메라(12)가 관리하는 리스트는, 서버(11)와 카메라(12) 사이 또는 카메라(12)끼리 사이(P2P 사이)에서, 일정 간격 통신 또는 어떤 변화가 발생했을 때 발생하는 이벤트 통신에 의해 교환되어, 카메라(12)의 상태 변화에 동적으로 추종할 수 있는 구조를 갖고 있다.
이어서, 도 4 및 도 7을 참조하여, 추적 시스템(10)에 의한 서버(11)를 통한 트래킹 방법에 대하여 설명한다. 도 7은, 추적 시스템(10)에 의한 서버(11)를 통한 트래킹 방법을 설명하기 위한 개념도이다.
도 4 및 도 7에 나타낸 바와 같이, 추적 시스템(10)은, 예를 들어 카메라(12)의 Cam2로 추적 대상의 오브젝트인 사람 1, 사람 2 및 사람 3을 포함하는 화상을 촬상한다. 이어서, Cam2는, 촬상한 화상으로부터 사람 1, 사람 2 및 사람 3의 각각의 특징량을 추출하여, 3차원의 이동 방향 벡터를 연산하여, 특징량 및 이동 방향 벡터 정보를 사람마다 패킹한다. 그리고, Cam2는, 서버(11)로 사람마다의 패킹 정보를 송신한다. 패킹 정보를 수신한 서버(11)는, 사람마다의 패킹 정보 내의 특징량과 서버(11) 내에 등록 완료의 특징량을 대조하여, 추적 대상을 특정한다.
도 7에 나타낸 바와 같이, 대조의 결과, 사람 1의 특징량이 서버(11) 내에 미등록의 신규의 특징량인 경우, 서버(11)는, 그 신규의 특징량을 서버(11) 내에 등록하고, 패킹 정보 내의 이동 방향 벡터 정보에 의해, 사람 1의 이동처는 Cam1 방향이라고 판정한다. 사람 2 및 사람 3의 특징량이 서버(11) 내에 등록 완료의 특징량인 경우, 서버(11)는, 그것들의 특징량이 서버(11) 내에 등록 완료라고 판정하고, 패킹 정보 내의 이동 방향 벡터 정보에 의해, 사람 2의 이동처는 Cam1 방향이고 사람 3의 이동처는 Cam3 방향이라고 판정한다.
그리고, 서버(11)는, 추적 대상의 이동 방향을 따라, Cam1로 사람 1 및 사람 2의 정보를 송신하고, Cam3으로 사람 3의 정보를 송신하고, Cam1이 사람 1 및 사람 2를 추적(트래킹)하고, Cam3이 사람 3을 트래킹한다.
Cam2의 동작과 마찬가지로, Cam1로 사람 1 및 사람 2를 포함하는 화상을 촬상하고, Cam3으로 사람 3을 포함하는 화상을 촬상한다. 이어서, Cam1은, 촬상한 화상으로부터 사람 1 및 사람 2의 각각의 특징량을 추출하여, 3차원의 이동 방향 벡터를 연산하고, 특징량 및 이동 방향 벡터 정보를 사람마다 패킹한다. Cam3은, 촬상한 화상으로부터 사람 3의 특징량을 추출하여, 3차원의 이동 방향 벡터를 연산하고, 특징량 및 이동 방향 벡터 정보를 패킹한다.
그리고, Cam1은, 서버(11)로 사람마다의 패킹 정보를 송신하고, Cam3은, 서버(11)로 사람 3의 패킹 정보를 송신한다. 패킹 정보를 수신한 서버(11)는, 사람마다의 패킹 정보 내의 특징량과 서버(11) 내에 등록 완료의 특징량을 대조하여, 추적 대상을 특정한다.
도 7에 나타낸 바와 같이, 대조의 결과, 사람 1 및 사람 2의 특징량이 서버(11) 내에 등록 완료이기 때문에, 서버(11)는, 사람 1 및 사람 2의 특징량이 서버(11) 내에 등록 완료라고 판정하고, 패킹 정보 내의 이동 방향 벡터 정보에 의해, 사람 1의 이동처는 CamX 방향이고 사람 2의 이동처는 CamY 방향이라고 판정한다.
마찬가지로, 대조의 결과, 사람 3의 특징량이 서버(11) 내에 등록 완료이기 때문에, 서버(11)는, 사람 3의 특징량이 서버(11) 내에 등록 완료라고 판정하고, 패킹 정보 내의 이동 방향 벡터 정보에 의해, 사람 3의 이동처는 CamZ 방향이라고 판정한다.
그리고, 서버(11)는, 추적 대상의 이동 방향에 따라, CamX, CamY 및 CamZ로, 각각 사람 1, 사람 2 및 사람 3의 정보를 송신하고, CamX가 사람 1을 트래킹하고, CamY가 사람 2를 트래킹하고, CamZ가 사람 3을 트래킹한다. 추적 시스템(10)은, 이들 동작을 반복하여, 복수의 카메라(12)의 연계에 의해, 추적 대상을 트래킹할 수 있다.
이상으로부터, 본 실시 형태에 관한 복수의 카메라(12)를 구비한 추적 시스템(10)은, 특징량을 사용함으로써, 송수신의 데이터양을 삭감하여 부하를 저감시킬 수 있다. 또한, 추적 시스템(10)은, 사람이나 물체를 인식하여 적절한 복수의 특징량을 취득할 수 있는 카메라(12)로 전환하여 데이터를 취득할 수 있다. 또한, 추적 시스템(10)은, 우선도 리스트에 의해 카메라(12) 사이의 통신량을 다이내믹하게 변경하는 것이 가능해진다. 따라서, 추적 시스템(10)에 의하면, 데이터 대역을 경량화하면서 오브젝트의 검출 정밀도를 높일 수 있다.
또한, 추적 시스템(10)은, 특징량만으로 개인의 얼굴이나 몸의 정보를 직접 출력하지 않기 때문에, 개인의 프라이버시를 보호할 수 있다. 또한, 추적 시스템(10)은, 오브젝트(사람)마다 이동 방향 벡터 정보를 갖고 있기 때문에, 복수의 카메라(12)에 찍힌 복수의 사람을 트래킹할 때, 각각의 오브젝트마다 어느 카메라(12)로 전환해야 할지의 판단 처리를 경량화할 수 있다. 이에 의해, 추적 시스템(10)은, 트래킹할 수 있는 인원수를 증가시키는 것도 가능해진다. 또한, 특징량을 바탕으로 복수의 카메라(12)로 인물을 대조하기 위해, 카메라(12)의 촬상 에어리어를 오버랩시킬 필요가 없어진다.
2. 제2 실시 형태
이어서, 도 8 내지 도 10을 참조하여, 본 기술의 제2 실시 형태에 관한 추적 시스템에 의한 트래킹 방법에 대하여 설명한다. 도 8은, 본 실시 형태에 관한 추적 시스템에 의한 리스트 배포의 예를 나타내는 시퀀스도이다. 본 실시 형태에 관한 트래킹 방법은, 카메라(12) 상호간에 특징량 등의 정보의 수수를 하는 점에서, 제1 실시 형태에 관한 트래킹 방법과 상이하다. 본 실시 형태의 그밖의 점은, 제1 실시 형태와 마찬가지이다.
도 8에 나타낸 바와 같이, 개개의 카메라(12)가 특징량을 관리하는 경우, 예를 들어 Cam2가, Cam1 및 Cam3에 각각 Cam1 및 Cam3의 리스트를 배포하고, Cam1 및 Cam3이, 각각 Cam2에 Cam2의 리스트를 배포한다.
이어서, 도 9 및 도 10을 참조하여, 추적 시스템(10)에 의한 복수의 카메라(12) 상호만의 연계에 의한 자동 추종의 트래킹 방법에 대하여 설명한다. 도 9는, 본 실시 형태에 관한 추적 시스템에 의한 트래킹 방법을 설명하기 위한 개념도이다. 도 10은, 본 실시 형태에 관한 추적 시스템에 의한 트래킹 방법의 예를 나타내는 흐름도이다.
도 9 및 도 10에 나타낸 바와 같이, 스텝 S11에 있어서, 카메라(12)의 Cam2는, 추적 대상의 오브젝트인 사람 1, 사람 2 및 사람 3을 포함하는 화상을 촬상하여, 사람 1, 사람 2 및 사람 3을 검출한다. 이때, Cam2는, 촬상한 화상으로부터 사람 1, 사람 2 및 사람 3의 각각의 특징량을 추출하여, 3차원의 이동 방향 벡터를 연산하여, 특징량 및 이동 방향 벡터 정보를 사람마다 패킹한다. 그리고, Cam2는, 서버(11)로 사람마다의 패킹 정보를 송신한다.
스텝 S12에 있어서, 서버(11) 또는 Cam2는, 예를 들어 주목하는 사람 1을 추적 대상으로서 선택한다. 이때, 패킹 정보를 수신한 서버(11)는, 사람마다의 패킹 정보 내의 특징량과 서버(11) 내에 등록 완료의 특징량을 대조하여, 추적 대상을 특정한다.
도 9에 나타낸 바와 같이, 대조의 결과, 사람 1의 특징량이 서버(11) 내에 미등록의 신규의 특징량인 경우, 서버(11)는, 그 신규의 특징량을 서버(11) 내에 등록하고, 패킹 정보 내의 이동 방향 벡터 정보에 의해, 사람 1의 이동처는 Cam1 방향이라고 판정한다. 사람 2 및 사람 3의 특징량이 서버(11) 내에 등록 완료의 특징량인 경우, 서버(11)는, 그것들의 특징량이 서버(11) 내에 등록 완료라고 판정하고, 패킹 정보 내의 이동 방향 벡터 정보에 의해, 사람 2의 이동처는 Cam1 방향이고 사람 3의 이동처는 Cam3 방향이라고 판정한다. 그리고, 서버(11)는, Cam2로 선택한 사람 1의 정보를 송신한다.
스텝 S13에 있어서, Cam2는, 서버(11)로부터 수신한 사람 1의 정보에 기초하여, 사람 1을 마크하여 트래킹한다.
스텝 S14에 있어서, Cam2는, 패킹 정보 내의 이동 방향 벡터 정보에 의해, 사람 1의 이동처는 Cam1 방향이라고 판정한다. 그리고, Cam2는, Cam1로 촬상 카메라를 전환하는 지시 및 사람 1의 정보를 Cam1로 전달한다.
스텝 S15에 있어서, Cam1은, Cam2의 동작과 마찬가지로, 사람 1의 트래킹을 계속한다. 이때, Cam1은, 사람 1을 포함하는 화상을 촬상한다. 이어서, Cam1은, 촬상한 화상으로부터 사람 1의 특징량을 추출하여, 3차원의 이동 방향 벡터를 연산한다. Cam1은, 추출한 특징량으로부터 우선도의 높이 및 출력처의 허용량에 따라 복수의 특징량을 결정하고, 결정한 사람 1의 특징량 및 연산한 이동 방향 벡터 정보를 패킹한다. Cam1은, 패킹 정보 내의 이동 방향 벡터 정보에 의해, 사람 1의 이동처의 카메라(12)를 판정한다. 그리고, 패킹 정보 내의 특징량에 기초하여, 오브젝트인 사람 1을 추적한다. 그 후, Cam1은, 판정한 카메라(12)로 촬상 카메라를 전환하는 지시 및 사람 1의 정보를 전달한다.
이상으로부터, 본 실시 형태에 관한 트래킹 방법에 의하면, 제1 실시 형태에 관한 트래킹 방법과 마찬가지로, 데이터 대역을 경량화하면서 오브젝트의 검출 정밀도를 높일 수 있다. 또한, 본 실시 형태에 관한 트래킹 방법에 의하면, 복수의 카메라(12)가 서버(11)를 통하지 않고 서로 연계하여 특징량을 송수신할 수 있기 때문에, 더 고속도로 추적 대상을 자동 추종할 수 있다.
3. 제3 실시 형태
이어서, 도 11 및 도 12를 참조하여, 본 기술의 제3 실시 형태에 관한 추적 시스템(10)에 의한 트래킹 방법에 대하여 설명한다. 도 11은, 본 실시 형태에 관한 추적 시스템(10)에 의한 리스트 관리를 나타내는 개념도이다. 도 11의 A는 호스트인 서버(11)가 관리하는 특징량의 리스트를 나타내고, 도 11의 B는 Cam1이 관리하는 특징량의 리스트를 나타내고, 도 11의 C는 Cam2가 관리하는 특징량의 리스트를 나타내고, 도 11의 D는 Cam3이 관리하는 특징량의 리스트를 나타내고 있다. 본 실시 형태에 관한 트래킹 방법은, 프라이버시 레벨에 따라 특징량의 우선도를 결정하고 있는 점에서, 제1 실시 형태에 관한 트래킹 방법과 상이하다. 본 실시 형태의 그밖의 점은, 제1 실시 형태와 마찬가지이다.
도 11의 A에 나타낸 바와 같이, 서버(11)는, 예를 들어 추적 대상의 오브젝트의 전 특징량인 특징량 1부터 특징량 8까지를 프라이버시 레벨과 대응시킨 리스트를 관리하고 있다. 본 실시 형태에서는, 특징량 1 내지 3, 6 내지 8은, 프라이버시 레벨 0이고, 특징량 4는 프라이버시 레벨 1, 특징량 5는 프라이버시 레벨 2이다.
도 11의 B에 나타낸 바와 같이, Cam1은, 예를 들어 추적 대상의 오브젝트의 특징량을, 우선도순으로, 특징량 1, 3, 6, 2, 4, 5의 순서로 리스트를 관리하고 있다. 도 11의 C에 나타낸 바와 같이, Cam2는, 예를 들어 추적 대상의 오브젝트의 특징량을, 우선도순으로, 특징량 2, 1, 4, 5, 3, 6의 순서로 리스트를 관리하고 있다. 도 11의 D에 나타낸 바와 같이, Cam3은, 예를 들어 추적 대상의 오브젝트의 특징량을, 우선도순으로, 특징량 5, 2, 1, 3, 4, 6의 순서로 리스트를 관리하고 있다. 그리고, Cam1, Cam2 및 Cam3의 각각의 특징량 4는 프라이버시 레벨 1이고, 특징량 5는 프라이버시 레벨 2이다. Cam1, Cam2 및 Cam3의 특징량 4 및 5 이외의 특징량은, 프라이버시 레벨 0이다.
도 12는, 본 실시 형태에 관한 추적 시스템에 의한 트래킹 방법의 예를 나타내는 시퀀스도이다.
도 12에 나타낸 바와 같이, 예를 들어 카메라(12)의 Cam1로부터 Cam2로 사람 1의 정보를 송신하는 경우, Cam1이 취득한 사람 1의 정보를, Cam1의 리스트 우선도순 그대로 송신하는 것은 아니고, 수신측 Cam2의 리스트의 우선도 및 프라이버시 레벨에 따라 재배열한 리스트로 하고 나서 송신한다. 만일, 데이터의 송수신 용량에 제한이 있는 경우는, 우선도가 낮은 것 또는 프라이버시 레벨이 높은 것부터 차례로 출력하는 데이터를 삭제하고 송신한다.
Cam2는, 수신한 Cam1로부터의 사람 1의 정보와 Cam2에서 취득한 사람 1의 정보를 대조하여, 일치하는지 여부를 판정한다. 일치한 경우는, 그 인물이 사람 1이라고 하고, Cam2로 사람 1의 트래킹을 행한다. 불일치의 경우는, 그 인물이 사람 1과는 다른 사람이라고 하고, Cam2에서 취득한 다른 가능성이 있는 인물과의 대조를 행한다.
그 후, 사람 1이 Cam2의 촬상 범위로부터 Cam3 방향으로 이동하는 경우, Cam2는, 수신측 Cam3의 리스트의 우선도 및 프라이버시 레벨에 따라 재배열한 리스트로 하고 나서 사람 1의 정보를 송신한다.
Cam3은, Cam2와 마찬가지로, 수신한 Cam2로부터의 사람 1의 정보와 Cam3에서 취득한 사람 1의 정보를 대조하여, 일치하는지 여부를 판정한다. 일치한 경우는, 그 인물이 사람 1이라고 하고, Cam3으로 사람 1의 트래킹을 계속한다. 불일치의 경우는, 그 인물이 사람 1과는 다른 사람이라고 하고, Cam3에서 취득한 다른 가능성이 있는 인물과의 대조를 행한다.
이상으로부터, 본 실시 형태에 관한 트래킹 방법에 의하면, 제1 실시 형태에 관한 트래킹 방법과 마찬가지로, 데이터 대역을 경량화하면서 오브젝트의 검출 정밀도를 높일 수 있어, 판단 처리를 경량화할 수 있다. 또한, 본 실시 형태에 관한 트래킹 방법에 의하면, 프라이버시 레벨에 따라 송신하는 특징량을 결정하고 있기 때문에, 더 프라이버시를 보호할 수 있다.
4. 제4 실시 형태
이어서, 도 13을 참조하여, 본 기술의 제4 실시 형태에 관한 추적 시스템(10)에 의한 트래킹 방법에 대하여 설명한다. 도 13은, 본 실시 형태에 관한 추적 시스템(10)에 의한 트래킹 방법을 설명하기 위한 개념도이다. 본 실시 형태에 관한 트래킹 방법은, 복수인의 감정 정보를 고려하여 사람 등의 오브젝트를 트래킹하고 있는 점에서, 제1 실시 형태에 관한 트래킹 방법과 상이하다. 본 실시 형태의 그밖의 점은, 제1 실시 형태와 마찬가지이다.
도 13에 나타낸 바와 같이, 본 실시 형태에 관한 추적 시스템(10)은, 예를 들어 카메라(12)의 Cam1로 사람 1, 사람 2 및 사람 3을 포함하는 화상을 촬상하고, 촬상한 화상으로부터 사람 1, 사람 2 및 사람 3의 각각의 특징량을 추출하여, 3차원의 이동 방향 벡터를 연산하여, 감정 정보를 취득한다. 또한, Cam2로 사람 4, 사람 5 및 사람 6을 포함하는 화상을 촬상하고, 촬상한 화상으로부터 사람 4, 사람 5 및 사람 6의 각각의 특징량을 추출하여, 3차원의 이동 방향 벡터를 연산하여, 감정 정보를 취득한다. 또한, Cam3으로 사람 7, 사람 8 및 사람 9를 포함하는 화상을 촬상하고, 촬상한 화상으로부터 사람 7, 사람 8 및 사람 9의 각각의 특징량을 추출하여, 3차원의 이동 방향 벡터를 연산하여, 감정 정보를 취득한다.
이상으로부터, 본 실시 형태에 관한 트래킹 방법에 의하면, 제1 실시 형태에 관한 트래킹 방법과 마찬가지로, 데이터 대역을 경량화하면서 오브젝트의 검출 정밀도를 높일 수 있다. 또한, 본 실시 형태에 관한 트래킹 방법에 의하면, Cam1, Cam2 및 Cam3에서 취득한 사람 1 내지 사람 9의 복수인의 감정 정보로부터 그 장소 전체의 감정의 흐름을 파악할 수 있기 때문에, 그 장소 전체의 감정의 흐름에 따라, 추적 대상을 트래킹할 수 있다.
또한, 본 기술에서는, 이하의 구성을 취할 수 있다.
(1)
오브젝트를 촬상하는 촬상부와,
상기 촬상부에서 촬상한 상기 오브젝트의 특징량을 복수 추출하는 특징량 추출부와,
상기 특징량 추출부에서 추출한 복수의 상기 특징량의 우선도를 결정하는 우선도 결정부와,
상기 우선도의 높이 및 출력처의 허용량에 따라, 상기 특징량을 결정하는 제어부와,
상기 제어부에서 결정한 상기 특징량을 출력하는 출력부
를 구비하는 촬상 장치.
(2)
상기 촬상부는, 동시에 동일 영역의 상기 오브젝트를 촬상하는, (1)에 기재된 촬상 장치.
(3)
상기 오브젝트의 이동 방향을 연산하는 이동 방향 연산부를 더 구비하고,
상기 출력부는, 상기 특징량과 상기 이동 방향을 관련지어 출력하는, (1) 또는 (2)에 기재된 촬상 장치.
(4)
상기 우선도 결정부는, 각각의 상기 특징량의 프라이버시 레벨을 설정하는 프라이버시 레벨 설정부를 갖고, 상기 프라이버시 레벨에 따라 상기 우선도를 결정하는, (1) 내지 (3)의 어느 하나에 기재된 촬상 장치.
(5)
상기 촬상부의 촬상 위치 및 촬상 방향을 취득하는 촬상 위치 취득부를 더 구비하고,
상기 출력부는, 상기 촬상 위치 및 상기 촬상 방향을 출력하는, (1) 내지 (4)의 어느 하나에 기재된 촬상 장치.
(6)
상기 촬상 장치가 설치되는 주위의 환경 정보를 취득하는 환경 정보 취득부를 더 구비하고,
상기 제어부는, 상기 환경 정보에 기초하여, 상기 특징량의 출력처를 결정하는, (1) 내지 (5)의 어느 하나에 기재된 촬상 장치.
(7)
상기 특징량의 출력처의 상태 변화 정보를 취득하는 상태 변화 정보 취득부를 더 구비하고,
상기 제어부는, 상기 상태 변화 정보에 따라, 상기 출력처를 결정하는, (1) 내지 (6)의 어느 하나에 기재된 촬상 장치.
(8)
상기 오브젝트의 감정에 관한 감정 정보를 취득하는 감정 정보 취득부를 더 구비하고,
상기 출력부는, 상기 특징량과 상기 감정 정보를 관련지어 출력하는, (1) 내지 (7)의 어느 하나에 기재된 촬상 장치.
(9)
상기 촬상부는, 상기 오브젝트를 복수 촬상하고,
상기 촬상부에서 촬상한 복수의 상기 오브젝트로부터, 주목하는 상기 오브젝트를 선택하는 대상 선택부를 더 구비하고,
상기 특징량 추출부는, 상기 대상 선택부에서 선택한 상기 오브젝트의 특징량을 복수 추출하는, (1) 내지 (8)의 어느 하나에 기재된 촬상 장치.
(10)
우선도의 높이 및 입력 가능한 허용량에 따라, 오브젝트의 복수의 특징량을 입력하는 입력부와,
상기 입력부에서 입력한 상기 특징량에 기초하여, 상기 오브젝트를 추적하는 추적부를 구비하는 촬상 장치.
(11)
오브젝트를 촬상하는 촬상부와,
상기 촬상부에서 촬상한 상기 오브젝트의 특징량을 복수 추출하는 특징량 추출부와,
상기 특징량 추출부에서 추출한 복수의 상기 특징량의 우선도를 결정하는 우선도 결정부와,
상기 우선도의 높이 및 송신처의 허용량에 따라, 상기 특징량을 송신하는 송신부와,
상기 우선도의 높이 및 수신 가능한 허용량에 따라, 상기 특징량을 수신하는 수신부와,
상기 수신부에서 수신한 상기 특징량에 기초하여, 상기 오브젝트를 추적하는 추적부를 갖는 촬상 장치를 복수 구비하고,
복수의 상기 촬상 장치는, 서로 연계하여 상기 특징량을 송수신하는, 추적 시스템.
(12)
오브젝트를 촬상하는 스텝과,
촬상한 상기 오브젝트의 특징량을 복수 추출하는 스텝과,
추출한 복수의 상기 특징량의 우선도를 결정하는 스텝과,
상기 우선도의 높이 및 출력처의 허용량에 따라, 상기 특징량을 결정하는 스텝과,
결정한 상기 특징량을 출력하는 스텝
을 포함하는 촬상 방법.
(13)
우선도의 높이 및 입력 가능한 허용량에 따라, 오브젝트의 복수의 특징량을 입력하는 스텝과,
입력한 상기 특징량에 기초하여, 상기 오브젝트를 추적하는 스텝
을 포함하는 촬상 방법.
10: 추적 시스템
11: 서버
12: 카메라(촬상 장치)
21: 입력부
22: 촬상부
23: 촬상 위치 취득부
24: 특징량 추출부
25: 이동 방향 연산부
26: 프라이버시 레벨 설정부
27: 우선도 결정부
28: 제어부
29: 환경 정보 취득부
30: 상태 변화 정보 취득부
31: 감정 정보 취득부
32: 출력부
33: 추적부
34: 통신부
41: 대상 선택부
42: 송신부
43: 수신부

Claims (13)

  1. 오브젝트를 촬상하는 촬상부와,
    상기 촬상부에서 촬상한 상기 오브젝트의 특징량을 복수 추출하는 특징량 추출부와,
    상기 특징량 추출부에서 추출한 복수의 상기 특징량의 우선도를 결정하는 우선도 결정부와,
    상기 우선도의 높이 및 출력처의 허용량에 따라, 상기 특징량을 결정하는 제어부와,
    상기 제어부에서 결정한 상기 특징량을 출력하는 출력부
    를 구비하는, 촬상 장치.
  2. 제1항에 있어서, 상기 촬상부는, 동시에 동일 영역의 상기 오브젝트를 촬상하는, 촬상 장치.
  3. 제1항에 있어서, 상기 오브젝트의 이동 방향을 연산하는 이동 방향 연산부를 더 구비하고,
    상기 출력부는, 상기 특징량과 상기 이동 방향을 관련지어 출력하는, 촬상 장치.
  4. 제1항에 있어서, 상기 우선도 결정부는, 각각의 상기 특징량의 프라이버시 레벨을 설정하는 프라이버시 레벨 설정부를 갖고, 상기 프라이버시 레벨에 따라 상기 우선도를 결정하는, 촬상 장치.
  5. 제1항에 있어서, 상기 촬상부의 촬상 위치 및 촬상 방향을 취득하는 촬상 위치 취득부를 더 구비하고,
    상기 출력부는, 상기 촬상 위치 및 상기 촬상 방향을 출력하는, 촬상 장치.
  6. 제1항에 있어서, 상기 촬상 장치가 설치되는 주위의 환경 정보를 취득하는 환경 정보 취득부를 더 구비하고,
    상기 제어부는, 상기 환경 정보에 기초하여, 상기 특징량의 출력처를 결정하는, 촬상 장치.
  7. 제1항에 있어서, 상기 특징량의 출력처의 상태 변화 정보를 취득하는 상태 변화 정보 취득부를 더 구비하고,
    상기 제어부는, 상기 상태 변화 정보에 따라, 상기 출력처를 결정하는, 촬상 장치.
  8. 제1항에 있어서, 상기 오브젝트의 감정에 관한 감정 정보를 취득하는 감정 정보 취득부를 더 구비하고,
    상기 출력부는, 상기 특징량과 상기 감정 정보를 관련지어 출력하는, 촬상 장치.
  9. 제1항에 있어서, 상기 촬상부는, 상기 오브젝트를 복수 촬상하고,
    상기 촬상부에서 촬상한 복수의 상기 오브젝트로부터, 주목하는 상기 오브젝트를 선택하는 대상 선택부를 더 구비하고,
    상기 특징량 추출부는, 상기 대상 선택부에서 선택한 상기 오브젝트의 특징량을 복수 추출하는, 촬상 장치.
  10. 우선도의 높이 및 입력 가능한 허용량에 따라, 오브젝트의 복수의 특징량을 입력하는 입력부와,
    상기 입력부에서 입력한 상기 특징량에 기초하여, 상기 오브젝트를 추적하는 추적부를 구비하는, 촬상 장치.
  11. 오브젝트를 촬상하는 촬상부와,
    상기 촬상부에서 촬상한 상기 오브젝트의 특징량을 복수 추출하는 특징량 추출부와,
    상기 특징량 추출부에서 추출한 복수의 상기 특징량의 우선도를 결정하는 우선도 결정부와,
    상기 우선도의 높이 및 송신처의 허용량에 따라, 상기 특징량을 송신하는 송신부와,
    상기 우선도의 높이 및 수신 가능한 허용량에 따라, 상기 특징량을 수신하는 수신부와,
    상기 수신부에서 수신한 상기 특징량에 기초하여, 상기 오브젝트를 추적하는 추적부를 갖는 촬상 장치를 복수 구비하고,
    복수의 상기 촬상 장치는, 서로 연계하여 상기 특징량을 송수신하는, 추적 시스템.
  12. 오브젝트를 촬상하는 스텝과,
    촬상한 상기 오브젝트의 특징량을 복수 추출하는 스텝과,
    추출한 복수의 상기 특징량의 우선도를 결정하는 스텝과,
    상기 우선도의 높이 및 출력처의 허용량에 따라, 상기 특징량을 결정하는 스텝과,
    결정한 상기 특징량을 출력하는 스텝
    을 포함하는, 촬상 방법.
  13. 우선도의 높이 및 입력 가능한 허용량에 따라, 오브젝트의 복수의 특징량을 입력하는 스텝과,
    입력한 상기 특징량에 기초하여, 상기 오브젝트를 추적하는 스텝
    을 포함하는, 촬상 방법.
KR1020237028412A 2021-03-09 2022-01-19 촬상 장치, 추적 시스템 및 촬상 방법 KR20230155432A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2021-037678 2021-03-09
JP2021037678 2021-03-09
PCT/JP2022/001685 WO2022190652A1 (ja) 2021-03-09 2022-01-19 撮像装置、追跡システム、および撮像方法

Publications (1)

Publication Number Publication Date
KR20230155432A true KR20230155432A (ko) 2023-11-10

Family

ID=83226589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237028412A KR20230155432A (ko) 2021-03-09 2022-01-19 촬상 장치, 추적 시스템 및 촬상 방법

Country Status (5)

Country Link
US (1) US20240155221A1 (ko)
KR (1) KR20230155432A (ko)
CN (1) CN116941237A (ko)
TW (1) TW202238439A (ko)
WO (1) WO2022190652A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093283A (ja) 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6128468B2 (ja) * 2015-01-08 2017-05-17 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093283A (ja) 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム

Also Published As

Publication number Publication date
CN116941237A (zh) 2023-10-24
US20240155221A1 (en) 2024-05-09
TW202238439A (zh) 2022-10-01
WO2022190652A1 (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
Kong et al. Mmact: A large-scale dataset for cross modal human action understanding
KR102215041B1 (ko) 정의된 영역 내의 객체를 추적하기 위한 방법 및 시스템
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN101542549B (zh) 可疑行为检测系统及方法
EP4105101A1 (en) Monitoring system, monitoring method, and monitoring device for railway train
US9697420B2 (en) Information processing system, information processing method, and computer-readable recording medium
CN105279480A (zh) 视频分析的方法
US20090092283A1 (en) Surveillance and monitoring system
JP2006133946A (ja) 動体認識装置
KR20120052637A (ko) 영상 촬영 장치의 객체 추적 장치 및 방법과 보안 관리 시스템의 객체 추적 장치
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
Chang et al. Video surveillance for hazardous conditions using sensor networks
CN106529500A (zh) 一种信息处理方法和系统
CN112419233A (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN114359976A (zh) 一种基于人物识别的智能安防方法与装置
Teutsch et al. Computer vision in the infrared spectrum: challenges and approaches
CN111833380A (zh) 一种多视角影像融合的空间目标跟踪系统及方法
Germa et al. Vision and RFID-based person tracking in crowds from a mobile robot
Othman et al. Challenges and Limitations in Human Action Recognition on Unmanned Aerial Vehicles: A Comprehensive Survey.
KR20230155432A (ko) 촬상 장치, 추적 시스템 및 촬상 방법
Liu et al. Bio-inspired visual attention in agile sensing for target detection
Chan et al. Autonomous person-specific following robot
KR101814040B1 (ko) 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치
Angkhem et al. Night-Time Human Detection From UAV