KR20210113374A - 보행자행위의 검출방법 및 장치, 전자기기 및 기억매체 - Google Patents

보행자행위의 검출방법 및 장치, 전자기기 및 기억매체 Download PDF

Info

Publication number
KR20210113374A
KR20210113374A KR1020217026051A KR20217026051A KR20210113374A KR 20210113374 A KR20210113374 A KR 20210113374A KR 1020217026051 A KR1020217026051 A KR 1020217026051A KR 20217026051 A KR20217026051 A KR 20217026051A KR 20210113374 A KR20210113374 A KR 20210113374A
Authority
KR
South Korea
Prior art keywords
pedestrian
target
coordinates
preset
image
Prior art date
Application number
KR1020217026051A
Other languages
English (en)
Inventor
보 시우
얀저 신
Original Assignee
선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선전 센스타임 테크놀로지 컴퍼니 리미티드 filed Critical 선전 센스타임 테크놀로지 컴퍼니 리미티드
Publication of KR20210113374A publication Critical patent/KR20210113374A/ko

Links

Images

Classifications

    • G06K9/00369—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G06K9/6269—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시는 보행자행위의 검출방법 및 장치, 전자기기 및 기억매체에 관한 것이다. 상기 방법은 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것과, 미리 설정된 공간의 좌표를 취득하는 것과, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것을 포함한다. 본 개시된 실시예는 보행자행위를 검출하는 정확률을 향상시킬 수 있다.

Description

보행자행위의 검출방법 및 장치, 전자기기 및 기억매체
본 개시는 2019년 11월 28일에 중국 특허청에 출원된 출원번호가 201911192848.8이고, 출원의 명칭이 “보행자행위의 검출방법 및 장치, 전자기기 및 기억매체”의 중국특허출원의 우선권을 주장하고, 해당 출원의 전체내용은 참조에 의해 본 개시에 포함된다.
본 개시는 컴퓨터테크놀로지 분야에 관한 것으로 특히 보행자행위의 검출방법 및 장치, 전자기기 및 기억매체에 관한 것이다.
스마트시티가 빈번해짐에 따라 고해상도 영상이 응용되는 장면이 점차 늘어나고, 상이한 장면에 있어서의 보행자행위의 검출이 그 중요한 일면이다. 당연히 방대한 비디오정보는 인공검사에 의지하는 것만으로 그 대상정보를 검출할 수 없다. 스마트시티화의 요구가 점점 더 높아짐에 따라 보행자행위를 자동적으로 검출하는 기술의 개발이 급선무이다.
본 개시는 보행자행위를 검출하는 기술방안을 제공한다.
본 개시된 일방면에 따르면 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것과, 미리 설정된 공간의 좌표를 취득하는 것과, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것을 포함하는 보행자행위의 검출방법을 제공한다.
상기 방법에 의해 보행자행위를 검출하는 정확률을 향상시킬 수 있다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것은 딥 뉴럴 네트워크에 의해 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것을 포함한다.
해당 실시형태는 딥 뉴럴 네트워크을 이용하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득함으로써 대상보행자의 좌표를 보다 신속하고 정확하게 취득할 수 있다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 선을 포함하고, 상기 보행자행위는 보행자가 선을 넘는 행위를 포함하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 상기 미리 설정된 선의 좌표에 기초하여 상기 미리 설정된 선에 수직인 제1좌표축을 결정하는 것과, 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 상기 제1좌표축에 있어서의 투영좌표를 결정하는 것과, 상기 투영좌표 중 어느 2개가 각각 상기 제1좌표축과 상기 미리 설정된 선의 교점을 나타내는 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것을 포함한다.
해당 실시형태에 의해 보행자가 선을 무방향으로 넘는 행위의 검출을 실현할 수 있다. 이에 의해 지하철역, 철도역, 광장 등의 사람의 통행량이나 백화점의 고객량 등의 통계를 실현할 수 있다.
하나의 가능한 실시형태에서는 상기 투영좌표 중 어느 2개가 각각 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것은 미리 설정된 방향의 벡터와 상기 제1좌표축의 방향벡터의 각도를 결정하는 것과, 상기 각도가 90도 미만이고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 작은 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것, 및/또는 상기 각도가 90도보다 크고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것을 포함한다.
해당 실시형태에 기초하여 보행자가 미리 설정된 방향에서 미리 설정된 선을 넘는 행위를 검출할 수 있다. 이에 의해 지하철역을 나오는 사람의 수, 지하철역에 들어가는 사람의 수 등의 통계가 실현 가능하다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 체류행위를 포함하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과, 상기 체재시간이 시간임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 체류행위를 수행하였다고 결정하는 것을 포함한다.
해당 실시형태에 기초하여 대상보행자가 미리 설정된 영역내에서의 체재시간이 시간임계치 이상인 경우에는 대상보행자가 미리 설정된 영역내에서 보행자 체류행위를 수행하였다고 결정할 수 있다. 이에 의해 보행자의 체류가 바람직하지 않은 응용장면에서는 보행자가 체류하고 있는 것을 시기적절하게 발견할 수 있으므로 관리인이 대상보행자에게 미리 설정된 영역내에서의 체류를 멈추도록 시기적절하게 통지할 수 있다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 배회행위를 포함하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과, 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것과, 상기 체재시간이 시간임계치 이상 또한 상기 누계이동거리가 거리임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 배회행위를 수행하였다고 결정하는 것을 포함한다.
해당 실시형태에 기초하여 대상보행자가 미리 설정된 영역내에서의 체재시간이 시간임계치 이상 또한 누계이동거리가 거리임계치 이상인 경우에는 대상보행자가 미리 설정된 영역내에서 보행자 배회행위를 수행하였다고 결정할 수 있다. 이에 의해 보행자의 배회가 바람직하지 않은 응용장면에서 보행자가 배회하고 있는 것을 시기적절하게 발견할 수 있으므로 관리인이 대상보행자에게 미리 설정된 영역내에서의 배회를 멈추도록 시기적절하게 통지할 수 있다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표, 상기 미리 설정된 영역의 좌표 및 상기 멀티프레임의 처리대상의 이미지의 타임스탬프에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에 1회째에 나타난 처리대상의 이미지의 제1타임스탬프 및 상기 대상보행자가 마지막으로 상기 미리 설정된 영역내에 나타난 처리대상의 이미지의 제2타임스탬프를 결정하는 것과, 상기 제2타임스탬프와 상기 제1타임스탬프 사이의 시간간격을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로서 결정하는 것을 포함한다.
해당 실시형태에 있어서 대상보행자가 도중에 미리 설정된 영역으로부터 멀어졌는지의 여부를 고려하지 않고, 대상보행자가 미리 설정된 영역내에 2회 나타난 시간간격이 시간임계치 이상인지의 여부만을 고려하면 되므로 대상보행자가 도중에 미리 설정된 영역으로부터 멀어졌는지의 여부를 고려하지 않는 응용장면에 적용할 수 있다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 이미지의 수를 결정하는 것과, 상기 이미지의 수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 누계계속시간으로서 결정하고, 상기 누계계속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것을 포함한다.
해당 실시형태는 대상보행자가 도중에 미리 설정된 영역으로부터 멀어졌는지의 여부를 주목하지 않지만, 미리 설정된 영역내에 있어서의 대상보행자의 누계계속시간을 고려할 필요가 있는 응용장면에 적용할 수 있다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 최대연속이미지수를 결정하는 것과, 상기 최대연속이미지수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 최대지속시간으로서 결정하고, 상기 최대지속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것을 포함한다.
해당 실시형태에 있어서 대상보행자가 도중에 미리 설정된 영역으로부터 떨어졌는지의 여부를 주목하고, 대상보행자가 도중에 미리 설정된 영역으로부터 떨어지면 지속시간을 다시 계산한다. 해당 실시형태는 대상보행자가 도중에 미리 설정된 영역으로부터 떨어졌는지의 여부에 주목하는 응용장면에 적용할 수 있다.
하나의 가능한 실시형태에서는 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것은 상기 체재시간내에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 처리대상의 이미지를 각각 체재이미지로서 결정하는 것과, 인접하는 2개의 프레임의 체재이미지에 있어서의 상기 대상보행자의 좌표간의 거리를 적산하여 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 얻는 것을 포함한다.
해당 실시형태를 이용하여 결정된 누계이동거리는 대상보행자가 미리 설정된 영역내에서의 배회상황을 더 반영할 수 있기 때문에 보행자 배회행위를 검출하는 정확도의 향상에 도움이 된다.
하나의 가능한 실시형태에서는 상기 방법은 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하는 것과, 상기 면적의 중복값이 중복값의 임계치 이상인 경우, 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재한다고 결정하는 것을 더 포함한다.
해당 실시형태에 있어서 대상보행자가 존재하는 영역과 미리 설정된 영역의 면적의 중복값에 기초하여 대상보행자가 미리 설정된 영역내에 존재하는지의 여부를 판단할 수 있기 때문에 대상보행자가 미리 설정된 영역내에 존재하는의 여부를 판단하는 정확도를 향상시킬 수 있다.
하나의 가능한 실시형태에서는 상기 대상보행자의 좌표는 상기 대상보행자를 둘러싸는 바운딩박스의 좌표를 포함하고, 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하는 것은 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 바운딩박스의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제1면적을 결정하는 것과, 상기 제1면적과 상기 바운딩박스에 포함되는 영역의 면적의 비를 상기 면적의 중복값으로서 결정하는 것을 포함한다.
본 예에 의해 겹쳐 있는 영역의 면적과 대상보행자의 바운딩박스의 면적의 비에 기초하여 상기 면적의 중복값을 결정할 수 있다. 이와 같이 결정된 면적의 중복값은 대상보행자의 바운딩박스와 미리 설정된 영역이 겹쳐 있는 상황을 더 반영할 수 있고, 보행자행위의 검출을 보다 정확하게 수행하는 것에 도움이 된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 침입행위를 포함하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 침입감도계수를 취득하는 것과, 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제2면적을 결정하는 것과, 상기 제2면적과 상기 바운딩박스에 포함되는 영역의 면적의 비가 상기 침입감도계수보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 영역에 대하여 상기 보행자 침입행위를 수행하였다고 결정하는 것을 포함한다.
해당 실시형태에 기초하여 보행자의 침입이 바람직하지 않은 응용장면에서 보행자가 침입하고 있는 것을 시기적절하게 발견할 수 있으므로 관리인이 대상보행자에게 미리 설정된 영역에서 멀어지도록 시기적절하게 통지할 수 있다.
하나의 가능한 실시형태에서는 상기 방법은 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 알람정보를 송신하는 것을 더 포함한다.
해당 실시형태에 있어서 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우에 알람정보를 송신함으로써 관리인이 보행자행위를 시기적절하게 발견할 수 있으므로 시기적절하게 대응할 수 있다.
하나의 가능한 실시형태에서는 상기 방법은 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 상기 대상보행자의 속성정보를 추출하는 것과, 상기 대상보행자의 속성정보를 출력하는 것을 더 포함한다.
해당 실시형태에 있어서 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우에 상기 대상보행자의 속성정보를 출력함으로써 관리인이 상기 대상보행자를 찾아내는 것에 도움이 된다.
본 개시된 일방면에 따르면 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하기 위한 제1취득모듈과, 미리 설정된 공간의 좌표를 취득하기 위한 제2취득모듈과, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하기 위한 제1결정모듈을 포함하는 보행자행위의 검출장치를 제공한다.
하나의 가능한 실시형태에서는 상기 제1취득모듈은 딥 뉴럴 네트워크에 의해 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 선을 포함하고, 상기 보행자행위는 보행자가 선을 넘는 행위를 포함하고, 상기 제1결정모듈은 상기 미리 설정된 선의 좌표에 기초하여 상기 미리 설정된 선에 수직인 제1좌표축을 결정하는 것과, 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 상기 제1좌표축에 있어서의 투영좌표를 결정하는 것과, 상기 투영좌표 중 어느 2개가 각각 상기 제1좌표축과 상기 미리 설정된 선의 교점을 나타내는 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈은 미리 설정된 방향의 벡터와 상기 제1좌표축의 방향벡터의 각도를 결정하는 것과, 상기 각도가 90도 미만이고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상이 되는 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 작은 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것, 및/또는 상기 각도가 90도보다 크고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상이 되는 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 체류행위를 포함하고, 상기 제1결정모듈은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과, 상기 체재시간이 시간임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 체류행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 배회행위를 포함하고, 상기 제1결정모듈은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과, 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것과, 상기 체재시간이 시간임계치 이상 또한 상기 누계이동거리가 거리임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 배회행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표, 상기 미리 설정된 영역의 좌표 및 상기 멀티프레임의 처리대상의 이미지의 타임스탬프에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에 1회째에 나타난 처리대상의 이미지의 제1타임스탬프 및 상기 대상보행자가 마지막으로 상기 미리 설정된 영역내에 나타난 처리대상의 이미지의 제2타임스탬프를 결정하는 것과, 상기 제2타임스탬프와 상기 제1타임스탬프 사이의 시간간격을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로서 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 이미지의 수를 결정하는 것과, 상기 이미지의 수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 누계계속시간으로서 결정하고, 상기 누계계속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 최대연속이미지수를 결정하는 것과, 상기 최대연속이미지수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 최대지속시간으로서 결정하고, 상기 최대지속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈은 상기 체재시간내에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 처리대상의 이미지를 각각 체재이미지로서 결정하는 것과, 인접하는 2개의 프레임의 체재이미지에 있어서의 상기 대상보행자의 좌표간의 거리를 적산하여 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 얻는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 장치는 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하기 위한 제2결정모듈과, 상기 면적의 중복값이 중복값의 임계치 이상인 경우에 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재한다고 결정하기 위한 제3결정모듈을 더 포함한다.
하나의 가능한 실시형태에서는 상기 대상보행자의 좌표는 상기 대상보행자를 둘러싸는 바운딩박스의 좌표를 포함하고, 상기 제2결정모듈은 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 바운딩박스의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제1면적을 결정하는 것과, 상기 제1면적과 상기 바운딩박스에 포함되는 영역의 면적의 비를 상기 면적의 중복값으로서 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 침입행위를 포함하고, 상기 제1결정모듈은 침입감도계수를 취득하는 것과, 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제2면적을 결정하는 것과, 상기 제2면적과 상기 바운딩박스에 포함되는 영역의 면적의 비가 상기 침입감도계수보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 영역에 대하여 상기 보행자 침입행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 장치는 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 알람정보를 송신하기 위한 알람모듈을 더 포함한다.
하나의 가능한 실시형태에서는 상기 장치는 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 상기 대상보행자의 속성정보를 추출하기 위한 추출모듈과, 상기 대상보행자의 속성정보를 출력하기 위한 출력모듈을 더 포함한다.
본 개시된 일방면에 따르면 1개 이상의 프로세서와, 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 1개 이상의 프로세서는 상기 방법을 실행하기 위해서 상기 메모리에 기억된 실행 가능한 명령을 호출하도록 구성되는 전자기기를 제공한다.
본 개시된 일방면에 따르면 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 가독 기억매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면 상기 방법을 실현시키는 컴퓨터 가독 기억매체를 제공한다.
본 개시된 일방면에 따르면 컴퓨터 가독 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 가독 코드가 전자기기에 있어서 동작하면 상기 전자기기의 프로세서에 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 제공한다.
본 개시된 실시예에 있어서 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하고, 미리 설정된 공간의 좌표를 취득하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정함으로써 보행자행위를 검출하는 정확률을 향상시킬 수 있다.
이상의 일반적인 설명과 이하의 상세한 설명은 예시적이나 해석적인 것에 불과하고, 본 개시를 제한하는 것이 아님을 이해해야 한다.
이하, 도면을 참고하면서 예시적인 실시예를 상세하게 설명함으로써 본 개시된 다른 특징 및 방면은 명확해진다.
명세서의 일부로서 포함되는 도면은 본 개시된 실시예를 나타내고, 명세서와 함께 본 개시된 기술적 수단을 설명하는 것이다.
도 1은 본 개시된 실시예에서 제공하는 보행자행위의 검출방법의 플로차트를 나타낸다.
도 2는 본 개시된 실시예에서 제공하는 보행자행위의 검출방법에 있어서의 보행자가 선을 넘는 행위의 모식도를 나타낸다.
도 3은 본 개시된 실시예에서 제공하는 보행자행위의 검출방법에 있어서의 미리 설정된 방향의 보행자가 선을 넘는 행위의 모식도를 나타낸다.
도 4는 본 개시된 실시예에서 제공하는 보행자 검출방법의 응용장면의 모식도를 나타낸다.
도 5는 본 개시된 실시예에서 제공하는 보행자행위의 검출장치의 블록도를 나타낸다.
도 6은 본 개시된 실시예에서 제공하는 전자기기(800)의 블록도를 나타낸다.
도 7은 본 개시된 실시예에서 제공하는 전자기기(1900)의 블록도를 나타낸다.
이하, 도면을 참조하면서 본 개시된 다양한 예시적인 실시예, 특징 및 방면을 상세하게 설명한다. 도면에 있어서의 동일한 부호는 동일하거나 또는 유사한 기능의 요소를 나타낸다. 도면에 있어서 실시예의 다양한 방면을 나타냈지만, 특별히 구애되지 않는 한 비례에 따라 도면을 그릴 필요가 없다.
여기에서의 용어 “예시적”이란 “예, 실시예로 하는 것 또는 설명적인 것”을 의미한다. 여기서 “예시적”으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것이라고 이해해서는 안 된다.
본 명세서에 있어서의 용어 “및/또는”은 관련대상의 관련관계를 기술하는 것에 불과하고, 3개의 관계가 존재 가능한 것을 나타내고, 예를 들어 A 및/또는 B는 A만 존재하고, A와 B가 동시에 존재하고, B만 존재한다는 3개의 경우를 나타낼 수 있다. 또한 본 명세서에 있어서 용어 “적어도 1개”는 복수 중 어느 하나 또는 복수 중 적어도 2개의 임의의 조합을 나타내고, 예를 들어 A, B 및 C 중 적어도 1개를 포함한다는 것은 A, B 및 C로 구성되는 집합으로부터 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.
또한 본 개시를 보다 효과적으로 설명하기 위해서 이하의 구체적인 실시형태에 있어서 다양한 구체적인 상세한 내용을 나타낸다. 당업자라면 어떠한 구체적인 상세한 내용이 없어도 마찬가지로 실시할 수 있는 것을 이해해야 한다. 몇 가지 실시예에서는 본 개시된 취지를 강조하기 위해서 당업자에게 이미 알려진 방법, 수단, 요소 및 회로에 대하여 상세한 설명을 생략한다.
관련된 기술에는 보행자행위의 검출방법이 주로 2종류 있다. 하나는 종래의 온도에 의한 검출방법 또는 코일에 의한 검출방법이다. 이 방법은 신뢰성이 비교적 낮고, 확장성이 비교적 나쁘고 또한 설치·보수가 불편하다. 또 하나는 비디오에 기초한 검출방법으로서 배경차분법, 2치화분할법 등 종래의 이미지처리 및 모델식별방법을 이용하고, 비디오배경이 복잡한 장면에서는 보행자의 검출율이 낮기 때문에 보행자행위를 검출하는 정확률이 비교적 낮다.
본 개시된 실시예에 있어서 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하고, 미리 설정된 공간의 좌표를 취득하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정함으로써 보행자행위를 검출하는 정확률을 향상시킬 수 있다.
본 개시된 실시예는 보행자행위를 검출할 필요가 있는 임의의 응용장면에 응용할 수 있다. 예를 들어 본 개시된 실시예는 지하철역, 철도역, 도로, 백화점, 역, 형무소, 광장 또는 회사 수위 등의 장면에 적용할 수 있다.
이하, 본 개시된 실시예의 도면에 의해 본 개시된 실시예를 상세하게 설명한다.
도 1은 본 개시된 실시예에서 제공하는 보행자행위의 검출방법의 플로차트를 나타낸다. 상기 보행자행위의 검출방법의 실행자는 보행자행위의 검출장치여도 된다. 예를 들어 상기 보행자행위의 검출방법은 단말장치 또는 서버 또는 그 외의 처리장치에 의해 실행되어도 된다. 여기서 단말장치로서는 사용자기기(User Equipment, UE), 모바일장치, 사용자단말기, 단말기, 휴대전화, 무선전화, 휴대정보단말기(Personal Digital Assistant, PDA), 핸드헬드장치, 컴퓨팅디바이스, 차량탑재장치, 웨어러블장치 등을 들 수 있다. 몇 가지 가능한 실시형태에서는 상기 보행자행위의 검출방법은 프로세서가 메모리에 기억된 컴퓨터로 판독 가능한 명령을 호출함으로써 실시할 수 있다. 도 1에 나타내는 바와 같이 상기 보행자행위의 검출방법은 단계 S11 내지 단계 S13을 포함한다.
단계 S11에 있어서 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득한다.
본 개시된 실시예의 실행자는 서버여도 되고, 서버가 감시카메라에 접속되어도 되고, 감시카메라가 수집된 비디오스트림을 서버에 송신할 수 있다. 서버가 감시카메라로부터 송신된 비디오스트림에 있어서 동일한 보행자를 포함하는 멀티프레임 비디오이미지를 멀티프레임의 처리대상의 이미지으로 할 수 있다. 멀티프레임의 처리대상의 이미지에 포함되는 동일보행자는 대상보행자이다. 또한 상기 멀티프레임 비디오이미지는 멀티프레임의 연속하는 비디오이미지이어도 되고, 연속하는 비디오이미지이 아니어도 된다. 대상보행자의 수는 1개여도 되고, 복수여도 되고, 즉 멀티프레임의 처리대상의 이미지에는 1개 이상의 동일 보행자가 포함되어도 된다.
예를 들어 카메라에 의해 수집된 비디오스트림에 10프레임의 이미지이 포함되고, 제1프레임이미지, 제2프레임이미지, 제3프레임이미지, 제6프레임이미지, 제8프레임이미지, 제9프레임이미지에 모두 보행자 A가 포함되면 제1프레임이미지, 제2프레임이미지, 제3프레임이미지, 제6프레임이미지, 제8프레임이미지, 제9프레임이미지를 멀티프레임의 처리대상의 이미지으로 할 수 있다. 제1프레임이미지의 타임스탬프가 제2프레임이미지의 타임스탬프보다 작고, 제2프레임이미지의 타임스탬프가 제3프레임이미지의 타임스탬프보다 작도록 추정하고, 제9프레임이미지의 타임스탬프가 제10프레임이미지의 타임스탬프보다 작다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것은 딥 뉴럴 네트워크에 의해 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것을 포함한다. 해당 실시형태는 딥 뉴럴 네트워크을 이용하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득함으로써 대상보행자의 좌표를 보다 신속하고 또한 정확하게 취득할 수 있다.
본 개시된 실시예에서는 서버가 처리대상의 이미지에 대하여 보행자를 검출하기 위한 임의의 알고리즘에 의해 보행자 검출을 수행할 수 있다. 보행자를 검출하기 위한 알고리즘으로서는 “보는 것은 한 번뿐” 알고리즘(you only look once, YOLO), 타겟 검출 알고리즘(deformable part model, DMP), 싱글숏 멀티박스 검출기에 기초한 알고리즘(single shot multiBox detector, SSD), Faster-RCNN 알고리즘 등을 들 수 있다. 본 개시는 보행자를 검출하기 위한 알고리즘을 구체적으로 한정하지 않는다.
보행자를 검출하기 위한 알고리즘에 의해 각 프레임의 처리대상의 이미지에 대하여 보행자 검출을 수행하고, 각 프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득할 수 있다. 대상보행자의 좌표는 대상보행자의 바운딩박스를 포함하는 좌표여도 되고, 또는 대상보행자의 좌표는 대상보행자의 바운딩박스의 기하학적 중심의 좌표여도 되고, 또는 대상보행자의 좌표는 대상보행자의 윤곽상의 중요한 점의 좌표여도 되고, 상기 좌표는 모두 처리대상의 이미지의 좌표계에 있어서의 좌표를 가리키는 것이다.
하나의 가능한 실시형태에서는 각 프레임의 처리대상의 이미지는 모두 타임스탬프를 포함하고, 해당 타임스탬프는 처리대상의 이미지를 수집하는 시간을 특징지울 수 있다. 처리대상의 이미지의 타임스탬프를 작은 것에서 큰 것의 순서로 각 프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 소트하여 대상보행자의 좌표시퀀스, 즉 상이한 시각에 있어서의 대상보행자의 좌표를 얻을 수 있다. 그리고 해당 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 해당 멀티프레임의 처리대상의 이미지의 타임스탬프에 기초하여 해당 멀티프레임의 처리대상의 이미지의 대상보행자의 좌표와 시간의 관계를 결정할 수 있다. 멀티프레임의 처리대상의 이미지의 대상보행자의 좌표와 시간의 관계는 임의 시각에 있어서의 대상보행자의 좌표를 포함할 수 있다.
하나의 가능한 실시형태에서는 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 커브피팅함으로써 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표와 시간의 관계를 얻을 수 있기 때문에 대상보행자의 이동궤적을 얻을 수 있다. 커브피팅이란 평면상의 복수의 이산점에 의해 표시되는 좌표간의 관계를 연속한 곡선으로 근사적으로 그리거나 또는 따라하기 위한 데이터의 처리 방법이다. 즉, 멀티프레임의 처리대상의 이미지의 바운딩박스의 좌표를 커브피팅함으로써 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표와 시간의 관계를 얻을 수 있고, 임의의 2개의 프레임의 처리대상의 이미지간의 임의 시각에 있어서의 대상보행자의 좌표를 더 얻을 수 있다.
일례에 있어서 헝가리의 알고리즘(이분그래프의 최대매칭) 및 칼만필터에 의해 처리하여 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표와 시간의 관계를 결정할 수 있다. 헝가리의 알고리즘에 의해 전후 인접하는 2개의 프레임의 처리대상의 이미지에 있어서의 대상보행자를 매칭하고, 뒤의 프레임의 대상보행자를 전의 프레임에 매칭하여 복수의 프레임을 조합하여 좌표와 시간의 시퀀스를 1개 형성시킴으로써 대상보행자의 좌표와 시간의 관계를 얻을 수 있다. 칼맨필터는 주로 각 대상보행자의 이동궤적에 대하여 필터링 및 노이즈의 제거를 수행하고, 출력되는 이동궤적의 정밀도를 향상시킴과 함께 헝가리의 알고리즘의 매칭정밀도를 높이는 작용을 발휘한다.
단계 S12에 있어서 미리 설정된 공간의 좌표를 취득한다.
본 개시된 실시예에 있어서 상기 미리 설정된 공간은 1차원 공간, 2차원 공간 또는 3차원 공간이어도 된다. 예를 들어 상기 미리 설정된 공간은 미리 설정된 선 및/또는 미리 설정된 영역을 포함하여도 된다. 미리 설정된 선은 1차원 공간이어도 되고, 미리 설정된 영역은 2차원 공간 또는 3차원 공간이어도 된다.
하나의 가능한 실시형태에서는 사용자가 카메라의 감시영역내로부터 미리 설정된 점을 2개 선택하여 해당 2개의 미리 설정된 점을 연결하는 선을 미리 설정된 선으로 할 수 있다. 다른 실시 가능한 실시형태에서는 사용자가 카메라의 감시영역내로부터 미리 설정된 점을 차례로 복수 선택하고, 복수의 미리 설정된 점을 차례로 연결하여 복수의 미리 설정된 점을 포함하는 닫힌 폴리곤을 얻어 이 폴리곤에 포함되는 영역을 미리 설정된 영역으로 할 수 있다.
단계 S13에 있어서 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정한다.
본 개시된 실시예에 있어서 상기 보행자행위는 보행자가 선을 넘는 행위, 보행자 체류행위, 보행자 배회행위 및 보행자 침입행위 등 중 1종 이상을 포함하여도 된다. 보행자가 선을 넘는 행위는 보행자가 미리 설정된 선을 넘는 행위를 나타내도 되고, 보행자 체류행위는 보행자가 미리 설정된 영역내에 체류하는 행위를 나타내도 되고, 보행자 배회행위는 보행자가 미리 설정된 영역내에 배회하는 행위를 나타내도 되고, 보행자 침입행위는 보행자가 미리 설정된 영역에 들어가는 행위를 나타내도 된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 선을 포함하고, 상기 보행자행위는 보행자가 선을 넘는 행위를 포함한다. 해당 실시형태에 의해 보행자가 미리 설정된 선을 넘는 행위를 검출할 수 있고, 이에 의해 지하철역, 철도역, 광장 등의 사람의 통행량이나 백화점의 고객량 등의 통계를 실현할 수 있다.
해당 실시형태의 일례로서 보행자가 선을 넘는 행위는 선을 무방향으로 넘는 양태와 선을 방향이 있도록 넘는 양태가 있다. 무방향으로 넘는 양태는 선을 넘는 방향을 고려하지 않고, 미리 설정된 선의 일방측으로부터 타방측으로 넘었다면 보행자가 선을 넘는 행위를 수행한 양태이다. 선을 방향이 있도록 넘는 양태는 선을 넘는 방향을 고려하여 보행자가 미리 설정된 방향으로 선을 넘었는지의 여부를 검출하는 양태이다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 상기 미리 설정된 선의 좌표에 기초하여 상기 미리 설정된 선에 수직인 제1좌표축을 결정하는 것과, 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 상기 제1좌표축에 있어서의 투영좌표를 결정하는 것과, 상기 투영좌표 중 어느 2개가 각각 상기 제1좌표축과 상기 미리 설정된 선의 교점을 나타내는 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것을 포함한다.
예를 들어 미리 설정된 선을 제2좌표축으로 하는 경우, 목표점이 제1좌표축과 제2좌표축의 교점, 즉 원점이다.
해당 실시형태에 의해 보행자가 선을 무방향으로 넘는 행위의 검출을 실현할 수 있다. 이에 의해 지하철역, 철도역, 광장 등의 사람의 통행량이나 백화점의 고객량 등의 통계를 실현할 수 있다.
해당 실시형태에 있어서 미리 설정된 선의 좌표는 미리 설정된 선상의 2개의 점의 좌표를 이용하여 나타낼 수 있다. 도 2는 본 개시된 실시예에서 제공하는 보행자행위의 검출방법에 있어서의 보행자가 선을 넘는 행위의 모식도를 나타낸다. 도 2에 나타내는 바와 같이 미리 설정된 선의 좌표는 미리 설정된 선상의 2개의 점 l1 및 l2의 좌표를 이용하여 나타낼 수 있고, 점 l1의 좌표는 (m1, n1)이고, 점 l2의 좌표는 (m2, n2)이다. 미리 설정된 선의 방향벡터는
Figure pct00001
로서 나타낼 수 있다. 미리 설정된 선의 수선의 방향벡터
Figure pct00002
은 식 1을 이용하여 결정할 수 있다.
Figure pct00003
식 1
즉,
Figure pct00004
해당 실시형태에 있어서 제1좌표축은 도 2에 있어서의 x'축이어도 되고, 또한 미리 설정된 선의 방향벡터를 y'축으로 할 수 있다.
대상보행자의 좌표는 대상보행자의 바운딩박스의 정점좌표여도 된다. 도 2에 있어서 ci는 대상보행자의 바운딩박스의 정점을 나타내고, ci의 좌표는 (xi, yi), 1≤i≤n 예를 들어 n=4로서 나타낼 수 있다. 도 2에 있어서 대상보행자의 바운딩박스의 정점의 아래첨자는 시계방향순으로 배열되어 있다. 이해하기 쉽게 하기 위해서 도 2는 장방형을 예로 하여 대상보행자의 바운딩박스의 모식도를 나타내고 있다. 대상보행자의 바운딩박스가 임의의 형상이어도 되는 것이 당업자에게 이해된다. x'축에 있어서의 ci의 투영좌표 pi는 식 2를 이용하여 나타낼 수 있다.
Figure pct00005
식 2
1개의 프레임의 처리대상의 이미지에 있어서 해당 처리대상의 이미지에 있어서의 대상보행자의 바운딩박스의 정점이 min(pi, L, pn)≤0 또한 max(pi, L, pn)≥0을 만족하면 대상보행자가 미리 설정된 선에 대하여 보행자가 선을 넘는 행위를 수행하였다고 결정할 수 있다. 식 중의 등호는 바운딩박스의 정점이 미리 설정된 선에 있는 경우도 선을 넘는다고 결정하는 것을 나타낸다. 멀티프레임의 처리대상의 이미지에 있어서 인접하는 2개의 프레임의 처리대상의 이미지에 있어서의 대상보행자의 바운딩박스의 정점이 pi＜0 또한 qi＞0을 만족하거나 또는 pi＞0 또한 qi＜0을 만족하면 대상보행자가 미리 설정된 선에 대하여 선을 넘는 행위를 수행하였다고 결정할 수 있다. 1≤i≤n, pi 및 qi는 각각 상기 인접하는 2개의 프레임의 처리대상의 이미지에 있어서의 대상보행자의 바운딩박스의 정점을 나타낸다.
하나의 가능한 실시형태에서는 상기 투영좌표 중 어느 2개가 각각 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것은 미리 설정된 방향의 벡터와 상기 제1좌표축의 방향벡터의 각도를 결정하는 것과, 상기 각도가 90도 미만이고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 작은 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것, 및/또는 상기 각도가 90도보다 크고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것을 포함한다.
해당 실시형태에 기초하여 보행자가 미리 설정된 방향으로 미리 설정된 선을 넘는 행위를 검출할 수 있다. 지하철역을 나오는 사람의 수, 지하철역에 들어가는 사람의 수 등의 통계가 실현 가능하다.
해당 실시형태에 있어서 제1좌표축의 방향벡터는 제1좌표축에 평행하고 또한 제1좌표축의 정방향을 가리켜도 된다.
도 3은 본 개시된 실시예에서 제공하는 보행자행위의 검출방법에 있어서의 미리 설정된 방향의 보행자가 선을 넘는 행위의 모식도를 나타낸다. 도 3에 나타내는 예에 있어서 미리 설정된 방향의 방향벡터는
Figure pct00006
로서 나타낼 수 있고, 전술한 방법으로 미리 설정된 선의 수선의 방향벡터
Figure pct00007
을 취득할 수 있다. 일례에 있어서
Figure pct00008
·
Figure pct00009
＜0이면 미리 설정된 선의 수선의 방향벡터와 미리 설정된 방향의 방향벡터의 각도가 90도 미만이 되도록
Figure pct00010
=-
Figure pct00011
으로 할 수 있다. 일례에 있어서 식 3을 이용하여 대상보행자의 바운딩박스의 기하학적 중심 cm을 결정할 수 있다.
Figure pct00012
식 3
또한 해당 기하학적 중심이 미리 설정된 선의 일방측으로부터 타방측으로 넘고 또한 미리 설정된 방향과 일치할 때에 대상보행자가 미리 설정된 방향으로 미리 설정된 선을 넘었다고 판단할 수 있다. 미리 설정된 선의 수선의 방향벡터를 x'축으로 하고, x'축에 있어서의 기하학적 중심 cm의 투영좌표 Pm는 식 4를 이용하여 나타낼 수 있다.
Figure pct00013
식 4
멀티프레임의 처리대상의 이미지에 있어서 그 중 2개의 프레임의 처리대상의 이미지 k 및 l이 Pmk＜0, Pml＞0 또한 Tk＜Tl을 만족하면 대상보행자가 미리 설정된 방향으로 미리 설정된 선을 넘었다고 결정할 수 있다. k 및 l은 이 2개의 프레임의 처리대상의 이미지의 번호를 나타내고, Pmk는 x'축에 있어서의 처리대상의 이미지 k에 있어서의 대상보행자의 바운딩박스의 기하학적 중심의 투영좌표를 나타내고, Pml은 x'축에 있어서의 처리대상의 이미지 l에 있어서의 대상보행자의 바운딩박스의 기하학적 중심의 투영좌표를 나타내고, Tk는 처리대상의 이미지 k의 타임스탬프를 나타내고, Tl은 처리대상의 이미지 l의 타임스탬프를 나타낸다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 체류행위를 포함하고, 보행자 배회행위 및 보행자 침입행위 중 1종 이상을 포함한다. 해당 실시형태에 기초하여 보행자가 미리 설정된 영역내에 체류하는 행위, 보행자가 미리 설정된 영역내에 배회하는 행위, 및 보행자가 미리 설정된 영역에 들어가는 행위의 1종 이상을 검출할 수 있다.
예를 들어 지하철의 출구, 공항 등에서는 사람의 흐름을 원활하게 유지하기 위해서 사람의 체류나 배회가 바람직하지 않기 때문에 지하철의 출구 또는 공항 등에서 보행자 체류행위 또는 보행자 배회행위에 대응하는 미리 설정된 영역으로서 1개의 영역을 지정할 수 있다.
또한 예를 들어 군사영역이나 일시적인 현장보호가 필요한 영역 등 일부의 관제영역에는 사람의 침입이 바람직하지 않기 때문에 이들 영역을 보행자 침입행위에 대응하는 미리 설정된 영역으로 할 수 있다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 것, 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간이 시간임계치 이상인 것, 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리가 거리임계치 이상인 것 중 1개 이상의 조건을 만족한다고 결정한 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 보행자 체류행위, 보행자 배회행위 및 보행자 침입행위 중 1종 이상이 발생하였다고 결정한다.
예를 들어 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 미리 설정된 공간의 좌표에 기초하여 대상보행자가 미리 설정된 영역내에 존재한다고 결정한 경우, 대상보행자가 미리 설정된 영역내에서 보행자 침입행위를 수행하였다고 결정할 수 있다. 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 미리 설정된 공간의 좌표에 기초하여 대상보행자가 미리 설정된 영역내에서의 체재시간이 시간임계치 이상이라고 결정한 경우, 대상보행자가 미리 설정된 영역내에서 보행자 체류행위를 수행하였다고 결정할 수 있다. 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 미리 설정된 공간의 좌표에 기초하여 대상보행자가 미리 설정된 영역내에서의 체재시간이 시간임계치 이상이고 또한 체재시간내에 있어서의 대상보행자의 누계이동거리가 거리임계치 이상이라고 결정한 경우, 대상보행자가 미리 설정된 영역내에서 보행자 배회행위를 수행하였다고 결정할 수 있다.
해당 실시형태에 기초하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표가 만족하는 조건에 의해 보행자 체류행위, 보행자 배회행위 및 보행자 침입행위 중 1종 이상을 검출할 수 있다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 체류행위를 포함하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과, 상기 체재시간이 시간임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 보행자 체류행위를 수행하였다고 결정하는 것을 포함한다.
해당 실시형태에 기초하여 대상보행자가 미리 설정된 영역내에서의 체재시간이 시간임계치 이상인 경우에는 대상보행자가 미리 설정된 영역내에서 보행자 체류행위를 수행하였다고 결정할 수 있다. 이에 의해 보행자의 체류가 바람직하지 않은 응용장면에서는 보행자가 체류하고 있는 것을 시기적절하게 발견할 수 있으므로 관리인이 대상보행자에게 미리 설정된 영역내에서의 체류를 멈추도록 시기적절하게 통지할 수 있다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 배회행위를 포함하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과, 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것과, 상기 체재시간이 시간임계치 이상 또한 상기 누계이동거리가 거리임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 보행자 배회행위를 수행하였다고 결정하는 것을 포함한다.
예를 들어 미리 설정된 영역이 지하철역의 로비이고, 거리임계치가 3000미터인 경우, 대상보행자가 지하철역의 로비에 체재하는 시간이 시간임계치 이상이고 또한 누계이동거리가 3000미터 이상이면 대상보행자가 지하철역의 로비에서 보행자 배회행위를 수행하였다고 결정할 수 있다.
해당 실시형태에 기초하여 대상보행자가 미리 설정된 영역내에서의 체재시간이 시간임계치 이상 또한 누계이동거리가 거리임계치 이상인 경우에는 대상보행자가 미리 설정된 영역내에서 보행자 배회행위를 수행하였다고 결정할 수 있다. 이에 의해 보행자의 배회가 바람직하지 않은 응용장면에서 보행자가 배회하고 있는 것을 시기적절하게 발견할 수 있으므로 관리인이 대상보행자에게 미리 설정된 영역내에서의 배회를 멈추도록 시기적절하게 통지할 수 있다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표, 상기 미리 설정된 영역의 좌표 및 상기 멀티프레임의 처리대상의 이미지의 타임스탬프에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에 1회째에 나타난 처리대상의 이미지의 제1타임스탬프 및 상기 대상보행자가 마지막으로 상기 미리 설정된 영역내에 나타난 처리대상의 이미지의 제2타임스탬프를 결정하는 것과, 상기 제2타임스탬프와 상기 제1타임스탬프 사이의 시간간격을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로서 결정하는 것을 포함한다.
해당 실시형태에 있어서 대상보행자가 도중에 미리 설정된 영역으로부터 멀어졌는지의 여부를 고려하지 않고, 대상보행자가 미리 설정된 영역내에 2회 나타난 시간간격이 시간임계치 이상인지의 여부만을 고려하면 되므로 대상보행자가 도중에 미리 설정된 영역으로부터 멀어졌는지의 여부를 고려하지 않는 응용장면에 적용할 수 있다.
일례에 있어서 상기 멀티프레임의 처리대상의 이미지에 있어서의 임의의 2개의 프레임의 처리대상의 이미지에 있어서의 대상보행자가 미리 설정된 영역내에 존재하고, 또한 이 2개의 프레임의 처리대상의 이미지의 타임스탬프 사이의 시간간격이 시간임계치 이상이면 대상보행자가 미리 설정된 영역내에서 보행자 체류행위를 수행하였다고 결정할 수 있다. 예를 들어 처리대상의 이미지 a에 있어서의 대상보행자가 미리 설정된 영역내에 존재하고, 처리대상의 이미지 b에 있어서의 대상보행자가 미리 설정된 영역내에 존재하고, 처리대상의 이미지 a의 타임스탬프가 Ta이고, 처리대상의 이미지 b의 타임스탬프 Tb이고, 시간임계치가 Tthreshold이고, Tb-Ta≥Tthreshold인 경우, 대상보행자가 미리 설정된 영역내에서 보행자 체류행위를 수행하였다고 결정할 수 있다.
일례에 있어서 기준 타임스탬프로서 대상보행자가 미리 설정된 영역내에 1회째에 나타났을 때의 타임스탬프를 기록할 수 있다. 대상보행자가 미리 설정된 영역내에 재차 나타났을 때의 타임스탬프와 기준 타임스탬프 사이의 시간간격이 시간임계치 이상이면 대상보행자가 미리 설정된 영역내에서 보행자 체류행위를 수행하였다고 결정할 수 있다.
일례에 있어서 상기 멀티프레임의 처리대상의 이미지에 있어서의 임의의 2개의 프레임의 처리대상의 이미지에 있어서의 대상보행자가 미리 설정된 영역내에 존재하고, 이 2개의 프레임의 처리대상의 이미지의 타임스탬프 사이의 시간간격이 시간임계치 이상이고 또한 미리 설정된 영역내에 있어서의 대상보행자의 누계이동거리가 거리임계치 이상이면 대상보행자가 미리 설정된 영역내에서 보행자 배회행위를 수행하였다고 결정할 수 있다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 이미지의 수를 결정하는 것과, 상기 이미지의 수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 누계계속시간으로서 결정하고, 상기 누계계속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것을 포함한다. 해당 실시형태에 기초하여 미리 설정된 영역내에 있어서의 대상보행자의 누계계속시간을 신속하고 또한 정확하게 결정할 수 있다.
해당 실시형태는 대상보행자가 도중에 미리 설정된 영역으로부터 멀어졌는지의 여부에 주목하지 않지만, 미리 설정된 영역내에 있어서의 대상보행자의 누계계속시간을 고려할 필요가 있는 응용장면에 적용할 수 있다.
예를 들어 상기 이미지의 수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 누계계속시간으로 할 수 있다. 예를 들어 상기 이미지의 수가 K이고, 각 프레임의 처리대상의 이미지의 계속시간이 To인 경우, 누계계속시간은 KTo가 된다.
하나의 가능한 실시형태에서는 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 최대연속이미지수를 결정하는 것과, 상기 최대연속이미지수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 최대지속시간으로서 결정하고, 상기 최대지속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것을 포함한다.
해당 실시형태에 있어서 대상보행자가 도중에 미리 설정된 영역으로부터 멀어졌는지의 여부에 주목하고, 대상보행자가 도중에 미리 설정된 영역으로부터 멀어지면 지속시간을 다시 계산한다. 해당 실시형태는 대상보행자가 도중에 미리 설정된 영역으로부터 멀어졌는지의 여부에 주목하는 응용장면에 적용할 수 있다.
하나의 가능한 실시형태에서는 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것은 상기 체재시간내에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 처리대상의 이미지를 각각 체재이미지로서 결정하는 것과, 인접하는 2개의 프레임의 체재이미지에 있어서의 상기 대상보행자의 좌표간의 거리를 적산하여 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 얻는 것을 포함한다. 거리는 유클리드거리여도 된다.
해당 실시형태에 있어서 미리 설정된 영역내에 있어서의 대상보행자의 이동거리만을 고려할 수 있다. 대상보행자가 미리 설정된 영역으로부터 멀어지면 그 이동거리를 고려하지 않는다. 예를 들어 처리대상의 이미지 1, 2, 3, 5에서는 대상보행자가 미리 설정된 영역내에 존재하고 있고, 처리대상의 이미지 4에서는 대상보행자가 미리 설정된 영역내에 존재하고 있지 않다. 이 경우, 처리대상의 이미지 1 및 2에 있어서의 대상보행자의 좌표간의 거리, 처리대상의 이미지 2 및 3에 있어서의 대상보행자의 좌표간의 거리, 처리대상의 이미지 3 및 5에 있어서의 대상보행자의 좌표간의 거리를 누계이동거리에 포함시키고, 처리대상의 이미지 3 및 4에 있어서의 대상보행자의 좌표간의 거리, 처리대상의 이미지 4 및 5에 있어서의 대상보행자의 좌표간의 거리를 누계이동거리에 포함시키지 않도록 할 수 있다.
해당 실시형태를 이용하여 결정된 누계이동거리는 대상보행자가 미리 설정된 영역내에서의 배회상황을 더 반영할 수 있기 때문에 보행자 배회행위를 검출하는 정확도의 향상에 도움이 된다.
하나의 가능한 실시형태에서는 대상보행자의 바운딩박스의 기하학적 중심의 좌표를 대상보행자의 좌표로서 결정할 수 있고, 대상보행자의 바운딩박스의 기하학적 중심이 미리 설정된 영역내에 있는지의 여부를 판단함으로써 대상보행자가 미리 설정된 영역내에 존재하는의 여부를 판단할 수 있다. 즉, 대상보행자의 바운딩박스의 기하학적 중심이 미리 설정된 영역내에 있으면 대상보행자가 미리 설정된 영역내에 존재한다고 판단할 수 있다. 대상보행자의 바운딩박스의 기하학적 중심이 미리 설정된 영역내에 존재하지 않으면 대상보행자가 미리 설정된 영역내에 존재하지 않는다고 판단할 수 있다.
해당 실시형태의 일례로서 미리 설정된 영역의 면적이 대상보행자의 바운딩박스의 면적보다 훨씬 큰 경우, 예를 들어 미리 설정된 영역의 면적과 대상보행자의 바운딩박스의 면적의 비가 미리 설정된 비 이상인 경우, 대상보행자의 바운딩박스의 기하학적 중심이 미리 설정된 영역내에 있는지의 여부를 판단함으로써 대상보행자가 미리 설정된 영역내에 존재하는의 여부를 판단할 수 있다.
하나의 가능한 실시형태에서는 상기 방법은 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하는 것과, 상기 면적의 중복값이 중복값의 임계치 이상인 경우, 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재한다고 결정하는 것을 더 포함한다. 예를 들어 중복값의 임계치는 0.5여도 된다.
해당 실시형태에 있어서 대상보행자가 존재하는 영역과 미리 설정된 영역의 면적의 중복값에 기초하여 대상보행자가 미리 설정된 영역내에 존재하는의 여부를 판단할 수 있다.
해당 실시형태의 일례로서 상기 대상보행자의 좌표는 상기 대상보행자를 둘러싸는 바운딩박스의 좌표를 포함하고, 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하는 것은 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 바운딩박스의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제1면적을 결정하는 것과, 상기 제1면적과 상기 바운딩박스에 포함되는 영역의 면적의 비를 상기 면적의 중복값으로서 결정하는 것을 포함한다.
본 예에 의해 겹쳐 있는 영역의 면적과 대상보행자의 바운딩박스의 면적의 비에 기초하여 상기 면적의 중복값을 결정할 수 있다. 이와 같이 결정된 면적의 중복값은 대상보행자의 바운딩박스와 미리 설정된 영역이 겹쳐 있는 상황을 더 반영할 수 있는 보행자행위의 검출을 보다 정확하게 수행하는 것에 도움이 된다.
해당 실시형태의 다른 일례로서 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역을 그대로 상기 면적의 중복값으로 할 수 있다.
해당 실시형태의 일례로서 미리 설정된 영역의 면적과 대상보행자의 바운딩박스의 면적이 비교적 가까운, 예를 들어 미리 설정된 영역의 면적과 대상보행자의 바운딩박스의 면적의 비가 미리 설정된 비보다 작은 경우, 대상보행자의 바운딩박스에 포함되는 영역과 미리 설정된 영역이 겹쳐 있는 정도에 기초하여 대상보행자가 미리 설정된 영역내에 존재하는의 여부를 판단할 수 있다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 침입행위를 포함하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은 침입감도계수를 취득하는 것과, 상기 멀티프레임의 처리대상의 이미지 중 어느 하나에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제2면적을 결정하는 것과, 상기 제2면적과 상기 바운딩박스에 포함되는 영역의 면적의 비가 상기 침입감도계수보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 영역에 대하여 보행자 침입행위를 수행하였다고 결정하는 것을 포함한다.
해당 실시형태에 있어서 침입감도계수는 미리 설정된 영역으로의 보행자의 침입에 대한 감도를 나타낼 수 있다. 일례에 있어서 침입감도계수와 미리 설정된 영역으로의 보행자의 침입에 대한 감도가 음의 상관관계에 있고, 침입감도계수가 작을수록 미리 설정된 영역으로의 보행자의 침입에 대한 감도가 크다. 침입감도계수는 0 이상 또한 1 이하여도 된다. 침입감도계수가 0인 것은 대상보행자의 바운딩박스의 어떠한 부분이 미리 설정된 영역에 들어오면 대상보행자가 미리 설정된 영역에 침입하였다고 간주하는 것, 즉 대상보행자가 미리 설정된 영역에 대하여 보행자 침입행위를 수행하였다고 결정하는 것을 나타낸다. 침입감도계수가 1인 것은 대상보행자의 바운딩박스가 완전히 미리 설정된 영역의 내부에 있는 경우에만 대상보행자가 미리 설정된 영역에 침입하였다고 판단하는 것을 나타낸다. 예를 들어 일반적으로 침입감도계수를 0.5로 설정할 수 있다. 예를 들어 수리현장이나 위험한 수역 등의 위험한 영역에서는 침입감도계수를 0으로 설정할 수 있다. 바리케이드 등 감도가 비교적 낮은 영역에서는 침입감도계수를 1로 설정할 수 있다.
해당 실시형태에 기초하여 보행자의 침입이 바람직하지 않은 응용장면에서 보행자가 침입한 것을 시기적절하게 발견할 수 있으므로 관리인이 대상보행자에게 미리 설정된 영역을 멀어지도록 시기적절하게 통지할 수 있다.
하나의 가능한 실시형태에서는 대상보행자의 바운딩박스의 일부(예를 들어 대상보행자의 바운딩박스의 하반부)를 대상보행자가 존재하는 영역으로서 결정하고, 처리대상의 이미지에 있어서의 대상보행자가 존재하는 영역과 미리 설정된 영역이 겹쳐 있는 영역의 제3면적을 결정하고, 제3면적과 대상보행자가 존재하는 영역의 면적의 비가 침입감도계수보다 큰 경우, 대상보행자가 미리 설정된 영역에 대하여 보행자 침입행위를 수행하였다고 결정할 수 있다.
하나의 가능한 실시형태에서는 상기 방법은 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 알람정보를 송신하는 것을 더 포함한다.
해당 실시형태에 있어서 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우에 알람정보를 송신함으로써 관리인이 보행자행위를 시기적절하게 발견할 수 있으므로 시기적절하게 대응할 수 있다.
하나의 가능한 실시형태에서는 빈번히 알람을 내는 확률을 낮게 하기 위해서 냉각시간을 설정하여도 된다. 알람정보가 송신된 시각으로부터 계시하고, 냉각시간내이면 알람조건이 만족되어 있어도 알람이 동작하지 않는다. 냉각시간은 구체적인 장면의 알람감도에 대한 요구에 따라 적응적으로 배치할 수 있다.
하나의 가능한 실시형태에서는 상기 방법은 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 상기 대상보행자의 속성정보를 추출하는 것과 상기 대상보행자의 속성정보를 출력하는 것을 더 포함한다.
해당 실시형태에 있어서 대상보행자의 속성정보는 대상보행자의 외관특징이나 속성을 나타내기 위한 정보여도 된다. 예를 들어 대상보행자의 속성정보는 대상보행자의 성별, 연령범위, 의복타입, 의복의 색, 머리모양, 머리카락의 색, 신발의 스타일, 신발의 색, 가방을 갖고 있는지의 여부, 가방의 종류, 가방의 색, 모자를 착용하고 있는지의 여부, 안경을 끼고 있는지의 여부, 우산을 갖고 있는지의 여부, 및 우산의 색 등 중 1개 이상을 포함할 수 있다.
해당 실시형태의 일례로서 딥 러닝 기술을 이용하여 대상보행자에 대하여 속성 인식을 수행하여 대상보행자의 속성정보를 취득할 수 있다.
해당 실시형태의 일례로서 상기 대상보행자의 속성정보를 출력하는 것은 미리 설정된 단말기에 상기 대상보행자의 속성정보를 송신하는 것을 포함하여도 된다. 본 예에 있어서 미리 설정된 단말기에 상기 대상보행자의 속성정보를 송신함과 동시에 대상보행자가 미리 설정된 공간에 대한 보행자행위의 종별을 미리 설정된 단말기에 송신할 수 있다. 예를 들어 미리 설정된 공간이 지하철역의 출구영역이고, 미리 설정된 단말기가 지하철역 관계자의 휴대전화인 경우, 대상보행자 A가 지하철역의 출구영역에서 보행자 체류행위를 수행한 것이 검출되면 지하철역 관계자가 지하철역의 출구영역에서 대상보행자 A를 신속히 찾아내도록 대상보행자 A에게 예를 들어 “흰 셔츠, 검은 바지, 흰 신발, 헌팅모자, 안경을 낀 남성 보행자가 지하철역의 C출구에 체류하고 있다”와 같은 대상보행자 A의 속성정보 및 대상보행자 A가 지하철역의 출구영역에서 발생한 보행자행위의 종별을 지하철역 관계자의 휴대전화에 송신하여 대상보행자 A가 지하철역의 출구영역에서 체류해서는 안 되는 것을 알린다.
해당 실시형태에 있어서 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우에 상기 대상보행자의 속성정보를 출력함으로써 관리인이 상기 대상보행자를 찾아내는 것에 도움이 된다.
도 4는 본 개시된 실시예에서 제공하는 보행자 검출방법의 응용장면의 모식도를 나타낸다. 도 4에 나타내는 바와 같이 카메라에 의해 비디오를 수집하고, 서버에 의해 비디오를 처리함으로써 보행자행위를 수행하였는지의 여부를 판단할 수 있다. 서버에 의해 보행자행위를 수행하였다고 판단되면 미리 설정된 단말기에 알람정보를 송신하고, 미리 설정된 단말기가 알람표시화면을 통하여 알람정보를 출력할 수 있으므로 관리인이 알람정보를 시기적절하게 수신할 수 있다.
상이한 장면 및 응용에 대하여 상이한 보행자행위의 검출모델을 배치할 수 있다. 예를 들어 보행자가 선을 넘는 행위, 보행자 체류행위, 보행자 배회행위 및 보행자 침입행위 중 1종 이상의 보행자행위의 검출모델을 배치할 수 있다.
본 개시된 실시예는 검출율이 비교적 높고, 오류검출율이 비교적 낮고, 높은 리얼타임성과 신뢰성을 갖는 보행자행위의 검출방법을 제공하고, 대규모이고 복잡한 장면에 적용할 수 있고 또한 상이한 장면에 있어서의 보행자행위의 검출에 적용할 수 있다.
본 개시에서 언급된 상기 각 방법의 실시예는 원리와 논리를 위반하지 않는 한 서로 조합하여 실시예를 형성할 수 있음을 이해해야 한다. 지면에 한계가 있으므로 본 개시에서는 상세한 설명을 생략한다.
실시형태의 상기 방법에 있어서 각 단계의 기재순번은 엄밀한 실행순번을 의미하지 않고, 실시순번에 대한 한정이 아니라 각 단계의 구체적인 실행순번은 그 기능과 있을 수 있는 내부로직에 의해 결정해야 하는 것은 당업자에게 이해된다.
또한 본 개시는 보행자행위의 검출장치, 전자기기, 컴퓨터 가독 기억매체, 프로그램을 제공하고, 이들은 모두 본 개시에 관계되는 어느 하나의 보행자행위의 검출방법의 실시에 이용할 수 있다. 대응하는 기술방안 및 설명은 방법 부분의 대응하는 기재를 참조하면 되며 상세한 설명을 생략한다.
도 5는 본 개시된 실시예에서 제공하는 보행자행위의 검출장치의 블록도를 나타낸다. 도 5에 나타내는 바와 같이 상기 보행자행위의 검출장치는 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하기 위한 제1취득모듈(51)과, 미리 설정된 공간의 좌표를 취득하기 위한 제2취득모듈(52)과, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하기 위한 제1결정모듈(53)을 포함한다.
하나의 가능한 실시형태에서는 상기 제1취득모듈(51)은 딥 뉴럴 네트워크에 의해 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 선을 포함하고, 상기 보행자행위는 보행자가 선을 넘는 행위를 포함하고, 상기 제1결정모듈(53)은 상기 미리 설정된 선의 좌표에 기초하여 상기 미리 설정된 선에 수직인 제1좌표축을 결정하는 것과, 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 상기 제1좌표축에 있어서의 투영좌표를 결정하는 것과, 상기 투영좌표 중 어느 2개가 각각 상기 제1좌표축과 상기 미리 설정된 선의 교점을 나타내는 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈(53)은 미리 설정된 방향의 벡터와 상기 제1좌표축의 방향벡터의 각도를 결정하는 것과, 상기 각도가 90도 미만이고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 작은 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것, 및/또는 상기 각도가 90도보다 크고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 체류행위를 포함하고, 상기 제1결정모듈(53)은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과, 상기 체재시간이 시간임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 체류행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 배회행위를 포함하고, 상기 제1결정모듈(53)은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과, 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것과, 상기 체재시간이 시간임계치 이상 또한 상기 누계이동거리가 거리임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 배회행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈(53)은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표, 상기 미리 설정된 영역의 좌표 및 상기 멀티프레임의 처리대상의 이미지의 타임스탬프에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에 1회째에 나타난 처리대상의 이미지의 제1타임스탬프 및 상기 대상보행자가 마지막으로 상기 미리 설정된 영역내에 나타난 처리대상의 이미지의 제2타임스탬프를 결정하는 것과, 상기 제2타임스탬프와 상기 제1타임스탬프 사이의 시간간격을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로서 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈(53)은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 이미지의 수를 결정하는 것과, 상기 이미지의 수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 누계계속시간으로서 결정하고, 상기 누계계속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈(53)은 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 최대연속이미지수를 결정하는 것과, 상기 최대연속이미지수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 최대지속시간으로서 결정하고, 상기 최대지속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 제1결정모듈(53)은 상기 체재시간내에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 처리대상의 이미지를 각각 체재이미지로서 결정하는 것과, 인접하는 2개의 프레임의 체재이미지에 있어서의 상기 대상보행자의 좌표간의 거리를 적산하여 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 얻는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 장치는 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하기 위한 제2결정모듈과, 상기 면적의 중복값이 중복값의 임계치 이상인 경우에 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재한다고 결정하기 위한 제3결정모듈을 더 포함한다.
하나의 가능한 실시형태에서는 상기 대상보행자의 좌표는 상기 대상보행자를 둘러싸는 바운딩박스의 좌표를 포함하고, 상기 제2결정모듈은 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 바운딩박스의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제1면적을 결정하는 것과, 상기 제1면적과 상기 바운딩박스에 포함되는 영역의 면적의 비를 상기 면적의 중복값으로서 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 침입행위를 포함하고, 상기 제1결정모듈(53)은 침입감도계수를 취득하는 것과, 상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제2면적을 결정하는 것과, 상기 제2면적과 상기 바운딩박스에 포함되는 영역의 면적의 비가 상기 침입감도계수보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 영역에 대하여 상기 보행자 침입행위를 수행하였다고 결정하는 것에 이용된다.
하나의 가능한 실시형태에서는 상기 장치는 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 알람정보를 송신하기 위한 알람모듈을 더 포함한다.
하나의 가능한 실시형태에서는 상기 장치는 상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 상기 대상보행자의 속성정보를 추출하기 위한 추출모듈과 상기 대상보행자의 속성정보를 출력하기 위한 출력모듈을 더 포함한다.
본 개시된 실시예에 있어서 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하고, 미리 설정된 공간의 좌표를 취득하고, 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정함으로써 보행자행위를 검출하는 정확률을 향상시킬 수 있다.
몇 가지 실시예에서는 본 개시된 실시예에 따른 장치가 구비하는 기능 또는 모듈은 전술한 방법의 실시예에 설명되는 방법을 실행하기 위해서 이용할 수 있고, 그 구체적인 실현에 대해서는 전술한 방법의 실시예의 설명을 참조하면 되고, 간소화를 위해서 여기서 상세한 설명을 생략한다.
본 개시된 실시예에서는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 가독 기억매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면 상기 방법을 실현시키는 컴퓨터 가독 기억매체가 더 제공된다. 상기 컴퓨터 가독 기억매체는 비휘발성의 컴퓨터 가독 기억매체여도 되고 또는 휘발성의 컴퓨터 가독 기억매체여도 된다.
본 개시된 실시예에서는 컴퓨터 가독 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 가독 코드가 전자기기에 있어서 동작하면 상기 전자기기의 프로세서에 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램이 더 제공된다.
본 개시된 실시예에서는 가독 명령을 기억하는 다른 컴퓨터 프로그램 제품으로서, 상기 가독 명령이 실행되면 컴퓨터를 상기 어느 하나의 실시예에서 제공되는 방법의 조작을 실행시키는 다른 컴퓨터 프로그램 제품을 더 제공한다.
본 개시된 실시예는 1개 이상의 프로세서와, 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 1개 이상의 프로세서는 상기 방법을 실행하기 위해서 상기 메모리에 기억되는 실행 가능한 명령을 호출하도록 구성되는 전자기기를 더 제공한다.
전자기기는 단말기, 서버 또는 다른 형태의 장치로서 제공되어도 된다.
도 6은 본 개시된 실시예에 따른 전자기기(800)의 블록도를 나타낸다. 예를 들어 장치(800)는 휴대전화, 컴퓨터, 디지털 방송 단말기, 메시지 송수신기기, 게임콘솔, 태블릿형 기기, 의료기기, 피트니스기기, 퍼스널·디지털·어시스턴트 등의 단말기여도 된다.
도 6을 참조하면 전자기기(800)는 처리컴포넌트(802), 메모리(804), 전원컴포넌트(806), 멀티미디어컴포넌트(808), 오디오컴포넌트(810), 입력/출력(I/O)의 인터페이스(812), 센서컴포넌트(814), 및 통신컴포넌트(816) 중 1개 이상을 포함하여도 된다.
처리컴포넌트(802)는 통상 전자기기(800)의 전체적인 동작, 예를 들어 표시, 전화의 호출, 데이터통신, 카메라동작 및 기록동작에 관련된 동작을 제어한다. 처리컴포넌트(802)는 상기 방법의 모두 또는 일부의 단계를 실행하기 위해서 명령을 실행하는 1개 이상의 프로세서(820)를 포함하여도 된다. 또한 처리컴포넌트(802)는 다른 컴포넌트와의 인터랙션을 위한 1개 이상의 모듈을 포함하여도 된다. 예를 들어 처리컴포넌트(802)는 멀티미디어컴포넌트(808)와의 인터랙션을 위해서 멀티미디어모듈을 포함하여도 된다.
메모리(804)는 전자기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 이들 데이터는 예로서 전자기기(800)에 있어서 조작하는 모든 응용프로그램 또는 방법의 명령, 연락처데이터, 전화번호부데이터, 메시지, 픽처, 비디오 등을 포함한다. 메모리(804)는 예를 들어 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기메모리, 플래시메모리, 자기디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 비휘발성 기억장치 또는 이들의 조합에 의해 실현할 수 있다.
전원컴포넌트(806)는 전자기기(800)의 각 컴포넌트에 전력을 공급한다. 전원컴포넌트(806)는 전원관리시스템, 1개 이상의 전원 및 전자기기(800)를 위한 전력 생성, 관리 및 배분에 관련된 다른 컴포넌트를 포함하여도 된다.
멀티미디어컴포넌트(808)는 상기 전자기기(800)와 사용자의 사이에서 출력인터페이스를 제공하는 스크린을 포함한다. 몇 가지 실시예에서는 스크린은 액정디스플레이(LCD) 및 터치패널(TP)를 포함하여도 된다. 스크린이 터치패널을 포함하는 경우, 사용자로부터의 입력신호를 수신하는 터치스크린으로서 실현하여도 된다. 터치패널은 터치, 슬라이드 및 터치패널에서의 제스처를 검출하기 위해서 1개 이상의 터치센서를 포함한다. 상기 터치센서는 터치 또는 슬라이드 움직임의 경계를 검출할 뿐만 아니라 상기 터치 또는 슬라이드 조작에 관한 지속시간 및 압력을 검출하도록 하여도 된다. 몇 가지 실시예에서는 멀티미디어컴포넌트(808)는 전면카메라 및/또는 배면카메라를 포함한다. 전자기기(800)가 동작모드 예를 들어 촬영모드 또는 촬상모드가 되는 경우, 전면카메라 및/또는 배면카메라는 외부의 멀티미디어 데이터를 수신하도록 하여도 된다. 각 전면카메라 및 배면카메라는 고정된 광학렌즈계 또는 촛점거리 및 광학 줌 능력을 갖는 것이어도 된다.
오디오컴포넌트(810)는 오디오신호를 출력 및/또는 입력하도록 구성된다. 예를 들어 오디오컴포넌트(810)는 1개의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자기기(800)가 동작모드 예를 들어 호출모드, 기록모드 및 음성인식모드가 되는 경우, 외부의 오디오신호를 수신하도록 구성된다. 수신된 오디오신호는 다시 메모리(804)에 기억되거나 또는 통신컴포넌트(816)를 통하여 송신되어도 된다. 몇 가지 실시예에서는 오디오컴포넌트(810)는 또한 오디오신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 처리컴포넌트(802)와 주변인터페이스모듈의 사이에서 인터페이스를 제공하고, 상기 주변인터페이스모듈은 키보드, 클릭휠, 버튼 등이어도 된다. 이들 버튼은 홈버튼, 음량버튼, 스타트버튼 및 로크버튼을 포함하여도 되지만, 이들에 한정되지 않는다.
센서컴포넌트(814)는 전자기기(800)의 각 면의 상태평가를 위해서 1개 이상의 센서를 포함한다. 예를 들어 센서컴포넌트(814)는 전자기기(800)의 온/오프 상태 예를 들어 전자기기(800)의 표시장치 및 키패드와 같은 컴포넌트의 상대적 위치결정을 검출할 수 있고, 센서컴포넌트(814)는 또한 전자기기(800) 또는 전자기기(800)의 어느 컴포넌트의 위치의 변화, 사용자와 전자기기(800)의 접촉의 유무, 전자기기(800)의 방위 또는 가감속 및 전자기기(800)의 온도변화를 검출할 수 있다. 센서컴포넌트(814)는 어떤 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하도록 구성되는 근접센서를 포함하여도 된다. 센서컴포넌트(814)는 또한 CMOS 또는 CCD 이미지 센서와 같은 이미징 어플리케이션에 있어서 사용하기 위한 광센서를 포함하여도 된다. 몇 가지 실시예에서는 해당 센서컴포넌트(814)는 또한 가속도센서, 자이로센서, 자기센서, 압력센서 또는 온도센서를 포함하여도 된다.
통신컴포넌트(816)는 전자기기(800)와 다른 기기 사이의 유선 또는 무선통신을 실현하도록 구성된다. 전자기기(800)는 통신규격에 기초한 무선네트워크 예를 들어 WiFi, 2G, 3G, 4G/LTE, 5G 또는 이들의 조합에 액세스할 수 있다. 일예시적 실시예에서는 통신컴포넌트(816)는 방송채널을 통하여 외부의 방송관리시스템으로부터의 방송신호 또는 방송관련정보를 수신한다. 일예시적 실시예에서는 상기 통신컴포넌트(816)는 또한 근거리통신을 촉진시키기 위해서 근거리무선통신(NFC) 모듈을 포함한다. 예를 들어 NFC 모듈은 무선주파수식별(RFID)기술, 적외선데이터협회(IrDA)기술, 초광대역(UWB)기술, 블루투스(BT)기술 및 다른 기술에 의해 실현할 수 있다.
예시적인 실시예에서는 전자기기(800)는 1개 이상의 특정용도용 집적회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자요소에 의해 실현되고, 상기 방법을 실행하기 위해서 이용될 수 있다.
예시적인 실시예에서는 또한 비휘발성 컴퓨터 가독 기억매체 예를 들어 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자기기(800)의 프로세서(820)에 의해 실행되면 상기 방법을 실행시킬 수 있다.
도 7은 본 개시된 실시예에 따른 전자기기(1900)의 블록도이다. 예를 들어 전자기기(1900)는 서버로서 제공되어도 된다. 도 7을 참조하면 전자기기(1900)는 1개 이상의 프로세서를 포함하는 처리컴포넌트(1922) 및 처리컴포넌트(1922)에 의해 실행 가능한 명령 예를 들어 응용프로그램을 기억하기 위한 메모리(1932)를 대표로 하는 메모리 자원을 더 포함한다. 메모리(1932)에 기억되어 있는 응용프로그램은 각각이 1개의 명령군에 대응하는 1개 이상의 모듈을 포함하여도 된다. 또한 처리컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.
전자기기(1900)는 또한 전자기기(1900)의 전원관리를 실행하도록 구성되는 전원컴포넌트(1926), 전자기기(1900)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함하여도 된다. 전자기기(1900)는 메모리(1932)에 기억되어 있는 오퍼레이팅 시스템 예를 들어 Windows Server®, Mac OS X®, Unix®, Linux®, FreeBSD® 또는 유사한 것에 기초하여 동작할 수 있다.
예시적인 실시예에서는 또한 비휘발성 컴퓨터 가독 기억매체 예를 들어 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자기기(1900)의 처리컴포넌트(1922)에 의해 실행되면 상기 방법을 실행시킬 수 있다.
본 개시는 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 개시된 각 방면을 실현시키기 위한 컴퓨터 가독 프로그램 명령을 갖고 있는 컴퓨터 가독 기억매체를 포함하여도 된다.
컴퓨터 가독 기억매체는 명령실행장치에 사용되는 명령을 보존 및 기억 가능한 실체가 있는 장치여도 된다. 컴퓨터 가독 기억매체는 예를 들어 전기기억장치, 자기기억장치, 광기억장치, 전자기억장치, 반도체기억장치 또는 상기 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 가독 기억매체의 더 구체적인 예(비망라적 리스트)로서는 휴대형 컴퓨터디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거·프로그래머블 가능한 판독 전용 메모리(EPROM 또는 플래시메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리스틱, 플로피디스크 예를 들어 명령이 기억되어 있는 천공카드 또는 슬롯내 돌기구조와 같은 기계적 부호화장치 및 상기 임의의 적당한 조합을 포함한다. 여기서 사용되는 컴퓨터 가독 기억매체는 일시적인 신호 자체 예를 들어 무선전파 또는 다른 자유롭게 전파되는 전자파, 도파로 또는 다른 전송매체를 경유하여 전파되는 전자파(예를 들어 광 파이버 케이블을 통과하는 펄스광) 또는 전선을 경유하여 전송되는 전기신호로 해석되는 것은 아니다.
여기서 기술한 컴퓨터 가독 프로그램 명령은 컴퓨터 가독 기억매체로부터 각 계산/처리기기에 다운로드되어도 되고 또는 네트워크 예를 들어 인터넷, 근거리통신망, 광역네트워크 및/또는 무선네트워크를 경유하여 외부의 컴퓨터 또는 외부기억장치에 다운로드되어도 된다. 네트워크는 구리전송케이블, 광섬유전송, 무선전송, 라우터, 파이어월, 교환기, 게이트웨이 컴퓨터 및/또는 에지서버를 포함하여도 된다. 각 계산/처리기기내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 가독 프로그램 명령을 수신하고, 해당 컴퓨터 가독 프로그램 명령을 전송하여 각 계산/처리기기내의 컴퓨터 가독 기억매체에 기억시킨다.
본 개시된 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C++ 등의 객체 지향 프로그래밍 언어 및 “C”언어 또는 유사한 프로그래밍 언어 등의 일반적인 수속형 프로그래밍 언어를 포함시키는 1개 이상의 프로그래밍 언어의 임의의 조합으로 쓰여진 소스코드 또는 목표코드여도 된다. 컴퓨터 가독 프로그램 명령은 완전히 사용자의 컴퓨터에 있어서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에 있어서 실행되어도 되고, 스탠드 얼론 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에 있어서 또한 부분적으로 리모트 컴퓨터에 있어서 실행되어도 되고, 또는 완전히 리모트 컴퓨터 혹은 서버에 있어서 실행되어도 된다. 리모트 컴퓨터에 관여하는 경우, 리모트 컴퓨터는 근거리통신망(LAN) 또는 광역네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들어 인터넷 서비스 프로바이더를 이용하여 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 몇 가지 실시예에서는 컴퓨터 가독 프로그램 명령의 상태정보를 이용하여 예를 들어 프로그래머블 논리회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자회로를 퍼스널라이즈하고, 해당 전자회로에 의해 컴퓨터 가독 프로그램 명령을 실행함으로써 본 개시된 각 방면을 실현하도록 하여도 된다.
여기서 본 개시된 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 플로차트 및/또는 블록도를 참조하면서 본 개시된 각 양태를 설명하였으나, 플로차트 및/또는 블록도의 각 블록 및 플로차트 및/또는 블록도의 각 블록의 조합은 모두 컴퓨터 가독 프로그램 명령에 의해 실현할 수 있음을 이해하여야 한다.
이들 컴퓨터 가독 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그래머블 데이터 처리장치의 프로세서에 제공되고, 이들 명령이 컴퓨터 또는 다른 프로그래머블 데이터 처리장치의 프로세서에 의해 실행되면 플로차트 및/또는 블록도의 1개 이상의 블록에 있어서 지정된 기능/동작을 실현시키도록 장치를 제조하여도 된다. 이들 컴퓨터 가독 프로그램 명령은 컴퓨터 가독 기억매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리장치 및/또는 다른 기기를 결정의 방식으로 동작시키도록 하여도 된다. 이에 의해 명령이 기억되어 있는 컴퓨터 가독 기억매체는 플로차트 및/또는 블록도의 1개 이상의 블록에 있어서 지정된 기능/동작의 각 방면을 실현하는 명령을 갖는 제품을 포함한다.
컴퓨터 가독 프로그램 명령은 컴퓨터, 다른 프로그래머블 데이터 처리장치 또는 다른 기기에 로드되고, 컴퓨터, 다른 프로그래머블 데이터 처리장치 또는 다른 기기에 일련의 동작단계를 실행시킴으로써 컴퓨터에 의해 실시 가능한 프로세스를 생성하도록 하여도 된다. 이와 같이 하여 컴퓨터, 다른 프로그래머블 데이터 처리장치 또는 다른 기기에 있어서 실행되는 명령에 의해 플로차트 및/또는 블록도의 1개 이상의 블록에 있어서 지정된 기능/동작을 실현한다.
도면 중 플로차트 및 블록도는 본 개시된 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 플로차트 또는 블록도에 있어서의 각 블록은 1개의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리기능을 실현하기 위한 1개 이상의 실행 가능 명령을 포함한다. 몇 가지 대체로서의 실현형태에서는 블록에 표기되는 기능은 도면에 붙인 순서와 상이한 순서로 실현되어도 된다. 예를 들어 연속적인 2개의 블록은 실질적으로 병렬로 실행하여도 되고, 또한 관련된 기능에 의해 반대 순서로 실행하여도 되는 경우가 있다. 또한 블록도 및/또는 플로차트에 있어서의 각 블록 및 블록도 및/또는 플로차트에 있어서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초한 전용 시스템에 의해 실현하여도 되고 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현하여도 되는 점에도 주의하여야 한다.
해당 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합에 의해 실현 가능하다. 하나의 선택 가능한 실시예에서는 상기 컴퓨터 프로그램 제품은 컴퓨터 기억매체로서 구체화되고, 다른 선택 가능한 실시예에서는 컴퓨터 프로그램 제품은 예를 들어 소프트웨어 개발 키트(Software Development Kit, SDK) 등의 소프트웨어 제품으로서 구체화된다.
이상, 본 개시된 각 실시예를 기술하였으나 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며 또한 나타난 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서 설명된 각 실시예의 범위 및 정신으로부터 일탈하지 않고 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제의 적용 또는 종래기술에 대한 기술의 개선을 적합하게 해석하거나 또는 다른 당업자에게 본 명세서에 나타난 각 실시예를 이해시키기 위한 것이다.

Claims (33)

  1. 보행자행위의 검출방법으로서,
    멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것과,
    미리 설정된 공간의 좌표를 취득하는 것과,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것을 포함하는, 보행자행위의 검출방법.
  2. 제 1 항에 있어서,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것은,
    딥 뉴럴 네트워크에 의해 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것을 포함하는, 보행자행위의 검출방법.
  3. 제 2 항에 있어서,
    상기 미리 설정된 공간은 미리 설정된 선을 포함하고, 상기 보행자행위는 보행자가 선을 넘는 행위를 포함하고,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은
    상기 미리 설정된 선의 좌표에 기초하여 상기 미리 설정된 선에 수직인 제1좌표축을 결정하는 것과,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 상기 제1좌표축에 있어서의 투영좌표를 결정하는 것과,
    상기 투영좌표 중 어느 2개가 각각 상기 제1좌표축과 상기 미리 설정된 선의 교점을 나타내는 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것을 포함하는, 보행자행위의 검출방법.
  4. 제 3 항에 있어서,
    상기 투영좌표 중 어느 2개가 각각 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것은,
    미리 설정된 방향의 벡터와 상기 제1좌표축의 방향벡터의 각도를 결정하는 것과,
    상기 각도가 90도 미만이고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 작은 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것, 및/또는 상기 각도가 90도보다 크고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것을 포함하는, 보행자행위의 검출방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 체류행위를 포함하고,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과,
    상기 체재시간이 시간임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 체류행위를 수행하였다고 결정하는 것을 포함하는, 보행자행위의 검출방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 배회행위를 포함하고,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과,
    상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것과,
    상기 체재시간이 시간임계치 이상 또한 상기 누계이동거리가 거리임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 배회행위를 수행하였다고 결정하는 것을 포함하는, 보행자행위의 검출방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표, 상기 미리 설정된 영역의 좌표 및 상기 멀티프레임의 처리대상의 이미지의 타임스탬프에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에 1회째에 나타난 처리대상의 이미지의 제1타임스탬프 및 상기 대상보행자가 마지막으로 상기 미리 설정된 영역내에 나타난 처리대상의 이미지의 제2타임스탬프를 결정하는 것과,
    상기 제2타임스탬프와 상기 제1타임스탬프 사이의 시간간격을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로서 결정하는 것을 포함하는, 보행자행위의 검출방법.
  8. 제 5 항 또는 제 6 항에 있어서,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 이미지의 수를 결정하는 것과,
    상기 이미지의 수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 누계계속시간으로서 결정하고, 상기 누계계속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것을 포함하는, 보행자행위의 검출방법.
  9. 제 5 항 또는 제 6 항에 있어서,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 최대연속이미지수를 결정하는 것과,
    상기 최대연속이미지수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 최대지속시간으로서 결정하고, 상기 최대지속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것을 포함하는, 보행자행위의 검출방법.
  10. 제 6 항에 있어서,
    상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것은,
    상기 체재시간내에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 처리대상의 이미지를 각각 체재이미지로서 결정하는 것과,
    인접하는 2개의 프레임의 체재이미지에 있어서의 상기 대상보행자의 좌표간의 거리를 적산하여 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 얻는 것을 포함하는, 보행자행위의 검출방법.
  11. 제 5 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 방법은,
    상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하는 것과,
    상기 면적의 중복값이 중복값의 임계치 이상인 경우, 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재한다고 결정하는 것을 추가로 포함하는, 보행자행위의 검출방법.
  12. 제 11 항에 있어서,
    상기 대상보행자의 좌표는 상기 대상보행자를 둘러싸는 바운딩박스의 좌표를 포함하고,
    상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하는 것은,
    상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 바운딩박스의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제1면적을 결정하는 것과,
    상기 제1면적과 상기 바운딩박스에 포함되는 영역의 면적의 비를 상기 면적의 중복값으로서 결정하는 것을 포함하는, 보행자행위의 검출방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 침입행위를 포함하고,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하는 것은,
    침입감도계수를 취득하는 것과,
    상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제2면적을 결정하는 것과,
    상기 제2면적과 상기 바운딩박스에 포함되는 영역의 면적의 비가 상기 침입감도계수보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 영역에 대하여 상기 보행자 침입행위를 수행하였다고 결정하는 것을 포함하는, 보행자행위의 검출방법.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 방법은,
    상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 알람정보를 송신하는 것을 추가로 포함하는, 보행자행위의 검출방법.
  15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 방법은,
    상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 상기 대상보행자의 속성정보를 추출하는 것과,
    상기 대상보행자의 속성정보를 출력하는 것을 추가로 포함하는, 보행자행위의 검출방법.
  16. 보행자행위의 검출장치로서,
    멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하기 위한 제1취득모듈과,
    미리 설정된 공간의 좌표를 취득하기 위한 제2취득모듈과,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 공간의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 공간에 대한 보행자행위를 결정하기 위한 제1결정모듈을 포함하는, 보행자행위의 검출장치.,
  17. 제 16 항에 있어서,
    상기 제1취득모듈은,
    딥 뉴럴 네트워크에 의해 상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표를 취득하는 것에 이용되는, 보행자행위의 검출장치.
  18. 제 17 항에 있어서,
    상기 미리 설정된 공간은 미리 설정된 선을 포함하고, 상기 보행자행위는 보행자가 선을 넘는 행위를 포함하고,
    상기 제1결정모듈은,
    상기 미리 설정된 선의 좌표에 기초하여 상기 미리 설정된 선에 수직인 제1좌표축을 결정하는 것과,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지에 있어서의 상기 대상보행자의 상기 제1좌표축에 있어서의 투영좌표를 결정하는 것과,
    상기 투영좌표 중 어느 2개가 각각 상기 제1좌표축과 상기 미리 설정된 선의 교점을 나타내는 목표점의 양측에 있는 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것에 이용되는, 보행자행위의 검출장치.
  19. 제 18 항에 있어서,
    상기 제1결정모듈은,
    미리 설정된 방향의 벡터와 상기 제1좌표축의 방향벡터의 각도를 결정하는 것과,
    상기 각도가 90도 미만이고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 작은 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것, 및/또는 상기 각도가 90도보다 크고, 상기 투영좌표 중의 제1투영좌표 및 제2투영좌표가 각각 상기 목표점의 양측에 있고, 상기 제1투영좌표에 대응하는 처리대상의 이미지의 타임스탬프가 상기 제2투영좌표에 대응하는 처리대상의 이미지보다 빠르고, 또한 상기 제1투영좌표가 상기 제2투영좌표보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 선에 대하여 상기 미리 설정된 방향에 있어서 보행자가 선을 넘는 행위를 수행하였다고 결정하는 것에 이용되는, 보행자행위의 검출장치.
  20. 제 16 항 내지 제 19 중 어느 한 항에 있어서,
    상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 체류행위를 포함하고,
    상기 제1결정모듈은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과,
    상기 체재시간이 시간임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 체류행위를 수행하였다고 결정하는 것에 이용되는, 보행자행위의 검출장치.
  21. 제 16 항 내지 제 20 중 어느 한 항에 있어서,
    상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 배회행위를 포함하고,
    상기 제1결정모듈은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간을 결정하는 것과,
    상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 결정하는 것과,
    상기 체재시간이 시간임계치 이상 또한 상기 누계이동거리가 거리임계치 이상인 경우, 상기 대상보행자가 상기 미리 설정된 영역내에서 상기 보행자 배회행위를 수행하였다고 결정하는 것에 이용되는, 보행자행위의 검출장치.
  22. 제 20 항 또는 제 21 항에 있어서,
    상기 제1결정모듈은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표, 상기 미리 설정된 영역의 좌표 및 상기 멀티프레임의 처리대상의 이미지의 타임스탬프에 기초하여 상기 대상보행자가 상기 미리 설정된 영역내에 1회째에 나타난 처리대상의 이미지의 제1타임스탬프 및 상기 대상보행자가 마지막으로 상기 미리 설정된 영역내에 나타난 처리대상의 이미지의 제2타임스탬프를 결정하는 것과,
    상기 제2타임스탬프와 상기 제1타임스탬프 사이의 시간간격을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로서 결정하는 것에 이용되는, 보행자행위의 검출장치.
  23. 제 20 항 또는 제 21 항에 있어서,
    상기 제1결정모듈은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 이미지의 수를 결정하는 것과,
    상기 이미지의 수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 누계계속시간으로서 결정하고, 상기 누계계속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것에 이용되는, 보행자행위의 검출장치.
  24. 제 20 항 또는 제 21 항에 있어서,
    상기 제1결정모듈은,
    상기 멀티프레임의 처리대상의 이미지에 있어서의 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 멀티프레임의 처리대상의 이미지 중 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 최대연속이미지수를 결정하는 것과,
    상기 최대연속이미지수와 각 프레임의 처리대상의 이미지의 계속시간의 곱을 상기 대상보행자가 상기 미리 설정된 영역내에서의 최대지속시간으로서 결정하고, 상기 최대지속시간을 상기 대상보행자가 상기 미리 설정된 영역내에서의 체재시간으로 하는 것에 이용되는, 보행자행위의 검출장치.
  25. 제 21 항에 있어서,
    상기 제1결정모듈은,
    상기 체재시간내에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재하는 처리대상의 이미지를 각각 체재이미지로서 결정하는 것과,
    인접하는 2개의 프레임의 체재이미지에 있어서의 상기 대상보행자의 좌표간의 거리를 적산하여 상기 체재시간내에 있어서의 상기 대상보행자의 누계이동거리를 얻는 것에 이용되는, 보행자행위의 검출장치.
  26. 제 20 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 장치는,
    상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 존재하는 영역과 상기 미리 설정된 영역의 면적의 중복값을 결정하기 위한 제2결정모듈과,
    상기 면적의 중복값이 중복값의 임계치 이상인 경우, 상기 처리대상의 이미지에 있어서의 상기 대상보행자가 상기 미리 설정된 영역내에 존재한다고 결정하기 위한 제3결정모듈을 추가로 포함하는, 보행자행위의 검출장치.
  27. 제 26 항에 있어서,
    상기 대상보행자의 좌표는 상기 대상보행자를 둘러싸는 바운딩박스의 좌표를 포함하고,
    상기 제2결정모듈은,
    상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 바운딩박스의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제1면적을 결정하는 것과,
    상기 제1면적과 상기 바운딩박스에 포함되는 영역의 면적의 비를 상기 면적의 중복값으로서 결정하는 것에 이용되는, 보행자행위의 검출장치.
  28. 제 16 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 미리 설정된 공간은 미리 설정된 영역을 포함하고, 상기 보행자행위는 보행자 침입행위를 포함하고,
    상기 제1결정모듈은,
    침입감도계수를 취득하는 것과,
    상기 멀티프레임의 처리대상의 이미지의 어느 것에 있어서의 상기 대상보행자의 좌표 및 상기 미리 설정된 영역의 좌표에 기초하여 상기 처리대상의 이미지에 있어서의 상기 바운딩박스에 포함되는 영역과 상기 미리 설정된 영역이 겹쳐 있는 영역의 제2면적을 결정하는 것과,
    상기 제2면적과 상기 바운딩박스에 포함되는 영역의 면적의 비가 상기 침입감도계수보다 큰 경우, 상기 대상보행자가 상기 미리 설정된 영역에 대하여 상기 보행자 침입행위를 수행하였다고 결정하는 것에 이용되는, 보행자행위의 검출장치.
  29. 제 16 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 장치는,
    상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 알람정보를 송신하기 위한 알람모듈을 추가로 포함하는, 보행자행위의 검출장치.
  30. 제 16 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 장치는,
    상기 대상보행자가 상기 미리 설정된 공간에 대하여 상기 보행자행위를 수행한 것이 검출되는 경우, 상기 대상보행자의 속성정보를 추출하기 위한 추출모듈과,
    상기 대상보행자의 속성정보를 출력하기 위한 출력모듈을 추가로 포함하는, 보행자행위의 검출장치.
  31. 한 개 이상의 프로세서와,
    실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
    상기 한 개 이상의 프로세서는 제 1 항 내지 제 15 항 중 어느 한 항의 방법을 실행하기 위해서 상기 메모리에 기억된 명령을 호출하도록 구성되는, 전자기기.
  32. 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 가독 기억매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면 제 1 항 내지 제 15 항 중 어느 한 항의 방법을 실현시키는, 컴퓨터 가독 기억매체.
  33. 컴퓨터 가독 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 가독 코드가 전자기기에 있어서 동작하면 상기 전자기기의 프로세서에 제 1 항 내지 제 15 항 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.
KR1020217026051A 2019-11-28 2020-05-07 보행자행위의 검출방법 및 장치, 전자기기 및 기억매체 KR20210113374A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911192848.8A CN110969115B (zh) 2019-11-28 2019-11-28 行人事件的检测方法及装置、电子设备和存储介质
CN201911192848.8 2019-11-28
PCT/CN2020/089071 WO2021103423A1 (zh) 2019-11-28 2020-05-07 行人事件的检测方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
KR20210113374A true KR20210113374A (ko) 2021-09-15

Family

ID=70032254

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217026051A KR20210113374A (ko) 2019-11-28 2020-05-07 보행자행위의 검출방법 및 장치, 전자기기 및 기억매체

Country Status (7)

Country Link
US (1) US20210327086A1 (ko)
JP (1) JP2022515908A (ko)
KR (1) KR20210113374A (ko)
CN (1) CN110969115B (ko)
SG (1) SG11202107070UA (ko)
TW (3) TW202230213A (ko)
WO (1) WO2021103423A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质
CN112241696A (zh) * 2020-09-28 2021-01-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113179423A (zh) * 2021-04-23 2021-07-27 深圳市商汤科技有限公司 事件的检测输出方法及装置、电子设备和存储介质
CN113392754B (zh) * 2021-06-11 2022-06-28 成都掌中全景信息技术有限公司 一种基于yolov5行人检测算法减少行人误检测率的方法
CN114913470B (zh) * 2022-07-11 2022-10-28 浙江大华技术股份有限公司 一种事件检测方法及装置
CN117152890B (zh) * 2023-03-22 2024-03-08 宁德祺朗科技有限公司 指定区域监控方法、系统和终端

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047074A (ja) * 2006-08-21 2008-02-28 Sogo Keibi Hosho Co Ltd 警備装置、警備方法および警備プログラム
CN101965576B (zh) * 2008-03-03 2013-03-06 视频监控公司 用于追踪、索引及搜寻的物件匹配
CN101883261B (zh) * 2010-05-26 2012-12-12 中国科学院自动化研究所 大范围监控场景下异常目标检测及接力跟踪的方法及系统
CN102902971A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于智能视觉感知的电梯人流量统计方法及系统
CN105989367B (zh) * 2015-02-04 2019-06-28 阿里巴巴集团控股有限公司 目标获取方法及设备
CN105184812B (zh) * 2015-07-21 2018-08-24 复旦大学 一种基于目标跟踪的行人徘徊检测方法
JP6417300B2 (ja) * 2015-09-02 2018-11-07 株式会社中電工 指定範囲監視システム
CN105279898A (zh) * 2015-10-28 2016-01-27 小米科技有限责任公司 报警方法及装置
CN105678811B (zh) * 2016-02-25 2019-04-02 上海大学 一种基于运动检测的人体异常行为检测方法
TW201835851A (zh) * 2017-03-27 2018-10-01 晶睿通訊股份有限公司 用來呈現區域分佈特性的物件統計方法及其影像處理裝置
AU2017418043B2 (en) * 2017-07-13 2020-05-21 Beijing Voyager Technology Co., Ltd. Systems and methods for trajectory determination
WO2019188928A1 (ja) * 2018-03-28 2019-10-03 シャープ株式会社 監視装置および制御装置
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN109697734B (zh) * 2018-12-25 2021-03-09 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109815844A (zh) * 2018-12-29 2019-05-28 西安天和防务技术股份有限公司 目标检测方法及装置、电子设备和存储介质
CN110378312A (zh) * 2019-07-26 2019-10-25 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110491135B (zh) * 2019-08-20 2021-10-22 深圳市商汤科技有限公司 检测违章停车的方法及相关装置
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TW202230213A (zh) 2022-08-01
TW202121249A (zh) 2021-06-01
CN110969115B (zh) 2023-04-07
WO2021103423A1 (zh) 2021-06-03
SG11202107070UA (en) 2021-07-29
TW202219833A (zh) 2022-05-16
TWI757756B (zh) 2022-03-11
US20210327086A1 (en) 2021-10-21
JP2022515908A (ja) 2022-02-22
CN110969115A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
KR20210113374A (ko) 보행자행위의 검출방법 및 장치, 전자기기 및 기억매체
KR102593020B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
KR102450330B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
TWI766286B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
US20210019562A1 (en) Image processing method and apparatus and storage medium
KR20210054550A (ko) 데이터 업데이트 방법과 장치, 전자 기기 및 저장 매체
KR20210114952A (ko) 목표대상물의 검출방법, 장치, 기기 및 기억매체
WO2019135854A1 (en) Event monitoring with object detection systems
US11288531B2 (en) Image processing method and apparatus, electronic device, and storage medium
WO2021213241A1 (zh) 目标检测方法及装置、电子设备、存储介质及程序
KR20220027202A (ko) 객체 검출 방법 및 장치, 전자 기기 및 저장매체
WO2023173616A1 (zh) 一种人群统计方法及装置、电子设备和存储介质
JP2023514762A (ja) 通行検出方法及びその装置、電子デバイス並びにコンピュータ可読記憶媒体
CN112906484A (zh) 一种视频帧处理方法及装置、电子设备和存储介质
Nayak et al. Deep learning based loitering detection system using multi-camera video surveillance network
KR102446688B1 (ko) 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
KR101784600B1 (ko) 다중 카메라 환경에서의 배회 인식 방법 및 시스템
KR20220064213A (ko) 보안 감시 장치의 동작 프로그램
KR102397839B1 (ko) Ａｉ 영상 자율 센서의 영상 분석 기반 캡션 센서 장치 및 그 동작 방법
Bulan et al. Efficient processing of transportation surveillance videos in the compressed domain
KR20220064203A (ko) 로컬 감시 네트워크 보안 감시 장치의 동작 방법
KR20220064215A (ko) 캡션 데이터 기반 보안 감시 서비스 제공 방법
KR20220064472A (ko) 캡션 데이터 기반 보안 감시 서비스 제공 프로그램 기록매체
KR20220064241A (ko) Ａｉ영상 자율 센서의 영상 분석 기반 보안 감시 서비스를 제공하는 캡션 센서 장치
KR20220064482A (ko) 보안 감시 챗봇 서비스 제공 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application