KR101755023B1 - 3차원 동작 인식 장치 및 방법 - Google Patents

3차원 동작 인식 장치 및 방법 Download PDF

Info

Publication number
KR101755023B1
KR101755023B1 KR1020150191081A KR20150191081A KR101755023B1 KR 101755023 B1 KR101755023 B1 KR 101755023B1 KR 1020150191081 A KR1020150191081 A KR 1020150191081A KR 20150191081 A KR20150191081 A KR 20150191081A KR 101755023 B1 KR101755023 B1 KR 101755023B1
Authority
KR
South Korea
Prior art keywords
image
reference distance
distance value
plane
value
Prior art date
Application number
KR1020150191081A
Other languages
English (en)
Inventor
주진선
김휘준
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020150191081A priority Critical patent/KR101755023B1/ko
Application granted granted Critical
Publication of KR101755023B1 publication Critical patent/KR101755023B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G06K9/00214—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

3차원 동작 인식 장치 및 방법이 개시된다. 3차원 동작 인식 장치는, 3차원 카메라를 통해 입력되는 영상을 이용하여 움직이는 영역인 객체를 추출하며 추적할 수 있다. 3차원 동작 인식 장치는 추적된 객체에 대해서, 영상의 깊이 정보를 이용하여 3차원 볼륨 모션 히스토리 이미지를 생성하며, 관절의 움직임을 계산할 수 있다. 그리고, 3차원 동작 인식 장치는 3차원 볼륨 모션 히스토리 이미지와 관절의 움직임을 이용하여, 객체의 동작을 판단할 수 있다.

Description

3차원 동작 인식 장치 및 방법{3D MOTION RECOGNITION APPARATUS AND METHOD}
본 발명은 3차원 동작 인식 장치 및 방법에 관한 것이다.
3차원 동작 인식 방법으로서 실루엣(Silhouette) 기반 행동인식 기술이 있다. 실루엣 기반 행동인식 기술은 정면에 있는 사람의 실루엣을 시간에 따라 다른 가중치를 적용하여 누적한 MHI(Motion History Image)를 생성하고, 이를 학습하여 동작을 인식한다. 이러한 실루엣 기반 행동인식 기술은 고정된 한대의 카메라만을 이용하기 때문에 카메라가 촬영한 영상에서의 인간 움직임 방향이 행동인식기가 학습한 방향과 일치하지 않는 경우, 행동인식을 수행할 수 없는 문제점이 있다.
이러한 실루엣 기반 행동 기술의 문제점을 해결 하기 위해 4대의 카메라로부터 입력되는 영상을 정합하여 3차원 모델을 생성하는 방법이 있다. 이는 시점으로부터 자유로운 행동인식이 가능하다는 장점이 있다. 그러나 4대의 카메라 데이터를 정합하는 과정은 복잡한 계산을 필요로 하므로 실시간 동작이 불가능한 문제점이 있다. 또한 이 기술은 4대의 카메라가 모두 대상체를 포착해야만 행동인식이 가능하므로 한 대의 카메라라도 대상체를 포착하지 못하는 경우에는 행동인식을 수행할 수 없는 문제점이 있다. 또한 행동인식을 하고자 하는 모든 공간마다 4대의 카메라를 설치해야 하므로, 행동인식 시스템을 구축하는데 많은 비용이 소요된다.
본 발명이 해결하고자 하는 과제는 시점에 자유로운 동작 인식을 수행할 수 있는 3D 동작 인식 장치 및 방법을 제공하는 것이다.
본 발명의 실시예에 따르면, 3차원 카메라를 통해 입력되는 영상을 이용하여 객체의 동작을 인식하는 방법이 제공된다. 상기 방법은, 상기 영상을 공간 좌표인 실세계 좌표로 변환하는 단계, 상기 실세계 좌표를 이용하여, 바닥 평면과 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 단계, 상기 평면 기준 거리 값을 이용하여, 움직이는 영역인 객체를 추출하는 단계, 상기 객체에 대해서, 상기 영상의 깊이 정보를 이용하여 3차원 볼륨 모션 히스토리 이미지를 생성하는 단계, 그리고 상기 3차원 볼륨 모션 히스토리 이미지를 이용하여, 상기 객체의 동작을 판단하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 객체에 대해서, 상기 영상의 깊이 정보를 이용하여 복수의 실루엣을 추출하는 단계, 그리고 소정의 시간 동안 상기 추출된 복수의 실루엣을 누적하여, 상기 3차원 볼륨 모션 히스토리 이미지를 생성하는 단계를 포함할 수 있다.
상기 복수의 실루엣은 정면 실루엣, 촤측면 실루엣, 우측면 실루엣, 그리고 상측면 실루엣을 포함할 수 있다.
상기 판단하는 단계는, 상기 3차원 볼륨 모션 히스토리 이미지와 미리 등록되어 있는 객체의 동작에 대한 표준 탬플릿을 비교하여, 상기 객체의 동작을 판단하는 단계를 포함할 수 있다.
상기 방법은, 소정의 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 단계를 더 포함할 수 있다.
상기 객체를 추출하는 단계는, 상기 소정의 시간 후에 입력되는 영상에 대해서 상기 계산하는 단계에서 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 상기 객체를 추출하는 단계, 그리고 상기 객체의 실세계 좌표를 이용하여, 상기 객체에 대한 레이블링을 수행하는 단계를 포함하는 포함할 수 있다.
상기 방법은, 상기 객체의 실세계 좌표를 이용하여, 상기 객체의 3차원 특징을 추출하는 단계, 그리고 상기 3차원 특징을 이용하여 상기 객체를 추적하는 단계를 더 포함할 수 있다.
상기 3차원 특징은 상기 객체의 높이, 너비, 두께, 그리고 이동 속도일 수 있다.
상기 바닥 평면을 계산하는 단계는, 상기 실세계 좌표에서 Y축 값이 최소 값인 한 점을 이용하여 상기 바닥 평면에 위치하는 세 점을 설정하는 단계, 그리고 상기 세 점을 이용하여 평면 방정식을 계산하는 단계를 포함할 수 있다.
상기 평면 기준 거리 값을 계산하는 단계는, 상기 평면 방정식을 이용하여, 상기 평면 기준 거리 값을 계산하는 단계를 포함할 수 있다.
상기 배경 모델을 생성하는 단계는, 상기 평면 기준 거리 값을 상기 소정의 시간 동안 누적하여 평균 값을 계산하는 단계, 그리고 상기 평균 값을 상기 배경 모델로 설정하는 단계를 포함할 수 있다.
상기 객체를 추출하는 단계는, 상기 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 상기 영상에서 배경 부분과 전경 부분을 판단하는 단계, 그리고 상기 배경 부분으로 판단된 영역을 이용하여, 상기 배경 모델을 업데이트하는 단계를 더 포함할 수 있다.
상기 배경 부분과 상기 전경 부분을 판단하는 단계는, 상기 제1 평면 기준 거리 값과 상기 배경 모델의 차이 값을 구하는 단계, 상기 차이 값이 소정의 임계치를 초과하면 상기 전경 부분으로 판단하는 단계, 그리고 상기 차이 값이 상기 소정의 임계치 이하이면 상기 배경 부분으로 판단하는 단계를 포함할 수 있으며, 상기 소정의 임계치는 상기 바닥 평면과의 거리 값에 따라 다르게 설정될 수 있다.
본 발명의 다른 실시예에 따르면, 3차원 동작 인식 장치가 제공된다. 상기 3차원 동작 인식 장치, 3차원 카메라를 통해 입력되는 영상을 공간 좌표인 실세계 좌표로 변환하는 좌표 변환부, 상기 실세계 좌표를 이용하여, 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 바닥 영역 검출부, 상기 평면 기준 거리 값을 이용하여, 움직이는 영역인 객체를 추출하는 객체 추출부, 상기 객체에 대해서, 상기 영상의 깊이 정보를 이용하여 복수의 실루엣을 추출하는 실루엣 추출부, 소정의 시간 동안 상기 복수의 실루엣을 누적하여, 3차원 볼륨 모션 히스토리 이미지를 생성하는 3D 볼륨 모션 히스토리 생성부, 그리고 상기 3차원 볼륨 모션 히스토리 이미지를 이용하여, 상기 객체의 동작을 판단하는 동작 판단부를 포함할 수 있다.
상기 동작 판단부는, 상기 3차원 볼륨 모션 히스토리 이미지와 미리 등록되어 있는 객체의 동작에 대한 표준 탬플릿을 비교하여, 상기 객체의 동작을 판단할 수 있다.
상기 3차원 동작 인식 장치는, 제1 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 배경 모델 생성부를 더 포함할 수 있다.
상기 객체 추출부는, 상기 제1 시간 후에 입력되는 상기 영상 대해서 상기 바닥 영역 검출부에 의해 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 상기 객체를 추출하고, 상기 영상의 깊이 정보를 이용하여 상기 객체에 대한 레이블링을 수행할 수 있다.
상기 3차원 동작 인식 장치는, 상기 객체의 실세계 좌표를 이용하여, 상기 객체의 3차원 특징을 추출하는 객체 특징 추출부, 그리고 상기 3차원 특징을 이용하여 상기 객체를 추적하는 객체 추적부를 더 포함할 수 있다.
상기 배경 모델 생성부는, 상기 평면 기준 거리 값을 상기 제1 시간 동안 누적하여 평균 값을 계산하고 상기 평균 값을 상기 배경 모델로 설정할 수 있다.
상기 객체 추출부는, 상기 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여 상기 영상에서 배경 부분과 전경 부분을 판단하고, 상기 배경 부분을 이용하여 상기 배경 모델을 업데이트할 수 있다.
본 발명의 실시예에 따르면 3차원 볼륨 모션 히스토리를 생성하여 동작 인식에 사용함으로써, 카메라의 시점에 관계 없이 다양한 각도에서 동작 인식이 가능하다.
도 1은 본 발명의 실시예에 따른 3차원 동작 인식 장치를 나타내는 블록도이다.
도 2은 본 발명의 실시예에 따른 3차원 동작 인식 장치의 동작 방법을 나타내는 플로우차트이다.
도 3은 본 발명의 실시예에 따른 바닥 영역 검출부에 의해 검출된 바닥 검출 결과를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 배경 모델 생성부에 의해 생성된 초기 배경 모델을 나타내는 도면이다.
도 5은 본 발명의 실시예에 따른 객체 추출부에 의해 생성된 객체(관심 영역)의 검출 결과를 나타내는 도면이다.
도 6는 객체(ID0)에 대해서 상, 하, 좌, 우, 깊이(거리)의 최소, 최대 픽셀의 위치를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 실루엣 특징 추출부에 의해 생성된 실루엣을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 3D 볼륨 모션 히스토리 생성부에 의해 획득된 3D 볼륨 모션 히스토리 이미지를 나타내는 도면이다.
도 9는 객체의 동작의 예를 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 동작 판단부가 3D 볼륨 모션 히스토리 정보를 이용하여 동작의 유사도를 판단하는 방법을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한 명세서 전체에서 객체는 사람, 동물 또는 물체를 지칭할 수 있다. 다만, 아래의 설명에서 설명의 편의상 객체가 사람인 경우를 가정하여 설명하지만, 본 발명의 권리범위는 이에 한정되지 않는다.
본 발명의 실시예에 따른 3D 동작 인식 장치는 3D 카메라에서 얻어지는 깊이 정보(Depth Information)을 이용하여 객체를 추출하고 추출된 객체의 실루엣(Silhouette)정보를 3차원으로 구성한 3D 볼륨 모션 히스토리 이미지(3D Volume Motion History Image, 3D VMHI)를 통해, 시점에 자유로운 동작 인식을 수행한다. 이러한 본 발명의 실시예에 따른 3D 동작 인식 장치 및 그 동작 방법에 대하여 이하에서 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 3차원 동작 인식 장치(100)를 나타내는 블록도이며, 도 2은 본 발명의 실시예에 따른 3차원 동작 인식 장치(100)의 동작 방법을 나타내는 플로우차트이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 3차원 동작 인식 장치(100)는 3차원 카메라(101), 좌표 변환부(102), 바닥 영역 검출부(103), 배경 모델 생성부(104), 객체 추출부(105), 객체 특징 추출부(106), 객체 추적부(107), 실루엣 특징 추출부(108), 3D 볼륨 모션 히스토리 생성부(109) 및 동작 판단부(110)를 포함한다.
3차원 카메라(101)는 감시하고자 하는 감시 영역에 설치되며, 감시 영역의 영상을 촬영한다. 본 발명의 실시예에 따른 3차원 카메라(101)는 거리(깊이) 정보가 포함되어 있는 깊이 영상을 획득한다. 3차원 카메라(101)는 거리(깊이) 정보를 제공하는 TOF(Time of Flight) 카메라, LRF(Laser Range Finder) 센서, 키넥트, 프라임센스, Soft Kinetic, 또는 2개의 컬러 영상을 기반으로 3차원 정보를 생성하는 스테레오 카메라를 통해 구현될 수 있다.
좌표 변환부(102)는 3차원 카메라(101)로부터 전송되는 깊이 영상을 실 세계 좌표(즉, 3차원 좌표)로 변환한다(S201). 3차원 카메라(101)는 Z 축에 대한 거리 정보만을 제공하므로, 좌표 변환부(102)는 아래의 수학식 1을 이용하여 깊이 영상을 3차원 좌표로 변환한다.
Figure 112015129340324-pat00001
상기 수학식 1에서, Xrw는 X축의 실세계 좌표, Yrw는 Y축의 실세계 좌표를 나타내며, imagewidth는 영상의 너비, imageheight는 영상의 높이를 나타낸다. X, Y는 영상의 2D 픽셀 좌표를 나타내고 XtoZ는
Figure 112015129340324-pat00002
이며, FovH는 카메라의 수평 화각을 나타낸다. 그리고 YtoZ는
Figure 112015129340324-pat00003
이며, FovV는 카메라의 수직 화각을 나타낸다.
바닥 영역 검출부(103)는 소정의 초기 시간(t) 동안 좌표 변환부(102)로부터 전송되는 3차원 좌표를 이용하여, 전체 영상에서 바닥 평면을 검출하고, 영상의 모든 픽셀에 대해서 평면 기준 거리 값을 계산한다(S202). 여기서, 평면 기준 거리 값(d)은 모든 픽셀(3차원 좌표)이 바닥 평면으로부터 얼마나 떨어져 있는 지를 나타낸다. 바닥 영역 검출부(103)에 의해 검출된 바닥 평면의 정보는 아래에서 설명하는 배경모델 생성 및 관심 영역 검출한 뒤 3차원 특징을 추출하는데 사용된다. 본 발명의 실시예에 따른 바닥 영역 검출부(103)는 아래의 수학식 2 내지 5를 이용하여 바닥 평면 및 평면 기준 거리 값을 계산한다.
먼저, 바닥 영역 검출부(103)는 수학식 2와 같은 바닥 평면을 지나는 세점(p1, p2, p3)를 구한다.
Figure 112015129340324-pat00004
상기 수학식 2에서, p1은 3차원 좌표(실 세계 좌표)에서 Yrw가 최소 값을 가지는 한 점으로 정의된다. p2는 p1의 z1보다 80cm 이상인 곳의 상, 하, 좌, 우 주변으로 50cm를 탐색하여, p1의 y1과의 차이가 임계치 이하인 한 점으로 정의된다. 그리고, p3는 p2의 z2보다 80cm 이상인 곳의 상, 하, 좌, 우 주변으로 50cm를 탐색하여, p2의 y2와의 차이가 임계치 이하인 한 점으로 정의된다. 여기서, 80cm와 50cm는 영상의 크기에 따라 임의로 설정되는 값으로, 영상상의 크기에 따라 변경될 수 있다.
상기 수학식 2의 세점(p1, p2, p3)을 이용하여, 아래의 수학식 3과 같은 평면 방정식을 구할 수 있다.
Figure 112015129340324-pat00005
Figure 112015129340324-pat00006
상기 수학식 3의 평면 방정식은 p1, p2, p3이 지나는 바닥 평면을 나타낸다. 수학식 3에서 a, b, c는 평면 방정식의 계수를 나타내며, 이는 수학식 4에 의해 얻을 수 있다. 그리고 수학식 3에서 d는 평면 기준 거리 값(d)으로 바닥 영역의 세점(p1,p2,p3)에 대해서는 0의 값을 가질 수 있다. 이러한 평면 기준 거리 값(d)는 아래의 수학식 5와 같이 구해질 수 있다.
Figure 112015129340324-pat00007
수학식 5에서, realworldX, realworldY 및 realworldZ 는 실세계 좌표(즉, 3차원 좌표)를 의미하며, ptPointX, ptPointY 및 ptPointZ는 바닥 평면의 임의의 한점(예를 들면, p1,p2,p3가 될 수 있음)을 나타낸다. 따라서, 바닥 평면의 모든 픽셀을 수학식 5에 적용하면, 바닥 평면에 대한 평면 기준 거리 값(d)은 0이 될 수 있다. 그리고, 상기 수학식 5에 의해 얻어진 평균 기준 거리 값(d)이 소정의 임계치(예를 들면, 0) 이하이면, 바닥 영역(평면)으로 간주할 수 있다.
도 3은 본 발명의 실시예에 따른 바닥 영역 검출부(103)에 의해 검출된 바닥 검출 결과를 나타내는 도면이다. 도 3의 (a)는 바닥 검출 결과를 나타내며, 도 3의 (b)는 바닥 평면을 정의하는 세 점(p1, p2, p3)를 나타낸다. 도 3의 (a)에서 310은 실제 영상에서의 바닥 영역을 나타낸다. 도 3의 (a)에서 바닥 영역(평면)인 310은 상기 수학식 5에 의해 계산된 평균 기준 거리 값으로서 소정의 임계치 이하의 값을 가진다.
배경 모델 생성부(104)는 바닥 영역 검출부(103)에 의해 계산된 각 픽셀의 평면 기준 거리 값을 소정의 초기 시간(t) 동안 누적하여 평균 값을 계산하고, 이 평균 값을 초기 배경 모델로서 생성한다(S203). 여기서, 소정의 초기 시간(t)는 3차원 카메라(101)의 초기 구동 후의 소정의 시간으로 사용자에 의해 설정될 수 있다.
도 4는 본 발명의 실시예에 따른 배경 모델 생성부(104)에 의해 생성된 초기 배경 모델을 나타내는 도면이다. 도 4의 (a)는 컬러 영상이고, 도 4의 (b)는 3차원 카메라(101)에 의해 획득된 깊이 영상을 나타낸다.
도 4의 (c)는 본 발명의 실시예에 따른 바닥 영역 검출부(103)에 의해 계산된 평면 기준 거리 값을 나타낸 영상이다. 평면 기준 거리 값은 바닥 평면에 가까울 수록 0에 가까운 값을 가진다. 따라서, 도 4의 (b)와 같은 깊이 영상에 대해서 수학식 5를 사용하여 평면 기준 거리 값을 계산하면, 도 4의 (c)와 같이 바닥 영역에 가까울수록 어두운 그레이 레벨(낮은 값)을 가진다. 배경 모델 생성부(104)는 도 4의 (c)와 같이 생성된 평면 기준 거리 값을 소정의 초기 시간(t) 동안 누적하여 평균함으로써 도 4의 (d)와 같은 초기 배경 모델을 생성한다.
본 발명의 실시예와 같이 평면 기준 거리 값을 이용하여 배경 모델을 생성하는 경우, Z 값(깊이 값) 기반의 배경 모델보다 바닥면에 가까운 물체를 쉽게 검출할 수 있는 장점이 있다. Z 값은 카메라의 설치 높이, 기울어진 각도에 따라 왜곡이 발생하나, 본 발명의 실시예와 같이 바닥 평면을 기반(즉, 평면 기준 거리 값을 기준으로 하는 경우)으로 실 세계 좌표를 재구성하면 검출의 정확도를 더욱 높일 수 있다.
객체 추출부(105)는 S203 단계에서 생성된 초기 배경 모델을 이용하여 배경과 전경을 구분하고, 배경 영역을 실시간으로 배경 모델에 업데이트 하며, 거리별 레이블링을 수행하여 최종적으로 객체(관심 영역)을 추출한다(S204). 여기서, 여기서, 배경은 바닥 및 벽면 등 움직이지 않는 영역을 의미하며, 전경은 객체(사람/물체 등)가 움직이는 영역을 의미한다.
먼저, 객체 추출부(105)는 S203 단계에서 생성된 초기 배경 모델과 현재 영상의 평면 기준 거리 값의 차이를 구하고, 그 차이가 임계치를 초과하면 전경으로 판단하고 임계치 이하이면 배경으로 판단한다. 그리고 객체 추출부(105)는 배경으로 판단된 영역을 실시간으로 초기 배경 모델에 업데이트 한다. 여기서, 상기 임계치는 평면 기준 거리 값(d)과 3차원 카메라에 의해 얻어지는 거리 값(Z)에 따라 다른 값을 가질 수 있다. 즉, 바닥 평면과 가깝고 거리가 가까운 영역은 임계치를 낮게 설정하고, 바닥 평면과 멀고 거리가 먼 영역은 임계치를 높게 설정할 수 있다. 본 발명의 실시예는 전경으로 검출된 영역을 제외하고 배경 영역만을 배경으로 업데이트하므로, 사람/물체가 침입 뒤 움직이지 않고 한 장소에 머물러 있어도 배경으로 흡수되지 않는다. 배경 모델을 판단하지 않고 업데이터 하지 않는 경우에는 배경 모델을 생성하는 동안 사람/물체가 지나가면 배경으로 흡수되어 검출이 불가능한 영역이 발생할 수 있다. 본 발명의 실시예는 이러한 검출 불가능한 영역의 발생을 막을 수 있다.
다음으로, 객체 추출부(105)는 상기와 같이 실시간으로 업데이트된 배경 모델과 현재 평면 기준 거리 값 과의 차이를 구하여 최종적으로 객체(관심 영역)을 추출하고, 객체에 대해서 거리 기반 레이블링(labeling)을 수행한다.
객체 추출부(105)은 다음의 세가지 조건 중 적어도 하나인 경우에는 관심 영역(객체)으로 추출한다. 먼저, 객체 추출부(105)는 배경 모델과 현재 영상의 평면 기준 거리 값의 차이가 임계치 이상인 영역에 대해서 관심영역으로 설정할 수 있다. 다음으로, 객체 추출부(105)는 배경 모델이 손실된 깊이 값(거리가 멀거나 적외선 흡수 재질에 의해 깊이 값이 손실될 수 있음)을 포함함으로 인해 평균 기준 거리 값이 0이 되었지만, 현재 영상의 평면 기준 거리 값이 0이 아니 영역에 대해서 관심 영역으로 설정할 수 있다. 그리고, 객체 추출부(105)는 현재 영상에서 손실된 깊이 값을 가진 객체가 등장하여 평면 기준 거리 값이 0이지만 배경 모델의 평면 기준 거리 값이 0이 아닌 경우에도 관심 영역으로 설정할 수 있다.
한편, 객체 추출부(105)는 검출한 객체(관심 영역)에 대해서 거리 기반 레이블링을 적용하여 노이즈를 제거하고 최종적으로 객체(관심 영역)만을 남긴다. 여기서, 레이블링이란 영상의 픽셀 값을 탐색하여 인접해 있는 픽셀 값은 동일한 객체로 판단하여 동일한 레이블을 할당하는 것을 말한다. 본 발명의 실시예에서는, 객체의 픽셀 값과 각 픽셀이 가지고 있는 3차원 실세계 좌표 값(Xrw, Yrw, Zrw)를 사용하여 임계치 거리 이내에 있으면 하나의 객체로 판단하여 같은 레이블을 할당하고, 임계치 거리 이상이면 다른 물체로 판단하여 다른 레이블을 할당한다.
도 5은 본 발명의 실시예에 따른 객체 추출부(105)에 의해 생성된 객체(관심 영역)의 검출 결과를 나타내는 도면이다.
도 5의 (a)는 컬러 영상이고, 도 5의 (b)는 3차원 카메라(101)에 의해 획득된 깊이 영상을 나타낸다. 그리고 도 5의 (c)는 객체 추출부(105)에 의해 검출된 객체(관심 영역)를 나타내며, 도 5의 (d)는 객체 추출부(105)에 의해 레이블링된 후 최종적으로 검출된 객체를 나타내는 도면이다. 도 5의 (c)와 같이 관심 영역이 검출된 경우, 3차원 영상 정보(즉, 도 5의 (b)와 같은 깊이 정보)를 사용하여 레이블링하면 픽셀이 인접하더라도 거리차이가 임계치 이상이면 서로 다른 레이블로 인식된다. 즉, 도 5의 (d)에 나타낸 바와 같이, ID0와 ID1은 거리차이가 임계치 이상이므로 서로 다르게 레이블링 된다. 2차원 영상을 기반으로 레이블링하는 경우에는 도 5의 (c)는 서로 같은 사람으로 레이블링되나, 본 발명의 실시예에와 같이 3차원 영상 거리 정보를 사용하여 레이블링 하는 경우에는 도 5의 (d)와 같이 복수의 사람이 일정한 거리를 두고 붙어 있는 경우에도 다른 사람으로 레이블링되어 분리 검출 가능하다.
객체 특징 추출부(106)는 객체 추출부(105)에 의해 추출된 객체에 대해서 특징을 추출한다. 즉, 객체 특징 추출부(106)는 객체의 속도 및 크기 등 3차원 특징을 계산한다.
먼저, 객체 특징 추출부(106)는 객체(관심 영역)의 상, 하, 좌, 우, Zrw의 최대 및 최소 위치에 대한 3차원 실 세계 좌표를 검출한다. 도 6는 객체(ID0)에 대해서 상, 하, 좌, 우, 깊이(거리)의 최소, 최대 픽셀의 위치를 나타내는 도면이다. 도 6에서, XMin은 X축 좌표의 최소 값 픽셀 위치, XMax는 X축 좌표의 최대 값 픽셀 위치를 나타낸다. YMin 및 YMax는 각각 Y축 좌표의 최소 값 픽셀 및 최대 값 픽셀 위치를 나타내며, ZMin 및 ZMax는 각각 Z축 좌표의 최소 값 픽셀 및 최대 값 픽셀 위치를 나타낸다. 그리고 CoM3d는 관심 영역의 중심점에 대한 픽셀 위치를 나타낸다.
다음으로, 객체 특징 추출부(106)는 3차원 실세계 좌표(Xrw, Yrw, Zrw)를 이용하여 아래의 표 1과 같이, 객체의 높이, 너비, 두께, 이동 속도 등 3차원 특징을 추출한다.
Figure 112015129340324-pat00008
객체 추적부(107)는 객체 특징 추출부(106)에 의해 추출된 객체의 특징에 대해서 실시간으로 추적한다(S205). 즉, 객체 추적부(107)는 이전 프레임에서 검출된 객체의 특징점(예를 들면, YMax, YMin, CoM3d 등)과 현재 프레임에서 검출된 객체의 특징점(예를 들면, YMax, YMin, CoM3d 등)을 이용하여, 유클리드 거리(Euclidean distance)를 계산하고 계산한 값이 임계치 이내인 경우에는 같은 객체로 판단하고 이전 프레임의 ID를 현재 프레임에 할당한다.
실루엣 특징 추출부(108)는 추적된 객체에 대한 형태 정보를 담고 있는 실루엣을 추출한다(S206). 실루엣 특징 추출부(108)는 추적된 객체가 미리 설정된 키(객체의 높이), 너비, 두께를 만족하며 움직임 속도가 기준치(예를 들면, 0.1 m/s)이하인 경우(즉, 걷지 않고 멈춰 있는 상태로 판단한 경우), 객체를 이진화하고 3차원 실루엣을 추출한다. 그리고, 실루엣 특징 추출부(108)는 3차원 카메라(101)에 의해 획득한 깊이 정보(Zrw)를 이용하여, 추출된 객체의 정면 실루엣을 기반으로 좌/우측면 실루엣, 상측면 실루엣을 추출한다.
도 7은 본 발명의 실시예에 따른 실루엣 특징 추출부(108)에 의해 생성된 실루엣을 나타내는 도면이다.
도 7의 (a)는 컬러 영상이고, 도 7의 (b)는 3차원 카메라(101)에 의해 획득한 깊이 영상을 나타내며, 도 7의 (c)는 객체 추적부(107)에 의해 추적된 객체를 나타낸다. 그리고 도 7의 (d)는 실루엣 특징 추출부(108)에 의해 추출된 정면 실루엣을 나타내고, 도 7의 (e)는 실루엣 특징 추출부(108)에 의해 추출된 촤측면 실루엣을 나타내고, 도 7의 (f)는 실루엣 특징 추출부(108)에 의해 추출된 우측면 실루엣을 나타내며, 도 7의 (g)는 실루엣 특징 추출부(108)에 의해 추출된 상측면 실루엣을 나타낸다. 실루엣 특징 추출부(108)는 도 7의 (c)와 같은 추적된 객체를 이용하여 도 7의 (d)와 같은 정면 실루엣을 추출한다. 그리고 실루엣 특징 추출부(108)는 도 7의 (d)와 같은 정면 실루엣을 기반으로 도 7의 (b)와 같은 깊이 정보(Zrw)를 이용하여 좌측면 실루엣(도 7의 (e)), 우측면 실루엣(도 7의 (f)) 및 상측면 실루엣(도 7의 (g))을 추출한다.
3D 볼륨 모션 히스토리 생성부(109)는 실루엣 특징 추출부(108)에 의해 추출된 실루엣을 시간에 따라 누적하여 하나의 영상을 생성한다(S207). 즉, 3D 볼륨 모션 히스토리 생성부(109)는 시간에 따라 변화하는 정면 실루엣, 좌측면 실루엣, 우측면 실루엣, 상측 실루엣을 누적하여 하나의 영상을 생성하며, 이와 같이 누적 생성된 영상이 3D 볼륨 모션 히스토리 이미지이다. 한편, 3D 볼륨 모션 히스토리 생성부(109)는 최근 실루엣에는 높은 가중치를 부여하고 오래 전 실루엣에는 작은 가중치를 부여하여, 3D 볼륨 모션 히스토리 이미지를 생성할 수 있다. 이러한 3D 볼륨 모션 히스토리는 일정 시간 동안 얼마만큼 움직였는지에 대한 정보를 포함하고 있다. 이와 같이 본 발명의 실시예는 3D 볼륨 모션 히스토리 이미지를 통해, 1대의 3D 카메라만을 이용하더라도 비정면 동작 인식이 가능하다. 그리고 본 발명의 실시예는 좌/우측면 실루엣과 상측면 실루엣을 이용함으로써, 3D 카메라 설치 방향으로의 제스터(팔을 몸 안쪽에서 흔들거나 움직이는 행위)도 파악할 수 있다.
도 8은 본 발명의 실시예에 따른 3D 볼륨 모션 히스토리 생성부(109)에 의해 획득된 3D 볼륨 모션 히스토리 이미지를 나타내는 도면이다. 도 8의 (a)는 도 7에 대응되는 것으로서 시간별 실루엣을 나타내는 도면이고, 도 8의 (b)는 3D 볼륨 모션 히스토리 생성부(109)에 의해 생성된 3D 볼륨 모션 히스토리 이미지를 나타내는 도면이다. 3D 볼륨 모션 히스토리 생성부(109)는 도 8의 (a)와 같은 실루엣을 시간에 따라 누적하여 도 8의 (b)와 같은 3D 볼륨 모션 히스토리 이미지를 생성한다.
동작 판단부(110)는 3D 볼륨 모션 히스토리 생성부(109)에 의해 생성된 실루엣 정보(실루엣을 누적하여 생성한 영상)와 사전에 등록되어 있는 정보와 유사도 비교를 통해 객체의 동작을 판단한다(S208). 여기서, 동작 판단부(110)에서 판단하는 객체의 동작은 4가지 동작으로서 완료, 중지, 비상 상황, 도움 요청이 될 수 있다. 도 9는 객체의 동작의 예를 나타내는 도면이다. 도 9의 (a) 내지 (d)는 각각 완료, 중지, 비상 상황, 도움 요청에 해당한다. 본 발명의 실시예에 따른 동작 판단부(110)는 객체의 각 동작에 대해서 3D 볼륨 모션 히스토리 정보를 미리 등록하여 유사도를 계산하는데 사용한다.
동작 판단부(110)가 3D 볼륨 모션 히스토리 정보를 이용하여 동작의 유사도를 판단하는 방법에 대해서 설명한다. 여러 사람의 3D 볼륨 모션 히스토리 이미지를 누적 평균하여 각 동작에 대한 표준 템플릿을 생성하고, 이 표준 템플릿이 미리 메모리에 등록된다. 동작 별 표준 템플릿은 네 개의 템플릿(정면, 좌측면, 우측면, 상측면)으로 구성된다. 동작 판단부(110)는 3D 볼륨 모션 히스토리 생성부(109)로부터 입력되는 실시간의 3D 볼륨 모션 히스토리와 미리 등록되어 있는 표준 템플릿과의 평균제곱오차(MSE, Mean Square Error)를 계산하고, 계산된 에러가 최소가 되는 표준 템플릿을 검색한다. 동작 판단부(114)는 이와 같이 검색된 표준 탬플릿에 해당하는 동작을 객체의 동작으로 판단한다.
도 10은 본 발명의 실시예에 따른 동작 판단부(110)가 3D 볼륨 모션 히스토리 정보를 이용하여 동작의 유사도를 판단하는 방법을 나타내는 도면이다. 도 10의 (a)는 인식하고자 하는 동작으로 미리 정의된 3D 볼륨 모션 히스토리 이미지(표준 템플릿)를 나타내며, 도 10의 (b)는 실시간으로 추출한 3D 볼륨 모션 히스토리 이미지(Real time MHI)를 나타낸다. 도 10에 나타낸 바와 같이, 본 발명의 실시예에 따른 동작 판단부(110)는 도 10의 (a)와 같은 표준 템플릿과 도 10의 (b)와 같은 실시간의 3D 볼륨 모션 히스토리 이미지에 대해서 Bhattacharyya Distance(D Bhattacharyya)를 계산한다. 그리고 동작 판단부(100)는 계산한 Bhattacharyya Distance가 가장 작게 계산된 표준 탬플릿에 해당하는 동작을 객체의 동작으로 판단한다.
이와 같이 본 발명의 실시예는 움직임 정보(실루엣)를 사용함으로써 시점에 자유로운 동작 인식을 수행할 수 있다. 예를 들어, 관절 정보를 이용하여 동작 인식할 경우에는 신체의 일부가 사람 또는 물체에 가려지거나 팔 또는 손이 몸통 안쪽에 위치하는 경우 동작 인식의 오류가 발생할 수 있다. 그러나 본 발명의 실시예는 움직임 정보(실루엣)를 사용함으로써 이러한 오류를 줄일 수 잇다. 또한, 본 발명의 실시예는 비정면 동작도 인식 가능하다. 3D 카메라가 정면에 위치하지 않는 경우에는 정확한 관절 정보를 추출하기 어렵다. 그러나, 본 발명의 실시예에서는 3D 볼륨 모션 히스토리를 생성하여 동작 인식에 사용함으로써, 카메라의 시점에 관계 없이 다양한 각도에서 동작 인식이 가능하다. 그리고, 본 발명의 실시예에는 동작 인식의 감지 거리를 확장할 수 있다. 센서의 정밀도가 떨어지는 거리에서는 정확한 신체 관절 정보를 추정하기 어렵다. 본 발명의 실시예에서는 3D 볼륨 모션 히스토리를 생성하여 동작 인식에 사용함으로써, 관절이 추출되지 않는 거리에서도 동작을 인식할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 3차원 카메라를 통해 입력되는 영상을 이용하여 객체의 동작을 인식하는 방법으로서,
    상기 영상을 공간 좌표인 실세계 좌표로 변환하는 단계,
    상기 실세계 좌표를 이용하여, 바닥 평면과 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 단계,
    상기 평면 기준 거리 값을 이용하여, 움직이는 영역인 객체를 추출하는 단계,
    상기 객체에 대해서, 상기 영상의 깊이 정보를 이용하여 3차원 볼륨 모션 히스토리 이미지를 생성하는 단계, 그리고
    상기 3차원 볼륨 모션 히스토리 이미지를 이용하여, 상기 객체의 동작을 판단하는 단계를 포함하며,
    상기 생성하는 단계는,
    상기 객체에 대해서, 상기 영상의 깊이 정보를 이용하여 복수의 실루엣을 추출하는 단계, 그리고
    소정의 시간 동안 상기 추출된 복수의 실루엣을 누적하여, 상기 3차원 볼륨 모션 히스토리 이미지를 생성하는 단계를 포함하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 복수의 실루엣은 정면 실루엣, 촤측면 실루엣, 우측면 실루엣, 그리고 상측면 실루엣을 포함하는 방법.
  4. 제1항에 있어서,
    상기 판단하는 단계는, 상기 3차원 볼륨 모션 히스토리 이미지와 미리 등록되어 있는 객체의 동작에 대한 표준 탬플릿을 비교하여, 상기 객체의 동작을 판단하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    소정의 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 객체를 추출하는 단계는,
    상기 소정의 시간 후에 입력되는 영상에 대해서 상기 계산하는 단계에서 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 상기 객체를 추출하는 단계, 그리고
    상기 객체의 실세계 좌표를 이용하여, 상기 객체에 대한 레이블링을 수행하는 단계를 포함하는 포함하는 방법.
  7. 제6항에 있어서,
    상기 객체의 실세계 좌표를 이용하여, 상기 객체의 3차원 특징을 추출하는 단계, 그리고
    상기 3차원 특징을 이용하여 상기 객체를 추적하는 단계를 더 포함하는 방법.
  8. 제7항에 있어서,
    상기 3차원 특징은 상기 객체의 높이, 너비, 두께, 그리고 이동 속도인 방법.
  9. 제1항에 있어서,
    상기 바닥 평면을 계산하는 단계는,
    상기 실세계 좌표에서 Y축 값이 최소 값인 한 점을 이용하여 상기 바닥 평면에 위치하는 세 점을 설정하는 단계, 그리고
    상기 세 점을 이용하여 평면 방정식을 계산하는 단계를 포함하는 방법.
  10. 제9항에 있어서,
    상기 평면 기준 거리 값을 계산하는 단계는, 상기 평면 방정식을 이용하여, 상기 평면 기준 거리 값을 계산하는 단계를 포함하는 방법.
  11. 제5항에 있어서,
    상기 배경 모델을 생성하는 단계는,
    상기 평면 기준 거리 값을 상기 소정의 시간 동안 누적하여 평균 값을 계산하는 단계, 그리고
    상기 평균 값을 상기 배경 모델로 설정하는 단계를 포함하는 방법.
  12. 제6항에 있어서,
    상기 객체를 추출하는 단계는,
    상기 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 상기 영상에서 배경 부분과 전경 부분을 판단하는 단계, 그리고
    상기 배경 부분으로 판단된 영역을 이용하여, 상기 배경 모델을 업데이트하는 단계를 더 포함하는 방법.
  13. 제12항에 있어서,
    상기 배경 부분과 상기 전경 부분을 판단하는 단계는,
    상기 제1 평면 기준 거리 값과 상기 배경 모델의 차이 값을 구하는 단계,
    상기 차이 값이 소정의 임계치를 초과하면 상기 전경 부분으로 판단하는 단계, 그리고
    상기 차이 값이 상기 소정의 임계치 이하이면 상기 배경 부분으로 판단하는 단계를 포함하며,
    상기 소정의 임계치는 상기 바닥 평면과의 거리 값에 따라 다르게 설정되는 방법.
  14. 3차원 카메라를 통해 입력되는 영상을 공간 좌표인 실세계 좌표로 변환하는 좌표 변환부,
    상기 실세계 좌표를 이용하여, 바닥 평면을 검출하고, 상기 바닥 평면으로부터 떨어진 거리를 나타내는 평면 기준 거리 값을 계산하는 바닥 영역 검출부,
    상기 평면 기준 거리 값을 이용하여, 움직이는 영역인 객체를 추출하는 객체 추출부,
    상기 객체에 대해서, 상기 영상의 깊이 정보를 이용하여 복수의 실루엣을 추출하는 실루엣 추출부,
    소정의 시간 동안 상기 복수의 실루엣을 누적하여, 3차원 볼륨 모션 히스토리 이미지를 생성하는 3D 볼륨 모션 히스토리 생성부, 그리고
    상기 3차원 볼륨 모션 히스토리 이미지를 이용하여, 상기 객체의 동작을 판단하는 동작 판단부를 포함하는 3차원 동작 인식 장치.
  15. 제14항에 있어서,
    상기 동작 판단부는, 상기 3차원 볼륨 모션 히스토리 이미지와 미리 등록되어 있는 객체의 동작에 대한 표준 탬플릿을 비교하여, 상기 객체의 동작을 판단하는 3차원 동작 인식 장치.
  16. 제14항에 있어서,
    제1 시간 동안, 상기 평면 기준 거리 값을 기준으로 상기 영상의 배경 부분인 배경 모델을 생성하는 배경 모델 생성부를 더 포함하는 3차원 동작 인식 장치.
  17. 제16항에 있어서,
    상기 객체 추출부는,
    상기 제1 시간 후에 입력되는 상기 영상 대해서 상기 바닥 영역 검출부에 의해 계산한 평면 기준 거리 값인 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여, 상기 객체를 추출하고,
    상기 영상의 깊이 정보를 이용하여 상기 객체에 대한 레이블링을 수행하는
    3차원 동작 인식 장치.
  18. 제17항에 있어서,
    상기 객체의 실세계 좌표를 이용하여, 상기 객체의 3차원 특징을 추출하는 객체 특징 추출부, 그리고
    상기 3차원 특징을 이용하여 상기 객체를 추적하는 객체 추적부를 더 포함하는 3차원 동작 인식 장치.
  19. 제16항에 있어서,
    상기 배경 모델 생성부는, 상기 평면 기준 거리 값을 상기 제1 시간 동안 누적하여 평균 값을 계산하고 상기 평균 값을 상기 배경 모델로 설정하는 3차원 동작 인식 장치.
  20. 제17항에 있어서,
    상기 객체 추출부는, 상기 제1 평면 기준 거리 값과 상기 배경 모델을 비교하여 상기 영상에서 배경 부분과 전경 부분을 판단하고, 상기 배경 부분을 이용하여 상기 배경 모델을 업데이트하는 3차원 동작 인식 장치.
KR1020150191081A 2015-12-31 2015-12-31 3차원 동작 인식 장치 및 방법 KR101755023B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150191081A KR101755023B1 (ko) 2015-12-31 2015-12-31 3차원 동작 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150191081A KR101755023B1 (ko) 2015-12-31 2015-12-31 3차원 동작 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101755023B1 true KR101755023B1 (ko) 2017-07-06

Family

ID=59353908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150191081A KR101755023B1 (ko) 2015-12-31 2015-12-31 3차원 동작 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101755023B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101967858B1 (ko) * 2017-11-03 2019-04-11 전자부품연구원 3d 깊이 이미지 기반 객체 분리 장치 및 그 방법
CN109740513A (zh) * 2018-12-29 2019-05-10 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
WO2019098421A1 (ko) * 2017-11-15 2019-05-23 전자부품연구원 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
CN111062969A (zh) * 2019-12-06 2020-04-24 Oppo广东移动通信有限公司 目标跟踪方法及相关产品
US11508077B2 (en) 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101518485B1 (ko) * 2013-11-29 2015-05-11 김홍기 지능형 객체 추적 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101518485B1 (ko) * 2013-11-29 2015-05-11 김홍기 지능형 객체 추적 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101967858B1 (ko) * 2017-11-03 2019-04-11 전자부품연구원 3d 깊이 이미지 기반 객체 분리 장치 및 그 방법
WO2019098421A1 (ko) * 2017-11-15 2019-05-23 전자부품연구원 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
KR20190055632A (ko) * 2017-11-15 2019-05-23 전자부품연구원 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
KR102083293B1 (ko) 2017-11-15 2020-04-23 전자부품연구원 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
CN109740513A (zh) * 2018-12-29 2019-05-10 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
CN109740513B (zh) * 2018-12-29 2020-11-27 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
CN111062969A (zh) * 2019-12-06 2020-04-24 Oppo广东移动通信有限公司 目标跟踪方法及相关产品
CN111062969B (zh) * 2019-12-06 2023-05-30 Oppo广东移动通信有限公司 目标跟踪方法及相关产品
US11508077B2 (en) 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection

Similar Documents

Publication Publication Date Title
KR101755023B1 (ko) 3차원 동작 인식 장치 및 방법
US10762640B2 (en) Systems and methods for user detection, identification, and localization within a defined space
KR101593187B1 (ko) 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US9741130B2 (en) Method and apparatus for detecting object
CN109076190B (zh) 检测异常情况的设备和方法
US8842162B2 (en) Method and system for improving surveillance of PTZ cameras
US7308112B2 (en) Sign based human-machine interaction
US9275472B2 (en) Real-time player detection from a single calibrated camera
US9672634B2 (en) System and a method for tracking objects
Ke et al. Real-time 3D human pose estimation from monocular view with applications to event detection and video gaming
KR101207535B1 (ko) 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
WO2016031314A1 (ja) 個人識別装置、個人識別方法、及び、個人識別プログラム
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
JP2004301607A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
CN114119729A (zh) 障碍物识别方法及装置
CN104065949A (zh) 一种电视虚拟触控方法及系统
CN111368883B (zh) 基于单目摄像头的避障方法、计算装置及存储装置
Jean et al. Body tracking in human walk from monocular video sequences
KR101350387B1 (ko) 깊이 정보를 이용한 손 검출 방법 및 그 장치
Sikdar et al. Robust object tracking in the XZ domain
Jatoth et al. Performance comparison of Kalman filter and mean shift algorithm for object tracking
Zheng et al. Automatic detection technique of preceding lane and vehicle
JP5464073B2 (ja) 車外環境認識装置、車外環境認識方法
KR101566448B1 (ko) 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
CN114089364A (zh) 一种集成化的感知系统装置及实现方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant