KR101383988B1 - 3차원 카메라를 이용한 객체 인식 시스템 및 방법 - Google Patents
3차원 카메라를 이용한 객체 인식 시스템 및 방법 Download PDFInfo
- Publication number
- KR101383988B1 KR101383988B1 KR1020120135935A KR20120135935A KR101383988B1 KR 101383988 B1 KR101383988 B1 KR 101383988B1 KR 1020120135935 A KR1020120135935 A KR 1020120135935A KR 20120135935 A KR20120135935 A KR 20120135935A KR 101383988 B1 KR101383988 B1 KR 101383988B1
- Authority
- KR
- South Korea
- Prior art keywords
- model
- situation
- target object
- background
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시예는 3차원 카메라를 이용하여 객체를 인식하는 시스템과 그 방법에 대한 것이다. 3차원 영상 내 대상 객체의 픽셀들의 움직임을 운동 에너지로 변환한 후 운동 에너지를 이용하여 배경을 모델링하고, 대상 객체의 운동량을 측정하는 동적 모델링부; 3차원 영상에서 대상 객체의 외곽선을 이용하여 대상 객체의 자세를 인식하는 자세 인식부를 포함하는 객체 인식 시스템이 제공될 수 있다.
Description
본 발명의 실시예는 3차원 카메라를 이용하여 객체를 인식하는 시스템과 그 방법에 대한 것이다.
기존의 CCTV 기반에 상황인지 시스템은 환경의 변화에 따라 많은 성능차이가 발생한다. 실외에서는 논의할 필요도 없이 실내에서조차 창문으로 들어오는 빛의 방향이나, 실내 발광채의 종류에 따라 영상이 다르게 입력되므로 일정한 성능을 유지하기가 쉽지 않다.
이러한 환경 문제를 가진 상태에서 실시간 영상에서 객체를 검출하고 객체의 행위를 인식하여 특정 상황을 인식하는 데에는 많은 어려움이 존재할 수 있다.
이와 관련하여 한국공개특허 제10-2011-0119893호에서는 3차원 카메라를 이용한 영상 인식 장치와 방법을 제안하는데, 2차원 카메라 두 대를 이용하여 3차원 영상을 획득하여 데이터를 기반으로 객체를 인식하는 영상 인식 장치와 방법을 제공하고 있으나, 상기 기술한 문제점을 해결하는 발명이 되지는 않는다.
이에, 3차원 카메라를 이용하여 조명의 변화에 민감하지 않으면서 다중 객체의 상태를 실시간으로 인식할 수 있는 상황 인지 시스템 및 그 방법에 대한 필요성이 나타나게 된다.
본 발명의 실시예는 3차원 카메라를 이용하여 실내 다수 사람들의 행동을 추적하고 인식하는 상황 인지 시스템의 제안을 그 목적으로 한다. 이에 현재 상용화된 3차원카메라의 단점인 거리 문제와 다중객체의 자세인식 문제를 해결하고, 실제 상황인식 시스템이 갖는 동적으로 변하는 배경문제를 해결함으로써 보다 실용성이 높은 상황인지 시스템을 개발하고자 한다.
본 발명의 실시예에 있어서, 닫힌 공간 내의 객체의 움직임을 관찰하고 각종 위험상황으로부터 노약자를 보호하는 시스템에는 광범위하게 활용될 수 있는 객체 인식 시스템과 방법을 제공하고자 한다.
3차원 영상을 API를 통해서 제어하는 영상 제어부; 3차원 영상 내의 대상 객체를 통계적 방법을 이용하여 객체 모델로 모델링하는 객체 학습부; 3차원 영상의 배경을 대상 객체와 구분하는 동적 모델링부; 3차원 영상을 히스토그램화하고 가장 높은 히스토그램을 단위객체로 추출하는 다중 검출부; 및 대상 객체의 외곽선을 이용하여 상기 대상 객체의 자세를 인식하는 자세 인식부를 포함하는 객체 인식 시스템이 제공될 수 있다.
일측에 있어서, 영상 제어부는 실시간 상황을 인지하기 위한 입력장치로서, 키넥트나 Xtion을 포함하는 3차원 카메라를 이용하여 구성될 수 있다.
또 다른 측면에 있어서, 객체 학습부는 대상 객체를 기하학적 모델을 이용하여 모델링하고 데이터화하며, 통계적 학습 방법을 이용하여 대상 객체임을 학습하고, 객체 학습부는 대상 객체의 외곽선의 기하학적 모양을 특징으로 정량화하여 대상 객체의 객체 모델을 생성할 수 있다.
또 다른 측면에 있어서, 동적 모델링부는 배경에서 대상 객체가 아닌 객체의 추가를 인식하고, 배경의 배치가 바뀐 것을 식별하여 배경으로 변환시킬 수 있다.
또 다른 측면에 있어서, 배경에서 새로이 검출된 객체를 객체 모델과 일치하는지 확인하고, 객체 모델과 일치 하지 않을 때에 새로이 검출된 객체를 배경으로 인식한 후 가우시안 모델을 이용하여 점차 배경으로 삽입하며, 객체 모델과 일치할 때에 새로이 검출된 객체를 구성하는 픽셀들의 이동량을 사람의 운동량정보로 변환하고 운동량정보의 합이 일정 임계값 이하로 계속적으로 관찰되는지 확인한 후, 가우시안 모델을 이용하여 점차 배경으로 삽입할 수 있다.
또 다른 측면에 있어서, 다중 검출부는 3차원 깊이 공간을 임의의 공간으로 분할하여 대상 객체의 객체 단위화를 실시하며, 대상 객체를 검출하고 대상 객체 간의 연결 지점을 탐색하며, 객체 단위화를 실시하여 단위객체를 추출할 수 있다.
또 다른 측면에 있어서, 자세 인식부는 대상 객체의 외곽선에 기하학적 모양을 특징으로 정량화하여 객체 모델을 생성하고, 통계 기반의 학습 모델을 이용하여 다양한 자세를 인식할 수 있다.
또 다른 측면에 있어서, 객체 인식 시스템은 대상 객체로부터 나타날 수 있는 상황을 인식하는 상황 인식부를 더 포함하고, 상황 인식부는 나타날 수 있는 상황에 대한 상황 모델 정보를 포함하여, 상황 모델 정보를 기반으로 예상 가능한 상황을 인식할 수 있다.
또 다른 측면에 있어서, 객체 인식 시스템은 상황 모델에 따른 상황이 발생하면 알리는 알람부를 더 포함하고, 알람부는 저장하고 있는 연락처로 SMS 또는 이미지를 전송할 수 있다.
3차원 영상을 API를 통해서 제어하는 단계; 3차원 영상 내의 대상 객체를 통계적 방법을 이용하여 객체 모델로 모델링하는 단계; 3차원 영상의 배경을 대상 객체와 구분하는 단계; 3차원 영상을 히스토그램화하고 가장 높은 히스토그램을 단위객체로 추출하는 단계; 및 대상 객체의 외곽선을 이용하여 대상 객체의 자세를 인식하는 단계를 포함하는 객체 인식 방법이 제공될 수 있다.
본 발명의 실시예를 통해서 실내 환경에서 조명의 변화에 상관없이, 예컨대 주야간에 상관없이, 객체의 상황을 실시간으로 인식할 수 있다.
또한, 3차원 카메라의 특성상 얼굴이나 모델링되지 않은 행동을 인식할 수 없으므로 개인 사생활을 보호할 수 있다. 따라서 영상 시스템 상용화의 걸림돌인 개인의 사생활 침해의 문제를 최소화함과 동시에 객체의 위험 사항을 보다 정확하게 발견할 수 있다.
더불어, 본 발명의 실시예를 노인 병원 등 신체적 약자를 보호하는 기관에서 시스템으로 활용할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 객체 인식 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 객체 학습부에서 각 객체를 인식한 결과를 표시한 실시예를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 동적 모델링부에서 객체를 검출하는 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 객체 인식 방법의 단계를 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 객체 학습부에서 각 객체를 인식한 결과를 표시한 실시예를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 동적 모델링부에서 객체를 검출하는 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 객체 인식 방법의 단계를 설명하기 위한 흐름도이다.
이하, 객체 인식 시스템과 그 방법에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.
본 발명의 실시예는 3차원 카메라를 이용하여 조명의 변화에 민감하지 않으면서 다중 객체의 상태를 실시간으로 식별할 수 있는 객체 인식 시스템을 제공하고자 한다. 현재, 3차원 카메라를 이용한 기술은 실시예에 있어서, 3m 이내에서 객체를 검출하여 자세를 인식할 수 있으나, 본 발명의 실시예는 그 보다 먼 거리에서도 객체를 검출하고 그들의 자세를 인식할 수 있으며, 더불어, 배경을 효과적으로 모델링하여 각 객체의 위치가 변하는 동적 상황에서도 대상 객체의 상태를 효과적으로 식별해낼 수 있는 시스템을 제공하고자 한다.
도 1은 본 발명의 일실시예에 있어서, 객체 인식 시스템(100)의 구성을 설명하기 위한 블록도를 도시한 것이다. 실시예에 있어서, 객체 인식 시스템(100)은 영상 제어부(110), 객체 학습부(120), 동적 모델링부(130), 다중 검출부(140), 자세 인식부(150), 그리고 상황 인식부(160)와 알람부(170), 이렇게 7개의 블록을 포함하여 구성될 수 있다.
영상 제어부(110)는 2차원 카메라에 비해 빛의 영향을 최소화하는 3차원 영상(깊이 정보를 포함하고 있는 영상)을 입력으로 받고, 각종 API(Application Program Interface)를 이용하여 3차원 영상을 제어할 수 있다. 실시예에 있어서, 실시간 상황을 입력받는 카메라는 키넥트나 Xtion을 포함하는 3차원 카메라로서, 실내에서 상황을 인지하기 위한 입력 장치로 사용할 수 있다.
객체 학습부(120)는 특정 객체의 모양을 통계적으로 미리 모델링한 객체 모델을 포함할 수 있으며, 객체 모델을 통해 대상 객체를 미리 학습하도록 할 수 있다. 실시예에 있어서, 객체 모델은 대상 객체를 기하학적 모델을 이용하여 데이터화하고, 이렇게 생성된 데이터를 통계적 학습 방법, 예컨대 Neural Network, SVM(Support Vector Machine), HMM(Hidden Markov Model) 등의 방법을 이용하여 확인되는 객체가 대상 객체임을 학습할 수 있다.
도 2는 이와 관련하여, 본 발명의 실시예에 있어서, 객체 학습부(120)에서 객체를 인식한 결과를 나타내는 실시예를 도시한 것이다. 도 2의 실시예에서는 4명의 대상 객체가 확인되며, 각 대상 객체의 머리 위에 객체를 인식한 결과를 나타낸 것이다. 여기서, 데이터는 각 대상 객체와 객체 인식 시스템(100) 간의 거리를 수치화한 것이 될 수 있거나 객체 인식 시스템(100)에서 비쳐지는 각 대상 객체의 크기에 대한 것이 될 수 있다.
도 2에 나타낸 바와 같이, 객체 학습부(120)는 대상 객체의 외곽선의 기하학적 모양을 특징으로 하고, 이러한 특징을 정량화하여 객체 모델을 생성하고, 이를 포함할 수 있다.
동적 모델링부(130)는 처음 영상을 수집했을 때의 배경에서 객체가 이동하거나 새로운 객체가 나타나는 등의 변화가 나타났을 때, 변화를 인지하고 객체와 대상 객체를 구분하여 나타낼 수 있다. 실시예에 있어서, 배경에 있는 객체는 배경 객체로 설명한다.
배경 객체로는 실시예에 있어서, 책상, 침대, 옷, 이불 등이 있으며, 초기 영상을 처리할 때에 배경 객체로 인식되는 것은 나타내지 않고 같은 배경으로 처리할 수 있다. 여기서, 새로이 추가된 배경 객체가 있거나, 배경 객체의 배치가 변경되는 것을 동적 모델링부(130)에서 식별할 수 있으며, 식별한 배경 객체를 다시 배경으로 인식하도록 한다.
먼저, 배경으로 변경하기 위해 새로이 객체를 검출할 수 있다. 검출되는 객체는 책상, 침대, 옷, 이불 등의 객체이며, 검출된 객체가 객체 인식 시스템(100)에 포함되어 있는 객체 모델과 일치하는지를 확인할 수 있다. 여기서, 검출된 객체와 객체 모델을 비교하였을 때 일치하지 않으면 검출된 객체를 배경 객체로 인식하고, 가우시안 모델을 이용하여 점차적으로 배경으로 삽입할 수 있다.
또는, 새로이 검출된 객체가 객체 모델과 일치한다 하더라도 도 3의 실시예와 같이, 객체의 엔트로피 정보, 즉 객체를 픽셀로 나눈 후 개별객체의 인접픽셀로의 이동정보를 운동정보로 변환한 운동 정보의 합을 계속적으로 측정하고, 이 측정값이 일정 임계값 이하로 계속적으로 나타난다면, 검출된 객체는 배경 객체로 인식되고, 동적 모델링부(130)는 객체를 가우시안 모델을 이용하여 배경으로 점차 삽입할 수 있다.
도 3과 같이, 사람은 보통 계속적으로 같은 자세로 지속하지 않고 일정 이상의 움직임이 존재하기 때문에, 엔트로피 정보의 합을 측정하면 일정 임계값 이상으로 측정되고, 따라서 때문에 배경 객체가 아닌 대상 객체로 인식될 수 있다.
사람의 엔트로피를 측정할 때엔 도 3에 도시된 바와 같이, 발견되는 객체를 일정 블록으로 분할하여 엔트로피를 측정함으로써 대상 객체와 배경 객체를 구분할 수 있는데, 이는 사람의 움직임을 부분적으로 감지하기 위함이다. 따라서, 동적 모델링부(130)는 배경 객체에서 일정 시간 이상 움직이지 않는 부분에 대해서 다시 배경으로 변환시키는 역할을 할 수 있다.
이와 함께 객체의 운동정보는 전체의 합을 구한 후 시간에 따른 평균 운동량을 측정함으로써 특정 환자의 치료 전 운동상태와 치료 후 운동상태의 측정방법으로 사용될 수 있다.
객체 인식 시스템(100)은 다중 검출부(140)를 포함할 수 있는데, 3차원 카메라로 수신한 3차원 영상에 대해서 대상 객체의 공간적인 위치를 추적하기 위한 것이다. 실시예에 있어서, 공간 히스토그램을 이용하는데, 배경과 실시간 프레임을 제거한 후 남은 영역에 대해서 히스토그램화하고 가장 높은 히스토그램을 찾아 이를 단위객체로 추출할 수 있다.
3차원 깊이를 포함하는 공간을 임의의 공간으로 분할하여 객체 단위화를 실시할 수 있다. 먼저, 대상 객체를 검출해내고, 검출된 대상 객체에 대해서 대상 객체 간의 연결 지점을 검출하여 객체 단위화를 거칠 수 있다.
다중 객체 추적을 위해서 3차원 공간을 임의의 공간으로 분할하고, 분할된 공간에 검출된 객체의 공간 위치를 계산하여 그 위치를 추적해낼 수 있다.
자세 인식부(150)는 다중 검출부(140)를 통해 검출된 다중 객체의 외곽선 모양을 이용하여 자세를 인식할 수 있다. 자세 인식부(150)는 대상 객체의 외곽선에 기하학적 모양을 특징으로 하고, 이를 정량화하여 객체의 자세에 대한 특징을 추출한 객체 모델을 생성할 수 있으며, 이렇게 추출된 객체 외각정보는 객체의 스켈톤을 추출하는데 사용할 수 도 있다. 추출된 특징은 SVM(Support Vector Machine), HMM(Hidden Markov Model) 등의 통계 기반 학습 모델을 이용하여 서있는 동작, 앉아 있는 동작, 눕는 동작, 손 흔드는 동작 등의 다양한 자세를 인식할 수 있다.
객체 인식 시스템(100)은 사전에 모델링된 이미 예정된 상황 모델 정보를 기반으로 객체로부터 발생할 수 있는 상황을 인식하는 상황 인식부(160)를 포함할 수 있다. 본 발명의 실시예는 병원과 같은 기관에 쓰이기 용이한 것으로 예컨대, 침대에 누워있는 상태에서 손을 흔들어 간호사를 호출하는 상황, 간병인이 없이 환자 혼자서 침대를 벗어나는 상황 등 나타날 수 있는 상황을 모델링한 상황 모델 정보를 인식할 수 있다. 실시예에 있어서, 상황의 인지는 자세 인식부(150)에서 다중 객체의 자세를 인식함으로부터 가능할 수 있다.
알람부(170)는 상기와 같이 상황 모델에 대한 상황이 발생했을 때, 사전에 정의된 곳으로 상황을 알리기 위한 것이다. 예컨대, 간병인, 보호자, 중앙 관제 센터의 번호를 사전에 저장할 수 있으며, 상황 발생에 대해서 문자를 전송하거나 수신한 이미지를 전송할 수 있으며, 또는 알람음을 발생하여 상황을 알릴 수 있다.
도 4는 본 발명의 일실시예에 있어서, 객체 인식 방법을 설명하기 위한 흐름도이다. 실시예에 있어서, 도 4의 객체 인식 방법은 도 1을 통해 설명한 객체 인식 시스템(100)의 각 구성을 통해 용이하게 수행될 수 있다.
단계(410)에서 객체 인식 시스템(100)은 API를 통해서 3차원 영상을 제어할 수 있다. 실시예에 있어서, 실시간 상황을 입력받는 카메라는 키넥트나 Xtion을 포함하는 3차원 카메라로서, 3차원 카메라를 실내에서 상황을 인지하기 위한 입력 장치로 사용할 수 있으며, 카메라를 통해 3차원 영상을 입력받을 수 있다.
단계(420)에서 객체 인식 시스템(100)은 대상 객체를 객체 모델로 모델링하여 미리 저장할 수 있다. 여기서, 사람의 외곽선의 기하학적 모양을 특징으로 하고, 이를 정량화하여 객체 모델로 모델링할 수 있으며, 이 모델을 이용하여 객체의 스켈레톤을 추출하는 정보로 변환할 수 있다. 객체 모델은 대상 객체를 데이터화하고 통계적 학습 방법을 이용하여 대상 객체임을 학습한 것이 될 수 있다.
단계(430)에서 객체 인식 시스템(100)은 배경과 대상 객체를 구분할 수 있는데, 실시예에 있어서, 배경에 존재하는 배경 객체와 대상 객체를 구분할 수 있다. 여기서, 배경에서 움직이지 않는 부분을 다시 배경으로 변환시킬 수 있다. 예컨대, 검출된 객체가 객체 모델과 일치하는지를 먼저 확인하고, 확인하지 않으면 배경으로 삽입하고, 또는 객체 모델과 일치하지만 엔트로피 정보 값의 합이 임계값 이하로 측정되면 배경으로 인식하여 변환시킬 수 있다.
단계(440)에서 객체 인식 시스템(100)은 획득한 영상을 히스토그램화하고, 가장 높이 있는 히스토그램을 단위객체로 추출할 수 있다. 이는 깊이 정보를 포함하는 3차원 공간의 영상에 대해 검출된 객체의 공간 위치를 추적하기 위한 것이다. 실시예에 있어서, 3차원 공간을 임의의 3차원 공간으로 분할하여 객체 단위화를 추진할 수 있는데, 검출한 다수의 객체 간의 연결 지점을 찾아 객체 단위화의 과정을 거칠 수 있다.
또한, 단계(450)에서 객체 인식 시스템(100)은 대상 객체의 외곽선에 기하학적 모양을 이용하여 자세를 인식할 수 있다. 실시예에 있어서, 서있는 자세, 앉은 자세, 손을 든 자세 등의 다양한 자세에 대한 특징을 정량화한 객체 모델을 포함하고 있으며, 이러한 객체 모델을 통해 자세의 인식이 가능하다.
실시예에 따른 객체 인식 방법은 사전에 모델링된 상황 모델을 이용하여 발생할 수 있는 상황을 파악하는 단계(미도시)와 상황에 따라 정의된 곳으로 상황을 알리는 단계(미도시)를 포함할 수 있다. 이는 사전에 모델링된 상황 모델을 객체 인식 시스템(100)이 포함하고 있어, 발생한 상황을 인지할 수 있으며, 보호자, 간병인 등의 번호를 저장하여 문자 메시지를 보내는 등 알림 단계를 수행할 수 있다.
이와 같이, 본 발명의 실시예를 통해 실내 다수의 사람에 대한 행동을 추적하고 인식하는 객체 인식 시스템과 방법을 제공할 수 있으며, 병원 등에서 닫힌 공간 내 객체의 움직임을 관찰하고 각종 위험상황을 알릴 수 있는 시스템에 광범위하게 활용될 수 있다.
실시예에 따른 객체 인식 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 객체 인식 시스템
110: 영상 제어부
120: 객체 학습부
130: 동적 모델링부
140: 다중 검출부
150: 자세 인식부
160: 상황 인식부
170: 알람부
110: 영상 제어부
120: 객체 학습부
130: 동적 모델링부
140: 다중 검출부
150: 자세 인식부
160: 상황 인식부
170: 알람부
Claims (10)
- 3차원 영상 내 대상 객체의 픽셀들의 움직임을 운동 에너지로 변환한 후 상기 운동 에너지를 이용하여 배경을 모델링하고, 상기 대상 객체의 운동량을 측정하는 동적 모델링부;
상기 3차원 영상에서 상기 대상 객체의 외곽선을 이용하여 상기 대상 객체의 자세를 인식하는 자세 인식부
를 포함하고,
상기 동적 모델링부는 상기 배경에서 상기 대상 객체가 아닌 객체의 추가를 인식하고, 상기 배경의 배치가 바뀐 것을 식별하여 배경으로 변환시키는 것
을 특징으로 하는 객체인식 시스템. - 제1항에 있어서,
상기 3차원 영상을 API를 통해서 제어하는 영상 제어부; 및
상기 대상 객체를 통계적 방법을 이용하여 객체 모델로 모델링하는 객체 학습부
를 더 포함하는 객체 인식 시스템. - 제2항에 있어서,
상기 영상 제어부는 실시간 상황을 인지하기 위한 입력장치로서, 키넥트나 Xtion을 포함하는 3차원 카메라를 이용하여 구성되는 것
을 특징으로 하는 객체 인식 시스템. - 제2항에 있어서,
상기 객체 학습부는 상기 대상 객체를 기하학적 모델을 이용하여 모델링하고 데이터화하며, 통계적 학습 방법을 이용하여 상기 대상 객체임을 학습하고,
상기 객체 학습부는 상기 대상 객체의 외곽선의 기하학적 모양을 특징으로 정량화하여 상기 대상 객체의 객체 모델을 생성하는 것
을 특징으로 하는 객체 인식 시스템. - 삭제
- 제1항에 있어서,
상기 배경에서 새로이 검출된 객체를 상기 객체 모델과 일치하는지 확인하고,
상기 객체 모델과 일치 하지 않을 때에 상기 새로이 검출된 객체를 배경으로 인식한 후 가우시안 모델을 이용하여 점차 배경으로 삽입하며,
상기 객체 모델과 일치할 때에 상기 새로이 검출된 객체를 구성하는 픽셀들의 이동량을 사람의 운동량 정보로 변환하고,
상기 운동량 정보의 합이 일정 임계값 이하로 계속적으로 관찰되는지 확인한 후, 가우시안 모델을 이용하여 점차 배경으로 삽입하는 것
을 특징으로 하는 객체 인식 시스템. - 삭제
- 제1항에 있어서,
상기 자세 인식부는 상기 대상 객체의 외곽선에 기하학적 모양을 특징으로 정량화하여 객체 모델을 생성하고, 통계 기반의 학습 모델을 이용하여 다양한 자세를 인식하는 것
을 특징으로 하는 객체 인식 시스템. - 제2항에 있어서,
상기 객체 인식 시스템은 상기 대상 객체로부터 나타날 수 있는 상황을 인식하는 상황 인식부를 더 포함하고,
상기 상황 인식부는 나타날 수 있는 상황에 대한 상황 모델 정보를 포함하여, 상기 상황 모델 정보를 기반으로 예상 가능한 상황을 인식하며,
상기 객체 인식 시스템은 상기 상황 모델에 따른 상황이 발생하면 알리는 알람부를 더 포함하고,
상기 알람부는 저장하고 있는 연락처로 SMS 또는 이미지를 전송하는 것
을 특징으로 하는 객체 인식 시스템. - 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120135935A KR101383988B1 (ko) | 2012-11-28 | 2012-11-28 | 3차원 카메라를 이용한 객체 인식 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120135935A KR101383988B1 (ko) | 2012-11-28 | 2012-11-28 | 3차원 카메라를 이용한 객체 인식 시스템 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101383988B1 true KR101383988B1 (ko) | 2014-04-10 |
Family
ID=50657330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120135935A KR101383988B1 (ko) | 2012-11-28 | 2012-11-28 | 3차원 카메라를 이용한 객체 인식 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101383988B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160099335A (ko) * | 2015-02-12 | 2016-08-22 | 재단법인대구경북과학기술원 | 3d 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법 |
WO2020116983A1 (en) * | 2018-12-07 | 2020-06-11 | Samsung Electronics Co., Ltd. | Electronic apparatus, controlling method of electronic apparatus, and computer readable medium |
KR20220040934A (ko) * | 2020-09-24 | 2022-03-31 | 건양대학교산학협력단 | 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050066400A (ko) * | 2003-12-26 | 2005-06-30 | 한국전자통신연구원 | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 |
KR100808543B1 (ko) * | 2006-09-15 | 2008-02-29 | 한국과학기술연구원 | 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법 |
KR100847143B1 (ko) * | 2006-12-07 | 2008-07-18 | 한국전자통신연구원 | 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법 |
KR20100052268A (ko) * | 2008-11-10 | 2010-05-19 | 삼성전자주식회사 | 3차원 그래픽을 구현하기 위한 그래픽 처리방법 및 이를 이용한 그래픽 처리장치 |
-
2012
- 2012-11-28 KR KR1020120135935A patent/KR101383988B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050066400A (ko) * | 2003-12-26 | 2005-06-30 | 한국전자통신연구원 | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 |
KR100808543B1 (ko) * | 2006-09-15 | 2008-02-29 | 한국과학기술연구원 | 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법 |
KR100847143B1 (ko) * | 2006-12-07 | 2008-07-18 | 한국전자통신연구원 | 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법 |
KR20100052268A (ko) * | 2008-11-10 | 2010-05-19 | 삼성전자주식회사 | 3차원 그래픽을 구현하기 위한 그래픽 처리방법 및 이를 이용한 그래픽 처리장치 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160099335A (ko) * | 2015-02-12 | 2016-08-22 | 재단법인대구경북과학기술원 | 3d 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법 |
KR101708233B1 (ko) * | 2015-02-12 | 2017-02-20 | 재단법인대구경북과학기술원 | 3d 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법 |
WO2020116983A1 (en) * | 2018-12-07 | 2020-06-11 | Samsung Electronics Co., Ltd. | Electronic apparatus, controlling method of electronic apparatus, and computer readable medium |
US11558545B2 (en) | 2018-12-07 | 2023-01-17 | Samsung Electronics Co., Ltd. | Electronic apparatus, controlling method of electronic apparatus, and computer readable medium |
KR20220040934A (ko) * | 2020-09-24 | 2022-03-31 | 건양대학교산학협력단 | 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템 |
KR102415912B1 (ko) * | 2020-09-24 | 2022-06-30 | 건양대학교 산학협력단 | 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vishnu et al. | Human fall detection in surveillance videos using fall motion vector modeling | |
Zhang et al. | A survey on vision-based fall detection | |
Planinc et al. | Introducing the use of depth data for fall detection | |
Panahi et al. | Human fall detection using machine vision techniques on RGB–D images | |
Kepski et al. | Fall detection using ceiling-mounted 3d depth camera | |
JP6551512B2 (ja) | 監視システム、監視制御装置、監視方法、およびプログラム | |
Mastorakis et al. | Fall detection system using Kinect’s infrared sensor | |
CN106960473B (zh) | 一种行为感知系统及方法 | |
JP5754990B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Shoaib et al. | View-invariant fall detection for elderly in real home environment | |
TWI438702B (zh) | 影像環境邊界之動態設定方法及人員活動內容之即時判定方法 | |
EP2763116B1 (en) | Fall detection system and method for detecting a fall of a monitored person | |
Volkhardt et al. | Fallen person detection for mobile robots using 3D depth data | |
Jansi et al. | Detection of fall for the elderly in an indoor environment using a tri-axial accelerometer and Kinect depth data | |
KR20150039252A (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
KR101762010B1 (ko) | 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법 | |
Rougier et al. | Video surveillance for fall detection | |
Poonsri et al. | Improvement of fall detection using consecutive-frame voting | |
KR20140110484A (ko) | 영상정보를 이용한 위험 행동 검지방법 | |
JP4507243B2 (ja) | 行動分析方法及びシステム | |
KR101383988B1 (ko) | 3차원 카메라를 이용한 객체 인식 시스템 및 방법 | |
KR20220047947A (ko) | 사람 계수 방법 및 장치 | |
Pramerdorfer et al. | Fall detection based on depth-data in practice | |
JP2011209794A (ja) | 対象物認識システム及び該システムを利用する監視システム、見守りシステム | |
Merrouche et al. | Fall detection using head tracking and centroid movement based on a depth camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170313 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180124 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190221 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20200116 Year of fee payment: 7 |