KR102527771B1 - Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법 - Google Patents
Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법 Download PDFInfo
- Publication number
- KR102527771B1 KR102527771B1 KR1020220150443A KR20220150443A KR102527771B1 KR 102527771 B1 KR102527771 B1 KR 102527771B1 KR 1020220150443 A KR1020220150443 A KR 1020220150443A KR 20220150443 A KR20220150443 A KR 20220150443A KR 102527771 B1 KR102527771 B1 KR 102527771B1
- Authority
- KR
- South Korea
- Prior art keywords
- living alone
- behavior
- elderly
- image
- avatar
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 238000005516 engineering process Methods 0.000 title claims abstract description 36
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000006399 behavior Effects 0.000 claims abstract description 71
- 238000012806 monitoring device Methods 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 12
- 238000010191 image analysis Methods 0.000 claims description 48
- 238000004891 communication Methods 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 19
- 230000003542 behavioural effect Effects 0.000 claims description 17
- 230000036544 posture Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000020595 eating behavior Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Emergency Management (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템은, 독거노인이 거주하는 공간에 설치되는 카메라의 촬영영상을 분석하여 독거노인의 행동과 자세를 인식하고, 인식 결과로서 위험 상태를 포함하는 이벤트 영상 및 이벤트 영상 내의 사람 객체와 관련한 메타 데이터를 제공하는 영상분석장치, 및 영상분석장치에서 제공하는 이벤트 영상 및 메타 데이터를 근거로 위험 상태의 이벤트가 없는 평시에는 독거노인을 아바타의 행위로 화면상에 표출하고, 응급시로 판단될 때 아바타가 아닌 독거노인의 실제 모습이 담긴 이벤트 영상을 화면에 표출하는 모니터링장치를 포함할 수 있다.
Description
본 발명은 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법에 관한 것으로서, 더 상세하게는 일반카메라 또는 일반카메라와 TOF(Time of Flight) 카메라를 조합하여 검출된 객체 검출 추적 정보와 스켈레톤 정보, 행동 인식정보를 기반으로 실내에서의 사람의 위치정보와 스켈레톤 정보 객체 행동인식 정보 등을 모니터링 시스템에 전송해 디지털 트윈기술을 통하여 가상의 아바타로 교체하여 독거노인의 행동을 모니터링을 하고 이상행위가 발생하였을 때는 실시간 이벤트 영상으로 위험사항을 확인할 수 있게 하는 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법에 관한 것이다.
핵가족과 고령화 등으로 1인 가구 및 독거노인이 매우 증가하고 있다. 이러한 상황에서 가정 내 CCTV나 영상을 통한 독거노인의 행동을 파악하고 이상행위를 파악하여 응급조치를 할 수 있는 시스템이 많이 생겨나고 있다. 종래에는 상기와 같은 시스템으로 영상에서 프레임비교 방식으로 모션이 발생된 영역이나 윤곽선을 추출하는 방식으로 사람을 검출하고 검출된 객체의 넘어짐을 판단하게 되면 이를 게이트웨이 폰을 통하여 관리서버에 전달하는 시스템이 공개된 바 있다. 또한, 종래에는 실내에 설치된 레이더 센서와 일반영상을 입력받아 응급상황을 판단하면 이를 모니터링 시스템에 전송하는 장치를 제시하고 있다.
또 다른 종래기술은 영상에서 스켈레톤을 추출하고 실시간 스트림이 아닌 스켈레톤 정보 자체를 전송하고 모니터링하게 함으로써 데이터 전송량을 줄이고 사생활을 보호한다. 그런데 이러한 종래기술은 주변 공간정보가 없어 대상자의 위치를 특정하기 어렵고 스켈레톤 정보만 표시되기 때문에 모니터링을 하려는 사람이 실제 자세를 정확하게 인지를 못하는 문제가 발생할 수 있다.
한편 종래에는 카메라 내에서 영상을 분석하여 객체를 검출 및 추적하고 이를 기반으로 이벤트를 발생시키는 기능이 사용되고 있다. 기존에는 움직임에 기반한 객체 검출 기술을 즉 모션기반 검출기술을 사용하였으나 최근에는 딥러닝 기반 객체 검출 기술을 보편적으로 사용하고 있으며 사람, 차량과 같은 객체의 종류를 식별하는 데부터 시작하여 최근에는 사람의 스켈레톤 정보를 추출하고 이를 기반으로 자세 또는 행동을 인식하는 방법 또는 추적 객체에 대한 일련의 비디오 프레임정보를 입력받아 객체의 행동을 인식하는 방법이 있다.
최근에는 영상을 기반으로 객체를 검출 및 추적시스템을 기반으로 디지털 트윈 기술 기반의 관제 기술로 대체하여 표출하는 기술이 가능해지고 있으므로 이러한 기술을 이용해 독거노인들의 안전을 적극 도모할 필요성이 제기되고 있다.
본 발명은 상술한 문제점을 개선하고자 과학기술정보통신부가 주관하고 한국인터넷진흥원이 관리하는 KISA - AI 보안 시제품 개발 지원사업의 일환으로 일반영상과 3D Depth영상을 복합분석 가능한 AI 카메라 개발의 성과로 출원되었다.
김미경 /Mi-Kyung Kim 1, 차의영 /CHA，EUI-YOUNG. 스켈레톤 벡터 정보와 RNN 학습을 이용한 행동인식 알고리즘. 방송공학회 논문지 제23권 제5호. 2018.09 598 - 605 (8page)
본 발명의 실시예는 일반카메라 또는 일반카메라와 TOF 카메라를 조합하여 검출된 객체 검출 추적 정보와 스켈레톤 정보, 행동 인식정보를 기반으로 실내에서의 사람의 위치정보와 스켈레톤 정보 객체 행동인식 정보 등을 모니터링 시스템에 전송해 디지털 트윈기술을 통하여 가상의 아바타로 교체하여 독거노인의 행동을 모니터링을 하고 이상행위가 발생하였을 때는 실시간 이벤트 영상으로 위험사항을 확인할 수 있게 하는 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템은, 독거노인이 거주하는 공간에 설치되는 카메라의 촬영영상을 분석하여 상기 독거노인의 행동과 자세를 인식하고, 인식 결과로서 위험 상태를 포함하는 이벤트 영상 및 상기 이벤트 영상 내의 사람 객체와 관련한 메타 데이터를 제공하는 영상분석장치, 및 상기 영상분석장치에서 제공하는 상기 이벤트 영상 및 상기 메타 데이터를 근거로 상기 위험 상태의 이벤트가 없는 평시에는 상기 독거노인을 아바타(avatar)의 행위로 화면상에 표출하고, 응급시로 판단될 때 상기 아바타가 아닌 상기 독거노인의 실제 모습이 담긴 상기 이벤트 영상을 화면에 표출하는 모니터링장치를 포함한다.
상기 영상분석장치는, 일반 카메라의 촬영영상 또는 상기 일반 카메라와 TOF(time of Flight) 카메라가 조합한 형태의 촬영영상을 분석하여 상기 사람 객체의 3차원 스켈레톤 정보를 추출해 상기 행동과 자세의 인식에 이용할 수 있다.
상기 영상분석장치는, 이종의 카메라에서 제공하는 촬영영상에서 각각 검출되는 객체를 병합한 후 상기 병합한 검출 객체를 추적하면서 스켈레톤 정보를 취득하고, 상기 취득한 스켈레톤 정보를 근거로 상기 행동과 자세를 인식할 수 있다.
상기 영상분석장치는, 상기 공간에 대응하여 기저장되는 가상공간 영상 내에 상기 행동과 자세의 인식 결과를 반영하는 가상의 아바타를 표현하고 상기 아바타를 통해 상기 독거노인의 위치와 행위를 화면에 표시하도록 상기 모니터링장치를 제어할 수 있다.
상기 영상분석장치는, 상기 평시에는 상기 촬영영상을 전송하는 형태가 아닌 축약된 데이터의 형태로서 상기 사람 객체의 객체위치정보, 스켈레톤정보 및 속성정보를 상기 모니터링장치로 제공하여 통신망의 부하를 줄일 수 있다.
또한, 본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법은, 영상분석장치가 독거노인이 거주하는 공간에 설치되는 카메라의 촬영영상을 분석하여 상기 독거노인의 행동과 자세를 인식하고, 인식 결과로서 위험 상태를 포함하는 이벤트 영상 및 상기 이벤트 영상 내의 사람 객체와 관련한 메타 데이터를 제공하는 단계, 및 모니터링장치가, 상기 영상분석장치에서 제공하는 상기 이벤트 영상 및 상기 메타 데이터를 근거로 상기 위험 상태의 이벤트가 없는 평시에는 상기 독거노인을 아바타의 행위로 화면상에 표출하고, 응급시로 판단될 때 상기 아바타가 아닌 상기 독거노인의 실제 모습이 담긴 상기 이벤트 영상을 화면에 표출하는 단계를 포함한다.
상기 인식하는 단계는, 일반 카메라의 촬영영상 또는 상기 일반 카메라와 TOF 카메라가 조합한 형태의 촬영영상을 분석하여 상기 사람 객체의 3차원 스켈레톤 정보를 추출해 상기 행동과 자세의 인식에 이용할 수 있다.
상기 인식하는 단계는, 이종의 카메라에서 제공하는 촬영영상에서 각각 검출되는 객체를 병합한 후 상기 병합한 검출 객체를 추적하면서 스켈레톤 정보를 취득하고, 상기 취득한 스켈레톤 정보를 근거로 상기 행동과 자세를 인식할 수 있다.
상기 제공하는 단계는, 상기 공간에 대응하여 기저장되는 가상공간 영상 내에 상기 행동과 자세의 인식 결과를 반영하는 가상의 아바타를 표현하고 상기 아바타를 통해 상기 독거노인의 위치와 행위를 화면에 표시하도록 상기 모니터링장치를 제어하는 단계를 포함할 수 있다.
상기 제공하는 단계는, 상기 평시에는 상기 촬영영상을 전송하는 형태가 아닌 축약된 데이터의 형태로서 상기 사람 객체의 객체위치정보, 스켈레톤정보 및 속성정보를 상기 모니터링장치로 제공하여 통신망의 부하를 줄일 수 있다.
본 발명의 실시예에 따르면, 가정내 보안 및 안전을 위해 사회적 약자인 독거노인의 모니터링을 3D 스켈레톤 정보를 포함한 아바타를 통하여 모니터링하게 함으로써 사생활 침해를 최소화하고 위급시에는 사람의 행동을 상세하게 관찰할 수 있게 함으로써 응급상황 여부를 확인하여 응급상황 대처를 신속하게 할 수 있다.
또한, 본 발명의 실시예는 일반카메라와 TOF카메라를 함께 이용하면 거주공간내 사람의 위치를 정확하게 추정할 수 있으면서 보다 정확한 3D 스켈레톤 정보를 추출할 수 있다는 장점이 있다.
나아가, 본 발명의 실시예는 평시 모니터링시 실시간 영상이 아닌 매우 축약된 형태의 객체 위치정보와 스켈레톤 정보, 속성정보가 전송되기 때문에 망의 부하를 줄일 수 있는 장점이 있으면서 최대한 아바타로 유사하게 표출함으로써 모니터링의 효과를 유지할 수 있다.
더 나아가, 본 발명의 실시예는 다수의 센서 즉 카메라를 설치하여도 도면(맵)이라는 단일공간 내에서 객체의 위치와 행위가 표시되기 때문에 실내의 전체상황을 한번에(혹은 한눈에) 모니터링하여 전체 공간에 대한 관제가 가능하다.
도 1은 본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템을 나타내는 도면,
도 2는 일반영상과 TOF 촬영영상에서 객체와 스켈레톤 정보를 추출한 데이터가 2D/3D 가상세계에 아바타 객체로 표출되는 실시예를 나타내는 도면,
도 3은 일반카메라 또는 일반카메라와 TOF카메라를 조합하여 3D 스켈레톤 정보를 추출하는 과정을 보여주는 간략 순서도,
도 4는 2D/3D 공간에서 아바타 객체를 출력하기 위한 정보의 구성도,
도 5는 욜로 및 미디어 파이프 프로그램의 조인트 형태와 수를 설명하기 위한 도면,
도 6은 원격에서 2D/3D공간에서 관절이 아바타 객체를 플레이 백 컨트롤할 수 있는 사용자 인터페이스를 설명하기 위한 도면,
도 7은 본 발명의 다른 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템의 구성도,
도 8은 본 발명의 다른 실시예에 따른 멀티센서 기반 영상분석장치의 세부 구조를 예시한 블록다이어그램, 그리고
도 9는 본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법의 흐름도이다.
도 2는 일반영상과 TOF 촬영영상에서 객체와 스켈레톤 정보를 추출한 데이터가 2D/3D 가상세계에 아바타 객체로 표출되는 실시예를 나타내는 도면,
도 3은 일반카메라 또는 일반카메라와 TOF카메라를 조합하여 3D 스켈레톤 정보를 추출하는 과정을 보여주는 간략 순서도,
도 4는 2D/3D 공간에서 아바타 객체를 출력하기 위한 정보의 구성도,
도 5는 욜로 및 미디어 파이프 프로그램의 조인트 형태와 수를 설명하기 위한 도면,
도 6은 원격에서 2D/3D공간에서 관절이 아바타 객체를 플레이 백 컨트롤할 수 있는 사용자 인터페이스를 설명하기 위한 도면,
도 7은 본 발명의 다른 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템의 구성도,
도 8은 본 발명의 다른 실시예에 따른 멀티센서 기반 영상분석장치의 세부 구조를 예시한 블록다이어그램, 그리고
도 9는 본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법의 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 구체적으로 설명한다.
도 1은 본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템을 나타내는 도면으로서, 멀티센서 기반 아바타 정보 생성장치와 이 장치에서 생성된 정보로 원격에서 모니터링하는 프로그램에 대한 구성도이고, 도 2는 일반영상과 TOF 촬영영상에서 객체와 스켈레톤 정보를 추출한 데이터가 2D/3D 가상세계에 아바타 객체로 표출되는 실시예를 나타내는 도면, 그리고 도 3은 일반카메라 또는 일반카메라와 TOF카메라를 조합하여 3D 스켈레톤 정보를 추출하는 과정을 나타내는 간략 순서도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템(이하, 독거노인 행동관찰 및 이상행위 모니터링 시스템)(90)은 멀티센서 기반 영상분석장치(100), 통신망(110) 및 모니터링장치(120)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 멀티센서 기반 영상분석장치(100)와 모니터링장치(120)가 다이렉트(예: P2P 등) 통신을 수행하거나, 멀티센서 기반 영상분석장치(100)를 구성하는 구성요소의 일부 또는 전부가 모니터링장치(120)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
본 발명의 실시예에 따른 멀티센서 기반 영상분석장치(100)는 예를 들어, 독거노인이 거주하는 댁내에 설치되는 CCTV, IP카메라 또는 3D 카메라 등의 일반(촬영)카메라나 적외선 빔 형태의 TOF 카메라의 촬영영상을 제공받아 분석하는 장치를 의미한다. 멀티센서 기반 영상분석장치(100)는 에지장치의 형태로서 동작할 수 있으며 카메라에 근접하여 구비된 후 촬영영상을 분석해 분석 결과를 원격의 모니터링장치(120)로 제공할 수 있다. 물론 본 발명의 일 실시예에서는 멀티센서 기반 영상분석장치(100)를 카메라가 있는 말단에 구비되는 에지장치의 형태로 설명하지만, 그것에 특별히 한정하지는 않을 것이다. 이와 관련해서는 이후에 도 7에서 좀더 다루기로 한다.
멀티센서 기반 영상분석장치(100)는 멀티센서 기반 아바타 정보생성 장치라 명명될 수 있으며, 일반카메라와 TOF 카메라를 이용하여 가상의 아바타를 구현한다고 볼 수 있다. 다시 말해서 멀티센서 기반 영상분석장치(100)는 아바타 생성을 위하여 일반카메라를 다시 말해 일반카메라의 촬영영상을 단독으로 사용할 수도 있으며 정확도 향상을 위하여 일반카메라와 TOF카메라를 조합하여 사용할 수도 있다. 멀티센서 기반 영상분석장치(100)는 본 발명의 실시예에 따른 동작을 위하여 일반카메라 및 TOF 카메라 중 적어도 하나의 카메라와 연동하여 동작할 수 있다.
본 발명의 실시예에 따른 멀티센서 기반 영상분석장치(100)는 모니터링장치(120)와 연계하여 동작하며, 평상시에는 사람이 포함된 비디오 스트림이 아닌 아바타 화면으로 이상 상황을 관제요원 또는 관계자(혹은 보호자)가 모니터링하고, 실제 위험의 확률이 높거나 실제 영상이 허가된 상황에서만 실제 비디오 영상을 모니터링할 수 있도록 동작한다. 여기서, 실제 위험의 확률이란 룰(rule) 기반으로 기설정되어 있는 데이터와의 비교에 의해 실제 위험을 판단하거나, 인공지능 딥러닝 프로그램 등을 통해 위험 경고로 판단할 때 실제 영상을 관제요원이나 관계자가 볼 수 있도록 제공할 수 있다. 예를 들어, 독거노인이 바닥에 쓰러진 것으로 판단되나, 일정 시간이 경과해도 일어나지 않을 때 멀티센서 기반 영상분석장치(100)는 실제 위험이라 판단할 수 있는 것이다.
또한, 멀티센서 기반 영상분석장치(100)는 자신의 거주공간에 거주하는 독거노인의 모니터링을 위해서 일반카메라 또는 일반카메라와 TOF카메라의 조합으로 영상을 입력받아 딥러닝 기반으로 사람(혹은 사람 객체)을 검출 및 추적을 하고 객체별로 스켈레톤 정보와 행동 인식 정보를 추출하며 이를 2D 또는 3D 가상월드에 매핑하여 모니터링 시스템 즉 모니터링장치(120)로 전송할 수 있다. 여기서, 2D 또는 3D 가상월드는 노인의 거주공간을 가상의 공간으로 구현한 영상이며, 이는 일반카메라나 TOF 카메라 등을 통해 제공되는 영상을 이용하여 사전에 제작되거나, 또는 노인의 거주공간을 관계자가 직접 방문하여 별도의 3D 카메라를 통해 촬영하여 이를 이용하는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 예를 들어, 거주공간의 거주지에 대한 설계도면이 있는 경우에는 이를 이용하는 것도 얼마든지 가능할 수 있다.
도 2는 일반영상과 TOF 촬영영상에서 객체와 스켈레톤 정보를 추출한 데이터가 2D/3D 가상세계에 아바타 객체로 표출되는 실시예를 나타내는 도면이다. 도 2의 (a)는 일반카메라 영상의 사람 객체를 분석해 관절 등의 스켈레톤 정보를 추출할 수 있는 것을 보여주며, 해당 스켈레톤 정보를 이용해 도 2의 (b)에서와 같이 독거노인의 거주공간을 2D 맵, 더 정확하게는 거주공간을 2D의 가상공간으로 하는 화면상에 매핑하여 표현할 수 있는 것을 보여주고 있다. 또한, 도 2의 (c)는 TOF 영상을 이용하여 스켈레톤 정보를 추출하고, 추출한 스켈레톤 정보를 이용하여 도 2의 (d)에서와 같이 3D 맵 즉 3D 가상공간상에 독거노인을 아바타의 형태로 표현해 주는 것을 보여주고 있다. 2D 또는 3D 가상세계는 독거노인이 거주하는 거주공간에 설치되는 일반카메라 및 TOF 카메라를 중 적어도 하나의 촬영영상을 이용하여 생성되는 거주공간에 대한 2D 또는 3D의 공간영상이다. 다시 말해서 가상 아바타의 배경이 되는 공간이며, 이는 노인의 거주공간은 그대로 영상으로 구현한 것이라 볼 수 있다.
한편, 도 1의 멀티센서 기반 영상분석장치(100)와 관련한 동작을 간략히 살펴보고자 한다. 도 3은 일반카메라 또는 일반카메라와 TOF카메라를 조합하여 3D 스켈레톤 정보를 추출하는 간략한 순서도이다. 도 3에 도시된 바와 같이, 도 1의 멀티센서 기반 영상분석장치(100)는 2D나 3D 카메라만을 이용하는 경우 촬영영상을 수신하여 수신한 촬영영상을 딥러닝 기반으로 객체를 검출 추적하여 3D 기반 스켈레톤을 검출할 수 있다. 예를 들어, 3D 카메라의 경우에는 깊이 정보를 함께 전송하고, 또 객체와 관련한 속성 정보 등 메타데이터의 형태로 데이터를 전송하므로 이를 이용하여 스켈레톤을 검출할 수 있다. 예를 들어 영상 분석을 통해 객체에서 관절을 인식하여 인식한 관절들을 통해 스켈레톤 정보를 검출할 수 있다. 또한, 인공지능의 딥러닝 프로그램의 경우 객체 검출의 정확도를 높이기 위해 사용될 수 있을 것이다. 다시 말해 딥러닝의 경우 사람 객체와 사물 객체를 명확히 구분해 낼 수 있다. 또한, 도 1의 멀티센서 기반 영상분석장치(100)는 도 3의 (b)에서와 같이 일반카메라와 TOF 카메라를 함께 병행하는 경우, 일반 카메라의 영상은 도 3의 (a)에서와 같은 형태로 객체를 검출 및 추적하고, 스켈레톤을 검출할 수 있다(S350, S350, S360). 다만, TOF 카메라의 영상을 더 이용하여 3D 포인트 클라우드 기반의 3D 스켈레톤 조인트를 보정할 수 있을 것이다(S370). 상기의 내용들에 근거해 볼 때, 본 발명의 실시예에 따른 도 1의 멀티센서 기반 영상분석장치(100)는 각각의 기능을 수행하기 위한 하드웨어, 소프트웨어, 또는 그 조합에 의한 기능블록을 가질 수 있으며, 자세한 내용은 이후에 좀더 다루기로 한다.
통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동 통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transceiver Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수도 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 멀티센서 기반 영상분석장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 멀티센서 기반 영상분석장치(100) 등과 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 모니터링장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.
모니터링장치(120)는 관제센터에 구비되는 다양한 유형의 장치를 포함할 수 있다. 예를 들어, 전광판이나 현황판이 될 수 있으며 관제요원이 구비하는 데스크탑컴퓨터, 랩탑컴퓨터, 태블릿PC, 스마트폰 등의 다양한 장치를 포함할 수 있다. 모니터링장치(120)는 본 발명의 실시예에 따른 동작을 수행하기 위한 아바타 기반 모니터링 프로그램을 탑재할 수 있다. 여기서 아바타 기반 모니터링 프로그램은 원격지에서 독거노인을 아바타 형태로 표현한 화면을 모니터링하는 프로그램이며 웹, 모바일, 일반 응용프로그램 형태로 구현될 수 있다. 한편, 본 발명의 실시예에 따른 모니터링장치(120)는 관제센터뿐 아니라 독거노인의 보호자가 있는 경우에는 보호자가 소지하는 스마트폰 등의 단말장치를 포함할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
계속해서 도 1에 도시되어 있는 본 발명의 실시예에 따른 멀티센서 기반 영상분석장치(100)의 세부구성에 대하여 좀더 구체적으로 살펴보고자 한다.
도 4는 2D/3D 공간에서 아바타 객체를 출력하기 위한 정보의 구성도, 도 5는 욜로 및 미디어 파이프 프로그램의 조인트 형태와 수를 설명하기 위한 도면, 도 6은 원격에서 2D/3D공간에서 관절이 아바타 객체를 플레이 백 컨트롤할 수 있는 사용자 인터페이스 설명하기 위한 도면이다.
설명의 편의상 도 1을 도 2 내지 도 6과 함께 참조하면, 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 멀티센서 기반 영상분석장치(100)는, (융합) 객체검출 추적부(113), 스켈레톤 추출부(114), 행동 및 자세 인식부(115), 객체위치 도면매핑부(116), 3D 공간 모델 생성부(112), 2D/3D 공간기반 객체 메타데이터 생성부(117), 영상 및 메타데이터 저장부(118), 이벤트 영상 송신부(119), 2D/3D 공간기반 객체 메타데이터 전송부(119a)의 일부 또는 전부를 포함할 수 있다. 여기서, "일부 또는 전부를 포함"한다는 것은 앞서의 의미와 크게 다르지 않으며, 상기의 객체검출 추적부(113) 등의 구성요소들은 하드웨어(H/W), 소프트웨어(S/W) 및 그 조합에 의해 구성될 수 있다.
영상 수신부(111a, 111b)는 TOF 카메라 영상 수신부(111a) 및 일반 카메라 영상 수신부(111b)로 구분될 수 있으며, 이는 제1 통신부 및 제2 통신부로 명명될 수 있다. 일반 카메라와 TOF 카메라는 독거노인 댁내에 설치될 수 있으므로 영상 수신부(111a, 111b)는 해당 카메라들과 각각 연결되어 통신할 수 있다. 물론 이종의 카메라는 서로 다른 통신 규격에 따라 통신할 수 있지만, 물리적으로 서로 분리되지만 동일 통신 규격에 의해 통신할 수도 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
객체 검출추적부(113)는 딥러닝 방식으로 객체를 검출하고 검출된 객체를 추적하는 부(분)이다. 객체는 ID를 부여받고 끊김없이 추적이 유지되도록 한다. 다시 말해, 객체 검출추적부(113)는 단위 비디오 프레임 영상에서 객체를 추출하여 추출한 객체를 인식하며 인식한 객체가 독거노인 등의 사람으로 판단될 때 해당 객체를 다음 단위 비디오 프레임 영상에서 계속적으로 추적하게 된다. 물론 독거노인의 객체 검출을 위하여 DCNN 검출기와 같은 딥러닝 방식의 객체 검출을 수행할 수 있지만, 본 발명의 실시예에서는 그것에 특별히 한정하지는 않을 것이다.
스켈레톤 검출부(114)는 검출된 사람 영상에서 스켈레톤 정보를 검출하는 부이다. 스켈레톤 정보는 조인트 리스트(joint list)로 구성되어 있으며 사용되는 알고리즘에 따라 스켈레톤 조인트의 종류와 수가 다르게 구성될 수 있다. 여기서 조인트는 관절을 의미할 수 있다. 아바타의 행동 검출을 위해서는 자체로 개발된 알고리즘을 탑재할 수도 있으나 도 5에서와 같이 구글의 미디어파이프(media pipe)나 욜로(yolo) v7에서 제공되는 위치 추정자(Pose Estimator)를 사용할 수도 있다. 스켈레톤 정보에는 얼굴의 모양과 손동작이 포함될 수 있다. 이는 아바타의 표현을 좀더 풍부하게 하여 상황을 좀더 명확하게 인식하게 할 수 있도록 한다. 스켈레톤 검출부(114)를 구성하는 스켈레톤 검출기에서 검출된 2D/3D 좌표의 스켈레톤 정보들은 TOF의 포인트 클라우드 정보를 기반으로 보다 정밀하게 보정된다.
행동 및 자세 인식부(115)는 검출된 객체 이미지를 기준으로 추출된 영상과 스켈레톤 정보를 받아 자세와 행위를 인식한다. 자세를 인식하는 것은 일상생활에서 인식가능한 자세와 행위를 포함하며 쓰러짐, 낙상과 같은 위험상황도 인식하게 된다. 일상생활에 관한 자세를 보다 상세하게 나열하면 식사행위, 앉아있는 자세 엎드리거나 누워있는 자세 등을 인식할 수 있다. 위험상황으로는 쓰러짐 낙상 이외에도 과격한 움직임, 출입이 금지된 외출 상황에서 침입 등이 있을 수 있다. 이러한 행동과 자세 인식은 스켈레톤에 대한 기준 데이터를 미리 저장한 후 이를 이용하거나 자세 및 행동과 관련한 자세 데이터 또는 행동 데이터의 기준 데이터를 기저장한 후 이를 이용해 행동과 자세를 판단 및 인식할 수 있게 된다.
객체위치 도면매핑부(116)는 각각 검출된 객체박스 좌표와 스켈레톤 좌표를 2D 또는 3D의 실내 도면에 매핑하게 된다. 이를 위해서 카메라의 위치를 3D 공간에 매핑하기 위한 3차원 공간에서의 캘리브레이션을 수행한다. 2D 또는 3D 공간을 매핑해야 하므로 해당 도면정보는 영상분석장치(100)의 내부에 저장된다. 다시 말해 독거노인이 거주하는 거주지의 실내공간에 상응하는 가상공간의 영상을 사전에 제작하여 기저장한 후 이를 이용하게 되는 것이다. 이는 도 1에서 볼 때 3D 공간 모델 생성부(112)에서 제공되는 영상을 이용할 수 있다.
3D 공간 모델 생성부(112)는 일반 카메라와 TOF 카메라의 영상을 조합하여 3D 공간 모델을 자동으로 생성한다. 일반 카메라와 TOF 카메라의 가시 영역들을 스캔하여 해당 정보를 통해 모델을 생성한다. 생성된 모델은 위치 도면 매핑 시, 그리고 3D 공간 기반 영상 출력 시에 사용될 수 있다.
2D 및 3D 공간기반 객체 메타데이터 생성부(117)는 2D 및/또는 3D 도면좌표를 기준좌표로 하여 한 객체정보에 대한 메타데이터를 생성한다. 이러한 메타데이터들은 JSON 또는 XML 형식이거나 바이너리(binary) 포맷의 형태일 수 있다. 또한 비디오 내용과 싱크를 위하여 영상 캡처 시간을 기준으로 하는 타임스탬프 정보를 담고 있어야 한다. 각각의 객체는 객체 박스 좌표정보, 각각 객체의 중심을 지역 좌표계로 삼는 3D 조인트의 좌표리스트, 객체 인식과 관련한 속성을 담고 있다. 도 4는 2D/3D 공간에서 아바타 객체를 출력하기 위한 정보들의 구성을 보여주고 있다.
영상 및 메타데이터 저장부(118)는 카메라 영상과 2D/3D공간기반 객체 메타데이터를 타임스탬프 시간을 기준으로 저장하는 부이다. 타임 스탬프는 영상을 캡처한 시간의 기준을 말한다. 이 타임 스탬프는 아바타의 행동을 실시간 또는 오프라인으로 표출할 때 동기화를 위하여 사용되며 특히 동영상과 아바타의 행위를 함께 모니터링하는 경우 싱크(sync.)를 하기 위한 정보로 사용된다. 일반카메라 영상 또는 TOF영상 저장 용량에 비하여 아바타 객체 정보의 크기가 작기 때문에 영상은 이벤트 발생 구간만 저장하는 방법도 가능할 수 있다.
이벤트 영상 송신부(119)는 실시간 또는 녹화영상을 스트림으로 전송하는 부이다. 이벤트 영상 송신부(119)는 도 1의 통신망(110)과 통신하여 모니터링장치(120)와 통신하기 위한 통신부이다. 이벤트 영상 송신부(119)는 기본적으로 사생활(privacy)을 위하여 항시 스트림으로 전송하지 않을 것을 전제로 하지만 허가된 상황인 경우에는 실시간으로 영상을 스트림할 수 있다. 영상을 스트림 전송할 때 또한 영상에 인지한 정보를 설명하기 위한 메타데이터를 함께 전송할 수 있다. 물론 메타데이터는 영상에서의 독거노인과 관련한 객체 또는 사람과 관련한 속성 등의 다양한 정보를 포함하는 데이터를 의미한다. 도 4에서 잘 보여주고 있다.
정리하면, 본 발명의 실시예에 따른 디지털 트윈기술을 이용한 독거노인 행동 관찰 및 이상행위 모니터링 시스템(90)의 멀티센서 기반 영상분석장치(100)는, 사람이 거주하는 실내에 객체의 위치와 스켈레톤 정보를 정확하게 검출하기 위하여 일반카메라 또는 일반카메라와 TOF카메라를 조합한 영상 수신부(111a, 111b), 입력된 일반영상과 TOF카메라에서 입력된 깊이영상을 기반으로 객체를 검출하고 추적하기 위한 (융합) 객체검출추적부(113), 추출된 객체단위로 2D/3D 기반으로 스켈레톤 정보를 추출하는 스켈레톤 추출부(114), 객체단위의 영상과 스켈레톤 정보를 기반으로 행동 및 자세를 인식하는 행동 및 자세 인식부(115), 인식된 객체들을 도면상 좌표로 매핑하는 객체위치 도면매핑부(116), 그리고 2D/3D 공간 객체 메타데이터 생성부(117)와 2D/3D공간 기반 객체 메타데이터 전송부(119a)를 포함한다. 그리고 이벤트 영상과 메타데이터를 저장하고 하는 영상 및 메타데이터 저장부(118)를 포함할 수 있다.
한편, 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 모니터링장치(120)는 실시간 메타데이터 수신부(121) 2D 및 3D 공간기반 아바타 출력부(122), 이벤트 영상 수신부(123) 및 이벤트 영상 화면표출부(124)의 일부 또는 전부를 포함한다. 여기서, "일부 또는 전부를 포함"한다는 것은 앞서의 의미와 크데 다르지 않으며, 상기의 구성요소들은 하드웨어, 소프트웨어 또는 그 조합에 의해 구성될 수 있을 것이다.
실시간 메타데이터 수신부(121)는 댁내 설치된 (멀티센서 기반) 영상분석장치(100)로부터 실시간으로 메타데이터를 수신하는 부이다. 모니터링장치(120)는 관제를 하지 않는 경우에는 메타데이터의 수신을 중지시킬 수 있다. 또한 필요한 경우 현 시간대의 아바타 행동을 모니터링하지 않고 과거 시간대의 아바타의 행동을 관찰할 수 있게 할 수 있기 때문에 수신받고자 하는 시간 기준으로 스트림을 받을 수 있다. 물론 이는 DB에 데이터를 저장한 후 해당 동작을 수행할 수 있지만, 도 1의 멀티센서 기반 영상분석장치(100)로 데이터 전송을 요청하여 수신하는 것도 얼마든지 가능할 수 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
2D 및 3D 공간기반 아바타 출력부(122)는 실시간으로 수신된 메타데이터를 2D 또는 3D 공간 내에 출력하는 기능을 제공한다. 아바타는 스켈레톤 조인트 정보와 동일한 관절 정보를 가진다. 아바타의 경우 성별, 복장의 상태가 반영되어 표시될 수 있으며 얼굴과 손가락 관절정보가 포함되어 있는 경우 얼굴의 표정을 표현하거나 손가락 동작을 표현할 수 있다. 물론 이러한 독거노인에 대응되는 아바타는 관제요원이 독거노인의 상태를 적절히 표현할 수 있는 아바타를 선택하여 지정하거나, 별도로 제작되어 지정될 수도 있을 것이다. 아바타는 2D/3D 형태로 출력되며 카메라 뷰를 변경하여 모니터링하거나 아바타 위치로 카메라가 자동으로 추적하여 보이게 할 수 있다. 현재의 자세정보나 응급상황 이벤트 정보가 아바타 주변에 텍스트와 아이콘 등으로 표시될 수도 있다. 아바타 모니터링 화면에는 도 6에서 볼 수 있는 바와 같이 타임라인과 함께 플레이 컨트롤 사용자 인터페이스(UI)가 함께 표시되어 과거시간 녹화된 행동을 확인할 수 있다.
이벤트 영상 수신부(123)는 이벤트 영상을 수신받는다. 이벤트 영상은 실시간 온라인 영상과 실시간이 아닌 형태의 온라인 영상을 포함할 수 있다.
이벤트 영상 표출부(124)는 이벤트 영상을 화면에 표출한다. 관리자의 모니터 가령 컴퓨터 화면에 표출할 수 있다. 이벤트 영상은 아바타 영상과 동기화되어 표출될 수 있다.
다시 정리해 보면, 원격지의 모니터링 시스템을 구성하는 모니터링장치(120)는 실시간으로 메타데이터를 수신하는 메타데이터 수신부(121), 실시간 객체 메타데이터를 기반으로 2D/3D 공간 기반 아바타 출력부(122)가 포함되어 평시 아바타의 행위로 독거노인을 관찰한다. 그리고 응급시로 판단되는 경우 이벤트 영상을 온라인 또는 오프라인으로 확인할 수 있는 이벤트 영상 수신부(123)와 이 영상을 확인할 수 있는 이벤트 영상 표출부(124)를 포함할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 독거노인 행동관찰 및 이상행위 모니터링 시스템을 나타내는 도면이다.
도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 독거노인 행동관찰 및 이상행위 모니터링 시스템(190)은 촬영장치(700), 통신망(710), 영상분석장치9720) 및 관제센터장치(730)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 관제센터장치(730)와 같은 일부 구성요소가 생략되어 독거노인 행동관찰 및 이상행위 모니터링 시스템(190)이 구성되거나, 영상분석장치(720)를 구성하는 구성요소의 일부 또는 전부가 통신망(710)을 구성하는 네트워크장치(예: 무선교환장치 등)나 촬영장치(700)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
촬영장치(700)는 독거노인 등의 사회적 약자가 거주하는 실내 즉 공간에 설치되어 동작할 수 있으며, CCTV나 IP카메라, PTZ 카메라, TOF 카메라 등 다양한 유형의 카메라를 포함할 수 있다. 촬영장치(700)는 고정형 카메라, PTZ 카메라, 2차원 카메라뿐 아니라 깊이정보를 얻을 수 있는 3차원 카메라 등을 포함할 수 있다. 본 발명의 실시예에서는 독거노인에게 사건, 사고 등의 이벤트가 발생했을 때 독거노인의 실제 모습을 원격지에서 관찰할 수 있도록 하기 위한 일반 카메라와, 또 독거노인의 행동과 자세를 좀더 자세히 인식할 수 있는 TOF 카메라가 사용될 수 있다. 물론, 3차원 카메라를 통해 취득되는 영상을 분석하여 행동과 자세를 판단 및 인식할 수 있지만, 본 발명의 실시예에서는 스켈레톤 정보를 이용하여 행동 및 자세를 판단하기 위한 TOF 카메라가 사용될 수 있다. 물론 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
통신망(710)과 관련해서는 앞서 도 1의 통신망(110)을 설명하면서 충분히 설명한 바 있으므로, 그 내용들로 대신하고자 한다.
영상분석장치(720)는 도 1의 멀티센서 기반 영상분석장치(100)와 크게 다르지 않다. 다만, 도 7에서의 영상분석장치(720)는 도 1의 멀티센서 기반 영상분석장치(100)와 같이 카메라의 말단에 구성되는 에지장치와 같은 형태의 구성이 아니라, 도 7의 통신망(710)을 경유하여 원격에 구비되는 서버 등을 포함할 수 있다. 물론 도 1의 촬영장치(700)는 실시간으로 촬영영상을 제공하지만, 3차원 카메라의 경우에는 촬영영상과 메타데이터를 함께 제공할 수도 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
영상분석장치(720)는 수신된 촬영영상을 분석하며, 예를 들어, 일반 카메라의 제1 촬영영상과 TOF 카메라의 제2 촬영영상을 분석하여 각각의 영상에서 객체를 검출하고 동일 객체는 서로 병합 또는 융합한다. 그리고 융합 객체의 추적 동작을 수행할 수 있으며, 또 객체의 추적 동작을 수행하면서 스켈레톤 정보를 추출할 수 있다. 물론 여기서의 객체는 촬영영상에서의 독거노인을 의미한다. 그리고 추출한 스켈레톤 정보를 이용하여 독거노인의 행동과 자세를 인식할 수 있다. 또한, 해당 인식한 행동과 자세는 독거노인이 거주는 실내 공간을 가상공간 영상으로 생성한 가령 3차원 공간상에 가상 아바타의 형태로 독거노인의 행동과 자세를 매핑시킬 수 있다. 물론 3차원 공간상에 매핑하기 위해서는 촬영영상에서 객체의 위치정보를 취득하여 이를 이용할 수 있을 것이다.
영상분석장치(720)는 독거노인이 촬영된 촬영영상을 분석하여 사건, 사고의 이벤트가 없을 경우에는 해당 독거노인과 관련한 스켈레톤 정보만을 관제센터장치(730)로 제공할 수 있다. 만약 독거노인에게 사건, 사고의 이벤트가 발생한 경우에는 해당 모습이 담긴 이벤트 영상과 스켈레톤 정보를 함께 관제센터장치(730)로 전송할 수 있다.
관제센터장치(730)는 독거노인들에 대하여 각각의 아바타를 지정하여 저장하며, 평상시에는 아바타의 형태로 독거노인들이 관찰되도록 한다. 이를 통해 독거노인들의 사생활을 보호할 수 있다. 관제센터장치(730)는 영상분석장치(720)에서 스켈레톤 정보를 제공받아 이를 아바타에 구현한다. 따라서 독거노인의 행동과 자세는 아바타의 행동과 자세로 표현되는 것이다. 관제센터장치(730)의 관제요원은 독거노인에게 사건, 사고의 이벤트가 없는 경우 아바타를 통해 해당 독거노인을 관찰한다. 그러나, 이벤트가 발생하는 경우에는 영상분석장치(720)로부터 독거노인의 모습이 담긴 이벤트 영상을 제공받아 이를 화면에 표출한다. 이를 통해 독거노인에게 위급한 상황이 발생했을 때 신속하게 대처할 수 있다.
상기한 내용 이외에도 도 7의 촬영장치(700), 통신망(710), 영상분석장치(720) 및 관제센터장치(730)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 도1에서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
도 8은 도 7의 영상분서장치의 세부구조를 예시한 블록다이어그램이다.
도 8에 도시된 바와 같이, 본 발명의 실시예에 따른 도 7의 영상분석장치(720)는 통신 인터페이스부(800), 제어부(810), 독거노인 관찰부(820) 및 저장부(830)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(830)와 같은 일부 구성요소가 생략되어 영상분석장치(720)가 구성되거나, 독거노인 관찰부(820)와 같은 일부 구성요소가 제어부(810)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(800)는 도 7의 통신망(710)을 경유하여 촬영장치(700)와 통신한다. 통신 인터페이스부(800)는 촬영장치(700) 즉 일반카메라나 TOF 카메라에서 제공하는 촬영영상의 영상 데이터를 수신하여 이를 제어부(810)에 전달한다. 통신 인터페이스부(800)는 촬영장치(700)와 통신하는 과정에서 데이터를 압축하는 인코딩과 압축된 데이터를 복원하는 디코딩 등의 동작을 수행할 수 있다.
또한, 통신 인터페이스부(800)는 제어부(810)의 제어하에 도 7의 관제센터장치(730)와 통신할 수 있다. 독거노인에게 사건, 사고가 발견되지 않는 평시에는 독거노인의 행동 및 자세와 관련한 데이터, 가령 본 발명의 실시예에서는 스켈레톤 데이터를 제공할 수 있다. 반면, 독거노인에게 위험 상황이 발견될 때에는 일반카메라에 의해 촬영된 촬영영상 더 정확하게는 이벤트가 발생한 때부터의 촬영영상을 실시간으로 전송하여 관제요원에 의해 빠른 대처가 이루어지도록 할 수 있다.
제어부(810)는 통신 인터페이스부(800), 독거노인 관찰부(820), 저장부(830)를 전반적으로 제어한다. 예를 들어, 제어부(810)는 도 7의 촬영장치(700)에서 제공하는 촬영영상의 데이터가 수신되면 이를 저장부(830)에 임시 저장한 후 불러내어 독거노인 관찰부(820)에 제공한다.
또한 제어부(810)는 독거노인 관찰부(820)에서 촬영영상의 분석결과, 독거노인에게서 별다른 사건, 사고의 징후 즉 이벤트가 없다고 판단될 때에는 독거노인의 행동 및 자세와 관련한 데이터, 가령 스켈레톤 데이터를 제공받아 이를 도 7의 관제센터장치(730)로 전송하기 위해 통신 인터페이스부(800)를 제어한다. 반면 독거노인에게서 사건, 사고의 이벤트가 감지될 때 독거노인 관찰부(820)로부터 이벤트 발생의 통지가 있는 경우 저장부(830)에 저장되어 있는 이벤트 발생 시점부터의 촬영영상을 관제센터장치(730)로 실시간으로 전송할 수 있다.
독거노인 관찰부(820)는 디지털 트윈기술을 이용하여 독거노인의 행동관찰과 이상행위를 모니터링할 수 있도록 동작한다. 이를 위하여 도 7의 촬영장치(700)로부터 제공되는 촬영영상을 분석하여 가령 일반카메라의 촬영영상과 TOF 카메라의 촬영영상을 각각 분석하여 객체를 검출하고 검출한 객체를 병합하며, 또 검출한 객체를 추적하며, 추적하는 객체에 대한 스켈레톤 정보를 추출한다. 스켈레톤 정보는 TOF 카메라의 촬영영상으로부터 취득할 수 있다. 이의 과정에서 독거노인 관찰부(820)는 독거노인에게서 사건, 사고의 이벤트가 발생하는지를 판단할 수 있다. 만약 별도의 이벤트가 없는 경우에는 스켈레톤 정보만 출력할 수 있다.
반면 독거노인 관찰부(820)의 가령 일반카메라의 촬영영상을 분석한 결과 독거노인에게 사건, 사고의 이벤트가 발생한 것으로 판단되는 경우 해당 이벤트 발생 시점부터 관제센터에서 실제 노인의 모습이 관찰되도록 촬영영상을 실시간으로 전송한다. 이를 통해 평상시에는 사람이 포함된 비디오 스트림이 아닌 아바타 화면으로 관제센터에서 이상 상황을 모니터링하도록 하며, 실제 위험의 확률이 높거나 실제 영상이 허가된 상황(예: 법적 허용 등)에서만 실제 비디오 영상으로 모니터링되도록 한다. 물론 이의 과정에서 독거노인 관찰부(820)는 독거노인이 거주하는 실내 공간의 3차원 영상 즉 가상공간 영상을 모델링한 후 스켈레톤 정보를 이용하여 해당 가상공간 내에서 아바타를 통해 독거노인의 행동이나 자세를 화면에 표출해 볼 수 있도록 관련 영상을 생성하여 관제센터로 제공할 수 있다.
저장부(830)는 제어부(810)의 제어하에 다양한 유형의 데이터를 임시 저장한 후 출력할 수 있으며, 가령 도 7의 촬영장치(700)에서 제공하는 촬영영상의 영상 데이터를 임시 저장한 후 독거노인 관찰부(820)로 제공해 줄 수 있을 것이다.
상기한 내용 이외에도 도 8의 통신 인터페이스부(800), 제어부(810), 독거노인 관찰부(820) 및 저장부(830)는 다양한 동작을 수행할 수 있으며, 기타 자세한 앞서 도 1의 멀티센서 기반 영상분석장치(100)를 통해 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
본 발명의 실시예에 따른 도 8의 통신 인터페이스부(800), 제어부(810), 독거노인 관찰부(820) 및 저장부(830)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(830)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.
한편, 본 발명의 다른 실시예로서 제어부(810)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 영상분석장치(720)의 동작 초기에 독거노인 관찰부(820)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다. 딥러닝 모델 같은 경우 램(RAM)이 아닌 GPU 메모리에 올라가 GPU를 이용하여 수행 속도를 가속화하여 실행될 수도 있다.
도 9는 본 발명의 실시예에 따른 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법의 흐름도이다.
설명의 편의상 도 9를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 영상분석장치(100)는 독거노인이 거주하는 공간에 설치되는 카메라의 촬영영상을 분석하여 독거노인의 행동과 자세를 인식하고 인식 결과로서 위험 상태를 포함하는 이벤트 영상과 그 이벤트 영상 내의 사람 객체와 관련한 메타 데이터를 제공한다(S900). 여기서, 메타데이터는 도 4에서와 같이 사람 객체와 관련한 속성정보, 위치정보, 스켈레톤정보 등 다양한 정보를 갖는 데이터라 볼 수 있다.
모니터링장치(120)는 영상분석장치(100)에서 제공하는 이벤트 영상 및 메타 데이터를 근거로 위험 상태의 이벤트가 없는 평시에는 독거노인을 아바타의 행위로 화면상에 표출하고 응급시로 판단될 때 아바타가 아닌 독거노인의 실제 모습을 담긴 이벤트 영상을 화면에 표출한다(S910). 따라서 모니터링장치(120)는 사생활 보호를 위해 평상시 독거노인을 관찰할 때 아바타의 행위로 관찰하게 되며, 물론 해당 아바타는 독거노인의 행동과 자세를 그대로 화면상에 구현하게 된다. 이는 영상분석장치(100)에서 제공하는 메타 데이터의 스켈레톤 정보를 반영하여 아바타의 동작을 제어하기 때문이다. 이는 어디까지나 프로그램 설계자의 의도에 따라 다양하게 이루어질 수 있는 것이므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
상기한 내용 이외에도 도 1의 영상분석장치(100) 및 모니터링장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 멀티센서 기반 영상분석장치 112: 3D 공간 모델 생성부
113: (융합) 객체 검출추적부 114: 스켈레톤 추출부
115: 행동 및 자세 인식부 116: 객체위치 도면매핑부
117: 2D 및 3D 공간기반 객체 메타데이터 생성부
118: 영상 및 메타데이터 저장부 119: 이벤트 영상 송신부
121: 실시간 메타데이터 수신부 122: 2D/3D 공간기반 아바타 출력부
123: 이벤트 영상 수신부 124: 이벤트 영상 화면 표출부
113: (융합) 객체 검출추적부 114: 스켈레톤 추출부
115: 행동 및 자세 인식부 116: 객체위치 도면매핑부
117: 2D 및 3D 공간기반 객체 메타데이터 생성부
118: 영상 및 메타데이터 저장부 119: 이벤트 영상 송신부
121: 실시간 메타데이터 수신부 122: 2D/3D 공간기반 아바타 출력부
123: 이벤트 영상 수신부 124: 이벤트 영상 화면 표출부
Claims (10)
- 독거노인이 거주하는 공간에 설치되는 카메라의 촬영영상을 분석하여 상기 독거노인의 행동과 자세를 인식하고, 인식 결과로서 위험 상태를 포함하는 이벤트 영상 및 상기 이벤트 영상 내의 사람 객체와 관련한 메타 데이터를 제공하는 영상분석장치; 및
상기 영상분석장치에서 제공하는 상기 이벤트 영상 및 상기 메타 데이터를 근거로 상기 위험 상태의 이벤트가 없는 평시에는 상기 독거노인을 아바타(avatar)의 행위로 화면상에 표출하고, 응급시로 판단될 때 상기 아바타가 아닌 상기 독거노인의 실제 모습이 담긴 상기 이벤트 영상을 화면에 표출하는 모니터링장치;를 포함하되,
상기 모니터링장치는, 상기 독거노인이 거주하는 거주공간의 촬영영상을 이용하여 생성되는 거주공간에 대한 2D 또는 3D의 가상 공간의 공간 영상을 상기 아바타의 배경이 되는 공간으로 구현하고,
상기 모니터링장치는, 상기 독거노인에 대응되는 아바타의 경우 상기 독거노인의 성별과 복장을 반영하여 표시하고, 관제요원의 선택에 의해 상기 독거노인의 상태를 표현할 수 있는 아바타가 지정되며,
상기 모니터링장치는, 아바타 모니터링 화면에 타임라인과 함께 플레이 컨트롤 사용자 인터페이스(UI)를 함께 표시하여 과거시간 녹화된 행동을 확인하도록 하는, TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템. - 제1항에 있어서,
상기 영상분석장치는, 일반 카메라의 촬영영상 또는 상기 일반 카메라와 TOF(time of Flight) 카메라가 조합한 형태의 촬영영상을 분석하여 상기 사람 객체의 3차원 스켈레톤 정보를 추출해 상기 행동과 자세의 인식에 이용하는 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템. - 제2항에 있어서,
상기 영상분석장치는, 이종의 카메라에서 제공하는 촬영영상에서 각각 검출되는 객체를 병합한 후 상기 병합한 검출 객체를 추적하면서 스켈레톤 정보를 취득하고, 상기 취득한 스켈레톤 정보를 근거로 상기 행동과 자세를 인식하는, TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템. - 제3항에 있어서,
상기 영상분석장치는, 상기 공간에 대응하여 기저장되는 가상공간 영상 내에 상기 행동과 자세의 인식 결과를 반영하는 가상의 아바타를 표현하고 상기 아바타를 통해 상기 독거노인의 위치와 행위를 화면에 표시하도록 상기 모니터링장치를 제어하는, TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템. - 제4항에 있어서,
상기 영상분석장치는, 상기 평시에는 상기 촬영영상을 전송하는 형태가 아닌 축약된 데이터의 형태로서 상기 사람 객체의 객체위치정보, 스켈레톤정보 및 속성정보를 상기 모니터링장치로 제공하여 통신망의 부하를 줄이는, TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템. - 영상분석장치가, 독거노인이 거주하는 공간에 설치되는 카메라의 촬영영상을 분석하여 상기 독거노인의 행동과 자세를 인식하고, 인식 결과로서 위험 상태를 포함하는 이벤트 영상 및 상기 이벤트 영상 내의 사람 객체와 관련한 메타 데이터를 제공하는 단계; 및
모니터링장치가, 상기 영상분석장치에서 제공하는 상기 이벤트 영상 및 상기 메타 데이터를 근거로 상기 위험 상태의 이벤트가 없는 평시에는 상기 독거노인을 아바타의 행위로 화면상에 표출하고, 응급시로 판단될 때 상기 아바타가 아닌 상기 독거노인의 실제 모습이 담긴 상기 이벤트 영상을 화면에 표출하는 단계;를 포함하되,
상기 모니터링장치가, 상기 독거노인이 거주하는 거주공간의 촬영영상을 이용하여 생성되는 거주공간에 대한 2D 또는 3D의 가상 공간의 공간 영상을 상기 아바타의 배경이 되는 공간으로 구현하는 단계;
상기 모니터링장치가, 상기 독거노인에 대응되는 아바타의 경우 상기 독거노인의 성별과 복장을 반영하여 표시하고, 관제요원의 선택에 의해 상기 독거노인의 상태를 표현할 수 있는 아바타를 지정하는 단계; 및
상기 모니터링장치가, 아바타 모니터링 화면에 타임라인과 함께 플레이 컨트롤 사용자 인터페이스(UI)를 함께 표시하여 과거시간 녹화된 행동을 확인하도록 하는 단계;를
더 포함하는, TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법. - 제6항에 있어서,
상기 인식하는 단계는,
일반 카메라의 촬영영상 또는 상기 일반 카메라와 TOF 카메라가 조합한 형태의 촬영영상을 분석하여 상기 사람 객체의 3차원 스켈레톤 정보를 추출해 상기 행동과 자세의 인식에 이용하는 TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법. - 제7항에 있어서,
상기 인식하는 단계는,
이종의 카메라에서 제공하는 촬영영상에서 각각 검출되는 객체를 병합한 후 상기 병합한 검출 객체를 추적하면서 스켈레톤 정보를 취득하고, 상기 취득한 스켈레톤 정보를 근거로 상기 행동과 자세를 인식하는, TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법. - 제8항에 있어서,
상기 제공하는 단계는,
상기 공간에 대응하여 기저장되는 가상공간 영상 내에 상기 행동과 자세의 인식 결과를 반영하는 가상의 아바타를 표현하고 상기 아바타를 통해 상기 독거노인의 위치와 행위를 화면에 표시하도록 상기 모니터링장치를 제어하는 단계를 포함하는, TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법. - 제9항에 있어서,
상기 제공하는 단계는,
상기 평시에는 상기 촬영영상을 전송하는 형태가 아닌 축약된 데이터의 형태로서 상기 사람 객체의 객체위치정보, 스켈레톤정보 및 속성정보를 상기 모니터링장치로 제공하여 통신망의 부하를 줄이는, TOF 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220150443A KR102527771B1 (ko) | 2022-11-11 | 2022-11-11 | Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220150443A KR102527771B1 (ko) | 2022-11-11 | 2022-11-11 | Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102527771B1 true KR102527771B1 (ko) | 2023-05-02 |
Family
ID=86387452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220150443A KR102527771B1 (ko) | 2022-11-11 | 2022-11-11 | Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102527771B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704607A (zh) * | 2023-06-08 | 2023-09-05 | 浙江理工大学瓯海研究院有限公司 | 一种3d数字人的行为数据挖掘方法及系统 |
| KR102677867B1 (ko) * | 2023-05-08 | 2024-06-26 | (주)로보케어 | 스케줄링 방법 및 장치 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101097235B1 (ko) | 2011-09-09 | 2011-12-22 | (주) 대호아이앤티 | 독거 노인 안전망 시스템 및 안전망 서비스 제공 방법 |
| KR101942808B1 (ko) | 2018-11-13 | 2019-01-29 | 주식회사 인텔리빅스 | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 |
| JP2019204366A (ja) * | 2018-05-24 | 2019-11-28 | パナソニックＩｐマネジメント株式会社 | 行動監視装置及び行動監視方法 |
| KR20200059628A (ko) * | 2018-11-21 | 2020-05-29 | 주식회사 노다시스템 | 스켈레톤 영상 학습 기반의 독거노인 행동 패턴 모니터링 방법 |
| KR20210086072A (ko) * | 2019-12-31 | 2021-07-08 | 주식회사 버넥트 | 실시간 현장 작업 모니터링 방법 및 시스템 |
| KR102299424B1 (ko) | 2020-02-03 | 2021-09-07 | 한국생산기술연구원 | 딥러닝 기반 행동인식 시스템 및 방법 |
| KR102413893B1 (ko) | 2021-11-17 | 2022-06-28 | (주)아이와즈 | 스켈레톤 벡터 기반 비대면 비접촉 낙상탐지 시스템 및 방법 |
| KR102440530B1 (ko) | 2020-12-17 | 2022-09-06 | (주)텔레필드 | 독거노인 응급 위험 상황 감지 시스템 및 이를 실행하는 방법 |
-
2022
- 2022-11-11 KR KR1020220150443A patent/KR102527771B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101097235B1 (ko) | 2011-09-09 | 2011-12-22 | (주) 대호아이앤티 | 독거 노인 안전망 시스템 및 안전망 서비스 제공 방법 |
| JP2019204366A (ja) * | 2018-05-24 | 2019-11-28 | パナソニックＩｐマネジメント株式会社 | 行動監視装置及び行動監視方法 |
| KR101942808B1 (ko) | 2018-11-13 | 2019-01-29 | 주식회사 인텔리빅스 | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 |
| KR20200059628A (ko) * | 2018-11-21 | 2020-05-29 | 주식회사 노다시스템 | 스켈레톤 영상 학습 기반의 독거노인 행동 패턴 모니터링 방법 |
| KR20210086072A (ko) * | 2019-12-31 | 2021-07-08 | 주식회사 버넥트 | 실시간 현장 작업 모니터링 방법 및 시스템 |
| KR102299424B1 (ko) | 2020-02-03 | 2021-09-07 | 한국생산기술연구원 | 딥러닝 기반 행동인식 시스템 및 방법 |
| KR102440530B1 (ko) | 2020-12-17 | 2022-09-06 | (주)텔레필드 | 독거노인 응급 위험 상황 감지 시스템 및 이를 실행하는 방법 |
| KR102413893B1 (ko) | 2021-11-17 | 2022-06-28 | (주)아이와즈 | 스켈레톤 벡터 기반 비대면 비접촉 낙상탐지 시스템 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 김미경 /Mi-Kyung Kim 1, 차의영 /CHA，EUI-YOUNG. 스켈레톤 벡터 정보와 RNN 학습을 이용한 행동인식 알고리즘. 방송공학회 논문지 제23권 제5호. 2018.09 598 - 605 (8page) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102677867B1 (ko) * | 2023-05-08 | 2024-06-26 | (주)로보케어 | 스케줄링 방법 및 장치 |
| CN116704607A (zh) * | 2023-06-08 | 2023-09-05 | 浙江理工大学瓯海研究院有限公司 | 一种3d数字人的行为数据挖掘方法及系统 |
| CN116704607B (zh) * | 2023-06-08 | 2024-01-26 | 浙江理工大学瓯海研究院有限公司 | 一种3d数字人的行为数据挖掘方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102527771B1 (ko) | Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법 | |
| CA3088774C (en) | Sensor fusion for monitoring an object-of-interest in a region | |
| US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| CN109325933B (zh) | 一种翻拍图像识别方法及装置 | |
| US9396400B1 (en) | Computer-vision based security system using a depth camera | |
| US11089284B2 (en) | Image processing apparatus, image generating method, and storage medium | |
| US20180284802A1 (en) | Fault Tolerance to Provide Robust Tracking for Autonomous Positional Awareness | |
| WO2016147770A1 (ja) | 監視システム及び監視方法 | |
| CN108073890A (zh) | 视频序列中的动作识别 | |
| US20090304229A1 (en) | Object tracking using color histogram and object size | |
| JP2018160219A (ja) | 移動経路予測装置、及び移動経路予測方法 | |
| JP2020057111A (ja) | 表情判定システム、プログラム及び表情判定方法 | |
| JP2016085487A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
| KR101979375B1 (ko) | 감시 영상의 객체 행동 예측 방법 | |
| CN107122743B (zh) | 安防监控方法、装置和电子设备 | |
| KR102486986B1 (ko) | 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 | |
| KR101990789B1 (ko) | 관심객체의 선택에 의한 영상 탐색장치 및 방법 | |
| US20240046701A1 (en) | Image-based pose estimation and action detection method and apparatus | |
| CN107111363B (zh) | 用于监视的方法、装置和系统 | |
| JP7124281B2 (ja) | プログラム、情報処理装置、画像処理システム | |
| KR20190051924A (ko) | 관심객체의 선택에 의한 영상 탐색장치 및 방법 | |
| JP2022153716A (ja) | 情報処理システム及び３次元データ生成方法 | |
| CN110619734A (zh) | 信息推送方法和装置 | |
| Mariappan et al. | A design methodology of an embedded motion-detecting video surveillance system | |
| KR102548624B1 (ko) | 위험을 사전에 분석하여 위험 예상 지역에서의 경보를 발생시키는 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |