KR102275741B1 - 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법 - Google Patents

Abstract

본 실시예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법은 영상 정보를 수집하는 정보 수집부와, 영상 정보내에서 객체를 인식하고 객체의 클래스를 분류하는 객체 검출부와, 객체를 개별 사용자로 인식하는 객체 인식부와, 개별 사용자 객체의 감정을 분석하는 감정 분석부와, 개별 사용자 맞춤형 컨텐츠를 제공하는 관리부 및 시스템 내의 정보들을 저장하는 저장부를 포함하는 하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법을 제공한다.

Description

영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING USER CUSTOMIZED CONTENTS SERVICE USING IMAGE INFORMATION}

본 발명은 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법에 관한 것으로, 영상 정보를 이용하여 객체 단위의 편집과, 개인 및 단체의 맞춤형 선호도와 지역 위치별 선호도 정보의 제공이 가능한 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법을 제공한다.

최근 들어, 영상을 촬영하는 장치의 발전과 이의 보급으로 인해 이미지 및 비디오와 같은 영상 정보의 양이 기하급수적으로 증가하고 있다. 이와 같은 영상 정보를 활용하기 위한 많은 시도가 이루어지고 있다. 최근에는 공공분야에서는 범죄와 민간 치안에 활용하기 위한 시스템 개발은 물론, 이러한 영상 정보 활용 기술을 국방상에 활용하기 위한 다양한 시도가 시행되고 있다.

또한, 민간 부문에서는 차량 입출입 영상 분석을 통한 주차장 관리 시스템 등이 상용화되어 있는 실정이다.

(특허 문헌 1) 한국등록특허공보 제10-0995569호 (특허 문헌 2) 한국등록특허공보 제10-1771652호

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 객체 단위 영상 편집과 객체 내의 감정 즉, 표정 분석을 통해 객체 추적이 가능하고, 개인 맞춤형 컨텐츠 서비스 제공과 선호도 정보의 제공이 가능한 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법에 관한 것이다.

본 발명에 따른 영상 정보를 수집하는 정보 수집부와, 영상 정보내에서 객체를 인식하고 객체의 클래스를 분류하는 객체 검출부와, 객체를 개별 사용자로 인식하는 객체 인식부와, 개별 사용자 객체의 감정을 분석하는 감정 분석부와, 개별 사용자 맞춤형 컨텐츠를 제공하는 관리부와, 시스템 내의 정보들을 저장하는 저장부를 포함하는 하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템을 제공한다.

상기 객체 검출부는 정형화된 영상 정보를 다수의 셀 영역으로 구분하는 셀 구획부와, 구획된 셀 영역을 기반으로 영상 정보 내의 객체의 경계를 산출하는 경계 산출부와, 산출된 객체를 구분하는 객체 구분부를 포함할 수 있다.

셀 영역은 동일 사이즈로 구획되고, 경계 산출부를 통해 다양한 사이즈의 경계 박스를 생성하고, 경계 박스 내에 객체가 위치할 확률 분포에 따라 박스 영역에 가중치를 부여하고, 가중치 값이 큰 후보 박스를 선정한 다음 비 최대값 억제 알고리즘을 통해 객체 경계를 산출하고, 객체 구분을 위해 저장된 구분 클래스 값을 부여하고, 부여 값 중에서 가장 높은 값을 구분 클래스에 해당하는 클래스 객체로 구분할 수 있다.

다수의 채널을 생성하고, 각각의 채널의 앞쪽에는 박스 영역 정보가 위치하고, 뒷쪽에는 셀 영역의 객체 클래스 정보가 저장되어, 객체의 구획과 객체의 구분을 동시에 실시할 수 있다.

상기 감정 분석부는 객체 검출부에 의해 구분된 객체 경계를 바탕으로 객체 영상 정보를 추출 변경하는 감정 정보 입력부와, 변경된 객체 영상 정보에서 얼굴을 인식하는 얼굴 인식부와, 인식된 얼굴 정보에서 특징을 추출하여 매핑하는 특징 추출부와, 추출된 특징을 이용하여 감정을 분석하는 감정 분석부를 포함할 수 있다.

상기 감정 분석부는 CNN 모델을 사용하여 화남, 싫음, 공포, 행복, 슬픔, 놀람, 차분함의 7가지 감정을 분석하되, 7개의 감정 요소를 확률 분포 형태로 분석할 수 있다.

상기 객체 인식부는 객체 검출부에 의해 구분된 객체 경계를 바탕으로 객체 이미지 정보를 추출 변경하는 인식 정보 입력부와, 변경된 객체 이미지 정보와 저장된 객체 정보를 비교하여 다수의 후보 객체를 선정하는 인식 후보 산출부와, 변경된 객체 이미지 정보와 후보 이미지 정보간의 인식 특징점을 산출하고, 이를 통해 객체 이미지 정보 내의 객체를 특정하는 객체 특정부를 포함할 수 있다.

상기 관리부는 정보 수집부의 영상정보, 장치 정보 및 위치 정보와, 객체 인식부의 객체 인식 정보 그리고, 감정 분석부의 감정 분석 정보를 활용하여 개별 사용자 맞춤형 컨텐츠를 제공하되, 인식 객체의 위치 및 위치별 제공되는 컨텐츠를 파악하는 컨텐츠 추적부와, 객체의 감정 변화를 파악하고, 객체 위치별 제공되는 컨텐츠 정보와 감정 변화를 매핑하여 선호도를 산출하는 선호도 측정부와, 선호도가 높은 컨텐츠를 객체에게 제공하는 컨텐츠 제공부를 포함할 수 있다.

상기 컨텐츠 추적부는 정보 수집부를 통해 제공된 위치 정보와 객체 인식부를 통해 제공되는 객체 인식 정보를 시간을 기준으로 매핑하여 인식된 객체의 위치와 이동을 확인하고, 상기 선호도 측정부는 위치 정보와, 객체 인식 정보 그리고, 시간별 객체의 감정 정보를 바탕으로 객체의 감정 변화를 파악하고, 상기 선호도 측정부는 검출된 7가지 감정을 5가지로 그룹화하고, 이 그룹화된 감정에 가중치를 다르게 부여하고, 이 가중치 값을 감정의 노출 시간으로 나누어 위치별 감정 변화를 산출하고, 컨텐츠 제공부는 선호도가 높게 측정된 위치와 시간에 제공되거나 표시 및 전시된 컨텐츠를 저장하고, 이 저장된 컨텐츠와 동일하거나 유사한 컨텐츠를 지속적으로 객체에게 제공할 수 있다.

상기 그룹화는 화남, 싫음, 공포를 제1 감정 그룹, 슬픔을 제2 감정 그룹, 차분함을 제3 감정 그룹, 놀람을 제4 감정 그룹 그리고, 행복을 제5 감정 그룹으로 분류하고, 제1 감정 그룹에서 제5 감정 그룹으로 갈수록 가중치가 증가하되, 전 단계그룹의 가중치값 대비 0.5 내지 0.7배씩 증가할 수 있다.

또한, 본 발명에 따른 지정된 위치에서 영상 정보를 수집하는 정보 수집부와, 영상 정보 내에서 수집된 객체의 얼굴 이미지를 추출하고, 추출된 얼굴 이미지를 특징화하여, 객체를 인식하고, 객체 인식부와, 얼굴 이미지 내의 감정을 화남, 싫음, 공포, 행복, 슬픔, 놀람, 차분함의 7가지 감정단계로 분류하는 감정 분석부와, 분석된 감정 결과에 따라 객체의 감정 조절을 수행하는 관리부와, 정보가 저장된 저장부를 포함하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템을 제공한다.

상기 관리부는 객체의 이동을 추적하는 추적부와, 객체의 감정 평가를 통해 감정 조정이 필요한지 여부를 판단하는 감정 측정부와, 객체의 감정을 조정하는 감정 조정부와, 객체의 감정 결과를 관리자에게 제공하는 감정 알림부를 포함할 수 있다.

감정 측정부는 7가지 감정 단계의 확률 분포값을 제공 받고, 이 제공 받은 결과를 수치화하여, 가장 높은 값이 나온 감정을 현재 상태의 감정으로 선정하고, 선정된 감정이 이외에 화남, 싫음, 공포, 슬픔, 놀람 감정이고, 감정 값이 평균 값보다 상회하는 경우에는 감정 조정 대상으로 분류하여, 감정 조정부를 통해 감정 조정을 위한 조명, 영상, 이미지, 음악 및 메시지중 적어도 어느하나를 객체에 제공하고, 감정값이 상위 평균 값을 상회하는 경우에는 관리자에게 이를 통지할 수 있다.

상기 평균 값은 감정 최대값의 40 내지 60%이고, 상기 상위 평균 값은 70 내지 90%일 수 있다.

또한, 본 발명에 따른 영상 정보를 수집하는 정보 수집부와, 수집된 영상 정보에서 다수의 객체를 각기 검출하는 객체 검출부와, 검출된 객체의 감정을 분석하되, 프레임별로 객체를 분리하고, 일 프래임 별 객체의 감정을 분석하고, 그 분석 값을 평균화하여 프래임별 감정값을 검출하는 감정 분석부와, 분석된 감정을 바탕으로 전체 감정 결과를 산출하는 관리부와, 정보가 저장된 저장부를 포함하되, 상기 관리부는 분석된 프레임별 감정값을 바탕으로 전체 감정 결과를 산출하되, 화남, 싫은, 공포 감정을 1그룹으로, 차분함을 2그룹으로, 행복, 슬픔, 놀람 감정을 3그룹으로 분류하고, 객체들의 평균 감정이 1그룹인 경우에는 선호도가 낮음으로 판단하고, 2그룹인 경우에는 선호도가 보통이고, 3그룹인 경우에는 선호도가 높음으로 판단하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템을 제공한다.

또한, 본 발명에 따른 영상 정보를 수집하는 정보 수집부와, 수집된 영상 정보에서 다수의 객체를 각기 검출하는 객체 검출부와, 검출된 객체의 감정을 분석하되, 프레임별로 객체를 분리하고, 일 프래임 별 객체의 감정을 분석하고, 그 분석 값을 평균화하여 프래임별 감정값을 검출하는 감정 분석부와, 분석된 감정을 바탕으로 위급 상황 여부를 판단하고, 이를 관리자에게 통지하는 관리부와, 정보가 저장된 저장부를 포함하되, 상기 관리부는 프레임별 감정 값을 판단하여, 공포, 화남, 놀람 감정 값이 평균 값 이상인 경우에는 경고 수준으로 관리자에게 통지하고, 공포, 화남, 놀람 감정 값이 상위 평균 값 이상인 경우에는 관리자에게 위험으로 통지하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템을 제공한다.

또한, 본 발명에 따른 영상 촬영 장치로부터 촬영 장치의 고유 정보와, 영상 정보와 촬영 장치의 위치 정보를 수집하는 다수의 정보 수집부와, 객체 검출 기능을 통해 프레임 단위로, 영상 정보 내에 객체를 검출하고, 검출된 객체를 각기 분류하여 각 객체에 고유 정보를 부여하는 객체 분류부와, 분류된 객체를 추적하는 객체 추적부와, 추적된 객체 정보를 편집하여 제공하는 관리부와, 정보들을 저장하는 저장부를 포함하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템을 제공한다.

상기 객체 추적부는 찰영 장치의 고유 정보에 따른 영상 정보와 위치 정보 그리고, 검출된 객체 정보와 객체 고유 정보를 통해 프레임의 앞뒤 단위의 객체 정보를 비교 분석하여 동일 객체일 경우에는 객체 고유 정보를 유지 또는 이전 고유 정보로 변경하고, 상기 관리부는 프레임 단위로 추적된 객체 영상 정보를 프레임 단위로 취합하고, 이 취합한 객체 영상 정보에 위치 정보를 추가하여 객체 추적 영상을 편집할 수 있다.

또한, 본 발명은 영상 정보 및 위치 정보 그리고, 영상 촬영 장치 정보를 제공 받는단계와, 제공 받은 영상 정보를 정형화하고, 정형화된 영상 정보 내에서 객체를 검출하고, 객체를 구분 인식하여 객체의 위치 영역을 영상에 표시하고, 동시에 객체에서 얼굴 영상 정보를 추출하고, 추출된 얼굴 영상 정보에서 감정을 7단계로 분석하는 단계와, 인식된 객체가 기 저장된 객체 정보와 일치하는지 여부를 판단하여 일치하는 경우에는 기 저장된 저장 정보를 추가하고, 일치하지 않는 경우에는 랜덤 고유 정보를 추가하는 단계와, 인식 객체의 위치 또는 제공되는 컨텐츠에 따라 감정 변화를 분석하고, 분석 결과를 이용하여 인식 객체의 선호도를 판단하는 단계와, 선호도 판단에 따라 행복함을 느끼는 컨텐츠와 유사한 컨텐츠를 추가 제공하거나, 해당 위치의 컨텐츠와 유사한 컨텐츠가 있는 위치 정보를 객체에 제공하는 단계를 포함하는 영상 정보를 활용한 컨텐츠 서비스 제공 방법을 제공한다.

이와 같이 본 발명은 입력 영상으로부터 객체를 인식하고, 객체의 감정 즉, 표정을 분석하여 객체의 위치 및 제공 컨텐츠에 관한 선호도를 산출할 수 있다.

또한, 본 발명은 다수 객체를 동시에 인식하고, 전체 객체의 감정을 분석하여 그 결과를 피드백 형태로 제공하는 것이 가능하고, 다수 객체의 감정을 통해 위험 감지와 범죄발생 여부를 파악하는 것이 가능하다.

또한, 각 객체를 서로 다른 장치에서 분석하여 분석 속도를 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템의 개념도.
도 2는 일 실시예에 따른 객체 검출부의 블록도.
도 3은 일 실시예에 따른 객체 인식부의 블록도.
도 4는 일 실시예에 따른 감정 분석부의 블록도.
도 5는 일 실시예에 따른 관리부의 블록도.
도 6은 본 발명의 제1 변형예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템의 개념도.
도 7은 제1 변형예에 따른 관리부의 블록도.
도 8은 본 발명의 제2 변형예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템의 개념도.
도 9는 본 발명의 다른 실시예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템을 설명하기 위한 개념도.
도 10은 본 발명의 일 실시예에 따른 영상 정보를 활용한 컨텐츠 서비스 제공 방법을 설명하기 위한 흐름도.
도 11는 본 발명의 변형예에 따른 영상 정보를 활용한 컨텐츠 서비스 제공 방법을 설명하기 위한 흐름도.
도 12는 본 발명의 다른 실시예에 따른 영상 정보를 활용한 컨텐츠 서비스 제공 방법을 설명하기 위한 흐름도.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.

본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석 되어야 할 것이다. 이러한 이유로 본 발명의 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법의 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 상이해질 수 있음을 명확히 밝혀둔다.

본 명세서에서, 제1 및 제2, 상부 및 하부 등의 관계적인 용어는, 그러한 엔티티 또는 액션 간의 실제 관계 또는 순서를 반드시 요구하거나 암시하지 않고 다른 엔티티나 액션과 하나의 엔티티 또는 액션을 구별하는 데에만 사용될 수 있다. 용어 "포함하다(comprises)", "포함하는(comprising)" 또는 그 다른 변형은, 구성요소의 리스트를 포함하는 프로세스, 방법, 제품, 또는 장치가 구성요소만을 포함하지 않지만 그러한 프로세스, 방법, 제품, 또는 장치에 명시적으로 열거되거나 내재되지 않은 다른 구성요소를 포함할 수 있도록, 비배타적인 포함물을 커버하도록 의도된다. "하나의 ~를 포함하다"로 진행되는 하나의 구성요소는, 더 이상의 제한없이, 구성요소를 포함하는 프로세스, 방법, 제품, 또는 장치 내에 부가적인 동일한 구성요소의 존재를 배제한다.

도 1은 본 발명의 일 실시예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템의 개념도이다.

도 2는 일 실시예에 따른 객체 검출부의 블록도이다. 도 3은 일 실시예에 따른 객체 인식부의 블록도이다. 도 4는 일 실시예에 따른 감정 분석부의 블록도이다. 도 5는 일 실시예에 따른 관리부의 블록도이다.

도 1 내지 도 5에 도시된 바와 같이, 본 실시예에 따른 맞춤형 컨텐츠 서비스 제공 시스템은 영상 정보를 수집하는 정보 수집부(100)와, 영상 정보내에서 객체를 인식하고 객체의 클래스를 분류하는 객체 검출부(200)와, 객체를 개별 사용자로 인식하는 객체 인식부(300)와, 개별 사용자 객체의 감정을 분석하는 감정 분석부(400)와, 개별 사용자 맞춤형 컨텐츠를 제공하는 관리부(500)와, 시스템 내의 정보들을 저장하는 저장부(600)를 포함한다.

본 실시예에서는 각부로 설명하였지만, 이의 구현에 있어서는 한정되지 않고, 각부는 장치, 단말, 서버는 물론, 장치, 단말, 서버내의 부품, 모듈, 프로그램 형태로 구현될 수 있다.

정보 수집부(100)는 영상이나 이미지를 촬영하여 제공할 수 있는 영상 처리장치로, 카메라 또는 CCTV를 사용하는 것이 효과적이다. 정보 수집부(100)는 촬영된 영상의 위치 정보도 함께 수집하는 것이 바람직하다. 적어도 하나의 정보 수집부(100)가 고정 배치된 경우에는 정보 수집부(100)의 고유 번호 정보와 정보 수집부(100)가 위치한 위치 정보가 함께 제공될 수 있다. 또한, 이동형 정보 수집부(100)인 경우에는 정보 수집부(100)의 위치 정보만을 수집하고, 이 위치 정보를 공유 번호 정보로 함께 인식하는 것이 바람직하다. 정보 수집부(100)는 영상 촬영 장치를 통해 영상이나 이미지 정보를 수집받는 스트리밍부일 수도 있다. 정보 수집부(100)는 영상 정보를 프레임 단위로 제공하는 것이 바람직하다. 물론, 이에 한정되지 않고, 일정 시간별 단일 이미지 정보로 제공할 수도 있고, 리얼타임 영상 정보 형태로 제공하는 것도 가능하다.

앞서 언급한 바와 같이 다양한 정보 수집부(100)를 통해 정보가 제공되는 경우, 저장부(600)는 제공된 영상 정보를 후속 각부에 적용될 수 있는 크기로 변환하는 정보 변환부를 구비하는 것이 효과적이다. 이를 통해 영상 정보의 크기를 일정하게 하여 전체 시스템의 동작 속도를 증대시킬 수 있다.

객체 검출부(200)는 정보 수집부(100)에 의해 수집된 영상 정보에서 정보 내의 객체를 인식하고, 영상내 객체 위치와 객체를 구분한다.

객체 검출부(200)는 정형화된 영상 정보를 다수의 셀 영역으로 구분하는 셀 구획부(210)와, 구획된 셀 영역을 기반으로 영상 정보 내의 객체의 경계를 산출하는 경계 산출부(220)와, 산출된 객체를 구분하는 객체 구분부(230)를 포함한다.

물론, 별도의 영상 정보를 정형화하는 영상 정형화부를 포함할 수 있고, 영상 정형화부는 앞서 언급한 저장부(600)내에서 영상 정보를 일정 크기로 정형화하는 경우 생략하는 것이 가능하다.

본 실시예에서는 셀 구획부(210)를 통해 영상 정보를 7*7의 셀 영역으로 구분하되, 각 셀의 크기를 동일하게 구획한다. 물론, 이에 한정되지 않고, 다양한 형태의 셀 영역으로 구획이 가능하다.

셀 구획부(210)에 의해 구획된 정보를 바탕으로 경계 산출부(220)는 객체의 경계를 산출하고, 이와 동시에 객체 구분부(230)는 객체가 무엇인지 구분하여 객체를 정의한다.

경계 산출부(220)는 다수의 경계 박스를 생성하되, 셀 영역의 2배에 해당하는 경계 박스를 생성하는 것이 효과적이다. 하지만, 이에 한정되지 않고, 더 많은 수의경계 박스를 생성하는 것이 가능하다. 그리고, 경계 박스는 그 사이즈가 일정하지 않는 것이 바람직하다. 이는 영상 정보내의 객체의 경계가 일정하지 않기 때문이다.

경계 산출부(220)는 경계 박스 내의 객체가 위치할 확률 분포에 따라 박스 영역에 가중치를 부여한다. 가중치 값을 검토하여 가충지 값이 작을 경우 박스 영역을 삭제한다. 이를 통해 객체가 위치하는 것으로 추정되는 후보 박스 영역을 선정하고, 비 최대값 억제(Non-maximum suppression: NMS) 알고리즘을 통해 객체 경계를 산출할 수 있다.

이때, 객체 구분부(230)는 후보 박스 영역 내에 대한 객체 구분을 위해 저장된 구분 클래스 값을 부여하고, 이 값중 가장 높은 값의 구분 클래스에 해당하는 클래스를 객체로 구분한다. 이때, 구분 클래스는 다양한 값을 가질 수 있기 때문에 본 실시예에서는 한정하지 않고, 이또한, 딥러닝 기술등을 활용하여 생성하는 것이 바람직하다. 바람직하게는 본 실시예에서는 사람을 기준으로 사물로 분리하되, 사물의 경우, 동물류, 차량류 등으로 분리하는 것이 효과적이다. 또한, 본 시스템이 사용되는 상황에 따라 다양한 클래스 구분이 가능하다.

도시되지 않았지만, 본 실시예에서는 후보 박스 영역의 색깔을 바탕으로 박스 영역 내의 객체를 구분한다.

좀더 구체적으로 영상 정보는 7*7 셀 영역으로 분할되어 총 49개의 셀이 만들어 진 경우, 해당 영역에서 제안한 박스 영역의 객체가 어떠한 클래스인지를 색깔로 표현하는 것이 가능하다. 본 시스템이 만드는 박스 영역은 총 49개가 되고, 이들의 가중치 값이 0.5보다 작을 경우에는 이 영역을 삭제한다. 이를 위해 GoogleLeNet이 변경된 특징 추출기를 사용하는 것이 가능하다.

이후에 컨볼루션 층4회와, 풀 커넥션층 2회를 하여 7*7*30으로 조정하여 예측 결과를 추출한다. 객체의 중앙에 해당하는 부분을 제1 색으로 표시하고, 이보다 큰 전체 객체 구분 영역을 제2 색으로 표시하는 것이 효과적이다. 30개의 채널은 박스 영역 정보 4개(x,y,w,h)와 해당 영역에 객체가 있을 확률에 따라 어떤 클래스 값을 갖을지에 관한 확률 20개로 구성된다. 여기서, 박스 영역 정보의 x,y는 객체 전체 경계 값의 중심 위치를 지칭하고, w,h는 객체의 가로, 세로 길이 전체 이미지 크기를 지칭한다. 30개의 채널의 앞은 첫번째 박스 영역 정보가 다음에는 두번째 박스 영역 정보가 위치한다. 30개의 채널의 뒷부분은 해당 셀 영역에 객체가 있다면 어떠한 객체가 있는지에 관한 클래스 확률이 저장되어 잇는 것이 효과적이다. 여기에 스칼라 값은 셀의 클래스 분류 확률과 곱하여 경계 영역 내의 클래스 즉, 객체가 무엇인지에 관한 분류 확률을 구할 수 있다. 이후에, 클래스 확률 값을 높은 값에서 부터 낮은 값으로 정렬하여, 높은 확률의 클래스를 경계 영역 내의 객체가 무엇인지로 판단할 수 있다.

본 실시예에 따른 객체 검출부(200)는 영상 정보를 변환하여 경계 정보와 객체 구분 정보를 동시에 산출한다. 이를 위해 사용되는 일 채널 데이터 내에 영상 내에 객체 위치를 확인하기 위한 박스 영역 정보와 객체 구분을 위한 객체 구분 정보 그리고, 이들의 확률 값 정보가 저장된다. 그리고, 이 단일 채널 데이터 복수개를 이용하여 객체 구분과 객체 영역 설정이 가능하게 된다.

객체 인식부(300)는 객체 검출부(200)를 통해 영상 정보 내의 객체의 경계 정보와 객체 구분 정보를 바탕으로 해당 객체를 인식한다. 즉, 객체 인식부(300)를 통해 영상 정보내에서 검출된 객체가 누구인지를 특정할 수 있다.

객체 인식부(300)는 영상 정보 비교를 통해 객체를 인식하거나, 딥러닝 기술을 이용하여 객체를 인식하는 것이 가능하다. 물론, 이 두가지를 모두 수행하여 그 정확성을 향상시키는 것이 효과적이다.

객체 인식부(300)는 객체 검출부(200)에 의해 구분된 객체 경계를 바탕으로 객체 이미지 정보를 추출 변경하는 인식 정보 입력부(310)와, 변경된 객체 이미지 정보와 저장된 객체 정보를 비교하여 다수의 후보 객체를 선정하는 인식 후보 산출부(320)와, 변경된 객체 이미지 정보와 후보 이미지 정보간의 인식 특징점을 산출하고, 이를 통해 객체 이미지 정보 내의 객체를 특정하는 객체 특정부(330)를 포함한다.

인식 정보 입력부(310)는 영상 편집 모듈을 포함하여, 영상을 절단 및 사이즈 조절들을 수행할 수 있다. 이를 통해 객체 검출부(200)에서 사용되는 영상 정보를 가공 편집하는 것이 가능할 수 있다. 이는 객체 검출부(200)에서 사용하는 영상 정보 상에는 적어도 하나의 객체가 있을 수 있고, 이 객체의 크기가 서로 다를 수 있기 때문에, 후속 네트워크에서 사용하는 데이터를 통일화하여 분석 및 인식 능력을 향상시킬 수 있다.

인식 후보 산출부(320)는 기 저장된 객체 영상 정보와, 편집된 입력 객체 영상 정보를 비교하여 그 비교 값에 따라 1 내지 10개의 후로 객체를 선정한다. 이를 통해 후속 객체 특정부(330)의 부하를 줄일 수 있어, 반응 속도를 크게 향상시킬 수 있다.

객체 특정부(330)는 후보 영상 정보와 편집된 입력 객체 영상 정보를 딥러닝 기술로 유사성 여부를 판단하여 최종 객체를 특정한다. 이를 위해 영상 정보내의 인식 특징을 산출하고, 이 산출된 특징을 바탕으로 특징 맵등을 만들고 클래스를 구분하여 이들 간의 유사도를 확율로 검출하여 객체를 특정한다.

객체가 특정되는 입력된 영상 정보 내의 객체에 기 저장된 객체 정보의 고유 ID를 부여한다.

감정 분석부(400)는 객체 검출부(200)에 의해 구분된 객체 경계를 바탕으로 객체 영상 정보를 추출 변경하는 감정 정보 입력부(410)와, 변경된 객체 영상 정보에서 얼굴을 인식하는 얼굴 인식부(420)와, 인식된 얼굴 정보에서 특징을 추출하여 매핑하는 특징 추출부(430)와, 추출된 특징을 이용하여 감정을 분석하는 객체 감정 분석부(440)를 포함한다.

감정 분석부(400)는 객체 인식부(300)의 인식 정보 입력부(310)에서 변경한 변경된 객체 영상 정보를 사용하는 것이 가능하다.

물론, 별도의 객체 영상 정보 편집부를 구비하여 이 편집부에서 위의 기능을 수행하는 것도 가능하다. 이를 통해 각부들의 유기적 동작 관계가 가능하다. 하지만, 각부가 서버 형태로 분리되는 경우에는 앞서와 같이 간부내에 이를 수용하여 속도를 증대시킬 수 있다.

본 실시예에 따른 감정 분석부(400)는 CNN(convolution neural networks)모델을 사용하여 영상 정보를 바탕으로 객체의 7가지 감정을 분석한다. 이때, 데이터 셋으로 KFERC(Kaggle Facial Expression Recognition Challenge)를 사용할 수 있다.

얼굴 인식부(420)는 감정 정보 입력부(410)로 부터 제공된 변경된 객체 영상 정보에서 얼굴을 인식한다. 이때, OpenCV의 Harr 케스케이드 알고리즘을 사용하는 것이 효과적이다. 이를 통해 검색된 얼굴 정보를 특정 사이즈 크기로 변환이 가능하다. 본 예시에서는 48x48 크기의 흑백 이미지로 크기를 조정하는 것이 효과적이다.

특징 추출부(430)는 인식된 얼굴 정보에서 특징을 추출하기 위해 커널 크기를 3*3으로 하고, 원 이미지를 커널과 계속 겹쳐가면서 특징 맵을 구성한다. 256개의 특징맵을 만들고, ReLU 함수를 사용하여 특징맵의 차원을 줄이기 위해 MAX Pooling을 사용할 수 있다.

객체 감정 분석부(440)는 인식된 얼굴 영상 정보를 다양한 클래스로 구분할 수 있고, 활성함수로 소프트 맥스를 사용하여 7개의 감정 요소를 확률 분포 형태로 나타낼 수 있다. 이때, 객체 감정 분석부(440)는 KFERC로 부터 학습된 데이터를 사용한다.

관리부(500)는 정보 수집부(100)의 영상정보, 장치 정보 및 위치 정보와, 객체 인식부(300)의 객체 인식 정보 그리고, 감정 분석부(400)의 감정 분석 정보를 활용하여 개별 사용자 맞춤형 컨텐츠를 제공할 수 있다.

관리부(500)는 인식 객체의 위치 및 위치별 제공되는 컨텐츠를 파악하는 컨텐츠 추적부(510)와, 객체의 감정 변화를 파악하고, 객체 위치별 제공되는 컨텐츠 정보와 감정 변화를 매핑하여 선호도를 산출하는 선호도 측정부(520)와, 선호도가 높은 컨텐츠를 객체에게 제공하는 컨텐츠 제공부(530)를 포함한다.

컨텐츠 추적부(510)는 정보 수집부(100)를 통해 제공된 위치 정보와 객체 인식부(300)를 통해 제공되는 객체 인식 정보를 시간을 기준으로 매핑하여 인식된 객체의 위치와 이동을 확인하는 것이 가능하다. 이를 통해 관리부(500)는 해당 객체가 어느 위치를 지나고 있는지에 관한 인식이 가능할 수 있다.

선호도 측정부(520)는 위치 정보와, 객체 인식 정보 그리고, 시간별 객체의 감정 정보를 바탕으로 객체의 감정 변화를 파악한다. 이때, 감정 분석부(400)를 통해 분석된 7가지 감정의 프레임별 변화를 측정하여 그 변화의 흐름을 파악하는 것이 가능하다.

선호도 측정부(520)는 검출된 7가지 감정을 5가지로 그룹화하고, 이 그룹화된 감정에 가중치를 다르게 부여하고, 이 가중치 값을 감정의 노출 시간으로 나누어 위치별 감정 변화를 산출할 수 있다.

여기서, 그룹화는 화남, 싫음, 공포를 제1 감정 그룹, 슬픔을 제2 감정 그룹, 차분함을 제3 감정 그룹, 놀람을 제4 감정 그룹 그리고, 행복을 제5 감정 그룹으로 분류한다. 이 그룹마다 가중치를 부여하되, 제1 감정 그룹에서 제5 감정 그룹으로 갈수록 가중치가 증가되는 것이 효과적이다. 정확한 감정 변화를 위해서 다양한 설문 조사들을 통한 결과에 따라 가중치의 증가는 전 단계그룹의 가중치값 대비 0.5 내지 0.7배씩 증가하는 것이 효과적이다. 이를 위치별 제공되는 컨텐츠와 매핑하여 컨텐츠별 선호도를 정량화된 수치로의 측정이 가능할 수 있다.

컨텐츠 제공부(530)는 선호도가 높게 측정된 위치와 시간에 제공되거나 표시 및 전시된 컨텐츠를 저장하고, 이 저장된 컨텐츠와 동일하거나 유사한 컨텐츠를 지속적으로 객체에게 제공할 수 있다.

이를 통해 객체가 영상을 시청하는 경우, 시청 영상에 관한 고객의 감정 변화를 분석하고, 그 결과를 통해 영상에 관한 선호도를 판단하고, 판단된 선호도를 바탕으로 해당 객체가 추가적인 영상 컨텐츠를 제공 받고자 할때, 선호도가 높은 영상과 유사한 영상 정보를 지속적으로 제공하는 것이 가능해진다.

또한, 객체가 쇼핑 공간을 이동하면서 쇼핑을 진행하는 경우, 지나는 매장마다의 위치 정보와 감정 분석에 따른 선호도 판단 정보에 따라 객체의 선호 매장을 선출하는 것이 가능하고, 해당 선호 매장과 유사한 매장의 위치를 객체의 단말이나 쇼핑 공간내의 표시 장치를 통해 표시하여 주는 것이 가능하다. 이를 위해 선호도 측정부(520)는 시간별 위치 정보를 반영하여 해당 위치에 머무는 시간이 많은 경우, 선호도 측정시 가산점을 부여하는 것이 가능하다. 그리고, 관리부(500)가 객체의 단말 정보를 저장하고 있고, 이 저장된 정보를 통해 앞서 언급한 유사 매장의 유치 정보를 제공하는 것이 가능하다.

본 발명은 이에 한정되지 않고, 다양한 변형이 가능하고, 그 일예로, 객체 즉, 직원(회원, 사용자)의 감정 분석 결과를 바탕으로 직원의 감정을 변화시켜 능률을 향상시킬 수도 있다.

하기에서는 이와 같은 변형예에 관하여 설명한다. 후술되는 설명중 상술한 설명과 중복되는 설명은 생략한다.

도 6은 본 발명의 제1 변형예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템의 개념도이다. 도 7은 제1 변형예에 따른 관리부의 블록도이다.

도 6 및 도 7에 도시된 바와 같이 본 변형예에 따른 맞춤형 컨텐츠 서비스 제공 시스템은 지정된 위치에서 영상 정보를 수집하는 정보 수집부(100)와, 수집된 영상 정보에서 객체를 검출하고 인식하는 객체 인식부(300)와, 검출된 객체의 감정을 분석하는 감정 분석부(400)와, 분석된 감정 결과에 따라 객체의 감정 조절을 수행하는 관리부(500)와, 정보가 저장된 저장부(600)를 포함한다.

본 변형예에서는 영상 정보의 수집이 고정된 위치의 영상 수집 장치인 CCTV에 의해서 수집되는 것이 효과적이다. 이를 통해 정보 수집부(100)를 통해 제공된 영상 정보는 고유한 CCTV 정보를 포함하고 있고, 이를 통해 영상 정보를 수집한 위치를 파악하는 것이 용이해질 수 있다.

본 변형예에서는 객체 인식부(300)를 통해 영상 정보 내에서 수집된 객체의 얼굴 이미지를 추출하고, 추출된 얼굴 이미지를 특징화한다. 본 변형예에서는 저장부(600)에 직원, 사용자, 회원 등과 같이 기 등록된 객체 정보가 존재하고, 이 객체 정보를 바탕으로 입력된 영상 정보내의 객체가 누구인지를 인식하는 것이 가능해진다. 영상 정보내의 객체가 누구인지가 인식된 이후에 감정 분석부(400)를 통해 영상 정보내 객체의 감정을 7단계로 분류한다.

관리부(500)는 객체의 이동을 추적하는 추적부(510-1)와, 객체의 감정 평가를 통해 감정 조정이 필요한지 여부를 판단하는 감정 측정부(520-1)와, 객체의 감정을 조정하는 감정 조정부(530-1)와, 객체의 감정 결과를 관리자에게 제공하는 감정 알림부(540-1)를 포함한다.

여기서, 감정 측정부(520-1)는 객체의 이동 위치별 감정을 측정하고, 감정 조정이 필요한지 여부를 판단한다. 감정 분석부(400)를 통해 7가지 감정 단계의 확률 분포값을 제공 받고, 이 제공 받은 결과를 수치화 한다. 7가지 감정에 대한 감정 값이 산출되고, 산출된 감정 값을 정량화하고, 가장 높은 값이 나온 감정을 현재 상태의 감정으로 선정한다. 이때, 선정된 감정이 행복이나 차분함일 경우에는 감정 조정 대상이 아님으로 판단한다. 그리고, 선정된 감정이 이외에 화남, 싫음, 공포, 슬픔, 놀람일 경우에는 감정 값이 평균 값보다 상회하는 경우에는 감정 조정 대상으로 분류한다. 이때, 평균 값으로는 감정 분석을 통해 산출될 수 있는 최대 값의 40 내지 60%의 값을 평균 값으로 하는 것이 효과적이다. 본 변형예에서는 50%를 평균 값으로 하여 선정된 감정 중에서 최대 값의 50%가 넘는 감정 값이 나온 감정이 있는 경우에 해당 감정(화남, 싫음, 공포, 슬픔, 놀람)에 대한 감정 조정이 필요한 것으로 판단한다.

감정 측정부(520-1)는 1분 내지 100분 단위로 객체의 감정 변화를 측정하는 것이 효과적이다. 즉, 이 시간동안의 평균 값을 측정하는 것이 바람직하다. 이때, 사람의 감정 변화가 5분 이상 동일 감정을 유지하는 경우에는 감정의 이상이 발생할 수 있는 것으로 인지하기 때문에 5분 내지 30분 단위로 감정을 측정하는 것이 효과적이다. 30분이 넘어가는 경우에는 다양한 감정 변화로 인해 구체적인 감정의 파악이 어려울 수 있다.

감정 조정이 필요한 경우 감정 조정부(530-1)는 객체가 이동하는 경로를 예측하고, 이 이동 경로에 감정 조정을 위한 음악이나, 향기를 분산시킨다. 또는 감정 조정부(530-1)는 객체가 자신의 단말이 위치한 공간에 있는 경우에는 단말을 통해 영상이나, 음악을 제공하여 객체의 감정을 조정하도록 한다.

또한 감정 알림부(540-1)는 선정된 감정 중에서 상위 평균값이 나온 경우에 이를 관리자에게 통지하여 객체의 감정 이상 유무를 통지할 수 있다. 이때, 상위 평균 값은 최대 값은 70 내지 90%의 값의 감정 값을 사용하는 것이 효과적이다.

이와 같이, 본 변형예에서는 감정 분석부(400)를 통해 도출될 수 있는 감정 값의 최대치를 기준으로 평균 값과, 이보다 높은 상위 평균 값으로 분리하여, 1차로 음향, 향기, 영상은 물론 격려 메시지를 통해 객체의 감정을 조정하고, 2차로 관리자에게 이를 통지하여 객체의 감정 이상을 알림으로 인해 객체의 능률을 향상시킬 수 있다. 즉, 화남, 싫음, 공포, 슬픔, 놀람의 감정이 일정 시간(약 5 내지 30분) 측정한 감정 분석에서 지속적으로 발생하는 경우에는 이를 조정할 수 있도록 관리자에게 제공하는 것이 바람직하다.

본 발명의 시스템은 인식된 단일 객체 각각에 관한 감정을 분석하지 않고, 수집된 영상 내의 전체 객체의 감정을 분석하여 그 결과를 제공할 수 있다. 이를 통해 강연이나 강의, 지역별 선호도를 평가하는 것이 가능할 수 있다.

하기에서는 이와 같은 본 발명의 제2 변형예에 관하여 설명한다. 후술되는 설명중 상술한 설명과 중복되는 설명은 생략한다.

도 8은 본 발명의 제2 변형예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템의 개념도이다.

도 8에 도시된 바와 같이 본 변형예에 따른 맞춤형 컨텐츠 서비스 제공 시스템은 영상 정보를 수집하는 정보 수집부(100)와, 수집된 영상 정보에서 다수의 객체를 각기 검출하는 객체 검출부(200)와, 검출된 객체의 감정을 분석하는 감정 분석부(400)와, 분석된 감정을 바탕으로 전체 감정 결과를 산출하는 관리부(500)와, 정보가 저장된 저장부(600)를 포함한다.

객체 검출부(200)는 검출된 객체에 관하여 각기 고유 ID를 부여하고, 감정 분석부(400)는 부여된 고유 ID별 객체의 감정 변화를 분석하는 것이 가능하다. 물론, 이에 한정되지 않고, 객체 검출부(200)는 프레임별로 객체를 분리하고, 감정 분석부(400)는 일 프래임 별 객체의 감정을 분석하고, 그 분석 값을 평균화하여 프래임별 감정값을 검출하는 것이 가능하다.

본 변형예에서는 다수의 감정을 분석하기 위해 프레임별의 감정값을 검출하는 것이 효과적이다. 감정 분석부(400)는 객체 검출부(200)를 통해 제공된 객체의 얼굴 이미지에서 특징부를 추출하고, 이를 바탕으로 각 객체의 감정 값을 산출하고, 이를 평균화하여 프레임 감정 값을 설정한다. 즉, 각 객체의 감정 값이 확률 분포화된 값으로 측정되고, 이들 개개 객체의 확률 분포값을 합함으로인해 프레임 감정값의 산출이 가능하게된다.

관리부(500)는 분석된 프레임별 감정값을 바탕으로 전체 감정 결과를 산출하되, 감정을 3가지로 그룹으로 구분하여 그 결과를 산출한다. 이때, 1그룹은 화남, 싫은, 공포 감정으로, 2그룹은 차분함으로, 3그룹은 행복, 슬픔, 놀람으로 분류하는 것이 가능하다.

이를 통해 관리부(500)는 강연, 강의나 해당 지역에서의 객체들의 감정이 1그룹인 경우에는 선호도가 낮음으로 판단하고, 2그룹인 경우에는 선호도가 보통이고, 3그룹인 경우에는 선호도가 높음으로 판단하는 것이 가능하다. 이와 같은 피드백을 통해, 강연자나 지역 관리자가 자신의 강연이나 지역을 변화시키는 것 또한 가능해질 수 있다.

본 발명은 분석된 객체의 프레임 감정 값에 따라 범죄의 예방이나 위급 사항의 판단이 가능할 수 있다.

하기에서는 이와 같은 본 발명의 제3 변형예에 관하여 설명한다. 후술되는 설명중 상술한 설명과 중복되는 설명은 생략한다.

본 변형예에 따른 맞춤형 컨텐츠 서비스 제공 시스템은 위치 정보와 영상 정보를 수집하는 정보 수집부(100)와, 수집된 영상 정보에서 다수의 객체를 각기 검출하는 객체 검출부(200)와, 검출된 객체의 감정을 분석하는 감정 분석부(400)와, 분석된 감정을 바탕으로 위급 상황 여부를 판단하고, 이를 관리자에게 통지하는 관리부(500)와, 정보가 저장된 저장부(600)를 포함한다.

본 변형예의 관리부(500)는 감정 분석부(400)를 통해 제공된 프레임 감정 값을 판단하여, 공포, 화남, 놀람 감정 값이 평균 값 이상인 경우에는 많은 객체들이 공포스럽거나, 화나거나 놀라는 감정을 보이는 것이기 때문에, 이를 경고 수준으로 관리자에게 통지한다. 그리고, 판단 결과 공포, 화남, 놀람 감정 값이 상위 평균 값 이상인 경우에는 관리자에게 위험으로 통지하고, 해당 영상이 제공된 위치에 관리자가 출동을 요청하는 것이 가능하다. 이와같이, 본 변형예에서는 객체들의 감정변화를 통해 해당 지역의 위험이나 범죄등의 발생 유무를 판단하는 것이 가능할 수 있다.

본 발명은 상술한 설명에 한정되지 않고, 객체 추적이 가능할 수 있다.

하기에서는 발명의 다른 실시예에 관하여 설명한다. 후술되는 설명중 상술한 설명과 중복되는 설명은 생략하고, 후술되는 실시예의 기술은 앞의 기술에 적용 될 수 있다.

도 9는 본 발명의 다른 실시예에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템을 설명하기 위한 개념도이다.

도 9에 도시된 바와 같이 본 실시예에 따른 맞춤형 컨텐츠 서비스 제공 시스템은 영상 정보를 수집하는 다수의 정보 수집부(1100)와, 영상 정보 내의 객체를 인식하고 분류하는 객체 분류부(1200)와, 분류된 객체를 추적하는 객체 추적부(1300)와, 추적된 객체 정보를 편집하여 제공하는 관리부(1400)와, 정보들을 저장하는 저장부(1500)를 포함한다.

다수의 정보 수집부(1100)는 영상 촬영 장치로부터 촬영 장치의 고유 정보와, 영상 정보와 촬영 장치의 위치 정보를 제공 받는다.

객체 분류부(1200)는 객체 검출 기능을 통해 프레임 단위로, 영상 정보 내에 객체를 검출하고, 검출된 객체를 각기 분류하여 각 객체에 고유 정보를 부여한다.

객체 추적부(1300)는 찰영 장치의 고유 정보에 따른 영상 정보와 위치 정보 그리고, 검출된 객체 정보와 객체 고유 정보를 통해 프레임의 앞뒤 단위의 객체 정보를 비교 분석하여 동일 객체일 경우에는 객체 고유 정보를 유지 또는 이전 고유 정보로 변경한다. 이를 통해 서로 다른 촬영 장치를 통해 제공된 영상 정보내의 객체는 프레임 단위로 볼때 서로 다른 객체 고유 정보를 가질 수 있지만, 객체 영상 정보 비교를 통해 뒷단의 프레임 단위 객체 영상 정보가 앞단 프레임 단위 객체 영상 정보와 동일할 경우에는 뒷단의 정보에 부여된 고유 정보를 앞단 정보의 고유 정보로 변경한다. 이를 통해 객체가 일 촬영 장치에서 타 촬영 장치로 이동하더라도 그 추적이 가능해진다.

관리부(1400)는 프레임 단위로 추적된 객체 영상 정보를 프레임 단위로 취합하고, 이 취합한 객체 영상 정보에 위치 정보를 추가하여 객체 추적 영상을 편집하여 이를 제공한다.

이를 통해 영상 촬영 장치를 통해 촬영된 영상 정보내의 객체가 이동하는 이동 동선의 추적이 가능하게되고, 프레임 단위로 이를 편집함으로 인해 편집이 용이해질 수 있다.

본 실시예에서는 앞서 언급한 바와 같이, 영상 정보내의 객체 인식을 각기 다른 장치로 분류하여 진행할 수 있다. 즉, 클래스 별로 영상 내의 객체 인식을 다르게할 수 있다. 즉, 일 객체 분류부에서는 사람에 관한 객체만 인식 분류하고, 다른 객체에서는 차량, 다른 객체에서는 동물 등과 같이 서로 분리할 수 있다. 이때, 이들은 각기 다른 서버나, 단말과 같이 완전히 독립된 장치로 구현이 가능할 수 있다. 프로그램적으로 구획되는 것도 가능하다. 이를 통해 객체의 인식 속도의 향상은 물론, 객체 추적 영상의 편집도 용이할 수 있다.

하기에서는 상술한 본 발명에 따른 영상 정보를 활용한 컨텐츠 서비스 제공 방법에 관하여 설명한다.

도 10은 본 발명의 일 실시예에 따른 영상 정보를 활용한 컨텐츠 서비스 제공 방법을 설명하기 위한 흐름도이다.

도 10에 도시된 바와 같이, 영상 정보 및 위치 정보 그리고, 영상 촬영 장치 정보를 제공 받는다(S110).

제공 받은 영상 정보를 정형화하고, 정형화된 영상 정보 내에서 객체를 검출하고, 객체를 구분 인식하여 객체의 위치 영역을 영상에 표시하고(S120), 동시에 객체에서 얼굴 영상 정보를 추출하고, 추출된 얼굴 영상 정보에서 감정을 7단계로 분석한다(S130).

인식된 객체가 기 저장된 객체 정보와 일치하는지 여부를 판단하여 일치하는 경우에는 기 저장된 저장 정보를 추가하고, 일치하지 않는 경우에는 랜덤 고유 정보를 추가한다.

인식 객체의 위치 또는 제공되는 컨텐츠에 따라 감정 변화를 분석하고, 분석 결과를 이용하여 인식 객체의 선호도를 판단한다(S140).

선호도 판단에 따라 행복함을 느끼는 컨텐츠와 유사한 컨텐츠를 추가 제공하거나, 해당 위치의 컨텐츠와 유사한 컨텐츠가 있는 위치 정보를 객체에 제공할 수 있다(S150).

또한, 위 설명에 한정되지 않고, 객체 정보별 감성 상태를 분석하고, 7가지 감정 단계의 확률 분포값을 산출하고, 산출된 결과에 따라 화남, 싫음, 공포, 슬픔, 놀람 중 하나가 평균 값인 이상인 경우에는 감정 조정을 위한 조명, 영상, 음악 및 메시지 중 어느하나를 제공하고, 상위 평균 값일 이상인 경우에는 관리자에게 통지할 수 있다.

도 11는 본 발명의 변형예에 따른 영상 정보를 활용한 컨텐츠 서비스 제공 방법을 설명하기 위한 흐름도이다.

도 11에 도시된 바와 같이, 촬영 장치로 부터 영상 정보를 제공 받는다(S210).

제공 받은 영상 정보 내에서 객체를 검출하고, 각 객체의 얼굴 영상 정보를 추출한다(S220).

추출된 객체들의 얼굴 영상 정보를 이용하여 각 프레임별 객체의 감정을 분석한다(S230).

분석된 프레임별 각 객체의 감정 값의 합을 바탕으로 전체 감정 결과를 산출하되(S240), 결과가 화남, 싫음, 공포 감정인 경우에는 선호도나 나쁨으로, 차분한 감정인 경우에는 선호도가 보통으로, 행복, 슬픔, 놀라움의 감정인 경우에는 선호도가 좋음으로 판단하고, 이를 관리자에게 제공한다(S250).

또한, 이에 한정되지 않고, 분석된 프레임별 각 객체의 감정 값의 합을 바탕으로 전체 감정 결과를 산출하되, 공포, 화남, 놀람의 감정 값이 평균 값 이상인 경우에는 경고를, 상위 평균 값 이상인 경우에능 위험을 통지하되, 해당 위치 정보도 함께 관리자에게 통지하는 것이 가능하다.

도 12는 본 발명의 다른 실시예에 따른 영상 정보를 활용한 컨텐츠 서비스 제공 방법을 설명하기 위한 흐름도이다.

도 12에 도시된 바와 같이, 각각의 영상 촬영 장치로 부터 다수의 영상 정보와 위치 정보를 수집한다(S310).

영상 정보에 대한 객체 검출을 실시하여 영상 정보 내의 객체를 검출한다(S320).

촬영 장치의 고유 정보에 따른 영상 정보와 위치 정보 그리고, 검출된 객체 정보와 객체 고유 정보를 통해 프레임 단위로 앞뒤의 객체 정보를 비교 분석하여 동일 객체일 경우에는 객체 고유 정보를 유지하거나 이전 고유 정보로 변경한다(S330).

고유 정보를 바탕으로 객체가 위치한 프레임 단위 영상 정보를 하나의 정보로 편집하고, 편집된 영상 정보내에 위치 정보를 부가한다(S340).

이를 통해 객체에 관한 추적은 물론, 객체의 이동을 하나의 영상 형태로의 편집이 가능해 질 수 있다.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명은 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

100, 1100: 정보 수집부 200: 객체 검출부
300: 객체 인식부 400: 감정 분석부
500, 1400: 관리부 600, 1500: 저장부
1200: 객체 분류부 1300: 객체 추적부

Claims (9)

1. 영상 촬영 장치로부터 촬영 장치의 고유 정보와, 영상 정보와 촬영 장치의 위치 정보를 수집하는 다수의 정보 수집부;
   객체 검출 기능을 통해 프레임 단위로, 영상 정보 내에 객체를 검출하고, 검출된 객체를 각기 분류하여 각 객체에 고유 정보를 부여하는 객체 분류부;
   분류된 객체를 추적하는 객체 추적부;
   추적된 객체 정보를 편집하여 제공하며, 개별 사용자 맞춤형 컨텐츠를 제공하는 관리부;
   영상 정보내에서 객체를 인식하고 객체의 클래스를 분류하는 객체 검출부;
   객체를 개별 사용자로 인식하는 객체 인식부;
   개별 사용자 객체의 감정을 분석하는 감정 분석부;
   시스템 내의 정보들을 저장하는 저장부를 포함하며,
   상기 객체 검출부는,
   정형화된 영상 정보를 다수의 셀 영역으로 구분하는 셀 구획부와, 구획된 셀 영역을 기반으로 영상 정보 내의 객체의 경계를 산출하는 경계 산출부와, 산출된 객체를 구분하는 객체 구분부를 포함하며,
   상기 감정 분석부는,
   객체 검출부에 의해 구분된 객체 경계를 바탕으로 객체 영상 정보를 추출 변경하는 감정 정보 입력부와, 변경된 객체 영상 정보에서 얼굴을 인식하는 얼굴 인식부와, 인식된 얼굴 정보에서 특징을 추출하여 매핑하는 특징 추출부와, 추출된 특징을 이용하여 감정을 분석하는 감정 분석부를 포함하며,
   상기 객체 추적부는 촬영 장치의 고유 정보에 따른 영상 정보와 위치 정보 그리고, 검출된 객체 정보와 객체 고유 정보를 통해 프레임의 앞뒤 단위의 객체 정보를 비교 분석하여 동일 객체일 경우에는 객체 고유 정보를 유지 또는 이전 고유 정보로 변경하고,
   상기 관리부는 프레임 단위로 추적된 객체 영상 정보를 프레임 단위로 취합하고, 이 취합한 객체 영상 정보에 위치 정보를 추가하여 객체 추적 영상을 편집하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템.
   
2. 제1항에 있어서,
   셀 영역은 동일 사이즈로 구획되고, 경계 산출부를 통해 다양한 사이즈의 경계 박스를 생성하고, 경계 박스 내에 객체가 위치할 확률 분포에 따라 박스 영역에 가중치를 부여하고, 가중치 값이 큰 후보 박스를 선정한 다음 비 최대값 억제 알고리즘을 통해 객체 경계를 산출하고,
   객체 구분을 위해 저장된 구분 클래스 값을 부여하고, 부여 값 중에서 가장 높은 값을 구분 클래스에 해당하는 클래스 객체로 구분하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템.
   
3. 제2항에 있어서,
   다수의 채널을 생성하고, 각각의 채널의 앞쪽에는 박스 영역 정보가 위치하고, 뒷쪽에는 셀 영역의 객체 클래스 정보가 저장되어, 객체의 구획과 객체의 구분을 동시에 실시하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템.
   
4. 제1항에 있어서,
   상기 감정 분석부는 CNN 모델을 사용하여 화남, 싫음, 공포, 행복, 슬픔, 놀람, 차분함의 7가지 감정을 분석하되, 7개의 감정 요소를 확률 분포 형태로 분석하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템.
   
5. 제1항에 있어서,
   상기 객체 인식부는 객체 검출부에 의해 구분된 객체 경계를 바탕으로 객체 이미지 정보를 추출 변경하는 인식 정보 입력부와, 변경된 객체 이미지 정보와 저장된 객체 정보를 비교하여 다수의 후보 객체를 선정하는 인식 후보 산출부와, 변경된 객체 이미지 정보와 후보 이미지 정보간의 인식 특징점을 산출하고, 이를 통해 객체 이미지 정보 내의 객체를 특정하는 객체 특정부를 포함하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템.
   
6. 제1항에 있어서,
   상기 관리부는 정보 수집부의 영상정보, 장치 정보 및 위치 정보와, 객체 인식부의 객체 인식 정보 그리고, 감정 분석부의 감정 분석 정보를 활용하여 개별 사용자 맞춤형 컨텐츠를 제공하되, 인식 객체의 위치 및 위치별 제공되는 컨텐츠를 파악하는 컨텐츠 추적부와, 객체의 감정 변화를 파악하고, 객체 위치별 제공되는 컨텐츠 정보와 감정 변화를 매핑하여 선호도를 산출하는 선호도 측정부와, 선호도가 높은 컨텐츠를 객체에게 제공하는 컨텐츠 제공부를 포함하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템
   
7. 제6항에 있어서,
   상기 컨텐츠 추적부는 정보 수집부를 통해 제공된 위치 정보와 객체 인식부를 통해 제공되는 객체 인식 정보를 시간을 기준으로 매핑하여 인식된 객체의 위치와 이동을 확인하고, 상기 선호도 측정부는 위치 정보와, 객체 인식 정보 그리고, 시간별 객체의 감정 정보를 바탕으로 객체의 감정 변화를 파악하고, 상기 선호도 측정부는 검출된 7가지 감정을 5가지로 그룹화하고, 이 그룹화된 감정에 가중치를 다르게 부여하고, 이 가중치 값을 감정의 노출 시간으로 나누어 위치별 감정 변화를 산출하고, 컨텐츠 제공부는 선호도가 높게 측정된 위치와 시간에 제공되거나 표시 및 전시된 컨텐츠를 저장하고, 이 저장된 컨텐츠와 동일하거나 유사한 컨텐츠를 지속적으로 객체에게 제공하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템
   
8. 제7항에 있어서,
   상기 그룹화는 화남, 싫음, 공포를 제1 감정 그룹, 슬픔을 제2 감정 그룹, 차분함을 제3 감정 그룹, 놀람을 제4 감정 그룹 그리고, 행복을 제5 감정 그룹으로 분류하고, 제1 감정 그룹에서 제5 감정 그룹으로 갈수록 가중치가 증가하되, 전 단계그룹의 가중치값 대비 0.5 내지 0.7배씩 증가하는 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템.
   
9. 제1항 내지 제8항 중 어느 한 항에 따른 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템을 이용한 영상 정보를 활용한 컨텐츠 서비스 제공 방법으로서,
   영상 정보 및 위치 정보 그리고, 영상 촬영 장치 정보를 제공 받는단계;
   제공 받은 영상 정보를 정형화하고, 정형화된 영상 정보 내에서 객체를 검출하고, 객체를 구분 인식하여 객체의 위치 영역을 영상에 표시하고, 동시에 객체에서 얼굴 영상 정보를 추출하고, 추출된 얼굴 영상 정보에서 감정을 7단계로 분석하는 단계;
   인식된 객체가 기저장된 객체 정보와 일치하는지 여부를 판단하여 일치하는 경우에는 기 저장된 저장 정보를 추가하고, 일치하지 않는 경우에는 랜덤 고유 정보를 추가하는 단계;
   인식 객체의 위치 또는 제공되는 컨텐츠에 따라 감정 변화를 분석하고, 분석 결과를 이용하여 인식 객체의 선호도를 판단하는 단계; 및
   선호도 판단에 따라 행복함을 느끼는 컨텐츠와 유사한 컨텐츠를 추가 제공하거나, 해당 위치의 컨텐츠와 유사한 컨텐츠가 있는 위치 정보를 객체에 제공하는 단계를 포함하는 영상 정보를 활용한 컨텐츠 서비스 제공 방법.
   

Images