KR102036490B1 - 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법 - Google Patents

Abstract

본 발명은 소스 비디오 내에서 관심 동영상을 추출하는 장치에 관한 것으로서, 찾고자 하는 얼굴 이미지를 수신하는 얼굴 이미지 수신부, 상기 수신된 얼굴 이미지로부터 얼굴 이미지의 특징요소를 산출하는 특징요소 산출부, 상기 찾고자 하는 얼굴 이미지가 있다고 판단되는 소스 비디오를 수신하는 비디오 수신부, 상기 산출된 얼굴 이미지의 특징요소를 이용하여 수신된 소스 비디오 내에서 상기 얼굴 이미지와 매칭되는 얼굴 이미지를 검색하는 얼굴이미지 검색부, 및 상기 얼굴 이미지가 상기 소스 비디오에서 검색되면, 상기 얼굴 이미지가 포함된 영상을 상기 소스 비디오로부터 추출하여 관심 동영상을 생성하는 동영상 추출부를 포함하는 것을 특징으로 하며, 사용자가 제공하는 얼굴 이미지를 소스 비디오에서 검색하고, 매칭되는 영상을 추출하여 새로운 관심 동영상을 생성함으로써, 소스 비디오에 나오는 다른 사람의 프라이버시 침해를 최소화 보호할 수 있다.

Description

소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법{Method and apparatus of extracting region-of-interest video in source video}

본 발명은 소스 비디오 내에서 관심 동영상을 추출하는 방법에 관한 것으로서, 더욱 상세하게는 사용자가 제공하는 얼굴 이미지를 소스 비디오에서 검색하고, 매칭되는 영상을 추출하여 새로운 관심 동영상을 생성함으로써, 소스 비디오에 나오는 다른 사람의 프라이버시 침해를 최소화 보호할 수 있는 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법에 관한 것이다.

디지털 미디어 기술의 급속한 발전과 첨단 정보 처리 도구의 광범위한 활용으로 효율적으로 거대한 정보를 처리하는 문제는 매우 중요한 이슈이다. 특히 비디오 카메라가 크게 증가함에 따라 디지털 카메라 및 웹캠으로 캡처한 거대한 비디오 데이터가 폭발적인 속도로 증가하고 있는 실정이다.

흥미로운 대상을 찾기 위해 수작업으로 긴 시간동안 비디오를 검토하는 것은 매우 비효율적이고 시간이 많이 소요되며 검색의 정확성 역시도 보장하지 않는 문제가 있다.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 소스 비디오에 나오는 다른 사람의 프라이버시 침해를 최소화 보호할 수 있는 소스 비디오 내에서 관심 동영상을 추출하는 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 두 번째 과제는 해당 소스 비디오 외에도 찾고자 하는 사람이 있을 것으로 예상되는 주변 비디오 데이터에 대한 확인을 보다 신속하고 편리하게 할 수 있는 소스 비디오 내에서 관심 동영상을 추출하는 방법을 제공하는 것이다.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 찾고자 하는 얼굴 이미지를 수신하는 얼굴 이미지 수신부, 상기 수신된 얼굴 이미지로부터 얼굴 이미지의 특징요소를 산출하는 특징요소 산출부, 상기 찾고자 하는 얼굴 이미지가 있다고 판단되는 소스 비디오를 수신하는 비디오 수신부, 상기 산출된 얼굴 이미지의 특징요소를 이용하여 수신된 소스 비디오 내에서 상기 얼굴 이미지와 매칭되는 얼굴 이미지를 검색하는 얼굴이미지 검색부, 및 상기 얼굴 이미지가 상기 소스 비디오에서 검색되면, 상기 얼굴 이미지가 포함된 영상을 상기 소스 비디오로부터 추출하여 관심 동영상을 생성하는 동영상 추출부를 포함하는 소스 비디오 내에서 관심 동영상을 추출하는 장치를 제공한다.

본 발명의 일 실시 예에 의하면, 상기 얼굴 이미지 수신부는 상기 수신된 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류하고, 상기 비디오 수신부는 상기 소스 비디오 내의 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류하고, 상기 특징요소 산출부는 상기 얼굴 이미지 수신부와 상기 비디오 수신부로부터 받은 얼굴 이미지들의 특징요소를 산출하고, 상기 얼굴이미지 검색부는 동일한 분류로 분류된 얼굴 이미지들 간의 특징요소를 비교하여 상기 수신된 얼굴 이미지와 매칭되는 얼굴 이미지를 상기 소스 비디오 내에서 검색하는 것이 바람직하다.

본 발명의 다른 실시 예에 의하면, 상기 얼굴 이미지 검색부에서 검색된 얼굴 이미지 중 얼굴 이미지를 확인할 수 없거나 얼굴의 특징요소를 추출할 수 없는 경우의 객체를 미확인 객체로 표시하는 미확인 객체 표시부, 상기 표시된 미확인 객체들 중 상기 검색하고자 하는 얼굴 이미지의 사람과 유사하다고 판단되는 객체를 적어도 하나 이상 선택받는 미확인 객체 선택부, 상기 선택받은 미확인 객체에 대응하는 사람의 움직임을 추적하여 최종 위치를 파악하는 움직임 추적부, 및 상기 파악한 최종 위치의 주변 비디오 녹화장치가 녹화한 비디오 데이터를 저장한 서버로 상기 최종 위치에 상응하는 시간에 녹화된 비디오 데이터를 요청하는 비디오 요청부를 더 포함하고, 상기 얼굴이미지 검색부는 상기 비디오 요청부가 요청한 비디오 데이터가 상기 비디오 수신부로부터 수신되면, 상기 산출된 얼굴 이미지의 특징요소를 이용하여 상기 비디오 데이터에서 상기 검색하고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 재검색하는 것을 특징으로 한다.

본 발명은 상기 두 번째 과제를 달성하기 위하여, 찾고자 하는 얼굴 이미지를 수신하는 단계, 상기 수신된 얼굴 이미지로부터 얼굴 이미지의 특징요소를 산출하는 단계, 상기 찾고자 하는 얼굴 이미지가 있다고 판단되는 소스 비디오를 수신하는 단계, 상기 산출된 얼굴 이미지의 특징요소를 이용하여 상기 수신된 소스 비디오 내에서 상기 얼굴 이미지와 매칭되는 얼굴 이미지를 검색하는 단계 및 상기 얼굴 이미지가 상기 소스 비디오에서 검색되면, 상기 얼굴 이미지가 포함된 영상을 상기 소스 비디오로부터 추출하여 관심 동영상을 생성하는 단계를 포함하는 소스 비디오 내에서 관심 동영상을 추출하는 방법을 제공한다.

본 발명의 일 실시 예에 의하면, 상기 수신된 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류하는 단계 및 상기 소스 비디오 내의 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류하는 단계를 더 포함하고, 상기 수신된 소스 비디오 내에서 상기 얼굴 이미지와 매칭되는 얼굴 이미지를 검색하는 단계는, 동일한 분류로 분류된 얼굴 이미지들 간의 특징요소를 비교하여 상기 수신된 얼굴 이미지와 매칭되는 얼굴 이미지를 상기 소스 비디오 내에서 검색하는 것이 바람직하다.

본 발명의 다른 실시 예에 의하면, 상기 검색된 얼굴 이미지 중 얼굴 이미지를 확인할 수 없거나 얼굴의 특징요소를 추출할 수 없는 경우의 객체를 미확인 객체로 표시하는 단계, 상기 표시된 미확인 객체들 중 상기 검색하고자 하는 얼굴 이미지의 사람과 유사하다고 판단되는 객체를 적어도 하나 이상 선택받는 단계, 상기 선택받은 미확인 객체에 대응하는 사람의 움직임을 추적하여 최종 위치를 파악하는 단계, 및 상기 파악한 최종 위치의 주변 비디오 녹화장치가 녹화한 비디오 데이터를 저장한 서버로 상기 최종 위치에 상응하는 시간에 녹화된 비디오 데이터를 요청하는 단계를 더 포함하고, 상기 수신된 얼굴 이미지와 매칭되는 얼굴 이미지를 상기 소스 비디오 내에서 검색하는 단계는, 상기 요청한 비디오 데이터가 수신되면, 상기 산출된 얼굴 이미지의 특징요소를 이용하여 상기 비디오 데이터에서 상기 찾고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 재검색하는 것이 바람직하다.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 소스 비디오 내에서 관심 동영상을 추출하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

본 발명에 따르면, 사용자가 제공하는 얼굴 이미지를 소스 비디오에서 검색하고, 매칭되는 영상을 추출하여 새로운 관심 동영상을 생성함으로써, 소스 비디오에 나오는 다른 사람의 프라이버시 침해를 최소화 보호할 수 있다.

또한, 본 발명에 따르면, 소스 비디오 내에 있는 얼굴 이미지들 중 확인 또는 식별하기 어려운 얼굴 이미지인 경우에도 해당 소스 비디오 내에서의 최종 위치를 추적하고, 최종 위치 주변 비디오 데이터를 서버로 요청함으로써, 해당 소스 비디오 외에도 찾고자 하는 사람이 있을 것으로 예상되는 주변 비디오 데이터에 대한 확인을 보다 신속하고 편리하게 할 수 있다.

나아가, 본 발명에 따르면, 소스 비디오 검색의 정확성과 효율성이 크게 향상되므로 긴 비디오 장면을 압축된 표현으로 생성해내며, 움직이는 대상의 데이터베이스를 만들 수 있다.

도 1은 본 발명의 바람직한 일 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 장치의 구성도이다.
도 2는 본 발명의 바람직한 다른 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 장치의 구성도이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 방법의 흐름도이다.
도 4는 본 발명의 바람직한 다른 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 방법의 흐름도이다.
도 5는 본 발명의 일 실시 예에 따라 소스 비디오 내에서 관심 동영상을 추출하는 일 례를 도시한 것이다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작, 또는 소자 외에 하나 이상의 다른 구성요소, 단계, 동작, 또는 소자의 존재 또는 추가를 배제하지 않는다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 바람직한 일 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 장치의 구성도이다.

도 1을 참조하면, 본 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 장치는 얼굴 이미지 수신부(101), 특징요소 산출부(102), 비디오 수신부(103), 얼굴이미지 검색부(104), 및 동영상 추출부(105)로 구성된다.

얼굴 이미지 수신부(101)는 찾고자하는 얼굴 이미지를 수신한다. 이때 찾고자 하는 얼굴 이미지는 미아, 범죄자 등이 될 수 있으나 이에 한정되지 아니한다.

사용자가 다양한 방향에서 촬영한 얼굴 이미지를 제시하는 경우에는 얼굴 이미지 매칭 정확성이 높아지므로, 얼굴 이미지 수신부(101)가 다양한 방향에서 촬영한 얼굴 이미지를 수신하는 것이 바람직하다.

표 1은 다양한 방향에서 촬영한 얼굴 이미지를 팬, 기울임, 및 롤로 분류하여 나타낸 것이다.

팬은 얼굴을 정면에서 바라봤을 때 시계방향과 반시계방향으로 얼굴을 돌린 정도를 의미하고, 기울임은 얼굴을 정면에서 바라봤을 때 얼굴을 들거나 숙인 정도를 의미하며, 롤은 얼굴을 정면에서 바라봤을 때 좌우로 숙여 기울어진 정도를 의미한다.

특히 수신된 얼굴 이미지를 팬, 기울임, 및 롤의 정도에 따라 얼굴의 회전정도를 분류한 다음 소스 비디오 내의 얼굴 이미지와 비교하는 것이 바람직하다. 이때 소스 비디오 내의 얼굴 이미지 역시 팬, 기울임, 및 롤의 정도에 따라 얼굴의 회전정도를 분류하고 수신된 얼굴 이미지와 같은 분류에 속한 이미지끼리 비교하는 것이 바람직하다.

예를 들어, 팬의 회전 정도에 따라 소스 비디오 내의 얼굴 이미지와 수신된 얼굴 이미지를 분류하는 경우 -80도에서 +80도 사이를 10도 간격으로 나누고, 각 간격에 해당하는 얼굴 이미지를 분류한 다음, 동일 분류에 속하는 이미지끼리 비교하도록 할 수 있다.

특징요소 산출부(102)는 수신된 얼굴 이미지로부터 얼굴 이미지의 특징요소를 산출한다. 이때 수신된 얼굴 이미지에 나타난 얼굴의 특징요소는 눈 사이의 거리, 코의 높이, 눈과 코 사이의 길이, 또는 코와 잎 사이의 길이 등이 될 수 있다.

비디오 수신부(103)는 찾고자 하는 얼굴 이미지가 있다고 판단되는 소스 비디를 수신한다.

특히 수신된 소스 비디오내에 있는 얼굴 이미지를 팬, 기울임, 및 롤의 정도에 따라 얼굴의 회전정도를 분류한 다음, 얼굴 이미지 수신부(101)가 수신한 얼굴 이미지와 같은 분류에 속한 이미지끼리 비교하는 것이 바람직하다.

한편, 비디오 수신부(103)로 수신된 소스 비디오는 특징요소 산출부(102)로 전달되어, 소스 비디오 내 얼굴 이미지의 특징요소를 산출한후 얼굴 이미지 검색부(103)를 통해 상기 찾고자 하는 얼굴 이미지를 검색할 수 있다.

얼굴이미지 검색부(104)는 상기 수신된 얼굴 이미지 및 상기 산출된 얼굴의 특징요소 중 적어도 하나를 이용하여 상기 수신된 소스 비디오 내에서 상기 얼굴 이미지와 매칭되는 얼굴 이미지를 검색한다.

이때, 소스 비디오 내의 얼굴 이미지를 팬, 기울임, 및 롤의 정도에 따라 분류한 경우 얼굴 이미지 수신부(101)가 수신한 얼굴 이미지들을 분류한 결과와 동일한 카테고리로 분류된 얼굴 이미지들끼리 비교할 수 있다.

또한, 소스 비디오 내의 얼굴 이미지와 얼굴 이미지 수신부(101)가 수신한 얼굴 이미지의 얼굴 특징요소를 추출하는 것이 바람직하며, 얼굴 특징요소가 동일 또는 유사범위에 포함된다고 판단되면, 동일인으로 추정하도록 할 수 있다. 비디오 수신부(104)는 소스 비디오 내의 얼굴 이미지를 특징요소 산출부(102)로 전달하여 얼굴 특징요소를 산출할 수 있다.

동영상 추출부(105)는 얼굴이미지 검색부(104)가 검색한 결과 얼굴 이미지 수신부(101)가 수신한 얼굴 이미지와 동일 또는 유사한 얼굴 이미지가 검색되면, 상기 얼굴 이미지가 포함된 영상을 소스 비디오로부터 추출하여 새로운 관심 동영상을 생성한다. 이때 생성된 관심 동영상은 찾고자 하는 사람을 찾는데만 사용되고, 바로 삭제되는 것이 바람직하다.

동영상 추출부(105)는 추출된 영상이 생성되면 압축하는 것이 바람직하다. 이때 압축 모드는 비연대기적 모드와 연대기적 모드와 같이 2개의 압축 모드가 가능하다.

비연대기적 모드는 압축된 비디오가 움직이는 대상으로 구성되어있을 경우 대상의 출현 시간을 고려하지 않고, 조밀한 압축 공간에 대상의 궤도를 배치하는 압축 방법이다. 이 모드로 비디오가 압축된 경우 압축 속도가 매우 빠르지만 물체의 출현 순서가 보장되지는 않는다.

연대기적 모드는 압축된 비디오가 움직이는 대상으로 구성되어있을 경우 대상의 출현 시간을 고려하여, 조밀한 압축 공간에 대상의 궤도를 배치하는 압축 방법입니다. 이 모드를 사용하여 비디오를 압축하면 압축 속도가 상대적으로 느려지지만 물체의 출현 순서가 보장된다.

예를 들어, 두 가지 압축모드의 압축 성능은 다음의 표 2와 같이 제시될 수 있다.

비연대기적 모드의 경우 약 10 시간 길이의 비디오는 압축 후 약 5 ~ 10 분으로 줄여진다. 움직이는 대상이 적을 경우 약 10 시간짜리 비디오는 1분 미만으로 줄여지는 것도 가능하다.

대상의 출현이 많거나 복잡할 때, 비연대기적 모드에서 시간 길이는 적어도원래 길이의 1/3 까지 감소할 수 있다.

도 2는 본 발명의 바람직한 다른 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 장치의 구성도이다.

도 2는 도 1에 도시된 소스 비디오 내에서 관심 동영상을 추출하는 장치에서 미확인된 객체를 처리하기 위한 구성을 더 포함하여 도시한 구성도이다.

도 2를 참조하면, 본 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 장치는 미확인 객체 표시부(201), 미확인 객체 선택부(202), 움직임 추적부(203), 및 비디오 요청부(204)를 더 포함하여 구성된다. 따라서, 이하에서는 도 1과 중복되는 구성에 대한 기재는 생략하고, 추가된 구성에 대해서 설명하기로 한다.

미확인 객체 표시부(201)는 얼굴이미지 검색부(103)에서 검색할 때, 소스 비디오 내에서 얼굴 이미지를 확인할 수 없거나 특징요소 산출부(102)가 얼굴의 특징요소를 추출할 수 없는 경우, 해당하는 미확인 객체 이미지를 표시한다. 이때 표시되는 객체 이미지는 사람의 얼굴을 포함한 일정 크기의 영역이 될 수 있다.

얼굴 이미지를 확인할 수 없는 경우나 얼굴의 특징요소를 추출할 수 없는 경우는 얼굴 이미지가 흐린 경우, 얼굴 이미지의 일부만 촬영된 경우, 안경, 겉옷 등의 장애물로 얼굴 이미지 확인이 안되는 경우 등에 발생할 수 있다.

이때 얼굴을 포함한 사람의 이미지는 소스 비디오 내에 표시된 사람의 얼굴 이미지를 내포하는 타원, 원, 직사각형 등의 일정 영역일 수 있다.

또한, 소스 비디오 내에 사람이라고 판단되지만, 얼굴 이미지는 나타나지 않는 경우, 즉 상체, 하체, 뒷 모습, 또는 측면 이미지인 경우에도 해당 이미지를 내포하는 일정 영역을 표시하는 것이 바람직하다. 비록 얼굴 이미지가 표현되지 않는 경우라도 옷, 신체적 특징 등을 통해 특정 사람을 확인할 수 있기 때문이다.

한편 일정 크기 이하의 객체는 중요하지 않다고 판단하여 미확인 얼굴 표시부(201)에 표시되지 않을 수 있다.

미확인 객체 선택부(202)는 표시된 미확인 객체 이미지들 중 찾고자하는 얼굴을 가진 사람과 유사하다고 판단되는 객체 이미지를 적어도 하나 이상 선택받는다. 이때 객체 이미지에 얼굴 이미지가 포함되지 않고, 상체, 하체, 뒷 모습, 또는 측면 이미지인 경우도 선택받도록 할 수 있다.

움직임 추적부(203)는 선택받은 객체 이미지에 대응하는 사람의 움직임을 추적하여 최종 위치를 파악한다.

비디오 요청부(204)는 움직임 추적부(203)에서 파악한 최종 위치에 기반하여 주변 비디오 녹화장치(예를 들면, CCTV 등)가 녹화한 비디오 데이터를 저장한 서버에 상기 최종 위치에 상응하는 시간에 녹화된 비디오 데이터를 요청한다.

상기 요청한 비디오 데이터가 비디오 수신부(104)로 수신되면, 얼굴 이미지 검색부(103)에 입력되고, 상기 찾고자하는 얼굴 이미지가 상기 수신된 비디오 데이터에 있는지 검색한다. 상기 검색 결과 상기 찾고자하는 얼굴 이미지가 있는 경우 상기 비디오 데이터로부터 상기 찾고자하는 얼굴 이미지가 포함된 영상을 추출하여 새로운 관심 동영상을 생성한다.

한편, 상기 요청한 비디오 데이터가 비디오 수신부(104)로 수신되면, 특징요소 산출부(102)에 입력되고, 상기 비디오 데이터 내에 얼굴 이미지의 특징요소를 산출할 수 있다. 얼굴 이미지 검색부(103)는 상기 찾고자 하는 얼굴 이미지의 특징요소와 상기 비디오 데이터 내에 얼굴 이미지의 특징요소를 비교하여 상기 찾고자하는 얼굴 이미지가 상기 수신된 비디오 데이터에 있는지 검색하는 것이 바람직하다.

이상과 같이 본 발명에 따른 소스 비디오 내에서 관심 동영상을 추출하는 장치는 사람의 얼굴을 중심으로 이미지를 검색하고 추출하였으나, 사람 외에 차량, 자전거 등에도 마찬가지로 적용가능하다. 또한 컬러 문자와 움직이는 특징(등속도 모션, 가속도 모션 및 이동 방향 등 포함)을 기초로 이미지를 검색하고 추출할 수도 있다.

도 3은 본 발명의 바람직한 일 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 방법의 흐름도이다.

도 3를 참조하면, 본 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 방법은 도 1에 도시된 소스 비디오 내에서 관심 동영상을 추출하는 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 소스 비디오 내에서 관심 동영상을 추출하는 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 방법에도 적용된다.

300 단계에서 관심 동영상을 추출하는 장치는 검색하고자 하는 얼굴 이미지를 수신한다.

310 단계에서 관심 동영상을 추출하는 장치는 상기 수신된 얼굴 이미지로부터 얼굴 이미지의 특징요소를 산출한다.

320 단계에서 관심 동영상을 추출하는 장치는 상기 검색하고자 하는 얼굴 이미지가 있다고 판단되는 소스 비디오를 수신한다. 상기 소스 비디오를 수신한 다음, 상기 소스 비디오 내에 있는 얼굴 이미지의 특징요소를 산출할 수 있다.

330 단계에서 관심 동영상을 추출하는 장치는 310 단계에서 산출된 얼굴 이미지의 특징요소를 이용하여 상기 수신된 소스 비디오 내에서 상기 찾고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 검색한다. 이때 상기 수신된 소스 비디오 내에 있는 얼굴 이미지들의 특징요소를 산출하는 것이 바람직하다.

한편, 300 단계 이후에, 상기 찾고자하는 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 분류할 수 있다. 마찬가지로 320 단계 이후에 상기 소스 비디오 내의 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류할 수 있다.

상기 분류 결과를 이용하여 330 단계는 동일한 분류로 분류된 얼굴 이미지들 간의 특징요소를 비교하여 상기 찾고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 상기 소스 비디오 내에서 검색하도록 하는 것이 바람직하다.

340 단계에서 관심 동영상을 추출하는 장치는 상기 찾고자 하는 얼굴 이미지가 상기 소스 비디오에서 검색되면, 상기 얼굴 이미지가 포함된 영상을 상기 소스 비디오로부터 추출하여 관심 동영상을 생성한다.

도 4는 본 발명의 바람직한 다른 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 방법의 흐름도이다.

도 4를 참조하면, 본 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 방법은 도 2에 도시된 소스 비디오 내에서 관심 동영상을 추출하는 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 소스 비디오 내에서 관심 동영상을 추출하는 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 소스 비디오 내에서 관심 동영상을 추출하는 방법에도 적용된다.

도 3에 도시된 방법과 중복되는 부분은 이하에서 설명을 생략하기로 한다.

400 단계에서 관심 동영상을 추출하는 장치는, 상기 수신된 소스 비디오 내에서 상기 찾고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 검색되는지 여부를 판단한다. 상기 판단결과, 상기 찾고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 검색되면, 340 단계로 진행하고, 검색되지 않으면 410 단계로 진행한다.

410 단계에서 관심 동영상을 추출하는 장치는, 상기 수신된 소스 비디오 내에 있는 얼굴 이미지 중 확인 또는 식별할 수 없는 얼굴 이미지가 존재하는지 판단한다.

소스 비디오 내에 얼굴 이미지들 중 비록 식별할 수 없는 얼굴 이미지라고 하더라도 다른 신체적 특징과 같은 외적인 요소를 이용하여 식별하거나, 미확인 객체가 찾고자 하는 사람이 아닌 것이 확인될 때까지 상기 미확인 객체가 등장하는 비디오 데이터를 추적하여 검색하도록 하기 위함이다.

420 단계에서 관심 동영상을 추출하는 장치는, 330 단계에서 소스 비디오 내에서 검색된 얼굴 이미지 중 얼굴 이미지를 확인 또는 식별할 수 없거나 얼굴의 특징요소를 추출할 수 없는 경우의 객체를 미확인 객체로 표시한다.

430 단계에서 관심 동영상을 추출하는 장치는, 상기 표시된 미확인 객체들 중 상기 검색하고자 하는 얼굴 이미지의 사람과 유사하다고 판단되는 객체를 적어도 하나 이상 선택받는다.

440 단계에서 관심 동영상을 추출하는 장치는, 상기 선택받은 미확인 객체에 대응하는 사람의 움직임을 추적하여 최종 위치를 파악한다.

450 단계에서 관심 동영상을 추출하는 장치는, 상기 파악한 최종 위치의 주변 비디오 녹화장치가 녹화한 비디오 데이터를 저장한 서버로 상기 최종 위치에 상응하는 시간에 녹화된 비디오 데이터를 요청한다.

450 단계에서 요청한 비디오 데이터가 수신되면, 330 단계로 진행하여 310 단계에서 산출된 얼굴 이미지의 특징요소를 이용하여 상기 비디오 데이터에서 상기 검색하고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 재검색한다. 이때 상기 비디오 데이터에 있는 얼굴 이미지들의 특징요소를 산출하여 310 단계에서 산출된 얼굴 이미지의 특징요소와 비교하는 것이 바람직하다.

도 5는 본 발명의 일 실시 예에 따라 소스 비디오 내에서 관심 동영상을 추출하는 일 례를 도시한 것이다.

도 5a는 얼굴 이미지를 수신하기 위한 방법을 도시한 것이다.

도 5a를 참조하면, 저장 폴더에 얼굴 이미지가 저장되어 있음을 알 수 있다. 사용자가 얼굴 이미지를 검색하고자 하는 경우 해당 얼굴 이미지를 저장 폴더에 복사하여 두는 것이 바람직하다.

도 5b는 찾고자 하는 얼굴 이미지가 검색된 결과를 나타낸 것이다.

더 상세하게는 도 5b의 왼쪽 위는 찾고자하는 얼굴 이미지를 도시한 것이고, 오른쪽 위는 찾고자 하는 얼굴 이미지와 유사한 얼굴 이미지를 소스 비디오에서 검색한 결과이다. 이때 소스 비디오의 리스트가 도 5b의 가운데 위에 도시되어 있다.

이제 도 5b의 오른쪽 위의 도시된 검색 결과 중 하나의 얼굴 이미지를 선택하면, 선택된 얼굴 이미지가 포함된 동영상이 소스 비디오로부터 추출되어 새로운 관심동영상이 생성되고, 재생될 수 있다(도 5b의 하단 왼쪽과 오른쪽 부분).

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.

Claims (7)

1. 다양한 방향에서 촬영된 찾고자 하는 얼굴 이미지를 수신하는 얼굴 이미지 수신부;
   상기 수신된 얼굴 이미지로부터 얼굴 이미지의 특징요소를 산출하는 특징요소 산출부;
   상기 찾고자 하는 얼굴 이미지가 있다고 판단되는 소스 비디오를 수신하는 비디오 수신부;
   상기 산출된 얼굴 이미지의 특징요소를 이용하여 수신된 소스 비디오 내에서 상기 얼굴 이미지와 매칭되는 얼굴 이미지를 검색하는 얼굴이미지 검색부; 및
   상기 얼굴 이미지가 상기 소스 비디오에서 검색되면, 상기 얼굴 이미지가 포함된 영상을 상기 소스 비디오로부터 추출하여 관심 동영상을 생성하는 동영상 추출부를 포함하고,
   상기 얼굴 이미지 수신부는 상기 수신된 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류하고,
   상기 비디오 수신부는 상기 소스 비디오 내의 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류하고,
   상기 특징요소 산출부는 상기 얼굴 이미지 수신부와 상기 비디오 수신부로부터 받은 얼굴 이미지들의 특징요소를 산출하고,
   상기 얼굴이미지 검색부는 동일한 분류로 분류된 얼굴 이미지들 간의 특징요소를 비교하여 상기 수신된 얼굴 이미지와 매칭되는 얼굴 이미지를 상기 소스 비디오 내에서 검색하는 것을 특징으로 하고,
   상기 얼굴 이미지 검색부에서 검색된 얼굴 이미지 중 얼굴 이미지를 확인할 수 없거나 얼굴의 특징요소를 추출할 수 없는 경우의 객체를 미확인 객체로 표시하는 미확인 객체 표시부;
   상기 표시된 미확인 객체들 중 상기 찾고자 하는 얼굴 이미지의 사람과 유사하다고 판단되는 객체를 적어도 하나 이상 선택받는 미확인 객체 선택부;
   상기 선택받은 미확인 객체에 대응하는 사람의 움직임을 추적하여 최종 위치를 파악하는 움직임 추적부; 및
   상기 파악한 최종 위치의 주변 비디오 녹화장치가 녹화한 비디오 데이터를 저장한 서버로 상기 최종 위치에 상응하는 시간에 녹화된 비디오 데이터를 요청하는 비디오 요청부를 더 포함하고,
   상기 얼굴이미지 검색부는 상기 비디오 요청부가 요청한 비디오 데이터가 상기 비디오 수신부로부터 수신되면, 상기 산출된 얼굴 이미지의 특징요소를 이용하여 상기 비디오 데이터에서 상기 찾고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 재검색하는 것을 특징으로 하는 소스 비디오 내에서 관심 동영상을 추출하는 장치.
2. 삭제
3. 삭제
4. 다양한 방향에서 촬영된 찾고자 하는 얼굴 이미지를 수신하는 단계;
   상기 수신된 얼굴 이미지로부터 얼굴 이미지의 특징요소를 산출하는 단계;
   상기 찾고자 하는 얼굴 이미지가 있다고 판단되는 소스 비디오를 수신하는 단계;
   상기 산출된 얼굴 이미지의 특징요소를 이용하여 상기 수신된 소스 비디오 내에서 상기 얼굴 이미지와 매칭되는 얼굴 이미지를 검색하는 단계; 및
   상기 얼굴 이미지가 상기 소스 비디오에서 검색되면, 상기 얼굴 이미지가 포함된 영상을 상기 소스 비디오로부터 추출하여 관심 동영상을 생성하는 단계를 포함하고,
   상기 수신된 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류하는 단계; 및
   상기 소스 비디오 내의 얼굴 이미지를 팬, 기울임, 및 롤 중 적어도 하나의 회전 정도에 따라 얼굴 이미지를 분류하는 단계를 더 포함하고,
   상기 수신된 소스 비디오 내에서 상기 얼굴 이미지와 매칭되는 얼굴 이미지를 검색하는 단계는,
   동일한 분류로 분류된 얼굴 이미지들 간의 특징요소를 비교하여 상기 수신된 얼굴 이미지와 매칭되는 얼굴 이미지를 상기 소스 비디오 내에서 검색하는 것을 특징으로 하고,
   상기 검색된 얼굴 이미지 중 얼굴 이미지를 확인할 수 없거나 얼굴의 특징요소를 추출할 수 없는 경우의 객체를 미확인 객체로 표시하는 단계;
   상기 표시된 미확인 객체들 중 상기 찾고자 하는 얼굴 이미지의 사람과 유사하다고 판단되는 객체를 적어도 하나 이상 선택받는 단계;
   상기 선택받은 미확인 객체에 대응하는 사람의 움직임을 추적하여 최종 위치를 파악하는 단계; 및
   상기 파악한 최종 위치의 주변 비디오 녹화장치가 녹화한 비디오 데이터를 저장한 서버로 상기 최종 위치에 상응하는 시간에 녹화된 비디오 데이터를 요청하는 단계를 더 포함하고,
   상기 수신된 얼굴 이미지와 매칭되는 얼굴 이미지를 상기 소스 비디오 내에서 검색하는 단계는,
   상기 요청한 비디오 데이터가 수신되면, 상기 산출된 얼굴 이미지의 특징요소를 이용하여 상기 비디오 데이터에서 상기 찾고자 하는 얼굴 이미지와 매칭되는 얼굴 이미지를 재검색하는 것을 특징으로 하는 소스 비디오 내에서 관심 동영상을 추출하는 방법.
5. 삭제
6. 삭제
7. 제4 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images