KR20170014907A - 지역적 방향 패턴을 이용한 장면 검출 방법 및 장치 - Google Patents

Abstract

장치는 프레임마다 지역적 방향 패턴을 기초로 생성한 코드의 히스토그램을 생성한다. 장치는 히스토그램간 거리를 기초로 장면 전환을 검출한다.

Description

지역적 방향 패턴을 이용한 장면 검출 방법 및 장치{SCENE DETECTING METHOD AND APPARATUS}

본 발명은 장면을 이용한 효율적인 비디오 처리 방법과 장면 검출 방법 및 장치에 관한 것이다.

오늘날 사회의 복잡성과 글로벌화 등의 사회적인 이슈로 인하여 동일 공간에 있지 않는 작업자들 사이의 회의 및 공동 작업을 위한 스마트워크 환경에 대한 필요성이 증대 되고 있다. 이러한 조건을 지원하기위하여 다양한 텔레프레즌스 시스템들이 상용화 되었으나, 기존 텔레프레즌스 시스템들은 화상회의에 기반하고 있어 인쇄물이나 노트 등의 물리 객체를 사용하는 실제 회의와 같은 몰입감과 디지털화 되어있지 않은 자료들을 공유하며 회의를 진행하는 것이 사실상 불가능하여 이를 위한 원격 스마트 협업 기술이 필요하다.

본 발명이 해결하고자 하는 과제는 지역적 방향 패턴을 이용한 장면 검출 방법 및 장치를 제공하는 것이다.

본 발명의 한 실시예에 따른 장치는 프레임마다 지역적 방향 패턴을 기초로 생성한 코드의 히스토그램을 생성한다. 장치는 히스토그램간 거리를 기초로 장면 전환을 검출한다.

본 발명의 한 실시예에 따르면 지역적 방향 패턴을 이용하여 장면을 검출함으로써 원격 스마트 협업을 위한 특수 테이블 위에서의 객체 및 제스처를 인식하여 테이블의 상황을 인지하고, 원격지에서 테이블 위의 상태 변화를 공유할 수 있다.

도 1은 본 발명의 한 실시예에 따른 원격 협업 시스템 구성도이다.
도 2와 도 3은 본 발명의 한 실시예에 따른 LDP 코드 생성 방법을 설명하는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 한 실시예에 따른 원격 협업 시스템 구성도이다.

도 1을 참고하면, 원격 협업 시스템은 테이블, 테이블 위를 촬영하는 적어도 하나의 카메라, 적어도 하나의 출력장치, 카메라와 출력장치를 거치하는 거치대, 통신 모듈, 그리고 제어부를 포함한다.

원격 협업 시스템은 원거리 공동 작업 및 회의를 위한 원격 테이블을 공유하는 시스템으로 로컬 테이블 표면에 놓인 노트 등의 물리 객체가 자동으로 분석되어 원격지로 공유된다. 이러한 시스템은 변화가 거의 없는 테이블 표면의 배경에서 물리 객체의 등장과 사라짐에 따라 효율적으로 샷 경계를 검출하여 대표 프레임을 생성하고, 이러한 대표 프레임에서 물리 객체를 분석하고 인식하는 방법을 사용한다. 이 때 컬러 히스토그램 기반 샷 경계 검출 방법을 사용할 경우 물리 객체의 상태 변화에 민감하게 반응하여 시스템의 성능을 크게 저하시킬 수 있다.

따라서 본 발명은 스마트협업을 위한 환경에서 효율적 프로세스 운용을 지원하는 지역적 방향 패턴을 이용한 장면 검출 방법을 제안한다.

종래의 기술을 살펴보면 다음과 같다.

동영상의 장면검출 방법에는 픽셀 기반 방법, 블록기반 방법, 컬러정보에 기초한 방법, 에지에 기초한 방법 등 다양한 방법들이 있다. 픽셀 기반 방법의 경우 인접한 프레임 간 대응하는 픽셀들을 직접 비교하는 방법으로써 카메라의 움직임이나 큰 객체의 움직임 등에 대하여 장면의 경계를 잘못 검출하는 단점이 있다. 또한 블록 기반 방법은 프레임을 일정한 크기의 블록으로 나눈 뒤 인접한 프레임 간 대응하는 블록들의 유사도를 측정하는 방법인데 이 경우에도 픽셀 기반 방법과 유사한 단점이 있다. 에지에 기초한 방법은 인접한 프레임 간 에지들을 계산하고 차이가 발생하는 에지들을 이용하여 장면의 경계를 검출하는 방법인데 계산량이 많고 잡음에 민감하다는 단점이 있다. 이러한 이유 때문에 많은 경우에서 계산속도가 빠르고 카메라의 이동이나 큰 객체의 움직임, 잡음의 영향 등에 강인한 컬러 히스토그램에 기초한 장면 전환 검출 방법을 이용하고 있다. 하지만 컬러 히스토그램 기반 장면 전환 검출 방법의 경우 영상의 컬러 분포가 급격하게 변하는 경우에 대하여 장면의 경계를 잘못 검출하는 단점이 있다. 이러한 문제는 객체의 상황 등이 빈번하게 바뀌는 스마트 협업 시스템 등에서 해당 알고리즘을 적용했을 경우 시스템의 성능을 크게 저하시킬 수 있다.

따라서 본 발명은 이러한 종래 기술의 단점을 극복하기 위한 지역적 방향 패턴을 이용한 장면 검출 방법을 이용하고, 다음에서 이에 대해 설명한다.

도 2와 도 3은 본 발명의 한 실시예에 따른 LDP 코드 생성 방법을 설명하는 도면이다.

도 2를 참고하면, 장치는 각 화소의 방향별 에지 반응 값을 계산하기 위해 미리 정의된 마스크를 사용해서 에지 반응 값을 구한다. 장치는 아래와 같이 대칭성을 가진 Sobel mask를 이용할 수 있다.

도 3을 참고하면, 장치는 4방향 에지 반응 값 중 절대값이 큰 순서로 주 에지 방향 2개를 선정하고 방향값을 부호화한다. Symetric Mask에서는 대칭되는 방향에 부호만 틀린 에지 반응 값이 나타나기 때문에 나중에 4개의 방향과 ternary pattern으로 8방향을 모두 나타낼 수 있다.

D1의 방향값은 11(북서)이고, D2의 방향값은 11(동)이다.

4방향 에지 반응 방향은 Smooth영역에서 의미 없는 정보를 만들어내기 때문에 smooth영역과 edge영역을 구별해야 하고 주 에지 방향 선택에서 손실된 부호 정보를 넣어 주기 위해서 ternary pattern을 사용한다.

도 3에서 선택된 주 에지 방향에서 D1에 대한 G1은 187이고, D2에 대한 G2는 -165이며, t가 50인 경우, 아래 식을 이용하면, T1은 10, T2는 11이다.

최종 인식용 코드는 다음과 같이 생성된다.

T1 = 10 or 11, T2 = 10 or 11인 경우, 두 에지 방향 모두 유의미한 에지 방향이다. 따라서, 생성 코드는 T1 D1 T2 D2이다.

T1 = 10 or 11, T2 = 00인 경우, 첫 번째 주 방향은 유의미한 에지 방향이지만 두 번째는 무의미한 에지 방향이다. 따라서, 생성 코드는 T1D10000이다.

T1 = 00인 경우, 첫 번째 주 방향이 무의미한 에지 방향이다. 따라서, 생성 코드는 00000000이다.

코드 Dimensions는 다음과 같다.

D1T1으로 나타낼 수 있는 코드는 다음과 같다.

T1 00과 결합 가능한 D1(방향 코드) 00 (1개) - A

T1 10과 결합 가능한 D1(방향 코드) 00, 01, 10, 11(4개) - B

T1 11과 결합 가능한 D2(방향 코드) 00, 01, 10, 11(4개) - C

A와 결합 가능한 D2T2 코드 0000 (1개)

B와 결합 가능한 D2T2 코드 D2 3가지 * T2 2가지 + 0000 (7개)

C와 결합 가능한 D2T2 코드 D2 3가지 * T2 2가지 + 0000 (7개)

D1과 같은 방향은 D2에서 나올 수 없기 때문에 D2는 3가지다.

D1T1 D2T2가 결합해서 나타낼 수 있는 코드 숫자 8 x 7 + 1= 57가지

코드 Dimensions = 57 (Origianl LDP와 큰 차이가 없다.)

이와 같이 장치는 지역적 방향 패턴을 기초로 12bit bin을 생성하여 거리를 계산한다. 장치는 프레임마다 코드의 히스토그램 생성하고, 히스토그램간 거리 산출 후 장면을 검출한다.

12	11	10	9	8	7	6~1
R(7)	R(6)	G(7)	G(6)	B(7)	B(6)	LDP code(6bit)

히스토그램 거리를 이용한 장면 전환 검출 방법은 다음과 같다.

장면 전환 검출 방법은 인접한 프레임 간 히스토그램 거리를 구한 뒤 거리값이 크게 변하는 부분을 찾아 해당 프레임을 장면의 경계로 판정한다.

식(3)에서 H(m)은 프레임의 LBP 히스토그램을 나타낸다. D(i)는 프레임i와 i-1사이의 거리이며 M은 히스토그램 빈의 개수를 의미한다. 위 식을 이용해서 얻어진 히스토그램 거리값들은 동일한 장면 내에서는 큰 차이를 보이지 않지만, 장면이 전환되는 부분에서는 값이 크게 변한다. 이때, 값이 특정 임계값보다 클 경우 해당 프레임을 장면의 경계로 판정하여 검출한다. 임계값을 계산하는 방법은 다음의 식 (4)와 같다.

식 (4)에서

는 i번째 프레임에서의 거리값의 평균이며,

는 i번째 프레임에서의 거리값의 표준 편차이다.

는 가중치를 의미한다.

이와 같이, 본 발명의 장면 검출 장치는 동영상 내 각 프레임으로부터 특징값을 추출한다. 장면 검출 장치는 특징값을 이용하여 프레임별 히스토그램을 생성한다. 장면 검출 장치는 인접한 프레임 간 히스토그램 거리를 구하고, 거리값이 크게 변하는 프레임을 장면의 경계로 판정한다. 이때 특징값은 지역적 방향 패턴을 기초로 생성되며, 이를 토대로 히스토그램을 계산하여 장면이 전환되는 부분을 검출한다.

이와 같이, 본 발명의 실시예에 따르면, 스마트협업을 위한 환경에서 장면이 변화는 프레임을 효율적으로 검출할 수 있고, 스마트 협업 환경에서 중요한 물리 객체의 추가 혹은 제거를 정확히 검출할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (2)

1. 지역적 방향 패턴을 이용한 장면 검출 방법.
2. 지역적 방향 패턴을 이용한 장면 검출 장치.

Images