KR101747705B1 - 다큐멘터리 영상에서의 그래픽 샷 검출 방법 및 장치 - Google Patents

Abstract

본 발명에 따르는 다큐멘터리 영상에서의 그래픽 샷 검출 방법은, 샷 단위의 영상정보에 대해 칼라 히스토그램을 생성하는 단계; 상기 칼라 히스토그램을 빈도수순으로 정렬하는 단계; 상기 정렬 결과에 대해 단위 픽셀값에 따른 빈도수의 변화율을 구하는 단계; 상기 단위 픽셀값에 따른 빈도수의 변화율에 대한 가우시안 분포를 생성하는 단계; 및 상기 가우시안 분포가 미리 정해둔 임계범위에 속하면 그래픽 샷으로 분류하는 단계;를 구비하며, 상기 칼라 히스토그램은 픽셀별 RGB 값에 대한 빈도수를 나타낸 것임을 특징으로 한다.

Description

다큐멘터리 영상에서의 그래픽 샷 검출 방법 및 장치{graphic shot detection method and apparatus in documentary video}

본 발명은 영상처리기술에 관한 것으로, 더욱 상세하게는 다큐멘터리 영상에서의 그래픽 샷 검출 방법 및 장치에 관한 것이다.

디지털 비디오 기술의 발달과 이미지/비디오/오디오 인식 기술의 발달로 인하여 사용자들은 원하는 멀티미디어 콘텐트를 원하는 시점에 원하는 부분만을 검색(searching/filtering)하고 브라우징(browsing) 할 수 있게 되었다.

비선형적인 멀티미디어 콘텐트 브라우징(non-linear multimedia content browsing)과 검색을 위하여 가장 기본이 되는 기술은 샷 분할(shot segmentation) 기법과 샷 클러스터링(shot Clustering) 기법이며, 이 두 가지 기술은 멀티미디어 콘텐트를 구조적으로 분석하는데 있어서 가장 핵심이 되는 기술이다.

비디오에서 샷(shot)이란 방해(interruption) 없이 하나의 카메라로부터 얻어진 비디오 프레임들의 시퀀스(sequence)를 의미하며, 이는 비디오를 분석(analysis)하거나 구성(construction)하는 가장 기본이 되는 단위이다.

또한 일반적으로 비디오에는 의미적인 구성 요소인 씬(scene)이 존재하는데, 여기서 씬은 이야기 전개 또는 비디오 구성에 있어서 의미적인 구분 요소이며 일반적으로 하나의 씬 내에는 여러 개의 샷이 존재한다. 이러한 샷과 씬의 개념은 비디오뿐만 아니라 오디오 프로그램에도 같은 방식으로 적용 가능하다.

궁극적으로 멀티미디어 콘텐트 인덱싱 기법은 콘텐트에 존재하는 샷/씬 단위의 구조적인 정보를 추출하고 각각의 구조단위 별로 그 세그먼트를 대표할 수 있는 키 프레임 등과 같은 주요 특징 요소를 추출하여 멀티미디어 콘텐트에 대한 구조적 정보를 인덱싱하고, 사건(event)의 발생, 시청각 오브젝트(audio-visual object)의 등장, 오브젝트의 상태, 배경(장소 등) 등에 대한 의미적인 정보를 시간축 위에 기술하는 방식으로 인덱싱하여 사용자가 원하는 부분을 쉽게 브라우징하거나 검색할 수 있도록 하는데 그 목적이 있다.

이러한 이유로 최근에는 실사 이미지와 유사한 컴퓨터 그래픽 이미지를 구별해내기 위한 다양한 방법이 제안되고 있다.

예를들어 실제 이미지에서 만화를 구별하는 방법이 있으며, 이는 실제 이미지에 삽입되어 있는 만화를 구별해내기 위한 방법으로 배경색과 확연히 구분되는 컬러와 에지 히스토그램, 평균 채도 등을 활용한다. 그리고 HSV 컬러 스페이스를 이용하는 방법도 있으며, 이는 색상(H), 채도(S) 및 명도(V) 3가지 성분 중 색상(H)과 채도(S)를 이용하여 히스토그램 값을 출력 및 비교하여 이미지를 구별한다.

한편 텔레비전 방송 서비스되는 방송 프로그램들에는 다양한 장르가 존재한다. 그중 하나인 다큐멘터리 장르도 시사, 휴먼, 자연 등으로 더 세분화될 수 있다. 이러한 다큐멘터리는 여러 샷으로 구성된다. 이러한 다큐멘터리의 샷은 도 1에 도시한 바와 같이 유형화될 수 있다.

즉 다큐멘터리는 크게 인터뷰와 자료화면, 기타로 분류된다. 상기 인터뷰는 전문가 인터뷰와 관계자 인터뷰, 일반인 인터뷰로 분류되고, 상기 자료화면은 그래픽과 인용으로 분류되고, 상기 그래픽은 그래픽 차트와 그래픽 표, 그래픽 애니메이션으로 분류되고, 상기 인용은 인용 사진과 인용 문서로 분류된다. 그리고 기타는 그외로서 오프닝, 클로징, MC 장면 등으로 구성될 수 있다. 이와 같이 유형화되는 다큐멘터리의 샷은 그 종류에 따라 영상에서 차지하는 비중 또한 상이하다. 이를 <생로병사의 비밀>을 예로들면 인터뷰 장면 및 그래픽 장면, 인용 장면이 전체의 약 60% 이상을 차지한다. 상기 <생로병사의 비밀>은 2002년부터 꾸준히 500회 이상 방영된 건강 다큐멘터리로서, 여러 질병과 예방법 등에 대한 사례를 소개하고, 전문가의 인터뷰를 통해 전문적인 지식을 전달해주기 때문에 시청자들에게는 유익한 방송 프로그램 중 하나로 꼽힌다. 이러한 <생로병사의 비밀>의 샷 유형을 분석한 결과 인터뷰 장면은 전문가 인터뷰(의사), 관계자 인터뷰(헬스 트레이너), 일반인 인터뷰(환자)로 구성되고, 자료화면 중 그래픽 장면은 표와 차트를 보여주는 장면이나 신체의 장기나 인체의 형상, 세포들의 움직임을 보여주는 애니메이션 장면으로 구성되고, 인용은 논문 등의 문서를 인용한 장면, 사진을 인용한 장면으로 구성된다.

이와 같이 구성되는 <생로병사의 비밀> 등과 같은 다큐멘터리는 시청자의 이해를 돕기 위해 다양한 형태의 주석이 부가되며, 그 주석은 주석자(annotator)에 의해 입력된다.

이에 종래 주석자 등의 영상 편집자에게 영상 편집의 용이성을 제공하기 위해 다큐멘터리를 구성하는 샷의 유형을 분류할 수 있는 기술의 개발이 절실하게 요구되었다.

한국 특허공개 제1020030027953호 한국 특허공개 제1020060060630호 한국 특허공개 제1020020075081호

본 발명은 샷의 칼라 히스토그램 값을 구하고, 그 칼라 히스토그램 값을 정렬하고, 단위 픽셀값에 따른 평균 변화율을 구한 후에, 가우시안 분포를 검출하여, 이 가우시안 분포가 나타내는 표준편차가 임계범위에 속하는지를 토대로 그래픽 샷과 실제 샷을 구별하는 다큐멘터리 영상에서의 그래픽 샷 검출 방법 및 장치를 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명에 따르는 다큐멘터리 영상에서의 그래픽 샷 검출 방법은, 샷 단위의 영상정보에 대해 칼라 히스토그램을 생성하는 단계; 상기 칼라 히스토그램을 빈도수순으로 정렬하는 단계; 상기 정렬 결과에 대해 단위 픽셀값에 따른 빈도수의 변화율을 구하는 단계; 상기 단위 픽셀값에 따른 빈도수의 변화율에 대한 가우시안 분포를 생성하는 단계; 및 상기 가우시안 분포가 미리 정해둔 임계범위에 속하면 그래픽 샷으로 분류하는 단계;를 구비하며, 상기 칼라 히스토그램은 픽셀별 RGB 값에 대한 빈도수를 나타낸 것임을 특징으로 한다.

상기한 본 발명은 다큐멘터리 동영상을 구성하는 샷의 칼라 히스토그램 값을 구하고, 그 칼라 히스토그램 값을 정렬하고, 단위 픽셀값에 따른 평균 변화율을 구한 후에, 가우시안 분포를 검출하여, 이 가우시안 분포가 나타내는 표준편차가 임계범위에 속하는지를 토대로 그래픽 샷과 실제 샷을 구별함으로써, 적은 연산만으로도 그래픽 샷을 검출해낼 수 있는 효과를 야기한다.

이러한 본 발명은 주석을 입력할 때에 주석자가 샷들을 보고 무분별하게 입력하여 주석입력에 소요되는 시간이 길었던 문제를 보완하여 주석자에게 그래픽 샷만을 제공함으로써 주석입력에 소요되는 시간을 줄이고, 주석 내용에 대한 객관성을 높일 수 있는 효과를 야기한다.

이러한 본 발명에 따라 다큐멘터리 동영상에서 그래픽 샷과 실제 샷을 구별함으로써 콘텐츠 특화 검색시에도 유용하게 사용될 수 있는 효과를 야기한다.

도 1은 본 발명의 바람직한 실시예에 따른 다큐멘터리 동영상에 대한 샷을 유형별로 분류한 예를 도시한 도면.
도 2는 본 발명의 바람직한 실시예에 따른 다큐멘터리 영상에서의 그래픽 샷 검출 장치의 구성도.
도 3은 본 발명의 바람직한 실시예에 따른 다큐멘터리 영상에서의 그래픽 샷 검출과정을 도시한 도면.
도 4는 그래픽 샷과 실제 샷을 예시한 도면.
도 5는 도 4에 대한 히스토그램을 도시한 도면.
도 6은 도 5의 히스토그램을 정렬한 결과를 도시한 도면.
도 7은 도 6의 평균 변화율을 도시한 도면.
도 8은 도 7에 대한 가우시안 분포를 도시한 도면.

본 발명은 다큐멘터리 동영상을 구성하는 샷의 칼라 히스토그램 값을 구하고, 그 칼라 히스토그램 값을 정렬하고, 단위 픽셀값에 따른 평균 변화율을 구한 후에, 가우시안 분포를 검출하여, 이 가우시안 분포가 나타내는 표준편차가 임계범위에 속하는지를 토대로 그래픽 샷과 실제 샷을 구별함으로써, 적은 연산만으로도 그래픽 샷을 검출한다.

이러한 본 발명은 주석을 입력할 때에 주석자가 샷들을 보고 무분별하게 입력하여 주석입력에 소요되는 시간이 길었던 문제를 보완하여 주석자에게 그래픽 샷만을 제공함으로써 주석입력에 소요되는 시간을 줄이고, 주석 내용에 대한 객관성을 높일 수 있다.

또한 이러한 본 발명에 따라 다큐멘터리 동영상에서 그래픽 샷과 실제 샷을 구별함으로써 콘텐츠 특화 검색시에도 유용하게 사용될 수 있다.

<다큐멘터리 영상에서의 그래픽 샷 검출 장치의 구성>

상기한 본 발명의 바람직한 실시예에 따른 다큐멘터리 영상에서의 그래픽 샷 검출 장치의 구성을 도 2를 참조하여 설명한다.

상기 다큐멘터리 영상에서의 그래픽 샷 검출 장치는 프로세서(100)와 메모리부(102)와 저장소(104)로 구성된다.

상기 프로세서(100)는 상기 저장소(104)에 저장된 다큐멘터리 영상 등의 영상정보를 리드하여 본 발명의 바람직한 실시예에 따라 그래픽 샷을 검출하고, 그 결과를 출력한다.

상기 메모리부(102)는 상기 프로세서(100)의 처리 프로그램은 물론이고, 상기 프로세서(100)의 프로그램 수행에 필요한 저장영역을 제공한다.

상기 저장소(104)는 다큐멘터리 영상 등의 영상정보를 저장함과 아울러, 상기 프로세서(100)가 제공하는 그래픽 샷 검출정보를 저장한다.

상기한 본 발명의 바람직한 실시예에 따른 다큐멘터리 영상에서의 그래픽 샷 검출 장치에 의한 처리과정을 도 3을 참조하여 상세히 설명한다.

먼저 상기 프로세서(100)에 입력되는 영상정보는 다큐멘터리 영상정보일 수 있으며, 그 영상정보는 그래픽 샷과 실제 샷으로 구성된다.

이를 좀더 설명하면, 다큐멘터리 중 생로병사의 비밀은 구조적으로 샷 유형을 나눌 때에 그래픽 샷이 차지하는 비중이 높다. 특히 상기 그래픽 샷은 실제 샷과는 상이하게 사람에 의해 만들어진 인공적인 장면으로, 실제 샷에 비해 색의 수가 적다. 이의 예는 도 4에 도시한 바와 같다. 상기 도 4의 (a)는 그래픽 샷을 도시한 것이고 상기 도 4의 (b)는 실제 샷을 도시한 것이다. 이에, 본 발명은 그래픽 샷이 실제 샷에 비해 색의 수가 적음에 착안하여 그래픽 샷을 검출한다.

상기한 프로세서(100)는 영상정보를 샷 단위로 입력받아 컬러 히스토그램을 생성한다(200단계). 좀더 설명하면, 그래픽 샷과 같은 경우에는 현실 세계의 모습이 아닌 제작자가 만든 인위적인 장면으로, 시청자들이 전문적인 내용이나 사례에 대해 좀더 쉽게 접근하고, 이해할 수 있도록 도와주는 목적을 지니기 때문에, 만들어진 그림 또는 단순한 것이 일반적이다. 따라서 색의 수가 현실 세계를 나타내는 것보다 적다. 이러한 점은 그래픽 샷과 실제 샷을 구별할 수 있는 근거가 된다.

상기 프로세서(100)는 컬러 히스토그램을 생성하며, 이 컬러 히스토그램은 해당 이미지의 RGB 값에 대한 픽셀 대비 빈도수를 나타낸 것이다. 이에 본 발명에서는 트루 컬러를 이용하여 히스토그램 값을 구하여 그래픽 장면을 검출한다.

도 5는 도 4의 그래픽 샷과 실제 샷에 대한 컬러 히스토그램을 도시한 것으로, X축은 픽셀값이고 Y축은 해당 픽셀 값에 대한 빈도수를 나타낸 것이다. 상기 도 5를 참조하면, 상기 그래픽 샷에 대한 히스토그램은 낮은 픽셀 값에 치우쳐 있는 반면, 실제 샷에 대한 히스토그램은 픽셀 전체에 대해 고르게 분포한다.

상기한 컬러 히스토그램의 생성이 완료되면, 상기 프로세서(100)는 상기 컬리 히스토그램을 정렬하며, 이 정렬은 각각의 픽셀에 대해 빈도수가 높은 값부터 낮은 값까지 내림차순으로 정렬하는 것이다. 상기한 정렬 결과를 예시한 것이 도 6이다.

상기 도 6을 참조하면, 상기 정렬 결과는 그래픽 샷의 경우에는 일정 픽셀 값까지의 기울기가 가파른 특징을 가지고, 실제 샷의 경우에는 전체 픽셀 값에 대해 완만한 기울기를 가지는 특징을 가진다.

상기한 바와 같은 샷의 특징을 명확화하기 위해, 상기 프로세서(100)는 상기 정렬결과정보에 대해 단위픽셀값에 따른 평균변화율을 구하며, 상기 평균변화율을 구한 결과를 도시한 것이 도 7이다. 상기 도 7을 참조하면, 그래픽 샷의 경우에는 단위픽셀값에 따른 평균변화율이 급격하게 변화하고, 실제 샷의 경우에는 단위픽셀값에 따른 평균변화율이 완만하게 변화한다.

상기 프로세서(100)는 상기 단위픽셀값에 따른 평균변화율 정보를 입력받아, 가우시안 분포를 산출하며, 이 가우시안 분포는 수학식 1에 따라 산출된다.

상기 수학식 1에 따르면,

는 평균(means)을 의미하고,

는 표준편차(standard deviation)를 나타낸다. 표준편차의 값이 클수록 좌우로 펼쳐진 정도가 크게 나타난다. 상기 도 7을 상기 수학식 1에 적용하여 가우시안 분포는 획득한 경우를 도시한 것이 도 8이다. 이와같이 그래픽 샷과 실제 샷에 대한 표준편차를 구하면 좌우로 펼쳐진 정도가 두드러지게 구별되므로, 본 발명은 여러 그래픽 샷과 실제 샷에 대한 표준편차의 평균을 내어 그 값을 임계값으로 결정하여 그래픽 샷과 실제 샷을 구별한다.

상기한 본 발명에 대해 다시 한번 정리하면, 본 발명은 샷 단위의 영상정보에 대해 칼라 히스토그램을 생성하고, 상기 칼라 히스토그램의 빈도수 값을 가장 높은 값부터 내림차순으로 정렬하며, 정렬결과에 대한 가우시안 분포를 구한다. 여기서, 그래픽 샷과 실제 샷을 구별하기 위해 여러 샷들의 표준 편차의 평균을 토대로 임계값을 미리 구해둔다.

즉, 상기 영상정보의 칼라 히스토그램을 값의 크기에 따라 정렬한 결과에 대한 가우시안 분포를 구하고, 상기 가우시안 분포가 상기 임계값을 벗어나는 경우에 실제 샷으로 판단하고, 상기 가우시안 분포가 상기 임계값에 속하는 경우에는 그래픽 샷으로 판단한다.

이와 같이 간소한 과정을 거쳐 본 발명은 상기 영상정보로부터 그래픽 샷과 실제 샷을 신뢰도 높게 분류할 수 있다.

100 : 프로세서
102 : 메모리부
104 : 저장소

Claims (8)

1. 다큐멘터리 영상에서의 그래픽 샷 검출 방법에 있어서,
   샷 단위의 영상정보에 대해 칼라 히스토그램을 생성하는 단계;
   상기 칼라 히스토그램을 빈도수순으로 정렬하는 단계;
   상기 빈도수순으로 정렬한 칼라 히스토그램에 따른 가우시안 분포를 생성하는 단계; 및
   상기 가우시안 분포가 미리 정해둔 임계범위에 속하면 그래픽 샷으로 분류하는 단계;를 구비하며,
   상기 칼라 히스토그램은 픽셀별 RGB 값에 대한 빈도수를 나타낸 것이며, 것임을 특징으로 하는 다큐멘터리 영상에서의 그래픽 샷 검출 방법.
2. 삭제
3. 제1항에 있어서,
   상기 칼라 히스토그램을 빈도수순으로 정렬하는 단계;
   상기 정렬 결과에 대해 단위 픽셀값에 따른 빈도수의 변화율을 구하는 단계;
   상기 가우시안 분포는 상기 단위 픽셀값에 따른 빈도수의 변화율로부터 생성됨을 특징으로 하는 다큐멘터리 영상에서의 그래픽 샷 검출 방법.
4. 제1항에 있어서,
   상기 임계범위는 많은 수의 그래픽 샷을 토대로 생성한 칼라 히스토그램에 대한 가우시안 분포인 표준편차의 평균으로 정해짐을 특징으로 하는 다큐멘터리 영상에서의 그래픽 샷 검출 방법.
5. 다큐멘터리 영상에서의 그래픽 샷 검출 장치에 있어서,
   영상정보를 저장하는 저장부; 및
   상기 저장부로부터 샷 단위의 영상정보에 대해 칼라 히스토그램을 생성하고, 상기 칼라 히스토그램을 빈도수순으로 정렬하고, 상기 빈도수순으로 정렬한 칼라 히스토그램에 따른 가우시안 분포를 생성하고, 상기 가우시안 분포가 미리 정해둔 임계범위에 속하면 그래픽 샷으로 분류하는 프로세서;를 포함하며,
   상기 칼라 히스토그램은 픽셀별 RGB 값에 대한 빈도수를 나타낸 것임을 특징으로 하는 다큐멘터리 영상에서의 그래픽 샷 검출 장치.
6. 삭제
7. 제5항에 있어서,
   상기 프로세서가,
   상기 칼라 히스토그램을 빈도수순으로 정렬하며,
   상기 정렬 결과에 대해 단위 픽셀값에 따른 빈도수의 변화율을 구하고,
   상기 가우시안 분포를 상기 단위 픽셀값에 따른 빈도수의 변화율로부터 생성함을 특징으로 하는 다큐멘터리 영상에서의 그래픽 샷 검출 장치.
8. 제5항에 있어서,
   상기 임계범위는 많은 수의 그래픽 샷을 토대로 생성한 칼라 히스토그램에 대한 가우시안 분포인 표준편차의 평균으로 정해짐을 특징으로 하는 다큐멘터리 영상에서의 그래픽 샷 검출 장치.
   

Images