KR102413043B1 - 영상 컨텐츠의 샷 분할 방법 및 장치 - Google Patents

영상 컨텐츠의 샷 분할 방법 및 장치 Download PDF

Info

Publication number
KR102413043B1
KR102413043B1 KR1020170122687A KR20170122687A KR102413043B1 KR 102413043 B1 KR102413043 B1 KR 102413043B1 KR 1020170122687 A KR1020170122687 A KR 1020170122687A KR 20170122687 A KR20170122687 A KR 20170122687A KR 102413043 B1 KR102413043 B1 KR 102413043B1
Authority
KR
South Korea
Prior art keywords
shot
image
shot boundary
image frame
information
Prior art date
Application number
KR1020170122687A
Other languages
English (en)
Other versions
KR20190033933A (ko
Inventor
문경덕
박윤경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170122687A priority Critical patent/KR102413043B1/ko
Publication of KR20190033933A publication Critical patent/KR20190033933A/ko
Application granted granted Critical
Publication of KR102413043B1 publication Critical patent/KR102413043B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

영상 컨텐츠의 샷 분할 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 영상 컨텐츠의 샷 분할 방법은 영상 컨텐츠를 영상 프레임 단위로 분할하는 과정과, 상기 영상 프레임의 영상정보를 확인하고, 상기 영상 프레임의 영상정보에 기초한 제1샷 경계를 설정하는 과정과, 상기 영상 프레임에 포함되는 적어도 하나의 객체를 확인하고, 상기 적어도 하나의 객체에 대한 문맥(context) 정보를 확인하고, 상기 적어도 하나의 객체에 대한 문맥(context) 정보에 기초한 제2샷 경계를 설정하는 과정과, 상기 제1샷 경계 및 제2샷 경계를 기반으로, 상기 영상 프레임에 대한 최종 샷 경계를 설정하는 과정을 포함할 수 있다.

Description

영상 컨텐츠의 샷 분할 방법 및 장치{METHOD AND APPARATUS FOR SEPERATING SHOT OF MOVING PICTURE CONTENT}
본 개시는 영상 처리 기술에 관한 것이며, 보다 구체적으로는 영상 컨텐츠를 분할하는 방법 및 장치에 대한 것이다.
TV 콘텐츠, 영화 등 다양한 영상 콘텐츠가 수없이 제작되어 배포됨에 따라, 콘텐츠 이용자들은 자신이 원하는 영상 콘텐츠를 찾기가 쉽지 않은 상황이다. 이에 따라, 영상 콘텐츠를 효율적으로 검색할 수 있도록 하거나 또는 추천을 해주는 서비스가 콘텐츠 이용자들에게 주목을 받고 있다. 이러한 서비스가 콘텐츠 이용자들 개개인의 욕구를 충족시키기 위해서는 영상 콘텐츠의 특성을 정확하게 그리고 가능한 구체적으로 분석하는 기술이 요구된다.
일반적으로, 영상 컨텐츠에 포함된 프레임 단위에 대한 물리적인 요소, 예컨대, 프레임의 색상, 질감, 밝기 등과 같은 요소를 검출하고, 이를 바탕으로 영상 콘텐츠의 특성을 분석하는 방식이 사용된다. 그러나, 이와 같이 프레임 단위에 대한 물리적인 요소를 기반으로 콘텐츠의 특성을 분석할 경우, 영상 컨텐츠가 나타내는 의미를 정확하게 검출하기 어렵운 문제가 있다.
본 개시의 기술적 과제는 영상 컨텐츠를 의미 단위로 정확하게 분할하는 방법 및 장치를 제공하는 것이다.
본 개시의 다른 기술적 과제는 영상 컨텐츠를 시간적 변화, 공간적 변화, 및 의미적 변화를 고려하여 분할하는 방법 및 장치를 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면 영상 컨텐츠의 샷 분할 방법이 제공될 수 있다. 상기 방법은 영상 컨텐츠를 영상 프레임 단위로 분할하는 과정과, 상기 영상 프레임의 영상정보를 확인하고, 상기 영상 프레임의 영상정보에 기초한 제1샷 경계를 설정하는 과정과, 상기 영상 프레임에 포함되는 적어도 하나의 객체를 확인하고, 상기 적어도 하나의 객체에 대한 문맥(context) 정보를 확인하고, 상기 적어도 하나의 객체에 대한 문맥(context) 정보에 기초한 제2샷 경계를 설정하는 과정과, 상기 제1샷 경계 및 제2샷 경계를 기반으로, 상기 영상 프레임에 대한 최종 샷 경계를 설정하는 과정을 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 영상 컨텐츠를 의미 단위로 분할하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 영상 컨텐츠를 시간적 변화, 공간적 변화, 및 의미적 변화를 고려하여 분할할 수 있는 방법 및 장치가 제공될 수 있다.
본 개시의 또 다른 기술적 과제는 시간적 변화, 공간적 변화, 및 의미적 변화를 고려하여 분할된 영상 컨텐츠의 검색이나 재 사용이 가능하도록 하는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 영상 컨텐츠 분할 장치에서 사용되는 영상 컨텐츠의 구조를 예시하는 도면이다.
도 2는 본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 장치의 구성을 도시하는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 장치에 사용되는 영상 프레임과 객체 사이의 관계를 예시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 방법의 순서를 도시하는 흐름도이다.
도 5는 도 4에서 영상정보를 기반으로 샷의 경계를 설정하는 단계(S42)의 상세 순서를 예시하는 도면이다.
도 6은 도 4에서 객체정보를 기반으로 샷의 경계를 설정하는 단계(S43)의 상세 순서를 예시하는 도면이다.
도 7은 도 4에서 의미단위를 기준으로한 최종 샷 경계를 결정하는 단계(S44)의 상세 순서를 예시하는 도면이다.
도 8은 본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
도 1은 본 개시의 일 실시예에 따른 영상 컨텐츠 분할 장치에서 사용되는 영상 컨텐츠의 구조를 예시하는 도면이다.
영상 콘텐츠(10)는 다수의 프레임(11a, 11b, 11c, 11d, ...11z)으로 구성될 수 있는데, 통상적으로 1초의 영상 콘텐츠는 24 프레임 또는 30 프레임으로 구성될 수 있다. 여기서, '프레임(frame)'(11a, 11b, 11c, 11d, ...11z)은 움직이는 영상 콘텐츠, 즉 동영상 콘텐츠를 구성하는 정지된 이미지들 중 한 장을 의미한다.
'샷(shot)'(13a, 13b, ...13z)은 영상 콘텐츠의 제작을 위한 촬영 시에 중단하지 않고 한 번에 촬영된 영상의 단위를 의미하고, '장면'(15a, 15b)은 통상 신(scene) 또는 필요에 따라 분할/통합된 형태의 신을 가리키는데, 신이란 동일 시간 구간, 동일 장소에서 단일 상황, 액션, 대사나 사건이 나타나는 하나의 영상 단위를 말하며, 다수의 샷으로 구성될 수 있다.
그리고, '프레임(frame)'(11a, 11b, 11c, 11d, ..., 11z)에는 영상 컨텐츠의 기초가되는 객체(17a, 17b, 17c, ..., 17z)가 포함될 수 있는데, 상기 객체(17a, 17b, 17c, ..., 17z)는 사물, 배경, 소리 등을 포함할 수 있다.
도 2는 본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 장치의 구성을 도시하는 블록도이다.
도 2를 참조하면, 영상 컨텐츠 분할 장치는 프레임 분할부(21), 제1단위 분할부(23), 제2단위 분할부(25), 및 의미단위 분할부(27)를 구비할 수 있다.
프레임 분할부(21)는 입력되는 영상 컨텐츠의 구성정보를 확인하여, 영상 컨텐츠를 프레임 단위(이하, '영상 프레임'이라 함)로 분할하고, 영상 프레임을 제1단위 분할부(23) 및 제2단위 분할부(25)에 제공한다.
제1단위 분할부(23)는 영상 프레임의 영상정보를 확인하고 영상정보를 기반으로 샷의 경계를 설정한다. 구체적으로, 제1단위 분할부(23)는 영상정보 검출부(23a) 및 제1샷분할부(23b)를 구비할 수 있다.
영상정보 검출부(23a)는 영상 프레임에 대하여 하나 이상의 영상정보, 예컨대 RGB 정보, 색상(Hue, H) 정보, 채도(Saturation, S) 정보, 밝기(Value 또는 brightness, V)정보, 그레이 레벨(grey level) 또는 그레이 강도(grey intensity) 정보, 광학적 유동(optical flow) 정보 중, 적어도 하나의 정보를 확인한다. 그리고 확인된 영상정보를 제1샷분할부(23b)에 제공한다.
여기서, RGB 정보는 적색(Red), 녹색(Green), 청색(Blue) 각각의 정도를 나타내는 값이다. 색상(H) 정보는 빨강, 노랑, 초록, 파랑, 보라 등의 유채색을 종류별로 나눌 수 있도록 소정의 값으로 표시한 것으로, 일례로 색상(H) 정보는 가시광선 스펙트럼을 고리 모양으로 배치한 색상환에서 가장 파장이 긴 빨강을 0으로 했을 때의 상대적인 배치 각도를 의미할 수 있다. 채도(S) 정보는 특정한 색상의 가장 진한(또는 순수한) 상태를 100%로 하였을 때의 상대적인 값을 나타내고, 밝기(V) 정보는 가장 어두운 검정색을 0%로 하고 가장 밝은 흰색을 100%로 했을 때의 상대적인 값일 수 있다. 또한, 그레이 강도 정보는 무채색의 밝기 정보를 나타내는 값이며, 광학적 유동 정보는 영상을 보는 사람(눈 또는 카메라)과 장면 사이의 상대적인 움직임으로 인하여 영상 내 사물, 표면, 가장자리 등에 생기는 움직임 패턴을 나타낸다.
제1샷분할부(23b)는 전술한 영상정보를 분석하여, 영상정보 기반의 샷 경계를 결정한다. 예를 들어, 제1샷분할부(23b)는 영상 프레임 단위 별로, 상기 영상정보에 대한 히스토그램을 확인하고, 상기 히스토그램의 유사성을 고려하여, 샷 경계를 결정한다. 이때, 히스토그램 유사성은 '0'이상 및 '1'이하의 값을 가지며 유사도가 높을수록 1에 가까운 값을 갖도록 산출할 수 있다. 그리고, 히스토그램의 유사도가 미리 결정된 임계값(Threshold) 미만의 값을 가지면, 이전 프레임과 현재 프레임의 사이의 시간적, 공간적 특성에 큰 변화가 있다는 것으로 판단할 수 있다. 따라서, 제1샷분할부(23b)는 히스토그램의 유사도가 미리 결정된 임계값(Threshold) 미만의 값을 나타낼 경우, 현재 프레임을 제1샷 경계로 결정할 수 있다.
제2단위 분할부(25)는 영상 프레임의 객체정보를 확인하고 객체정보를 기반으로 샷의 경계를 설정한다. 구체적으로, 제2단위 분할부(25)는 객체정보 검출부(25a), 문맥정보 확인부(25b), 및 제2샷분할부(25c)를 구비할 수 있다.
객체정보 검출부(25a)는 영상 프레임을 구성하는 최소 단위인 객체를 검출할 수 있다. 여기서, 객체의 검출은 객체학습정보를 사용하여 검출할 수 있는데, 상기 객체학습정보는 영상에 포함되는 객체를 대상으로 한 딥러닝 기술을 사용하여 획득될 수 있다.
문맥정보 확인부(25b)는 검출된 객체에 대한 문맥(Context) 정보를 확인한다. 예를 들어, 문맥정보 확인부(25b)는 영상 프레임에 구비되는 객체에 대응되는 사물(who), 행위(what Behavior), 대상(what object), 이유(why), 방법(how), 시간(when), 장소(where) 등과 같은 문맥 요소를 확인하고, 확인된 문맥 요소들을 혼합적으로 요약하여 문맥정보를 생성할 수 있다.
제2샷분할부(25c)는 문맥정보를 기준으로 영상 프레임들 사이에서 의미하는 바가 변화되는 지점을 검출하고, 이를 바탕으로 샷 경계를 설정할 수 있다. 예컨대, 제2샷분할부(25c)는 영상 프레임 각각에 대응하여 기술된 문맥정보를 확인하고, 각각의 영상 프레임의 문맥정보 사이의 유사성을 기반으로 샷 경계를 결정할 수 있다. 구체적으로, 영상 프레임에 포함된 객체의 문맥 요소들 각각에 대한 유사도 값을 산출하고 산출된 유사도 값을 조합하여 영상 프레임 전체에 대한 유사성을 확인할 수 있다. 즉, 이전 프레임(310, 도 3 참조)에 제1 내지 제5 객체(311, 312, 313, 314, 315)가 구비되고, 현재 프레임(320)에 제1 내지 제5 객체(321, 322, 323, 324, 325)가 구비됨을 예시하면, 이전 프레임(310)의 제1 객체(311)와 현재 프레임(320)의 제1 객체(321) 사이의 제1유사도 값을 산출하고, 이전 프레임(310)의 제2 객체(312)와 현재 프레임(320)의 제2 객체(322) 사이의 제2유사도 값을 산출하고, 이전 프레임(310)의 제3 객체(313)와 현재 프레임(320)의 제2 객체(323) 사이의 제3유사도 값을 산출하고, 이전 프레임(310)의 제4 객체(324)와 현재 프레임(320)의 제4 객체(324) 사이의 제4유사도 값을 산출하고, 이전 프레임(310)의 제5 객체(325)와 현재 프레임(320)의 제5 객체(325) 사이의 제5유사도 값을 산출한다. 그리고, 제1 내지 제5 유사도 값을 조합하여 유사성을 결정할 수 있다.
여기서, 유사도 값 또는 유사성은 '0'이상이고 '1'이하 사이의 값을 구비할 수 있으며, 유사도가 높을수록 '1'에 가까운 값을 구비할 수 있다.
나아가, 제2샷분할부(25c)는 제1 내지 제5 유사도 값을 조합한 값이 미리 결정된 임계값(Threshold) 보다 작으면 이전 프레임(310)과 현재 프레임(320)의 스토리적 특징에 큰 변화가 있다는 것으로 판단할 수 있으므로 유사성이 낮은것으로 결정하고, 현재 프레임(320)을 제2샷 경계로 설정할 수 있다.
의미단위 분할부(27)는 제1단위 분할부(23)와 제2단위 분할부(25)에서 각각 설정된 제1샷 경계와 제2샷 경계를 사용하여 의미단위를 기준으로 한 최종 샷 경계를 결정할 수 있다.
구체적으로, 제1샷 경계와 제2샷 경계가 동일할 경우, 해당 영상 프레임을 기준으로, 시간적, 공간적, 및 스토리적 변화가 생기는 것을 의미한다. 이에 따라, 의미단위 분할부(27)는 제1샷 경계가 마킹된 영상 프레임에 제2샷 경계가 마킹되어 있는지 확인한다. 그리고, 영상 프레임에 제1샷 경계와 제2샷 경계가 모두 설정되어 있을 경우, 해당 영상 프레임을 최종 샷 경계에 추가한다.
그리고, 제1샷 경계와 제2샷 경계가 동일하지 않을 경우, 제1샷 경계 또는 제2샷 경계를 기준으로 시간적, 공간적 변화는 없고 스토리적으로 변화가 존재하거나, 시간적, 공간적, 스토리적 변화가 없음을 의미할 수 있다. 이에 따라, 제2샷 경계가 마킹된 영상 프레임이 시간적으로 최종 샷 경계와 제1샷 경계 사이에 존재할 경우, 의미단위 분할부(27)는 스토리적으로 변화가 존재하는 것이므로 해당 영상 프레임을 최종 샷 경계에 추가한다.
제1샷 경계가 마킹된 영상 프레임이 시간적으로 최종 샷 경계와 제2샷 경계 사이에 존재할 경우, 의미단위 분할부(27)는 스토리적으로 변화가 존재하지 않음을 의미하므로 해당 영상 프레임을 최종 샷 경계에 추가하지 않는다.
도 4는 본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 방법은 전술한 영상 컨텐츠의 샷 분할 장치에 의해 수행될 수 있다.
S41 단계에서, 영상 컨텐츠의 샷 분할 장치는 영상 컨텐츠의 구성정보를 확인하여, 영상 컨텐츠를 프레임 단위(이하, '영상 프레임'이라 함)로 분할한다.
S42 단계에서, 영상 컨텐츠의 샷 분할 장치는 영상 프레임의 영상정보를 확인하고 영상정보를 기반으로 샷의 경계를 설정한다. 구체적으로, 영상 컨텐츠의 샷 분할 장치는 영상 프레임에 대하여 하나 이상의 영상정보, 예컨대 RGB 정보, 색상(Hue, H) 정보, 채도(Saturation, S) 정보, 밝기(Value 또는 brightness, V)정보, 그레이 레벨(grey level) 또는 그레이 강도(grey intensity) 정보, 광학적 유동(optical flow) 정보 중, 적어도 하나의 정보를 확인한다. 여기서, RGB 정보는 적색(Red), 녹색(Green), 청색(Blue) 각각의 정도를 나타내는 값이다. 색상(H) 정보는 빨강, 노랑, 초록, 파랑, 보라 등의 유채색을 종류별로 나눌 수 있도록 소정의 값으로 표시한 것으로, 일례로 색상(H) 정보는 가시광선 스펙트럼을 고리 모양으로 배치한 색상환에서 가장 파장이 긴 빨강을 0으로 했을 때의 상대적인 배치 각도를 의미할 수 있다. 채도(S) 정보는 특정한 색상의 가장 진한(또는 순수한) 상태를 100%로 하였을 때의 상대적인 값을 나타내고, 밝기(V) 정보는 가장 어두운 검정색을 0%로 하고 가장 밝은 흰색을 100%로 했을 때의 상대적인 값일 수 있다. 또한, 그레이 강도 정보는 무채색의 밝기 정보를 나타내는 값이며, 광학적 유동 정보는 영상을 보는 사람(눈 또는 카메라)과 장면 사이의 상대적인 움직임으로 인하여 영상 내 사물, 표면, 가장자리 등에 생기는 움직임 패턴을 나타낸다.
그리고, 영상 컨텐츠의 샷 분할 장치는 전술한 영상정보를 분석하여, 영상정보 기반의 샷 경계를 결정한다. 예를 들어, 영상 컨텐츠의 샷 분할 장치는 영상 프레임 단위 별로, 상기 영상정보에 대한 히스토그램을 확인하고, 상기 히스토그램의 유사성을 고려하여, 샷 경계를 결정한다. 이때, 히스토그램 유사성은 '0'이상 및 '1'이하의 값을 가지며 유사도가 높을수록 1에 가까운 값을 갖도록 산출할 수 있다. 그리고, 히스토그램의 유사도가 미리 결정된 임계값(Threshold) 미만의 값을 가지면, 이전 프레임과 현재 프레임의 사이의 시간적, 공간적 특성에 큰 변화가 있다는 것으로 판단할 수 있다. 따라서, 영상 컨텐츠의 샷 분할 장치는 히스토그램의 유사도가 미리 결정된 임계값(Threshold) 미만의 값을 나타낼 경우, 현재 프레임을 제1샷 경계로 결정할 수 있다.
S43 단계에서, 영상 컨텐츠의 샷 분할 장치는 영상 프레임의 객체정보를 확인하고 객체정보를 기반으로 샷의 경계를 설정한다.
구체적으로, 영상 컨텐츠의 샷 분할 장치는 영상 프레임을 구성하는 최소 단위인 객체를 검출할 수 있다. 여기서, 객체의 검출은 객체학습정보를 사용하여 검출할 수 있는데, 상기 객체학습정보는 영상에 포함되는 객체를 대상으로 한 딥러닝 기술을 사용하여 획득될 수 있다.
영상 컨텐츠의 샷 분할 장치는 검출된 객체에 대한 문맥(Context) 정보를 확인한다. 예를 들어, 영상 컨텐츠의 샷 분할 장치는 영상 프레임에 구비되는 객체에 대응되는 사물(who), 행위(what Behavior), 대상(what object), 이유(why), 방법(how), 시간(when), 장소(where) 등과 같은 문맥 요소를 확인하고, 확인된 문맥 요소들을 혼합적으로 요약하여 문맥정보를 생성할 수 있다.
그리고, 영상 컨텐츠의 샷 분할 장치는 문맥정보를 기준으로 영상 프레임들 사이에서 의미하는 바가 변화되는 지점을 검출하고, 이를 바탕으로 샷 경계를 설정할 수 있다. 예컨대, 영상 컨텐츠의 샷 분할 장치는 영상 프레임 각각에 대응하여 기술된 문맥정보를 확인하고, 각각의 영상 프레임의 문맥정보 사이의 유사성을 기반으로 샷 경계를 결정할 수 있다. 구체적으로, 영상 프레임에 포함된 객체의 문맥 요소들 각각에 대한 유사도 값을 산출하고, 산출된 유사도 값을 조합하여 영상 프레임 전체에 대한 유사성을 확인할 수 있다. 즉, 이전 프레임(310, 도 3 참조)에 제1 내지 제5 객체(311, 312, 313, 314, 315)가 구비되고, 현재 프레임(320)에 제1 내지 제5 객체(321, 322, 323, 324, 325)가 구비됨을 예시하면, 이전 프레임(310)의 제1 객체(311)와 현재 프레임(320)의 제1 객체(321) 사이의 제1유사도 값을 산출하고, 이전 프레임(310)의 제2 객체(312)와 현재 프레임(320)의 제2 객체(322) 사이의 제2유사도 값을 산출하고, 이전 프레임(310)의 제3 객체(313)와 현재 프레임(320)의 제2 객체(323) 사이의 제3유사도 값을 산출하고, 이전 프레임(310)의 제4 객체(324)와 현재 프레임(320)의 제4 객체(324) 사이의 제4유사도 값을 산출하고, 이전 프레임(310)의 제5 객체(325)와 현재 프레임(320)의 제5 객체(325) 사이의 제5유사도 값을 산출한다. 그리고, 제1 내지 제5 유사도 값을 조합하여 유사성을 결정할 수 있다.
여기서, 유사도 값 또는 유사성은 '0'이상이고 '1'이하 사이의 값을 구비할 수 있으며, 유사도가 높을수록 '1'에 가까운 값을 구비할 수 있다.
나아가, 영상 컨텐츠의 샷 분할 장치는 제1 내지 제5 유사도 값을 조합한 값이 미리 결정된 임계값(Threshold) 보다 작으면 이전 프레임(310)과 현재 프레임(320)의 스토리적 특징에 큰 변화가 있다는 것으로 판단할 수 있으므로 유사성이 낮은것으로 결정하고, 현재 프레임(320)을 제2샷 경계로 설정할 수 있다.
S44 단계에서, 영상 컨텐츠의 샷 분할 장치는 S42 및 S43 단계에서 각각 설정된 제1샷 경계와 제2샷 경계를 사용하여 의미단위를 기준으로한 최종 샷 경계를 결정할 수 있다.
구체적으로, 제1샷 경계와 제2샷 경계가 동일할 경우, 해당 영상 프레임을 기준으로, 시간적, 공간적, 및 스토리적 변화가 생기는 것을 의미한다. 이에 따라, 영상 컨텐츠의 샷 분할 장치는 제1샷 경계가 마킹된 영상 프레임에 제2샷 경계가 마킹되어 있는지 확인한다. 그리고, 영상 프레임에 제1샷 경계와 제2샷 경계가 모두 설정되어 있을 경우, 해당 영상 프레임을 최종 샷 경계에 추가한다.
그리고, 제1샷 경계와 제2샷 경계가 동일하지 않을 경우, 제1샷 경계 또는 제2샷 경계를 기준으로 시간적, 공간적 변화는 없고 스토리적으로 변화가 존재하거나, 시간적, 공간적, 스토리적 변화가 없음을 의미할 수 있다. 이에 따라, 제2샷 경계가 마킹된 영상 프레임이 시간적으로 최종 샷 경계와 제1샷 경계 사이에 존재할 경우, 영상 컨텐츠의 샷 분할 장치는 스토리적으로 변화가 존재하는 것이므로 해당 영상 프레임을 최종 샷 경계에 추가한다.
제1샷 경계가 마킹된 영상 프레임이 시간적으로 최종 샷 경계와 제2샷 경계 사이에 존재할 경우, 영상 컨텐츠의 샷 분할 장치는 스토리적으로 변화가 존재하지 않음을 의미하므로 해당 영상 프레임을 최종 샷 경계에 추가하지 않는다.
도 5는 도 4에서 영상정보를 기반으로 샷의 경계를 설정하는 단계(S42)의 상세 순서를 예시하는 도면이다.
영상 컨텐츠의 샷 분할 장치는 영상 프레임의 영상정보(색상, 밝기, 질감 등)를 확인하고(S51), 각 영상 프레임의 영상정보에 대한 히스토그램을 확인한다(S52). 여기서, 영상 프레임의 영상정보에 대한 히스토그램은 색상, 밝기, 질감 등 각각의 요소(factor)에 대한 히스토그램 또는 각각의 요소에 대한 히스토그램을 조합하여 확인할 수 있다.
S53 단계에서, 영상 컨텐츠의 샷 분할 장치는 영상 프레임의 영상정보의 변화를 고려하기 위해 이전 프레임과 현재 프레임 사이의 유사성을 확인할 수 있다. 예컨대, 영상 컨텐츠의 샷 분할 장치는 이전 프레임과 현재 프레임에 대한 영상정보의 히스토그램에 기초하여 유사성을 산출할 수 있다. 히스토그램 유사성의 값은 0 ~ 1 사이의 값을 가지며 유사도가 높을수록 1에 가까운 값을 구비할 수 있다.
계산된 영상정보의 히스토그램의 유사도가 미리 결정된 임계값(Threshold) 보다 적으면 이전 프레임과 현재 프레임의 시간적, 공간적 특징에 큰 변화가 있다는 것으로 판단하고(S54-예), 현재 프레임을 영상정보를 고려한 제1샷 경계로 설정할 수 있다(S55).
영상 컨텐츠의 샷 분할 장치는 이러한 동작을 영상 큰텐츠에 포함된 모든 프레임을 대상으로 반복 수행하여, 영상정보를 고려한 제1샷 경계를 설정할 수 있다.
도 6은 도 4에서 객체정보를 기반으로 샷의 경계를 설정하는 단계(S43)의 상세 순서를 예시하는 도면이다.
영상 컨텐츠의 샷 분할 장치는 영상 프레임으로부터, 프레임을 구성하는 최소 의미 단위인 객체의 사물, 배경, 행위, 소리 등 의미 수준 특징을 추출하고, 이러한 의미 수준 특징에 기초하여 객체 정보를 생성할 수 있다(S61). 그리고, 영상 컨텐츠의 샷 분할 장치는 객체정보에 대한 특성을 묘사하는 문맥 요소, 예컨대, 사물(who), 행위(what Behavior), 대상(what object), 이유(why), 방법(how), 시간(when), 장소(where) 등을 확인하고, 확인된 문맥 요소들을 혼합적으로 요약하여 문맥정보를 생성할 수 있다(S62). 이때, 영상 컨텐츠의 샷 분할 장치는 딥러닝 등과 같은 인공지능기술을 사용하여, 프레임을 구성하는 최소 의미 단위인 객체를 검출할 수 있다.
S63 단계에서, 영상 컨텐츠의 샷 분할 장치는 문맥정보를 기준으로 이전 프레임과 현재 프레임간의 유사성을 계산한다. 예를 들어, 먼저 영상 컨텐츠의 샷 분할 장치는 객체단위 별로 검출된 문맥 요소에 대해 의미 공간 상에서 의미 거리 차이를 산출한다. 그리고, 객체단위 각각에 대한 의미 거리 차이 또는 이들을 조합한 결과를 사용하여 이전 프레임과 현재 프레임간의 유사성을 계산한다. 이때, 문맥정보를 기준으로한 유사성의 값은 0 ~ 1 사이의 값을 가지며 유사도가 높을수록 1에 가까운 값을 구비한다.
영상 컨텐츠의 샷 분할 장치는 문맥정보를 기준으로 한 유사성의 값이 미리 결정된 임계값(Threshold) 보다 적으면 이전 프레임과 현재 프레임의 스토리적 특징에 큰 변화가 있다는 것으로 판단하고(S64-예), 현재 프레임을 문맥정보에 기초한 제2샷 경계로 설정한다(S65).
영상 컨텐츠의 샷 분할 장치는 전술한 동작을 영상 컨텐츠에 구비된 모든 영상 프레임에 대해 반복 수행하여 문맥정보를 기반으로 한 제2샷 경계를 설정한다.
도 7은 도 4에서 의미단위를 기준으로한 최종 샷 경계를 결정하는 단계(S44)의 상세 순서를 예시하는 도면이다.
영상 컨텐츠의 샷 분할 장치는 영상 프레임별로 샷 경계가 설정되었는지에 대한 정보를 제공할 수 있으며, 해당 영상 프레임에 제1샷 경계 또는 제2샷 경계가 설정되어 있는지를 확인하여 의미단위를 기준으로한 최종 샷 경계를 결정할 수 있다.
우선, S71 단계에서, 영상 컨텐츠의 샷 분할 장치는 제1샷 경계 또는 제2샷 경계가 설정되어 있는지 확인하고, 해당 영상 프레임에 제1샷 경계와 제2샷 경계가 동시에 설정되어 있는지 확인한다. 그리고, 해당 영상 프레임에 제1샷 경계와 제2샷 경계가 동시에 설정되어 있을 경우(S71-예), 영상 컨텐츠의 샷 분할 장치는 해당 영상 프레임을 최종 샷 경계로 설정한다(S72).
해당 영상 프레임에 제1샷 경계와 제2샷 경계가 동시에 설정되어 있지 않을 경우(S71-아니오), 이전에 확인된 최종 샷 경계에 대응하는 영상 프레임, 제1샷 경계의 설정 여부, 및 제2샷 경계의 설정 여부 등을 고려하여 최종 샷 경계의 설정 여부를 설정할 수 있다. 구체적으로, 해당 영상 프레임이 제2샷 경계가 설정되고 이전에 확인된 최종 샷 경계에 대응하는 영상 프레임과 제1샷 경계가 설정된 영상 프레임 사이에 존재할 경우(S73-예), 영상 컨텐츠의 샷 분할 장치는 해당 영상 프레임을 최종 샷 경계로 설정한다(S74).
그리고, 해당 영상 프레임이 제2샷 경계가 설정되고 전에 확인된 최종 샷 경계에 대응하는 영상 프레임과 제1샷 경계가 설정된 영상 프레임 사이에 존재하지 않을 수 있다. 즉, 해당 영상 프레임이 제1샷 경계가 설정되고 전에 확인된 최종 샷 경계에 대응하는 영상 프레임과 제2샷 경계가 설정된 영상 프레임 사이에 존재할 수 있다. 이 경우(S75-예), 영상 컨텐츠의 샷 분할 장치는 해당 영상 프레임에 설정된 제1샷 경계를 삭제한다(S76).
영상 프레임에서, 의미를 가지는 프레임을 구분하기 위해서, 색상, 질감, 밝기 등과 같은 영상정보를 사용하는 방식이 사용되었으나, 이와 같이 영상 정보를 기반으로 영상 프레임을 구분할 경우, 영상 프레임들 사이에 나타나는 의미가 변화되더라도, 영상정보의 변화가 존재하지 않을 경우에 대해서는 의미를 가지는 프레임을 구분할 수 없는 한계가 존재한다.
하지만, 본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 방법 및 장치에 따르면, 영상 프레임의 시간적 공간적 변화뿐만 아니라, 스토리적 변화까지 고려할 수 있다. 따라서, 영상 프레임을 보다 정확하게 의미단위로 분리할 수 있다.
나아가, 영상 프레임을 정확하게 의미단위로 분리하여 제공함으로써, 영상 컨텐츠의 전체 단위가 아닌 의미를 갖는 단위로 분할하여 제공(소비, 공유 등)할 수 있다. 이를 통해, 영상 컨텐츠를 사용한 다양한 부가가치를 창출에 기여할 수 있다. 예를 들어, 인터넷 강의 영상 컨텐츠로부터 자신에게 필요한 의미 단위 영역만 발췌하여 맞춤 강좌를 구성하거나, 기존에 촬영된 영상 컨텐트로부터 일부 영역만을 검색 또는 트리밍하여 다양한 영상 컨텐츠의 생성이 가능하다. 이와 더불어 웹에서 있는 문서를 분석하여 자동으로 영상 컨텐츠로 변환하여 제공할 수도 있다.
도 8은 본 개시의 일 실시예에 따른 영상 컨텐츠의 샷 분할 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 8을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (10)

  1. 영상 컨텐츠를 영상 프레임 단위로 분할하는 과정과,
    상기 영상 프레임의 영상정보를 확인하고, 상기 영상 프레임의 영상정보에 기초한 제1샷 경계를 설정하는 과정과,
    상기 영상 프레임에 포함되는 적어도 하나의 객체를 확인하고, 상기 적어도 하나의 객체에 대한 문맥(context) 정보를 확인하고, 상기 적어도 하나의 객체에 대한 문맥(context) 정보에 기초한 제2샷 경계를 설정하는 과정과,
    상기 제1샷 경계 및 제2샷 경계를 기반으로, 상기 영상 프레임에 대한 최종 샷 경계를 설정하는 과정을 포함하고,
    상기 제1샷 경계를 설정하는 과정은,
    상기 영상 프레임 단위 별로, 적어도 하나의 영상정보에 대한 히스토그램을 확인하는 과정과,
    상기 히스토그램의 유사도를 산출하는 과정과,
    상기 산출된 히스토그램의 유사도를 고려하여, 상기 샷 경계를 결정하는 과정을 포함하며,
    상기 제1샷 경계가 설정된 해당 영상 프레임이 시간적으로 이전의 최종 샷 경계에 대응하는 영상 프레임과 상기 제2샷 경계가 설정된 영상 프레임 사이에 존재할 경우, 상기 해당 영상 프레임에 설정된 상기 제1샷 경계를 삭제하는 과정을 더 포함하는 것을 특징으로 하는 영상 컨텐츠의 샷 분할 방법.
  2. 영상 컨텐츠를 영상 프레임 단위로 분할하는 프레임 분할부,
    상기 영상 프레임의 영상정보를 확인하고, 상기 영상 프레임의 영상정보에 기초한 제1샷 경계를 설정하는 제1단위 분할부,
    상기 영상 프레임에 포함되는 적어도 하나의 객체를 확인하고, 상기 적어도 하나의 객체에 대한 문맥(context) 정보를 확인하고, 상기 적어도 하나의 객체에 대한 문맥(context) 정보에 기초한 제2샷 경계를 설정하는 제2단위 분할부, 및
    상기 제1샷 경계 및 제2샷 경계를 기반으로, 상기 영상 프레임에 대한 최종 샷 경계를 설정하는 의미단위 분할부를 포함하고,
    상기 제1단위 분할부는,
    상기 영상 프레임 단위 별로, 적어도 하나의 영상정보에 대한 히스토그램을 확인하고, 상기 히스토그램의 유사도를 산출하고, 상기 산출된 히스토그램의 유사도를 고려하여, 상기 샷 경계를 결정하는 것을 포함하며,
    상기 의미단위 분할부는,
    상기 제1샷 경계가 설정된 해당 영상 프레임이 시간적으로 이전의 최종 샷 경계에 대응하는 영상 프레임과 상기 제2샷 경계가 설정된 영상 프레임 사이에 존재할 경우, 상기 해당 영상 프레임에 설정된 상기 제1샷 경계를 삭제하는 것을 특징으로 하는 영상 컨텐츠의 샷 분할 장치.
  3. 제2항에 있어서,
    상기 제1단위 분할부는,
    상기 영상 프레임에 대하여 적어도 하나의 영상정보를 확인 및 제공하는 영상정보 검출부와,
    상기 적어도 하나의 영상정보를 분석하여, 영상정보 기반의 샷 경계를 결정하는 제1샷분할부를 포함하는 것을 특징으로 하는 영상 컨텐츠의 샷 분할 장치.
  4. 제3항에 있어서,
    상기 적어도 하나의 영상정보는,
    RGB 정보, 색상(Hue, H) 정보, 채도(Saturation, S) 정보, 밝기(Value 또는 brightness, V)정보, 그레이 레벨(grey level) 또는 그레이 강도(grey intensity) 정보, 광학적 유동(optical flow) 정보 중, 적어도 하나를 포함하는 것을 특징으로 하는 영상 컨텐츠의 샷 분할 장치.
  5. 삭제
  6. 제3항에 있어서,
    상기 제1샷분할부는,
    상기 히스토그램의 유사도를 미리 정해진 임계값과 비교하여 상기 샷 경계를 결정하는 영상 컨텐츠의 샷 분할 장치.
  7. 제2항에 있어서,
    상기 제2단위 분할부는,
    상기 문맥정보를 기준으로 상기 영상 프레임들 사이에서 의미하는 바가 변화되는 지점을 검출하고, 상기 영상 프레임들 사이에서 의미하는 바가 변화되는 지점을 바탕으로 샷 경계를 설정하는 영상 컨텐츠의 샷 분할 장치.
  8. 제7항에 있어서,
    상기 제2단위 분할부는,
    상기 영상 프레임에 포함된 적어도 하나의 객체의 문맥 요소 각각에 대한 유사도 값을 산출하고, 상기 적어도 하나의 객체의 문맥 요소 각각에 대한 유사도 값을 조합하여 영상 프레임 전체에 대한 유사도를 확인하는 영상 컨텐츠의 샷 분할 장치.
  9. 제2항에 있어서,
    상기 의미단위 분할부는,
    상기 영상 프레임에 상기 제1샷 경계 및 제2샷 경계가 모두 설정되어 있을 경우, 상기 영상 프레임을 상기 최종 샷 경계로서 추가하는 영상 컨텐츠의 샷 분할 장치.
  10. 제9항에 있어서,
    상기 의미단위 분할부는,
    상기 제2샷 경계가 마킹된 영상 프레임이 시간적으로 이전의 최종 샷 경계와 제1샷 경계 사이에 존재할 경우, 상기 영상 프레임을 상기 최종 샷 경계로서 추가하는 영상 컨텐츠의 샷 분할 장치.
KR1020170122687A 2017-09-22 2017-09-22 영상 컨텐츠의 샷 분할 방법 및 장치 KR102413043B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170122687A KR102413043B1 (ko) 2017-09-22 2017-09-22 영상 컨텐츠의 샷 분할 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170122687A KR102413043B1 (ko) 2017-09-22 2017-09-22 영상 컨텐츠의 샷 분할 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190033933A KR20190033933A (ko) 2019-04-01
KR102413043B1 true KR102413043B1 (ko) 2022-06-24

Family

ID=66104782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170122687A KR102413043B1 (ko) 2017-09-22 2017-09-22 영상 컨텐츠의 샷 분할 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102413043B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167808B1 (ko) 2020-03-31 2020-10-20 한밭대학교 산학협력단 Ar에 적용 가능한 의미적인 분할 방법 및 시스템
KR102541772B1 (ko) 2022-09-21 2023-06-13 최동호 재활용 포장지를 이용한 학습용 놀이키트 및 그 사용방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101709085B1 (ko) * 2015-12-16 2017-02-23 서강대학교산학협력단 컨볼루션 신경망을 이용한 샷 경계 검출 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818037B2 (en) * 2012-10-01 2014-08-26 Microsoft Corporation Video scene detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101709085B1 (ko) * 2015-12-16 2017-02-23 서강대학교산학협력단 컨볼루션 신경망을 이용한 샷 경계 검출 방법 및 장치

Also Published As

Publication number Publication date
KR20190033933A (ko) 2019-04-01

Similar Documents

Publication Publication Date Title
CN106254933B (zh) 字幕提取方法及装置
RU2693906C2 (ru) Основанный на правилах анализ важности видео
KR101802146B1 (ko) 화상처리장치 및 화상처리방법
US10733477B2 (en) Image recognition apparatus, image recognition method, and program
US10474903B2 (en) Video segmentation using predictive models trained to provide aesthetic scores
KR101942987B1 (ko) 동영상 배경 제거 방법, 시스템 및 컴퓨터 판독가능 저장장치
US10068616B2 (en) Thumbnail generation for video
US20130336582A1 (en) Image processing apparatus, image processing method, and storage medium
Yeh et al. Video aesthetic quality assessment by temporal integration of photo-and motion-based features
US9477885B2 (en) Image processing apparatus, image processing method and image processing program
KR20190060774A (ko) 블록의 모션 벡터에 기초한 이미지의 블록의 분산 결정
US9965882B2 (en) Generating image compositions
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN111127476A (zh) 一种图像处理方法、装置、设备及存储介质
US20160364883A1 (en) Image processing apparatus, image processing method, and recording medium
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
CN104951495A (zh) 用于管理代表性视频图像的设备和方法
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
US10043098B2 (en) Method of detecting color object by using noise and system for detecting light emitting apparatus by using noise
KR102413043B1 (ko) 영상 컨텐츠의 샷 분할 방법 및 장치
CN111080722B (zh) 一种基于显著性检测的颜色迁移方法及系统
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR102235386B1 (ko) 장면전환 검출 장치 및 방법
US10497103B2 (en) Information processing apparatus, information processing system, information processing method, and recording medium
KR101337833B1 (ko) 컨텐츠에 대한 관객 반응의 판단 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170922

PG1501 Laying open of application
A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200803

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170922

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210719

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220121

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210719

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220121

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20210923

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20200803

Comment text: Amendment to Specification, etc.

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20220218

Patent event code: PE09021S02D

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20220425

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20220413

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220203

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220121

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20210923

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200803

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220621

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220621

End annual number: 3

Start annual number: 1

PG1601 Publication of registration