KR20230094541A - 비디오 주석 관리 시스템 및 방법 - Google Patents

비디오 주석 관리 시스템 및 방법 Download PDF

Info

Publication number
KR20230094541A
KR20230094541A KR1020210183790A KR20210183790A KR20230094541A KR 20230094541 A KR20230094541 A KR 20230094541A KR 1020210183790 A KR1020210183790 A KR 1020210183790A KR 20210183790 A KR20210183790 A KR 20210183790A KR 20230094541 A KR20230094541 A KR 20230094541A
Authority
KR
South Korea
Prior art keywords
annotation
bookmark
video
time index
module
Prior art date
Application number
KR1020210183790A
Other languages
English (en)
Inventor
김형철
오정섭
김형태
이종길
Original Assignee
주식회사 엔에스이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔에스이 filed Critical 주식회사 엔에스이
Priority to KR1020210183790A priority Critical patent/KR20230094541A/ko
Publication of KR20230094541A publication Critical patent/KR20230094541A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/748—Hypervideo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9562—Bookmark management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 비디오 주석 관리 시스템은 비디오 데이터를 저장하는 비디오 데이터 관리 모듈; 비디오 데이터를 재생하는 비디오 재생 모듈; 시간 인덱스된 주석 데이터를 생성하는 주석 생성 모듈; 시간 인덱스된 주석 데이터를 저장하고 검색하는 주석 데이터 관리 모듈; 비디오 데이터와 주석 데이터의 시간 인덱스를 매칭하는 싱크로 및 북마크 관리 모듈; 재생되는 비디오 프레임, 및 주석 데이터 및 시간 관계 정보를 표출하는 디스플레이 모듈을 포함하며, 상기 주석 생성 모듈은 재생되는 비디오의 특정 프레임에 연관하여 주석 데이터를 생성하며, 상기 싱크로 및 북마크 관리 모듈은 주석 데이터가 생성된 시간 인덱스에 대하여 북마크를 설정하며, 상기 디스플레이 모듈은 시간 및 북마크 표시 영역에 타임 라인과 북마크바를 병행하여 표출하며 북마크바 상에 북마크가 설정된 시점에 대응되는 위치에 북마크 심벌을 표시하며, 북마크 심벌이 클릭되어 북마크가 선택되면 영상 표시 영역에 북마크가 설정된 시간 인덱스의 비디오 프레임을 현출하는 동시에 주석 표시 영역에 해당 시간 인덱스의 주석을 선택 표출하며, 역으로 주석 표시 영역의 특정 주석이 클릭되어 선택되면 북마크바에서 대응되는 북마크 심벌이 선택되면서 영상 표시 영역에 북마크가 설정된 시간 인덱스의 비디오 프레임이 현출되는 것을 특징으로 한다. 본 발명은 비디오의 특정 프레임 이미지와 연관하여 주석을 작성할 수 있으며, 비디오 전체를 시계열적으로 시청하지 않고도, 타인이 작성한 주석을 시각적으로 신속하게 찾아 낼 수 있고, 해당 주석을 연관 프레임의 이미지를 병행 참조하면서 용이하게 검토할 수 있는 효과가 있다.

Description

비디오 주석 관리 시스템 및 방법{An annotation management system for videos and the method using the same}
본 발명은 비디오 주석 관리 시스템 및 방법에 관한 것으로서, 보다 상세하게는 비디오 시청 또는 검토 시에 효과적으로 주석을 공유하여 불필요한 시간 손실 없이 비디오 내용을 검토할 수 있도록 하고, 보다 직관적이고 시각적으로 효과적인 방식으로 주석 관리를 수행할 수 있도록 하는 시스템 및 방법에 관한 것이다.
오늘날 다양한 비디오 자료들이 레저용은 물론 교육 및 업무 용도로 활용되고 있으며, 일방적인 비디오 재생에 그치지 않고 사용자들의 의견 및 코멘트 활동이 비디오 데이터에 대한 부가적인 가치 정보로서 널리 활용되고 있다. 특히 교육용 및 업무용 비디오 제작 시에는 유용한 참고 자료를 주석(annotation)으로 부가하여 비디오의 정보 전달 능력을 더욱 풍부하게 하고, 비디오 자료의 효용성을 제고하고 있다. 또한 비디오 제작 과정에서 제작 참여자들은 자신들의 검토 의견을 주석으로 부가하여 이를 상호 평가함으로써 비디오의 완성도 및 품질을 높이는데 활용되기도 한다.
많은 비디오 자료 중에서 사용자가 원하는 비디오를 신속히 검색하는 것도 중요한 일이지만, 찾아낸 비디오 자료의 전체를 시청하는 것은 때때로 시간 소모적이고 번거로울 수도 있으므로, 비디오 자료 중에서 특정 관심 구간 또는 선호 구간을 신속하게 식별해 내는 것은 매우 가치 있는 일이 된다.
예를 들어 국내 등록특허 제10-1658002호는 비디오를 비디오 문장 및 비디오 문단의 단위로 인덱싱 하고 주석을 기입하여 각 주제별로 효과적으로 관심 구간을 검색할 수 있도록 하는 비디오 주석 시스템이 공개되어 있다. 그러나 이 기술은 주어진 비디오 전체에 대하여 상당히 상세한 검토 분석 결과에 의하여 주석이 완성되어야 하므로, 이러한 분석이 행해지지 않은 비디오 자료에 적용할 수 없고, 더구나 비디오 제작 과정에서는 활용하기 어렵다.
국내 등록특허 제10-1293301호는 비디오에 동기화된 자막을 분석하여 키워드를 자동 생성하고 생성한 키워드가 나오는 장면을 매칭하여, 키워드 검색이 가능한 영상 검색 기법을 제공한 바 있다.
본 발명은 비디오 시청 또는 검토 시에 효과적으로 주석을 공유하여 불필요한 시간 손실 없이 요청된 비디오 내용을 검토할 수 있도록 하고, 보다 직관적이고 시각적으로 효과적인 방식으로 주석 관리를 수행할 수 있도록 하는 시스템 및 방법을 제공하기 위한 것이다.
본 발명에 따른 비디오 주석 관리 시스템은 비디오 데이터를 저장하는 비디오 데이터 관리 모듈; 비디오 데이터를 재생하는 비디오 재생 모듈; 시간 인덱스된 주석 데이터를 생성하는 주석 생성 모듈; 시간 인덱스된 주석 데이터를 저장하고 검색하는 주석 데이터 관리 모듈; 비디오 데이터와 주석 데이터의 시간 인덱스를 매칭하는 싱크로 및 북마크 관리 모듈; 재생되는 비디오 프레임, 및 주석 데이터 및 시간 관계 정보를 표출하는 디스플레이 모듈을 포함하며, 상기 주석 생성 모듈은 재생되는 비디오의 특정 프레임에 연관하여 주석 데이터를 생성하며, 상기 싱크로 및 북마크 관리 모듈은 주석 데이터가 생성된 시간 인덱스에 대하여 북마크를 설정하며, 상기 디스플레이 모듈은 시간 및 북마크 표시 영역에 타임 라인과 북마크바를 병행하여 표출하며 북마크바 상에 북마크가 설정된 시점에 대응되는 위치에 북마크 심벌을 표시하며, 북마크 심벌이 클릭되어 북마크가 선택되면 영상 표시 영역에 북마크가 설정된 시간 인덱스의 비디오 프레임을 현출하는 동시에 주석 표시 영역에 해당 시간 인덱스의 주석을 선택 표출하며, 역으로 주석 표시 영역의 특정 주석이 클릭되어 선택되면 북마크바에서 대응되는 북마크 심벌이 선택되면서 영상 표시 영역에 북마크가 설정된 시간 인덱스의 비디오 프레임이 현출되는 것을 특징으로 한다.
본 발명에 따른 비디오 주석 관리 시스템은 사용자의 아이디를 관리하는 사용자 관리 모듈을 포함하며, 디스플레이 모듈은 로그인 사용자가 생성한 주석에 대한 북마크 심벌과 타 사용자가 생성한 주석에 대한 북마크 심벌이 구별되고, 타 사용자가 생성한 주석에 대하여는 검토 완료 여부 상태가 구분되는 북마크 심벌을 표출하는 것을 특징으로 하는 것을 특징으로 할 수 있다.
본 발명에 따른 디스플레이 모듈은 기본 북마크바와 확대 북마크바로 이루어진 이중 북마크바를 표출하며, 확대 북마크바는 기본 북마크바의 일부 구간을 확대하여 표시하는 것을 특징으로 할 수 있다.
본 발명에 따른 주석 생성 모듈은 주석 데이터 생성시에 이미 생성된 다른 주석의 시간 인덱스를 참조 시간 인덱스로 부가하며, 디스플레이 모듈은 당해 주석의 마크업 심볼과 참조 시간 인덱스에 해당되는 주석의 마크업 심볼의 연결 고리를 표출하는 것을 특징으로 할 수 있다.
본 발명에 따른 주석 생성 모듈은 주석 데이터 생성시에 프레임 상의 특정 위치를 지정하며, 디스플레이 모듈은 영상 표시 영역의 해당 특정 위치에 주석 포인터를 오버레이 하여 표출하는 것을 특징으로 할 수 있다.
본 발명에 따른 주석 생성 모듈에서 특정 프레임에 연관하여 생성되는 주석 데이터는 프리드로잉 마크업 이미지 주석을 포함하며, 디스플레이 모듈은 북마크가 설정된 시간 인덱스의 비디오 프레임이 표출되는 이미지 표시 영역상에 프리드로잉 마크업 이미지를 오버레이 하여 표출하는 것을 특징으로 할 수 있다.
본 발명에 따른 비디오 주석 관리 방법은 비디오 데이터를 스트리밍 하는 스트리밍 단계; 특정 시간에 비디오 스트리밍을 중단하는 시간 특정 단계; 중단 시점의 비디오 프레임을 표출하고, 해당 프레임과 연관된 주석 데이터를 생성하는 주석 생성 단계; 중단 시점의 시간 인덱스가 부가된 주석 데이터를 저장하는 주석 저장 단계; 생성된 주석 데이터의 시간 인덱스에 대하여 북마크를 설정하는 북마크 설정 단계; 디스플레이 화면에 타임 라인과 북마크바를 병행하여 표출하며 북마크바 상에 북마크가 설정된 시점에 대응되는 위치에 북마크 심벌을 표시하는 북마크 표시 단계; 북마크 심벌 클릭에 의하여 북마크가 선택되는 북마크 선택 단계; 및 영상 표시 영역에 선택된 북마크가 설정된 시간 인덱스의 비디오 프레임을 표출하는 동시에 주석 표시 영역에 해당 시간 인덱스의 주석을 선택 표출하는 주석 검토 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따른 비디오 주석 관리 방법은 주석 검토 단계에서 주석 표시 영역에서 특정 주석이 클릭되어 선택되면 북마크바에서 대응되는 북마크 심벌이 선택되면서 영상 표시 영역에 북마크가 설정된 시간 인덱스의 비디오 프레임이 현출되는 것을 특징으로 하는 것을 특징으로 할 수 있다.
본 발명에 따른 비디오 주석 관리 방법은 북마크 표시 단계에서, 로그인 사용자가 생성한 주석에 대한 북마크 심벌과 타 사용자가 생성한 주석에 대한 북마크 심벌이 구별되고, 타 사용자가 생성한 주석에 대하여는 검토 완료 여부 상태가 구분되는 북마크 심벌을 표출하는 것을 특징으로 할 수 있다.
본 발명에 따른 비디오 주석 관리 방법은 북마크 표시 단계에서, 기본 북마크바와 확대 북마크바로 이루어진 이중 북마크바를 표출하며, 확대 북마크바는 기본 북마크바의 일부 구간을 확대하여 표시하는 것을 특징으로 할 수 있다.
본 발명에 따른 비디오 주석 관리 방법은 주석 생성 단계에서 이미 생성된 다른 주석의 시간 인덱스를 참조 시간 인덱스로 부가하며, 북마크 표시 단계에서 당해 주석의 마크업 심벌과 참조 시간 인덱스에 해당되는 주석의 마크업 심볼의 연결 고리를 표출하는 것을 특징으로 할 수 있다.
본 발명에 따른 비디오 주석 관리 방법은 주석 생성 단계에서 중단 시점의 비디오 프레임 상에 오버레이 하여 프리드로잉 마크업 이미지 주석을 포함하여 생성하며, 주석 검토 단계에서 북마크가 설정된 시간 인덱스의 비디오 프레임이 표출되는 영상 표시 영역 상에 프리드로잉 마크업 이미지를 오버레이 하여 표출하는 것을 특징으로 할 수 있다.
본 발명은 비디오의 특정 프레임 이미지와 연관하여 주석을 작성할 수 있으며, 비디오 전체를 시계열적으로 시청하지 않고도, 타인이 작성한 주석을 시각적으로 신속하게 찾아 낼 수 있고, 해당 주석을 연관 프레임의 이미지를 병행 참조하면서 용이하게 검토할 수 있는 효과가 있다. 또한 작성된 주석에 대한 키워드 검색을 통하여 신속하게 관심 주석을 찾고 연관 프레임과 병행하여 함께 검토할 수 있는 효과가 있다.
본 발명은 사용자 별 북마크 구분을 적용하여 사용자가 검토해야 할 대상 주석을 용이하게 파악할 수 있는 효과를 갖는다.
본 발명은 고밀도로 작성된 북마크들을 용이하게 식별하여 선택할 수 있는 효과를 제공한다.
본 발명은 2개의 주석이 관련성이 있어 상호 참조하여 검토할 필요가 있을 때 주석 간의 관계성을 직관적으로 나타내는 효과를 제공한다.
본 발명은 주석이 비디오 프레임 상에서 주석 포인터가 표시된 위치에 관련된 것임을 직관적으로 나타내는 효과를 제공한다.
본 발명은 텍스트 주석만으로 표현하기 어려운 내용을 비디오 프레임 상에 오버레이 된 프리드로잉 마크업 이미지를 통하여 자유롭게 표현하여 보다 완벽하고 상세하게 주석 내용을 전달할 수 있는 효과가 있다.
도1은 본 발명에 따른 비디오 주석 관리 시스템의 블록다이어그램이다.
도2는 본 발명에 따른 사용자 인터페이스의 화면 구성 예시도이다.
도3은 본 발명에 따른 이중 북마크바의 예시도이다.
도4는 본 발명에 따라 주석 사이의 관계성을 표시하는 예시도이다.
도5는 본 발명에 따른 사용자 인터페이스의 화면에 주석 포인터가 표시된 예시도이다.
도6은 본 발명에 따른 사용자 인터페이스의 화면에 프리드로잉 마크업 이미지 주석이 오버레이 되어 표출된 예시도이다.
도7은 도6의 프리드로잉 마크업 이미지만을 분리하여 표시한 예시도이다.
도8은 본 발명에 따른 비디오 주석 관리 방법의 흐름도이다.
이하에서는 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 본 발명은 여러 가지 다양한 형태로 변형하여 구현될 수 있으며 여기에서 설명하는 실시예로 한정되지는 않는다. 본 발명에 첨부된 도면은 설명의 편의를 위하여 간략화 되었으며, 본 발명을 명확하게 설명하기 위해서 일부가 과장되거나 설명과 관계없는 부분은 생략되었다.
본 발명에서 비디오란 시간에 따라 재생되는 동영상 또는 모션 이미지(motion image)를 통칭하며, 비디오와 동기화된 부수적 오디오 및 자막 데이터를 포함한다. 또한 이하에서 모듈이라 함은 소정의 기능을 수행하기 위한 소프트웨어의 기능 단위 또는 하드웨어 및 이를 구동하기 위한 소프트웨어의 기능적, 구조적 결합체를 의미한다. 그러므로 모듈은 소프트웨어의 일부 논리 단위로 존재하거나 복수의 소프트웨어에 분산하여 존재할 수 있으며, 하드웨어에 물리적으로 연결되지 아니할 수 있다.
본 발명에 따른 비디오 주석 관리 시스템(10)은 도1에 도시된 바와 같이 비디오 데이터 관리 모듈(Video Data Management Module, 110), 비디오 재생 모듈(Video Playback Module, 120), 주석 생성 모듈(Annotation Creation Module, 130), 주석 데이터 관리 모듈(Annotation Data Management Module, 140), 싱크로 및 북마크 관리 모듈(Synchronization and Bookmark Management Module, 150), 디스플레이 모듈(Display Module, 160) 및 사용자 관리 모듈(User Management Module, 170) 등을 포함하여 구성된다.
비디오 데이터 관리 모듈(110)은 비디오 데이터를 저장하고 관리한다. 여기서 비디오 데이터는 통상적 방식으로 단위 별로 색인되어, 재생 요구되는 단위 비디오가 선별될 수 있도록 저장된다. 비디오 재생 모듈(120)은 저장된 비디오 데이터를 통상적 방법으로 재생한다.
주석 생성 모듈(130)은 비디오의 특정 프레임에 연관하여 텍스트, 마크업(markup) 이미지, 오디오, 비디오 등으로 이루어진 주석 데이터를 생성할 수 있다. 비디오 프레임은 비디오 재생 중 정지된 특정 시점의 비디오 이미지이며, 해당 비디오 프레임의 프레임 번호 또는 재생 시간을 키 값으로 하여 시간 인덱스가 추출될 수 있다. 주석 데이터 관리 모듈(140)은 시간 인덱스가 포함된 주석 데이터를 저장하며, 검색할 수 있도록 관리한다.
싱크로 및 북마크 관리 모듈(150)은 비디오 데이터와 주석 데이터의 시간 인덱스를 매칭하며, 주석 데이터가 생성된 시간 인덱스에 대하여 북마크(bookmark)를 설정한다.
디스플레이 모듈(160)은 재생되는 비디오 프레임, 주석 데이터 및 시간 관계 정보를 표출한다. 디스플레이 모듈(160)이 표출하는 사용자 인터페이스 화면은, 도2에 예시된 바와 같이, 영상 표시 영역(210), 시간 및 북마크 표시 영역(220), 주석 표시 영역(230) 등을 포함하여 구성될 수 있으며, 시간 및 북마크 표시 영역(220)에 타임 라인(221)과 북마크바(222, bookmark bar)를 병행하여 표출하며 북마크바(222)에 북마크가 설정된 시점에 대응되는 위치에 북마크 심벌(bookmark symbol, 223)을 표시하며, 북마크 심벌이 클릭되어 북마크가 선택되면 영상 표시 영역(210)에 북마크가 설정된 시간 인덱스의 비디오 프레임을 현출하는 동시에 해당 시간 인덱스의 텍스트 주석이 주석 표시 영역(230)에 하이라이트 되어 선택 표출된다. 또한 주석 표시 영역(230)의 특정 주석이 클릭되어 선택되면 북마크바(222)에서 대응되는 북마크 심벌이 선택되면서 영상 표시 영역(210)에 북마크가 설정된 시간 인덱스의 비디오 프레임이 현출된다. 시간 관계 정보란 시간 및 북마크 표시 영역(220)에 표현되는 정보를 총체적으로 지칭한다.
인터페이스 화면에는 텍스트 주석 입력 영역(240) 및 주석 검색 영역(250)이 마련될 수 있다. 텍스트 주석 입력 영역(240)은 주석 생성 모듈(130)에 의하여 텍스트 주석을 입력할 때 사용되며, 주석 검색 영역(250)은 주석 데이터 관리 모듈(140)에 의하여 텍스트 주석을 검색하는데 사용된다. 통상적으로 본 발명의 비디오 주석 관리 시스템(10)은 웹 상의 호스팅 서버에 구축될 수 있고, 인터페이스 화면은 사용자가 사용하는 클라이언트 단말에 현출된다.
이하에서 도2를 참조하여, 본 발명의 비디오 주석 관리 시스템(10)의 동작의 일예에 대하여 설명한다. 로그인 사용자가 요청한 비디오는 영상 표시 영역(210)에 재생되고 타임 라인(221)에 재생 진행 정도가 시간과 함께 표시된다. 비디오 재생 중에 사용자가 코멘트가 필요하다고 판단된 시점에 예를 들어 재생 온오프 버튼(224)을 사용하여 비디오 재생을 중지한다. 이 때 영상 표시 영역(210)에 현출되어 있는 비디오 프레임에 대하여 주석을 작성할 필요가 있다면 예를 들어 주석생성 버튼(225)을 클릭하여 해당 프레임과 연관하여 주석 작성 모드 진입이 선언되고, 텍스트 주석 입력 영역(240)을 이용하여 주석이 작성된다. 주석 작성 완료가 선언되면 해당 프레임과 연관하여 북마크바(222)의 재생 진행 정도에 대응되는 위치에 북마크심벌(223)이 생성된다. 이후 재생 온오프 버튼(224)을 이용하여 비디오를 다시 재생시킬 수 있으며, 같은 방법으로 복수의 북마크를 생성할 수 있다. 북마크 생성이 완료 된 후에 북마크바(222)에서 특정 북마크 심벌을 클릭하여 선택하면 대응되는 시간 인덱스에 해당되는 시점으로 비디오 진행 시점이 이동되어 정지되고, 해당되는 프레임이 영상 표시 영역(210)에 현출됨과 동시에 해당 주석이 주석 표시 영역(230)에 하이라이트로 선택 표출된다. 역으로 주석 표시 영역(230)에서 어느 한 텍스트 주석 박스를 클릭하여 선택하면 대응되는 시간 인덱스에 해당되는 시점으로 비디오 진행 시점이 이동되어 정지되고, 해당되는 프레임이 영상 표시 영역(210)에 현출되고 동시에 해당되는 북마크 심벌이 컬러 변색되어 표시되게 할 수 있다.
도 2에서는 북마크바(222)의 5번째 주석이 선택된 경우인데, 해당 비디오 프레임이 영상 표시 영역(210)에 현출되고, 5번째 북마크 심벌이 청색에서 노란색으로 변색되고, 아울러 해당 텍스트 주석이 주석 표시 영역(230)에 노란색으로 하이라이트 되어 표시된 사례를 보여준다.
위에서 본 바와 같이 본 발명은 비디오를 재생시키면서 원하는 특정 시점에 정지하여 용이하게 해당 프레임과 연관하여 주석을 작성할 수 있으며, 또한 1차 사용자에 의하여 주석 작성이 완료된 이후에는 다음 사용자는 비디오의 전체를 시계열적으로 시청하지 않고도, 타 사용자가 작성한 주석을 시각적으로 신속하게 찾아 낼 수 있고, 해당 주석을 연관 프레임의 이미지를 병행 참조하면서 용이하게 검토할 수 있는 효과가 있다. 또한 작성된 주석에 대한 키워드 검색을 통하여 신속하게 관심 주석을 찾고 연관 프레임과 병행하여 함께 검토할 수 있는 효과가 있다.
본 발명의 사용자 관리 모듈(170)은 사용자의 아이디와 접근 권한을 관리한다. 주석 데이터 관리 모듈(140)에 저장된 각 주석에는 작성한 사용자의 고유번호가 부가되어 관리되고, 디스플레이 모듈(160)은 로그인 사용자가 생성한 주석에 대한 북마크 심벌과 타 사용자가 생성한 주석에 대한 북마크 심벌이 구별되고, 타 사용자가 생성한 주석에 대하여는 검토 완료 여부 상태가 구분되는 북마크 심벌을 표출되게 할 수 있다. 로그인 사용자가 타 사용자의 주석을 검토한 경우에는 검토 완료 플래그를 부가하여 검토 완료 상태를 구분할 수 있다. 예를 들면 로그인 사용자 본인이 생성한 주석의 북마크 심벌은 청색, 타인이 생성한 미검토 주석의 북마크 심벌은 적색, 타인이 생성한 검토 완료 주석의 북마크 심벌은 녹색 등으로 구분하여 표시할 수 있다. 물론 컬러 구분 외에 북마크의 모양 변경 또는 컬러 및 모양의 결합에 의하여 구분되게 할 수 있다.
본 발명의 이러한 특징은 사용자 인터페이스를 통하여 사용자가 검토해야 할 대상 주석을 용이하게 파악할 수 있는 효과를 제공한다.
본 발명의 디스플레이 모듈(160)은 도3에 예시된 바와 같이, 시간 및 북마크 표시 영역에 기본 북마크바(321)와 확대 북마크바(323)로 이루어진 이중 북마크바(320)를 표출하며, 확대 북마크바(323)는 기본 북마크바(321)의 일부 구간을 확대하여 표시되게 할 수 있다. 즉, 기본 북마크바(321)는 비디오의 전체 재생 시간에 대응되는 길이로 타임라인(310)과 함께 표출되며, 반면에 확대 북마크바(323)는 비디오의 일부 재생 구간(311)에 대응되는 길이로 표출된다. 도3에 예시된 바와 같이 일부 재생 구간(311)에 해당되는 기본 북마크바(321)의 구간에는 다수의 북마크 심벌이 밀집되어 중첩 표시되어 있어 개별 북마크 심벌의 개별 식별이 곤란한 상태이므로, 이를 확대하여 확대 북마크바(323)에 표시함으로써 개별 북마크 심벌이 구분 가능하게 분리 표시되어 식별이 가능하고 이로부터 특정 북마크를 클릭하여 선택할 수 있게 된다. 기본 북마크바(321)에서 확대될 구간은 예를 들어 스케일러바(scaler bar, 322)를 사용하여 설정된다. 디폴트 상태에서는 좌틱(start tick, 324)은 스케일러바(322)의 맨 왼쪽 끝에 위치되고, 우틱(end tick, 325)은 맨 오른쪽 끝에 위치된다. 사용자가 북마크 심벌의 배치 상태를 보아서 확대 북마크바를 동작시킬 필요가 있다고 판단하면, 좌틱(324)을 대상 구간의 시작점 위치에 이동시키고 우틱(325)을 대상 구간의 끝 위치에 이동시킴으로써 확대 북마크바(323)의 표시 구간이 설정될 수 있다.
본 발명의 이러한 특징은 타임라인 상에 고밀도로 밀집된 북마크들을 용이하게 식별하여 선택할 수 있도록 하는 효과를 제공한다.
본 발명의 주석 생성 모듈(130)은 주석 데이터 생성시에 이미 생성된 다른 주석의 시간 인덱스를 참조 시간 인덱스로 부가하며, 디스플레이 모듈(160)은 당해 주석의 마크업 심벌과 참조 시간 인덱스에 해당되는 주석의 마크업 심벌의 연결 고리를 표출하여 2개의 주석의 관계성이 표시되게 할 수 있다. 도4는 본 발명의 시간 및 북마크 표시 영역에서 타임라인(410)과 함께 도시된 북마크바(420)가 두 개의 주석이 상호 참조 관계를 나타내는 연결 고리(412)가 표시된 예를 도시한다. 즉, 연결 고리(412)는 4번째 북마크 심벌에 해당되는 주석 데이터에 2번째 주석의 시간 인덱스를 참조 시간 인덱스로 부가한 경우의 관계성을 표시한 예이다. 연결 고리(421)는 2개의 주석의 어느 하나가 선택된 경우에 표시되게 할 수 있다. 참조 시간 인덱스를 부가하는 방법은 예를 들어 4번째 주석이 작성될 때 관계성 버튼(422)을 누르고 2번째 주석의 북마크 심벌을 클릭하는 방식으로 부가될 수 있다.
본 발명의 이러한 특징은 2개의 주석이 관련성이 있어 상호 참조하여 검토할 필요가 있을 때 주석 간의 관계성을 직관적으로 나타내는 효과를 제공한다.
본 발명의 주석 생성 모듈(130)은 주석 데이터 생성시에 프레임 상의 특정 위치를 지정하며, 디스플레이 모듈(160)은 도5에 예시된 바와 같이 영상 표시 영역(510)의 해당 특정 위치에 주석 포인터(annotation pointer, 511)를 오버레이 하여 표출되게 할 수 있다. 주석 포인터를 특정 위치를 지정하는 방법은 예를 들어 주석 작성 모드에서 영상 표시 영역을 더블 클릭하는 방식으로 지정될 수 있다. 이러한 포인터는 한 프레임에 대하여 복수 개 설정될 수도 있다. 본 발명의 이러한 특징은 해당 주석이 프레임 상에서 주석 포인터(511)가 표시된 특정 객체에 관련된 것임을 직관적으로 나타낼 수 있는 효과를 제공한다.
본 발명의 주석 생성 모듈(130)에서 특정 프레임에 연관하여 생성되는 주석 데이터는 프리드로잉 마크업 이미지 주석을 포함하며, 디스플레이 모듈(160)은 도6에 예시된 바와 같이 북마크가 설정된 시간 인덱스의 비디오 프레임이 표출되는 영상 표시 영역(610) 상에 프리드로잉 마크업(free drawing markup) 이미지를 오버레이 하여 표출하는 프리드로잉 마크업 이미지 주석을 포함할 수 있다. 프리드로잉 마크업 이미지는 주석 작성 모드에서 동작하는 영상 표시 영역(610)의 크기와 일치하는 드로잉 패드의 레이어(layer)를 구현하여 작성될 수 있다. 도6의 영상 표시 영역(610) 상에 오버레이 된 프리드로잉 마크업 이미지(710)를 프레임 이미지와 분리하여 표시하면 예를 들어 도7에 나타낸 바와 같다.
본 발명의 이러한 특징은 텍스트 주석만으로 표현하기 어려운 내용을 직접 비디오 프레임 상에 오버레이 된 프리 드로잉을 통하여 자유롭게 표현하여 보다 완벽하고 상세하게 주석 내용을 전달할 수 있는 효과가 있다.
본 발명에 따른 비디오 주석 관리 시스템을 사용한 비디오 주석 관리 방법은 도8에 예시된 바와 같이, 스트리밍 단계(810), 시간 특정 단계(820), 주석 생성 단계(830), 주석 저장 단계(840), 북마크 설정 단계(850), 북마크 표시 단계(860), 북마크 선택 단계(870), 주석 검토 단계(880)를 포함하여 구성될 수 있다.
스트리밍 단계(810)는 요청된 비디오 데이터를 스트리밍 하는 단계이며, 시간 특정 단계(820)는 비디오 스트리밍을 중단하여 비디오에 주석을 부가하고자 하는 시간을 특정하는 단계이며, 주석 생성 단계(830)는 중단 시점의 비디오 프레임을 표출하고, 해당 프레임과 연관된 주석 데이터를 생성하는 단계이며, 주석 저장 단계(840)는 중단 시점의 시간 인덱스를 부가하여 주석 데이터를 저장하는 단계이며, 북마크 설정 단계(850)는 생성된 주석 데이터의 시간 인덱스에 대하여 북마크를 설정하는 단계이며, 북마크 표시 단계(860)는 디스플레이 화면에 타임 라인(221)과 북마크바(222)를 병행하여 표출하며 북마크바 상에 북마크가 설정된 시점에 대응되는 위치에 북마크 심벌(223)을 표시하는 단계이며, 북마크 선택 단계(870)는 북마크 심벌 클릭에 의하여 북마크가 선택되는 단계이며, 주석 검토 단계(880)는 영상 표시 영역(210)에 선택된 북마크가 설정된 시간 인덱스의 비디오 프레임을 표출하는 동시에 주석 표시 영역(230)에 해당 시간 인덱스의 텍스트 주석을 하이라이트 하여 선택 표출하는 단계이다.
주석 검토 단계(880)에서, 주석 표시 영역(230)에서 특정 주석이 클릭되어 선택되면 역으로 북마크바(220)에서 대응되는 북마크 심벌이 선택되면서 영상 표시 영역(210)에 북마크가 설정된 시간 인덱스의 비디오 프레임이 현출되게 할 수 있다.
북마크 표시 단계(860)에서, 로그인 사용자가 생성한 주석에 대한 북마크 심벌과 타 사용자가 생성한 주석에 대한 북마크 심벌이 구별되고, 타 사용자가 생성한 주석에 대하여는 검토 완료 여부 상태가 구분되는 북마크 심벌을 표출되게 할 수 있다.
또한, 북마크 표시 단계(860)에서, 기본 북마크바(321)와 확대 북마크바(323)로 이루어진 이중 북마크바(320)를 표출하며, 확대 북마크바(323)는 기본 북마크바(321)의 일부 구간(311)을 확대하여 표시되게 할 수 있다.
주석 생성 단계(830)에서, 이미 생성된 다른 주석의 시간 인덱스를 참조 시간 인덱스로 부가하고, 북마크 표시 단계(860)에서는 당해 주석의 마크업 심볼과 참조 시간 인덱스에 해당되는 주석의 마크업 심볼의 연결 고리(421)를 표출하게 할 수 있다.
주석 생성 단계(830)에서 중단 시점의 비디오 프레임 상에 오버레이 하여 프리드로잉 마크업 이미지 주석을 포함하여 생성하고, 주석 검토 단계(880)에서 북마크가 설정된 시간 인덱스의 비디오 프레임이 표출되는 영상 표시 영역(610)상에 프리드로잉 마크업 이미지(710)를 오버레이 하여 표출하게 할 수 있다.
위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 따라서 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 기술된 실시예가 아니라 첨부된 청구항에 따라 정해진다. 첨부된 청구항의 균등물로의 치환은 첨부된 청구항의 보호범위에 속하는 것이다.
10: 비디오 주석 관리 시스템
110: 비디오 데이터 관리 모듈
120: 비디오 재생 모듈
130: 주석 생성 모듈
140: 주석 데이터 관리 모듈
150: 싱크로 및 북마크 관리 모듈
160: 디스플레이 모듈
170: 사용자 관리 모듈
210, 510, 610: 영상 표시 영역
220: 시간 및 북마크 표시 영역
221, 310, 410: 타임 라인
222, 420: 북마크바
223: 북마크 심벌
224: 재생 온오프 버튼
225: 주석생성 버튼
230: 주석 표시 영역
240: 텍스트 주석 입력 영역
250: 주석 검색 영역
311: 일부 재생 구간
322: 스케일러바
321: 기본 북마크바
323: 확대 북마크바
324: 좌틱(start tick)
325: 우틱(end tick)
412: 연결 고리
422: 관계성 버튼
511: 주석 포인터(annotation pointer)
710: 프리드로잉 마크업 이미지(free drawing markup image)

Claims (12)

  1. 비디오 데이터를 저장하는 비디오 데이터 관리 모듈;
    비디오 데이터를 재생하는 비디오 재생 모듈;
    시간 인덱스된 주석 데이터를 생성하는 주석 생성 모듈;
    시간 인덱스된 주석 데이터를 저장하고 검색하는 주석 데이터 관리 모듈;
    비디오 데이터와 주석 데이터의 시간 인덱스를 매칭하는 싱크로 및 북마크 관리 모듈; 및
    재생되는 비디오 프레임, 주석 데이터 및 시간 관계 정보를 표출하는 디스플레이 모듈을 포함하며,
    상기 주석 생성 모듈은 재생되는 비디오의 특정 프레임에 연관하여 주석 데이터를 생성하며,
    상기 싱크로 및 북마크 관리 모듈은 주석 데이터가 생성된 시간 인덱스에 대하여 북마크를 설정하며,
    상기 디스플레이 모듈은 시간 및 북마크 표시 영역에 타임 라인과 북마크바를 병행하여 표출하며 북마크바 상에 북마크가 설정된 시점에 대응되는 위치에 북마크 심벌을 표시하며, 북마크 심벌이 클릭되어 북마크가 선택되면 영상 표시 영역에 북마크가 설정된 시간 인덱스의 비디오 프레임을 현출하는 동시에 주석 표시 영역에 해당 시간 인덱스의 텍스트 주석을 선택 표출하며, 역으로 주석 표시 영역의 특정 주석이 클릭되어 선택되면 북마크바에서 대응되는 북마크 심벌이 선택되면서 영상 표시 영역에 북마크가 설정된 시간 인덱스의 비디오 프레임이 현출되는 것을 특징으로 하는 비디오 주석 관리 시스템.
  2. 제1항에 있어서,
    사용자의 아이디를 관리하는 사용자 관리 모듈을 포함하며,
    주석 생성 모듈은 로그인 사용자의 고유번호를 부가하여 주석 데이터를 생성하며,
    디스플레이 모듈은 로그인 사용자가 생성한 주석에 대한 북마크 심벌과 타 사용자가 생성한 주석에 대한 북마크 심벌이 구별되고, 타 사용자가 생성한 주석에 대하여는 검토 완료 여부 상태가 구분되는 북마크 심벌을 표출하는 것을 특징으로 하는 비디오 주석 관리 시스템.
  3. 제1항에 있어서,
    디스플레이 모듈은 기본 북마크바와 확대 북마크바로 이루어진 이중 북마크바를 표출하며, 확대 북마크바는 기본 북마크바의 일부 구간을 확대하여 표시하는 것을 특징으로 하는 비디오 주석 관리 시스템.
  4. 제1항에 있어서,
    주석 생성 모듈은 주석 데이터 생성시에 이미 생성된 다른 주석의 시간 인덱스를 참조 시간 인덱스로 부가하며,
    디스플레이 모듈은 당해 주석과 참조 시간 인덱스에 해당되는 주석의 관계성을 마크업 심벌 사이를 연결하는 연결 고리에 의하여 표출하는 것을 특징으로 하는 비디오 주석 관리 시스템.
  5. 제1항에 있어서,
    주석 생성 모듈은 주석 데이터 생성 시에 프레임 상의 특정 위치를 지정하며,
    디스플레이 모듈은 영상 표시 영역의 해당 특정 위치에 주석 포인터를 오버레이 하여 표출하는 것을 특징으로 하는 비디오 주석 관리 시스템.
  6. 제1항에 있어서,
    주석 생성 모듈에서 특정 프레임에 연관하여 생성되는 주석 데이터는 프리드로잉 마크업 이미지 주석을 포함하며,
    디스플레이 모듈은 북마크가 설정된 시간 인덱스의 비디오 프레임이 표출되는 영상 표시 영역 상에 프리드로잉 마크업 이미지를 오버레이 하여 표출하는 것을 특징으로 하는 비디오 주석 관리 시스템.
  7. 비디오 데이터를 스트리밍 하는 스트리밍 단계;
    특정 시간에 비디오 스트리밍을 중단하는 시간 특정 단계;
    중단 시점의 비디오 프레임을 표출하고, 해당 프레임과 연관된 주석 데이터를 생성하는 주석 생성 단계;
    중단 시점의 시간 인덱스가 부가된 주석 데이터를 저장하는 주석 저장 단계;
    생성된 주석 데이터의 시간 인덱스에 대하여 북마크를 설정하는 북마크 설정 단계;
    디스플레이 화면에 타임 라인과 북마크바를 병행하여 표출하며 북마크바 상에 북마크가 설정된 시점에 대응되는 위치에 북마크 심벌을 표시하는 북마크 표시 단계;
    북마크 심벌 클릭에 의하여 북마크가 선택되는 북마크 선택 단계;
    영상 표시 영역에 선택된 북마크가 설정된 시간 인덱스의 비디오 프레임을 표출하는 동시에 주석 표시 영역에 해당 시간 인덱스의 텍스트 주석을 선택 표출하는 주석 검토 단계;를 포함하는 비디오 주석 관리 방법.
  8. 제7항에 있어서,
    주석 검토 단계에서
    주석 표시 영역에서 특정 주석이 클릭되어 선택되면 북마크바에서 대응되는 북마크 심벌이 선택되면서 영상 표시 영역에 북마크가 설정된 시간 인덱스의 비디오 프레임이 현출되는 것을 특징으로 하는 비디오 주석 관리 방법.
  9. 제7항에 있어서,
    상기 북마크 표시 단계에서,
    로그인 사용자가 생성한 주석에 대한 북마크 심벌과 타 사용자가 생성한 주석에 대한 북마크 심벌이 구별되고, 타 사용자가 생성한 주석에 대하여는 검토 완료 여부 상태가 구분되는 북마크 심벌을 표출하는 것을 특징으로 하는 비디오 주석 관리 방법.
  10. 제7항에 있어서,
    상기 북마크 표시 단계에서,
    기본 북마크바와 확대 북마크바로 이루어진 이중 북마크바를 표출하며, 확대 북마크바는 기본 북마크바의 일부 구간을 확대하여 표시하는 것을 특징으로 하는 비디오 주석 관리 방법.
  11. 제7항에 있어서,
    주석 생성 단계에서 이미 생성된 다른 주석의 시간 인덱스를 참조 시간 인덱스로 부가하며,
    북마크 표시 단계에서 당해 주석의 마크업 심벌과 참조 시간 인덱스에 해당되는 주석의 마크업 심볼의 연결 고리를 표출하는 것을 특징으로 하는 비디오 주석 관리 방법.
  12. 제7항에 있어서,
    주석 생성 단계에서 중단 시점의 비디오 프레임 상에 오버레이 하여 프리드로잉 마크업 이미지 주석을 포함하여 생성하며,
    주석 검토 단계에서 북마크가 설정된 시간 인덱스의 비디오 프레임이 표출되는 영상 표시 영역 상에 프리드로잉 마크업 이미지를 오버레이 하여 표출하는 것을 특징으로 하는 비디오 주석 관리 방법.
KR1020210183790A 2021-12-21 2021-12-21 비디오 주석 관리 시스템 및 방법 KR20230094541A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210183790A KR20230094541A (ko) 2021-12-21 2021-12-21 비디오 주석 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183790A KR20230094541A (ko) 2021-12-21 2021-12-21 비디오 주석 관리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230094541A true KR20230094541A (ko) 2023-06-28

Family

ID=86994177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183790A KR20230094541A (ko) 2021-12-21 2021-12-21 비디오 주석 관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230094541A (ko)

Similar Documents

Publication Publication Date Title
US7873258B2 (en) Method and apparatus for reviewing video
JP4065142B2 (ja) オーサリング装置およびオーサリング方法
US9564174B2 (en) Method and apparatus for processing multimedia
US9154856B2 (en) Video segmenting
US8327267B2 (en) Image data processing apparatus, image data processing method, program, and recording medium
US20040034869A1 (en) Method and system for display and manipulation of thematic segmentation in the analysis and presentation of film and video
EP1229547A2 (en) System and method for thematically analyzing and annotating an audio-visual sequence
US20050235209A1 (en) Playback device, and method of displaying manipulation menu in playback device
KR20070090751A (ko) 화상 표시방법 및 동영상 재생장치
JP2010258704A (ja) 再生装置及び再生方法
JP2021535656A (ja) ビデオ処理方法、装置、デバイスおよびコンピュータプログラム
US11871060B2 (en) Systems and methods for media content navigation and filtering
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
JPH09219835A (ja) 映像要約方法および装置
JP2001306599A (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
US11551724B2 (en) System and method for performance-based instant assembling of video clips
JPH1051733A (ja) 動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体
JPH11224266A (ja) 電子映像文書作成利用方法及びプログラム格納媒体
US7844163B2 (en) Information editing device, information editing method, and computer product
WO2008087742A1 (ja) 動画再生システム、情報端末装置および情報表示方法
KR20230094541A (ko) 비디오 주석 관리 시스템 및 방법
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
KR102078479B1 (ko) 영상 편집 방법 및 영상 편집 장치
JP2005167822A (ja) 情報再生装置及び情報再生方法
JP2010074617A (ja) 映像記録再生装置