KR102274313B1 - 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치 - Google Patents

웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치 Download PDF

Info

Publication number
KR102274313B1
KR102274313B1 KR1020190101770A KR20190101770A KR102274313B1 KR 102274313 B1 KR102274313 B1 KR 102274313B1 KR 1020190101770 A KR1020190101770 A KR 1020190101770A KR 20190101770 A KR20190101770 A KR 20190101770A KR 102274313 B1 KR102274313 B1 KR 102274313B1
Authority
KR
South Korea
Prior art keywords
video
module
timeline
automatically
content
Prior art date
Application number
KR1020190101770A
Other languages
English (en)
Other versions
KR20210022360A (ko
Inventor
서원석
박수영
김양준
조정일
Original Assignee
주식회사 곰앤컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 곰앤컴퍼니 filed Critical 주식회사 곰앤컴퍼니
Priority to KR1020190101770A priority Critical patent/KR102274313B1/ko
Publication of KR20210022360A publication Critical patent/KR20210022360A/ko
Application granted granted Critical
Publication of KR102274313B1 publication Critical patent/KR102274313B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Abstract

본 실시예는 뉴스 웹 페이지와 같이 이미지와 텍스트로 이루어진 인터넷상의 웹 콘텐츠를 사용자가 이용하기 쉽도록 동영상 콘텐츠로 자동으로 변환해주는 방법 및 장치를 개시한다. 개시된 장치는 인터넷을 통해 변환할 웹 페이지를 가져오는 웹 페이지 탐색모듈과, 필터링된 대상 웹 페이지 구성요소의 DOM 모델을 분석하여 동영상으로 변환할 구성요소를 선택하는 동영상 구성요소 선택모듈과, 선택된 구성요소들 중 텍스트를 자막으로 변환하는 자막변환모듈과, 선택된 구성요소의 이미지와 자막으로 동영상 타임라인을 자동으로 구성하는 타임라인 구성모듈과, 구성된 동영상 타임라인을 자막이나 사용자의 요구에 따라 자동으로 편집하는 타임라인 편집모듈과, 타임라인 편집된 구성요소들을 동영상으로 생성하는 동영상 생성모듈을 포함한다. 본 실시예에 따르면, 동영상을 제작하는 데 있어서 가장 어려운 부분인 타임라인을 구성하고 배치하는 과정이 자동으로 이루어짐에 따라 웹 상의 콘텐츠를 간편하고 쉽게 동영상으로 제작할 수 있다.

Description

웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치{A method and apparatus for automatically converting web content to video content}
본 발명은 웹 콘텐츠 변환 기술에 관한 것으로, 더욱 상세하게는 뉴스 웹 페이지와 같이 이미지와 텍스트로 이루어진 인터넷상의 웹 콘텐츠를 사용자가 이용하기 쉽도록 동영상 콘텐츠로 자동으로 변환해주는 방법 및 장치에 관한 것이다.
일반적으로, 월드 와이드 웹(WWW: World Wide Web) 상에는 무수히 많은 멀티미디어 웹 콘텐츠들이 제공되어 노트북이나 개인용 컴퓨터 뿐만 아니라 스마트 폰 및 타블릿 PC 등과 같은 다양한 모바일 기기들로도 웹 서핑을 통해 웹 콘텐츠를 이용하고 있다.
통상 웹 콘텐츠는 텍스트와 이미지, 동영상 등 멀티미디어 방식으로 구현될 수 있는데, 스마트 폰 등의 사용이 증가하면서 최근에는 동영상 형태의 콘텐츠들이 널리 이용되고 있다.
따라서 신문사의 뉴스 웹 페이지 등과 같이 주로 텍스트와 이미지로 이루어진 웹 콘텐츠의 경우에는 사용자들이 동영상 형태로 볼 수 있도록 동영상 콘텐츠로 변환하여 제공할 필요가 있다.
그런데 종래에 텍스트와 이미지로 이루어진 웹 콘텐츠를 동영상 콘텐츠로 제공하기 위해서는 콘텐츠 제공자가 직접 인터넷상의 이미지나 텍스트를 동영상 제작 툴에 입력하여 동영상 콘텐츠 형태로 제작한 후 제공하는 방식이므로, 그 작업이 번거롭고 시간이 걸리는 문제점이 있다.
대한민국특허청 등록특허공보에 등록번호 제10-1607084호로 공고된 '정지 이미지를 이용한 스마트 TV용 동영상 제공장치 및 방법'은 사용자의 정지 이미지를 서버가 전송받은 후, 동영상 편집툴부를 통한 사용자 동영상 편집 명령에 따라 스마트 TV 용 동영상을 생성하여 스마트 TV에서 재생될 수 있도록 제공하는 것이다.
또한 공개특허공보에 공개번호 제10-2015-0093263호로 공개된 '개인 콘텐츠에 기반하여 동영상을 생성하는 콘텐츠 생성 서비스 장치, 개인 콘텐츠에 기반하여 동영상을 생성하는 방법'은 미리 저장된 템플릿과 사용자 장치로부터 전송된 개인 콘텐츠를 결합하여 사용자에게 맞추어진 맞춤형 동영상을 생성하는 기술이다.
그리고 등록특허공보에 등록번호 제10-1498233호로 공고된 '웹 기반 동영상 생성 장치 및 방법'은 사용자 위치기반 지도정보 및 사용자 관련 정보를 이용하여 사용자의 의사나 감정을 표현할 수 있는 개인화 영상을 웹 기반으로 생성하도록 지원하는 기술이다.
본 발명의 목적은 뉴스 웹 페이지와 같이 이미지와 텍스트로 이루어진 인터넷 상의 웹 콘텐츠를 자동으로 분석하여 사용자가 이용하기 쉽도록 동영상 콘텐츠로 자동으로 변환해주는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 인터넷상의 웹 콘텐츠를 동영상 콘텐츠로 자동으로 변환해주는 기술을 SaaS(Software as a service) 방식으로 제공하는 것이다.
본 발명의 또다른 목적은 웹 페이지의 관심영역(ROI)을 자동으로 분석하여 영상 편집의 타임라인을 자동으로 구성하는 방법을 제공하는 것이다.
본 발명의 또다른 목적은 텍스트의 길이와 화면상에 노출될 수 있는 자막의 길이를 계산하여 자동으로 자막을 구성해 주는 방법을 제공하는 것이다.
본 발명의 또다른 목적은 TTS(Text-to-Speech)를 이용해 수집된 텍스트를 자동으로 음성으로 변환하여 영상에 포함시키고, TTS에서 생성된 음성과 자막간의 동기를 자동으로 맞춰주는 방법을 제공하는 것이다.
본 구현예는 뉴스 웹 페이지와 같이 이미지와 텍스트로 이루어진 인터넷 상의 웹 콘텐츠를 자동으로 분석하여 동영상 콘텐츠로 자동으로 변환해주는 장치를 개시한다.
개시된 장치는 인터넷을 통해 변환할 웹 페이지를 가져오는 웹 페이지 탐색모듈과, 필터링된 대상 웹 페이지 구성요소의 DOM(Document Object Model) 모델을 분석하여 동영상으로 변환할 구성요소를 선택하는 동영상 구성요소 선택모듈과, 선택된 구성요소들 중 텍스트를 자막으로 변환하는 자막변환모듈과, 선택된 구성요소의 이미지와 자막으로 동영상 타임라인을 자동으로 구성하는 타임라인 구성모듈과, 구성된 동영상 타임라인을 자막이나 사용자의 요구에 따라 자동으로 편집하는 타임라인 편집모듈과, 타임라인 편집된 구성요소들을 동영상으로 생성하는 동영상 생성모듈을 포함한다.
상기 장치는, 탐색된 웹 페이지에서 광고영역을 필터링하기 위한 광고 필터링 모듈이나 자막을 음성으로 변환하는 TTS 모듈을 더 포함할 수 있다.
본 다른 구현예는 뉴스 웹 페이지와 같이 이미지와 텍스트로 이루어진 인터넷 상의 웹 콘텐츠를 자동으로 분석하여 동영상 콘텐츠로 자동으로 변환해주는 방법을 개시한다.
개시된 방법은 동영상으로 변환할 웹 페이지를 탐색하는 단계와, 탐색된 웹 페이지를 분석하여 동영상 구성요소를 선택하는 단계와, 선택된 구성요소들로 동영상 타임라인을 구성하는 단계와, 구성된 동영상 타임라인을 편집하는 단계와, 편집된 동영상 타임라인에 따라 동영상을 생성하는 단계를 포함한다.
상기 구현예의 장치나 방법은 콘텐츠 제공자나 콘텐츠 이용자에게 SaaS(Software as a Service) 방식으로 제공할 수도 있다.
본 발명의 실시예에 따르면, 동영상을 제작하는 데 있어서 가장 어려운 부분인 타임라인을 구성하고 배치하는 과정이 자동으로 이루어짐에 따라 웹 상의 콘텐츠를 간편하고 쉽게 동영상으로 제작할 수 있다.
또한 본 발명의 실시예에 따르면 웹 페이지별 관심영역의 선호도 등을 관리하여 선호도가 높은 관심영역을 중심으로 자동으로 타임라인을 구성할 수 있고, 텍스트의 길이와 화면상에 노출될 수 있는 자막의 길이를 계산하여 자동으로 자막을 구성해 사용이 편리한 장점이 있다.
또한 본 발명의 실시예에 따르면, 뉴스사와 같은 미디어 분야에서 본 발명의 서비스를 이용할 경우 웹 상으로 배포하는 미디어 콘텐트를 손쉽게 동영상으로 전환하여 배포할 수 있고, 개인이 이용할 경우에는 자기가 게시한 게시물이나 사진, 이미지들을 간편한 방법으로 동영상으로 변환하여 소장하거나 배포할 수 있다.
도 1은 본 발명의 실시예에 따른 서비스 시스템의 개략도,
도 2는 본 발명의 실시예에 따른 콘텐츠 자동 변환 서비스 서버의 구성 블럭도,
도 3은 본 발명의 실시예에 따라 콘텐츠 제공자가 콘텐츠 배포를 위해 웹 페이지를 자동으로 변환하는 절차를 도시한 순서도,
도 4는 본 발명의 실시예에 따라 콘텐츠 이용자가 웹페이지를 자동으로 변환하여 이용하는 절차를 도시한 순서도,
도 5는 본 발명의 실시예에 따른 콘텐츠 변환 절차를 도시한 순서도,
도 6은 도 5에서의 동영상 구성요소 선택 단계를 자동으로 수행하는 절차를 도시한 순서도,
도 7은 도 5에서의 동영상 구성요소 선택 단계를 수동으로 수행하면서 관심영역의 사용자 경험을 수집하는 절차를 도시한 순서도,
도 8은 도 5에서의 동영상 구성요소 선택 단계를 관심영역의 선호도를 이용하여 자동으로 수행하는 절차를 도시한 순서도,
도 9는 도 5에서의 동영상 타임라인 구성 단계를, 자막 생성을 통해 자동으로 수행하는 절차를 도시한 순서도,
도 10은 도 5에서의 동영상 타임라인 구성 단계를, TTS를 이용하여 자동으로 수행하는 절차를 도시한 순서도,
도 11은 본 발명의 다른 실시예에서 텍스트 파일을 이용하여 동영상 타임라인을 자동으로 구성하는 절차를 도시한 순서도,
도 12는 본 발명의 실시예에서 영상 편집을 위한 동영상 타임라인 구성화면의 예,
도 13은 본 발명의 실시예에서 텍스트 편집 화면의 예,
도 14는 본 발명의 실시예에서 배경이미지 편집 화면의 예,
도 15는 본 발명의 실시예에서 장면전환 효과 설정화면의 예이다.
본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.
도 1은 본 발명의 실시예에 따른 서비스 시스템의 개략도이고, 도 2는 본 발명의 실시예에 따른 콘텐츠 자동 변환 서비스 서버의 구성 블럭도이다. 도 3은 본 발명의 실시예에 따라 콘텐츠 제공자가 콘텐츠 배포를 위해 웹 페이지를 자동으로 변환하는 절차를 도시한 순서도이고, 도 4는 본 발명의 실시예에 따라 콘텐츠 이용자가 웹페이지를 자동으로 변환하여 이용하는 절차를 도시한 순서도이다.
본 발명의 실시예에 따른 서비스 시스템(100)은 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 콘텐츠 변환 서비스를 제공하는 서비스 서버(110)와, 인터넷(102)을 통해 콘텐츠를 배포하는 개인이나 기업들에 해당하는 콘텐츠 제공자(CP; 120), 본 발명의 서비스에 따라 변환된 동영상 콘텐츠를 인터넷(102)을 통해 이용하는 콘텐츠 이용자 단말기들(130)로 구성된다. 콘텐츠 제공자(120)나 콘텐츠 이용자 단말기들(130)에는 본 발명에 따른 서비스를 위한 클라이언트(140-1, 140-2)가 실행될 수 있다.
서비스 서버(110)는 도 2에 도시된 바와 같이, 웹 페이지 탐색모듈(111), 광고필터링 모듈(112), 구성요소 선택모듈(113), ROI관리모듈(114), 자막생성모듈(115), TTS모듈(116), 타임라인 구성모듈(117), 타임라인 편집모듈(118), 동영상 생성모듈(119)을 포함할 수 있다.
도 2를 참조하면, 웹 페이지 탐색모듈(111)은 웹 크롤링 등을 통해 인터넷(102)을 통해 변환할 웹 페이지를 가져오고, 광고 필터링 모듈(112)은 웹 상에서 공통적으로 제공하는 광고의 형태나 패턴을 미리 등록하여 광고 이미지 같은 요소들이 자동적으로 타임라인에 포함되지 않도록 필터링한다.
구성요소 선택모듈(113)은 필터링된 대상 웹 페이지 구성요소의 DOM 모델을 분석하여 동영상으로 변환할 구성요소를 선택한다. 이때 구성요소 선택모듈(113)은 대상 웹 페이지 구성요소의 DOM 모델을 분석하거나 이전에 변환정보로부터 획득된 관심영역(ROI)의 선호도에 따라 동영상으로 변환할 구성요소를 선택할 수 있다.
ROI관리모듈(114)은 과거의 콘텐츠 변환 정보 등으로부터 변환할 웹 페이지들에 대한 관심영역(ROI : Region Of Interest)의 선호도 정보를 저장하여 관리하고 있고, 자막생성모듈(115)은 선택된 구성요소들 중 텍스트를 자막으로 변환하며, TTS(Text-to-Speech) 모듈(116)은 자막을 음성으로 변환한다. 여기서, 관심영역(ROI)이란 변환 대상인 웹페이지에 있는 이미지나 텍스트 중에서 '변환할 구성요소로 선택된 이미지나 텍스트'로서, 사용자 경험의 축적에 의해 선호도로 레벨화될 수 있다. 즉, '관심영역(ROI)의 선호도'는 해당 관심영역에 대한 사용자들의 선택 빈도로서, 자주 선택된 관심영역은 선호도가 높게 나타난다.
타임라인 구성모듈(117)은 선택된 구성요소의 이미지나 자막 혹은 TTS로 동영상 타임라인을 구성한다. 여기서, 자막은 선택된 구성요소의 텍스트를 동영상 콘텐츠에 표시하기 위해 편집한 것이고, TTS는 자막을 음성으로 변환한 것이다. 타임라인 구성모듈(117)은 텍스트 파일과 같이 사용자가 지정한 자료(104)를 이용하여 타임라인을 자동으로 구성할 수도 있다.
타임라인 편집모듈(118)은 타임라인 구성모듈(117)에 의해 구성된 동영상 타임라인을 자막이나 TTS의 길이 혹은 사용자의 요구에 따라 자동으로 편집하고, 동영상 생성모듈(119)은 편집된 타임라인의 구성요소들을 동영상 콘텐츠로 생성한다.
도 1을 참조하면, 콘텐츠 제공자(Content Provider(CP);120)는 뉴스 웹페이지 등과 같은 상업용 웹페이지를 제공하는 기업 사이트와, SNS를 통해 개인용 웹 페이지를 제공하는 개인 등으로 이루어질 수 있으며, 도 3에 도시된 바와 같이, SaaS 방식으로 본 발명의 서비스를 이용하여 자신의 웹페이지를 동영상 콘텐츠로 변환한 후 해당 콘텐츠 제공자(120)의 웹 사이트나 포탈, SNS 등을 통해 배포할 수 있다.
도 3을 참조하면, 콘텐츠 제공자(120)는 서비스 서버(110)에 등록하여 본 실시예의 서비스를 SaaS 방식으로 이용한다(S11,S12). 본 발명의 서비스를 이용하여 콘텐츠 변환을 요청할 경우 서비스 서버(110)는 콘텐츠 제공자(120)가 요청한 웹 페이지를 소정의 절차에 따라 자동으로 동영상 콘텐츠로 변환하여 콘텐츠 제공자(120)에게 전달하고, 이에 따라 콘텐츠 제공자(120)는 변환된 동영상 콘텐츠를 게시한다(S13~S15). 이후 콘텐츠 이용자(110)는 콘텐츠 제공자(120)가 배포한 변환 콘텐츠를 이용할 수 있다.
다시 도 1을 참조하면, 콘텐츠 이용자(110)는 도 3에 도시된 바와 같이, 콘텐츠 제공자(120)가 변환하여 제공하는 동영상 콘텐츠를 이용하거나 도 4에 도시된 바와 같이 콘텐츠 제공자(120)가 제공하는 웹페이지를 서비스 서버(110)를 통해 동영상 콘텐츠로 변환하여 이용할 수 있다.
도 4를 참조하면, 콘텐츠 제공자(120)는 자신의 웹페이지를 게시하고 있다(S21). 서비스 서버(110)는 각 웹 페이지들에 대한 과거의 변환정보로부터 웹 페이지별 관심영역(ROI)의 선호도를 데이터베이스로 관리하고 있다(S22). 콘텐츠 이용자(130)가 본 발명의 서비스를 이용하여 콘텐츠 제공자(120)가 배포한 웹페이지를 보고자 할 경우에 콘텐츠 이용자(130)는 서비스 서버(110)에 해당 웹 페이지 변환을 요청한다(S23). 서비스 서버(110)는 해당 웹페이지에 대한 이전의 관심영역(ROI)의 선호도 등을 참고하여 해당 웹 페이지를 자동으로 동영상 콘텐츠로 변환한 후 변환된 동영상 콘텐츠를 콘텐츠 이용자(130)에게 제공한다(S24~S26). 이에 따라 콘텐츠 이용자(130)는 변환된 동영상 콘텐츠를 이용할 수 있다(S27).
도 5는 본 발명의 실시예에 따른 콘텐츠 변환 절차를 도시한 순서도이다.
본 발명의 실시예에 따라 웹페이지를 동영상 콘텐츠로 변환하는 절차는 도 5에 도시된 바와 같이, 웹페이지를 탐색하는 단계(S1)와, 웹 페이지 내에서 동영상 구성요소를 선택하는 단계(S2), 동영상 타임라인을 구성하는 단계(S3), 동영상 타임라인을 편집하는 단계(S4), 동영상을 생성하는 단계(S5)로 구성된다.
도 5를 참조하면, 웹페이지를 탐색하는 단계(S1)는 서비스 이용자가 변환을 원하는 웹페이지를 탐색하여 웹 페이지 데이터를 가져오는 단계이다. 통상 웹 페이지(Web page)는 월드 와이드 웹 상에 있는 개개의 문서로서, 책에서의 페이지와는 달리 두 개 이상의 웹 페이지들을 서로 하이퍼링크로 연결시킬 수 있다. 대부분의 웹 페이지는 웹 서버에 저장되며 HTML(또는 XHTML), CSS, 자바스크립트, 그림, 플래시와 같은 동영상이나 텍스트, 이미지로 구성되어 있고, 이러한 웹 페이지들은 HTTP를 통해 전송할 수 있고, 웹 브라우저를 통해 웹 페이지들을 읽을 수 있다. 이러한 웹 페이지들은 문서 객체 모델(DOM; Document Object Model)의 구조화된 문서로 표현되는데, DOM은 플랫폼/언어 중립적으로 구조화된 문서를 표현하는 W3C의 공식 표준이고, 웹 페이지는 DOM을 사용하여 트리 구조를 얻어낼 수 있다.
웹 페이지 내에서 동영상 구성요소를 선택하는 단계(S2)는 도 6에 도시된 바와 같이 자동으로 선택하는 방식과, 도 7에 도시된 바와 같이 수동으로 선택하는 방식, 및 도 8에 도시된 바와 같이 관심영역(ROI)의 선호도에 따라 자동으로 선택하는 방식으로 구분할 수 있다.
도 6은 도 5에서의 동영상 구성요소 선택 단계를 자동으로 수행하는 절차를 도시한 순서도이다.
도 6을 참조하면, 먼저 웹 페이지를 탐색한 후 탐색된 웹페이지의 구성요소를 검사하는 과정에서 구성요소의 DOM모델을 분석하고, 미리 설정된 조건에 맞는 구성요소인지를 판단하여 설정된 조건에 맞는 구성요소이면 해당 구성요소를 '선택 구성요소' 목록에 추가하여 동영상 구성요소의 자동 선택을 완료한다(S101~S105).
도 7은 도 5에서의 동영상 구성요소 선택 단계를 수동으로 수행하면서 관심영역(ROI)의 사용자 경험을 수집하는 절차를 도시한 순서도이다.
도 7을 참조하면, 탐색된 웹 페이지에서 동영상 구성요소를 사용자가 수동으로 선택하면, 클라이언트(140-1, 140-2)가 선택된 구성요소의 DOM 속성을 분석하여 서비스 서버(110)로 DOM 속성과 페이지 주소를 전송함과 아울러 선택된 구성요소의 목록을 생성하여 동영상 구성요소 수동선택을 완료한다(S201~S206).
서비스 서버(110)는 클라이언트(140-1, 140-2)로부터 수신된 웹페이지 주소와 구성요소의 DOM 속성을 데이터베이스에 저장하고, 페이지 주소에 대한 구성요소의 누적 경험을 이용해 관심영역(ROI)의 선호도를 산출한 후, 해당 사이트(웹페이지)에 대한 ROI의 선호도 데이터를 생성한다(S207~S209). 여기서, ROI의 선호도 데이터란 관심영역(ROI)에 대한 사용자들의 선택 빈도를 계량화(혹은 레벨화)한 데이터이다.
도 8은 도 5에서의 동영상 구성요소 선택 단계를 관심영역(ROI)의 선호도를 이용하여 자동으로 수행하는 절차를 도시한 순서도이다.
도 8을 참조하면, 웹페이지 탐색 후 클라이언트(140-1, 140-2)가 서비스 서버(110)에 동영상 구성요소 검색을 요청한다(S301, S302).
동영상 구성요소 검색이 요청되면, 서비스 서버(110)는 해당 사이트에 대한 ROI의 선호도 데이터를 조회한 후, 해당 페이지내의 ROI에 대한 DOM 구성요소 내역을 클라이언트(140-1, 140-2)측으로 반환한다(S303, S304).
이에 따라 클라이언트(140-1, 140-2)는 ROI 선호도에 의해 자동 선택 구성요소가 존재하면, 자동 선택된 구성요소를 선택 구성요소 목록에 추가하고, ROI 선호도에 의해 자동 선택 구성요소가 존재하지 않으면, 동영상 구성요소를 수동으로 선택한 후 선택구성요소 목록을 생성하여 동영상 구성요소의 자동 및 수동선택을 완료한다(S301~S309).
이와 같이 본 발명의 실시예에서는 사용자가 웹 상의 콘텐츠에서 자신이 가져다 쓸 영상의 소재(이미지, 텍스트와 같은 구성요소)를 손쉽게 가져올 수 있는 유저 인터페이스를 제공하고, 유저 인터페이스에서 선택된 영상 소재의 DOM모델을 분석하여 각 사이트의 구성에 따른 사용자들의 ROI를 수집한 후 각 사이트 별로 사용자의 ROI 선호도를 데이터화해서 서비스 서버(110)에 저장한다. 또한 사용자의 수가 많아질수록 정확도를 높이기 위해 사용자가 이용한 객체에 대해 가중치를 부여해 사용자에게 의미 있는 구성요소를 높은 확률로 제시할 수도 있고, 많은 사용자들이 사용하는 알려진 서비스에 대해서는 미리 ROI의 선호도를 설정하여 자동으로 영상 구성요소들이 선택될 수 있도록 할 수 있다.
또한 엔드유저가 개인이 아닌 기업인 경우, 자신의 웹 콘텐츠를 동영상으로 변환하고자 하는 용도로 사용한다면 미리 해당 웹 사이트를 분석하여 동영상 구성요소를 구성할 수 있도록 미리 설정된 ROI 선호도 데이터를 사용할 수도 있다.
이와 같이 본 발명의 실시예에 따르면, 사용자가 해당 웹 페이지를 사용한 경험이 없더라도 미리 설정된 ROI 선호도와 다른 사용자의 이용 경험에 따라 축적된 데이터에 기반한 ROI 선호도를 이용해서 타임라인을 자동으로 구성할 수 있다. 이때, ROI에 의해 선택되지 않은 구성요소도 모두 나열한 유저 인터페이스를 제공하여 사용자가 직접 구성요소를 선택하게 할 수도 있다.
다시 도 5를 참조하면, 동영상 타임라인 구성 단계(S3)에서는 도 6 내지 도 8 중 어느 한 방식으로 동영상 구성요소를 선택한 후, 도 9에 도시된 바와 같이 선택된 구성요소를 바탕으로 이미지와 자막의 타임라인을 생성한다.
도 9를 참조하면, 동영상 구성요소 선택이 완료되면, 선택된 구성요소 중에서 이미지 순서를 정렬하고, 웹 페이지의 텍스트를 문단별로 구분하여 목록을 작성한다(S401~S403). 이어 화면 해상도 및 자막표시 옵션 설정을 로드함과 아울러, 자막 표시 속도(글자당 노출속도) 설정을 로드한 후 문단별 자막 데이터를 생성한다(S404, S405).
동영상 타임라인 구성 단계(S3)의 문단별 자막 데이터 생성절차에서는 ① 자막생성을 통해 영상 편집을 위한 타임라인을 자동으로 생성하거나 ② TTS를 통해 타임라인을 자동으로 생성한다.
자막생성을 통해 타임라인을 자동으로 생성할 경우에는 도 9에 도시된 바와 같이, 각 문단이 한 화면에 보여질 수 있는가를 판단하여 자막을 생성하고 시간을 설정한다(S406, S407).
이어 문장 구분기호 존재여부를 판단하여 문장 구분기호로 분할하거나 단어 단위로 시분할하여 자막을 분할한 후, 설정에 의해 각 자막의 시간을 설정하고, 자막 목록에 추가한 후, 이미지와 자막의 타임라인을 생성한다(S408~S413).
이와 같이 본 발명의 실시예에서는 텍스트는 자동으로 미리 설정된 값에 따라 한 화면에서 보여질 수 있는 길이의 자막으로 잘려지게 되고, 자막은 자막의 길이를 통해 읽기 쉬운 속도의 노출 시간을 가지도록 계산된 시간만큼 노출된다.
한편, TTS를 통한 타임라인 자동 구성의 경우에는 도 10에 도시된 바와 같이, TTS를 이용하여 이미지와 자막 및 음성의 타임라인을 생성한다.
도 10을 참조하면, 동영상 구성요소의 선택이 완료되면, 선택된 구성요소 중에서 이미지 순서를 정렬하고, 웹 페이지의 텍스트를 문단별로 구분하여 목록을 작성한다(S501~S503). 이어 화면 해상도 및 자막표시 옵션 설정을 로드함과 아울러 자막 표시 속도(글자당 노출속도) 설정을 로드한 후 문단별 자막 데이터를 생성한다(S501~S505).
이어 각 문단이 한 화면에 보여질 수 있는가를 판단하여 자막을 생성하고 시간을 설정한(S506, S507) 후, 문장 구분기호 존재여부를 판단하여 문장 구분기호가 있으면 문장 구분기호로 분할한다. 이어, 단어 단위로 시분할하여 자막을 분할한 후 분할된 자막을 TTS를 이용해 음성으로 변환하고, 변환된 음성을 기준으로 자막 시간을 설정하며, 자막 목록에 추가한 후 이미지와 자막 및 음성의 타임라인을 생성한다(S508~S514). 이때 음성과 자막은 동기화될 필요가 있다.
이와 같이 본 발명의 실시예에서는 TTS(Text To Speech)를 이용해 자막을 음성으로 변환해서 영상에 포함시키는 경우, TTS에서 한 화면에 노출될 길이만큼 음성으로 변환하고, 그 시간 길이를 분석하여 자막의 노출 시간을 결정하게 된다.
도 11은 본 발명의 다른 실시예로서, 텍스트 파일과 같은 사용자 지정 자료를 이용하여 영상 편집을 위한 타임라인을 자동으로 구성하는 절차를 도시한 순서도이다.
본 발명의 다른 실시예는 웹 페이지 이외의 사용자 지정 콘텐츠(예컨대, 텍스트 파일)를 자동으로 영상으로 변환하는 실시예이다. 즉, 본 발명의 다른 실시예는 웹 페이지로부터 동영상으로 변환하는 방법뿐만 아니라 PDF, 파워포인트, 텍스트 등의 소스에서 동영상 구성요소를 선택하여 타임라인을 구성하여 동영상을 제작하는 것이다.
도 11을 참조하면, 텍스트 파일을 통해 타임라인을 자동으로 구성하는 경우에는 텍스트 파일을 문단별로 구분하여 목록을 작성한다(S601, S602). 이어 화면 해상도 및 자막표시 옵션 설정을 로드함과 아울러, 자막 표시 속도(글자당 노출속도) 설정을 로드한 후 문단별 자막 데이터를 생성한다(S603, S604).
문단별 자막 데이터 생성 중에는 각 문단이 한 화면에 보여질 수 있는가를 판단하여 한 화면에 보여질 수 있는 경우에는 자막을 생성하고 시간을 설정한다(S605, S606).
문단의 길이가 한 화면을 넘어가면 문단을 분할할 필요가 있는데, 문장 구분 기호 존재여부를 판단하여 문장 구분기호가 있으면 문장 구분 기호로 분할하고, 이어 단어 단위로 시분할하여 자막을 분할한다(S607~S609). 이어 분할된 자막을 TTS를 이용해 음성으로 변환하고, 자막 목록에 추가한 후 이미지와 자막의 타임라인을 생성한다(S610~S612).
이와 같이 본 발명의 다른 실시예에서는 사용자가 자신이 가지고 있는 다른 자료(텍스트나 이미지)를 삽입하거나 자막을 입력할 수 있는 기능도 제공할 수 있다.
다시 도 5를 참조하면, 동영상 타임라인 편집 단계(S4)에서는 도 12 내지 도 15에 도시된 바와 같이, 타임라인 구성화면에서 텍스트나 영상을 편집하고, 장면전환 효과를 설정할 수 있다.
도 12는 본 발명의 실시예에서 타임라인 구성을 편집하는 화면의 예이다.
도 12를 참조하면, 동영상 생성을 위한 타임라인 구성의 편집화면은 편집된 영상을 미리보기 위한 재생영역(M6)과 구성요소들의 타임라인영역(M5), 텍스트 편집영역(M1), 이미지 편집영역(M2), 전환효과 설정영역(M3), 인코딩 시작버튼(M4)을 포함하고 있다. 타임라인 영역(M5)에는 텍스트와, 배경이미지, 오디오, 로고를 위한 타임라인이 표시되어 있다.
도 13은 본 발명의 실시예에서 텍스트를 편집하기 위한 화면의 예이다.
도 13을 참조하면, 텍스트 편집 화면에는 텍스트의 글꼴이나 여백, 위치, 크기 등을 설정하기 위한 항목들이 있고, 편집중인 텍스트가 표시된다.
도 14는 본 발명의 실시예에서 이미지를 편집하기 위한 화면의 예이다.
도 14를 참조하면, 이미지 편집화면에는 추출된 이미지나 추가한 이미지, 로드된 이미지 등이 배경이미지로서 등록되어 있고, 이중에서 원하는 이미지를 선택하여 동영상 구성요소로 사용할 수 있다.
도 15는 본 발명의 실시예에서 장면전환 효과를 설정하기 위한 화면의 예이다.
도 15를 참조하면, 장면전환 효과는 효과없음, 사라지기, 오른쪽 밀어내기, 왼쪽 밀어내기, 아래로 밀어내기, 위로 밀어내기, 왼쪽으로 덮기, 오른쪽으로 덮기, 위로 덮기, 아래로 덮기 등 중 어느 하나의 방식으로 설정할 수 있다.
다시 도 5를 참조하면, 편집화면에서 타임라인 구성을 편집한 후 인코딩 시작버튼(M4)을 누르면 편집에 따른 동영상 콘텐츠가 생성된다(S5). 이와 같이 본 발명의 실시예에서는 영상 제작시에는 미리 구성된 타임라인대로 영상을 그대로 제작할 수도 있고, 타임라인 편집을 통해 재구성해 영상을 제작할 수도 있다.
이상에서 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
102: 인터넷 104: 클라이언트 지정자료
110: 서비스 서버 111: 웹페이지 탐색모듈
112: 광고 필터링 모듈 113: 구성요소 선택모듈
114: ROI 관리모듈 115: 자막생성모듈
116: TTS 모듈 117: 타임라인 구성모듈
118: 타임라인 편집모듈 119: 동영상 생성모듈
120: 콘텐츠 제공자 130: 콘텐츠 이용자
140-1, 140-2: 클라이언트

Claims (13)

  1. 인터넷을 통해 웹서버에 저장된 변환할 웹 페이지를 가져오는 웹 페이지 탐색모듈, 상기 웹 페이지는 문서 객체 모델(DOM; Document Object Model)의 구조화된 문서로 표현되고;
    상기 가져온 웹 페이지 구성요소의 DOM 속성을 분석하여 동영상으로 변환할 구성요소를 선택하고 선택된 구성요소가 추가된 선택구성요소 목록을 생성하는 동영상 구성요소 선택모듈;
    선택된 구성요소들 중 텍스트를 자막으로 변환하는 자막변환모듈;
    선택된 구성요소의 이미지와 자막으로 동영상 타임라인을 자동으로 구성하는 타임라인 구성모듈;
    구성된 동영상 타임라인을 자막이나 사용자의 요구에 따라 자동으로 편집하는 타임라인 편집모듈; 및
    타임라인 편집된 구성요소들을 동영상으로 생성하는 동영상 생성모듈을 포함하는 웹 콘텐츠를 동영상으로 자동으로 변환하는 장치.
  2. 제1항에 있어서, 상기 장치는,
    탐색된 웹 페이지에서 광고영역을 필터링하기 위한 광고 필터링 모듈을 더 포함하는 웹 콘텐츠를 동영상으로 자동으로 변환하는 장치.
  3. 제1항에 있어서, 상기 장치는,
    자막을 음성으로 변환하는 TTS 모듈을 더 포함하는 웹 콘텐츠를 동영상으로 자동으로 변환하는 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 웹 콘텐츠를 동영상으로 자동으로 변환하는 장치는 콘텐츠 제공자로부터 웹 콘텐츠를 동영상으로 변환할 것을 요청받고, 상기 요청에 따라 상기 웹 페이지 탐색모듈, 상기 동영상 구성요소 선택모듈, 상기 자막변환모듈, 상기 타임라인 구성모듈, 상기 타임라인 편집모듈 및 상기 동영상 생성모듈을 구동하여 상기 동영상을 생성하고, 상기 동영상을 상기 콘텐츠 제공자에게 제공하는 웹 콘텐츠를 동영상으로 자동으로 변환하는 장치.
  6. 제1항에 있어서,
    상기 동영상 구성요소 선택모듈은 상기 가져온 웹 페이지 구성요소의 DOM 속성을 분석하여 미리 설정된 조건에 맞는 구성요소인지를 판단하여 상기 미리 설정된 조건에 맞는 구성요소이면 해당 구성요소를 선택구성요소 목록에 추가하는 웹 콘텐츠를 동영상으로 자동으로 변환하는 장치.
  7. 제1항에 있어서,
    저장모듈을 더 포함하고,
    상기 동영상 구성요소 선택모듈은 사용자가 상기 탐색된 웹 페이지에서 선택한 구성요소의 DOM 속성을 분석하여 상기 저장모듈로 상기 DOM 속성과 페이지 주소를 전송하고,
    상기 저장모듈은 상기 DOM 속성과 상기 페이지 주소를 저장하는, 웹 콘텐츠를 동영상으로 자동으로 변환하는 장치.
  8. 제7항에 있어서,
    상기 동영상 구성요소 선택모듈은 상기 저장모듈에 저장된 페이지 주소에 대한 구성요소의 누적 경험을 이용해 동영상으로 변환할 구성요소를 자동으로 선택하기 위해 사용하는 관심영역의 선호도를 산출하는 웹 콘텐츠를 동영상으로 자동으로 변환하는 장치.
  9. 동영상으로 변환할 웹 페이지를 탐색하는 단계;
    상기 탐색된 웹페이지 구성요소의 DOM 속성을 분석하여 동영상으로 변환할 구성요소를 선택하고 구성요소가 추가된 선택구성요소 목록을 생성하는 단계;
    선택된 구성요소들로 동영상 타임라인을 구성하는 단계;
    구성된 동영상 타임라인을 사용자의 요구에 따라 편집하는 단계; 및
    편집된 동영상 타임라인에 따라 동영상을 생성하는 단계를 포함하는 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법.
  10. 제9항에 있어서,
    콘텐츠 제공자로부터 웹 콘텐츠를 동영상으로 변환해달라는 요청을 수신하는 단계; 및
    상기 요청에 따라 자동으로 상기 동영상을 생성하여 상기 콘텐츠 제공자에게 제공하는 단계를 더 포함하는 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법.
  11. 삭제
  12. 삭제
  13. 삭제
KR1020190101770A 2019-08-20 2019-08-20 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치 KR102274313B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190101770A KR102274313B1 (ko) 2019-08-20 2019-08-20 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190101770A KR102274313B1 (ko) 2019-08-20 2019-08-20 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210022360A KR20210022360A (ko) 2021-03-03
KR102274313B1 true KR102274313B1 (ko) 2021-07-07

Family

ID=75151202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101770A KR102274313B1 (ko) 2019-08-20 2019-08-20 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102274313B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363701A (zh) * 2021-12-29 2022-04-15 四川启睿克科技有限公司 一种将web网页转化为短视频的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011040134A (ja) * 2009-08-11 2011-02-24 Sony Corp 記録媒体製作方法、記録媒体及び記録媒体の再生装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100856786B1 (ko) * 2006-07-27 2008-09-05 주식회사 와이즌와이드 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법
KR100957244B1 (ko) * 2008-02-20 2010-05-11 (주)아이유노글로벌 자막 데이터의 동기화를 이용한 편집된 영상물의 자막 처리방법
CN102640143A (zh) * 2009-03-20 2012-08-15 Ad-优势网络有限责任公司 用于搜索、选择和显示内容的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011040134A (ja) * 2009-08-11 2011-02-24 Sony Corp 記録媒体製作方法、記録媒体及び記録媒体の再生装置

Also Published As

Publication number Publication date
KR20210022360A (ko) 2021-03-03

Similar Documents

Publication Publication Date Title
CN108965737B (zh) 媒体数据处理方法、装置及存储介质
US7627600B2 (en) Automatic layout of unpredictable content from multiple sources
US20200193081A1 (en) Automated augmentation of text, web and physical environments using multimedia content
US9380410B2 (en) Audio commenting and publishing system
US20170017371A1 (en) Video-Production System With Social-Media Features
US20110035660A1 (en) System and method for the automated creation of a virtual publication
RU2606585C2 (ru) Преобразование контента для не требующих вмешательства развлечений
US20080005669A1 (en) Life event recording system
JPWO2005029353A1 (ja) 注釈管理システム、注釈管理方法、文書変換サーバ、文書変換プログラム、電子文書付加プログラム
JP2014029701A (ja) モバイル装置のための文書処理
KR101505225B1 (ko) 스폰서된 미디어와 사용자 생성 콘텐츠의 통합
KR101245665B1 (ko) 통합 멀티미디어 컨텐츠를 제공하는 검색 시스템 및 검색 방법
US10521481B2 (en) Video-production system with social-media features
US20190342361A1 (en) Video-Production System With Social-Media Features
JP6077083B1 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび配信装置
JP6322629B2 (ja) 情報表示方法およびプログラム
WO2010063070A1 (en) Method and system for displaying data on a mobile terminal
KR102274313B1 (ko) 웹 콘텐츠를 동영상으로 자동으로 변환하는 방법 및 장치
KR20170040148A (ko) 네트워크를 통한 컨텐츠 제공 방법 및 장치, 컨텐츠 수신 방법 및 장치
KR100845355B1 (ko) 이미지 선호도 측정 어플리케이션, 시스템 및 그 동작 방법
CN108572980B (zh) 一种网页分屏显示方法和装置
CN114691926A (zh) 一种信息显示方法及电子设备
KR101054830B1 (ko) 다양한 방식의 피드 사용을 지원하는 피드 사용 서비스 제공자와의 연계를 위한 피드 검색 서비스 방법 및 그 장치
TW201535295A (zh) 個人化新聞剪輯系統與方法
KR20120075510A (ko) 컨텐츠 제공 방법 및 그 장치

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant