KR102214421B1 - 절대 시간을 이용한 영상 편집 시스템 및 그 방법 - Google Patents

절대 시간을 이용한 영상 편집 시스템 및 그 방법 Download PDF

Info

Publication number
KR102214421B1
KR102214421B1 KR1020200047664A KR20200047664A KR102214421B1 KR 102214421 B1 KR102214421 B1 KR 102214421B1 KR 1020200047664 A KR1020200047664 A KR 1020200047664A KR 20200047664 A KR20200047664 A KR 20200047664A KR 102214421 B1 KR102214421 B1 KR 102214421B1
Authority
KR
South Korea
Prior art keywords
code
absolute time
image
information
unit
Prior art date
Application number
KR1020200047664A
Other languages
English (en)
Inventor
조영근
박창규
박철완
방석호
Original Assignee
조영근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조영근 filed Critical 조영근
Priority to KR1020200047664A priority Critical patent/KR102214421B1/ko
Application granted granted Critical
Publication of KR102214421B1 publication Critical patent/KR102214421B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 절대 시간을 이용한 영상 편집 시스템 및 그 방법에 관한 것으로, 해결하고자 하는 과제는, 오디오와 함께 획득되는 비디오에서 영상 획득 초기에 절대 시간 정보가 포함된 코드를 획득한 후, 비디오 및 오디오 편집 과정에서 해당 비디오 촬영 영역 내에 나타난 코드를 절대 시간으로 변환하여 시간 순서에 맞게 영상이 정렬된 프로젝트 파일을 생성하는데 있다.
일례로, 휴대통신단말에 설치되고, 절대시간정보를 적어도 한 종류의 코드로 변환 가능하고, 변환된 특정 종류의 코드를 상기 휴대통신단말을 통해 시각화하여 표시하는 어플리케이션부; 및 카메라를 통해 상기 코드가 포함되도록 촬영된 비디오 클립 및 마이크를 통해 녹음되며 상기 비디오 클립과 동기화된 오디오 트랙을 각각 수집하고, 이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하여 해당 코드 종류에 따른 절대시간정보로 변환하고, 변환된 절대시간정보의 시간순서에 따라 상기 비디오 클립과 상기 오디오 트랙을 정열한 프로젝트 파일을 생성하는 영상 편집부를 포함하는 절대 시간을 이용한 영상 편집 시스템을 개시한다.

Description

절대 시간을 이용한 영상 편집 시스템 및 그 방법{SYSTEM FOR EDITING VIDEO USING ABSOLUTE TIME AND METHOD THEREOF}
본 발명의 실시예는 절대 시간을 이용한 영상 편집 시스템 및 그 방법에 관한 것이다.
방송 영상의 편집 방식은 슬레이트의 소리에 따라 복수의 영상을 동기화하는 방식이 주로 사용되고 있다.
이러한 슬레이트의 소리에 따라 복수의 영상을 동기화하는 방식의 경우, 최초 영상이 카메라의 상대적 시간 즉, 카메라에서 영상을 촬영한 타임코드를 기준으로 나열됨에 따라, 오차 범위가 넓고, 복수의 영상을 동기화하는데 소요되는 시간이 오래 걸리는 상태이다.
등록특허공보 제10-1887400호(등록일자: 2018년08월06일)
본 발명의 실시예는, 오디오와 함께 획득되는 비디오에서 영상 획득 초기에 절대 시간 정보가 포함된 코드를 획득한 후, 비디오 및 오디오 편집 과정에서 해당 비디오 촬영 영역 내에 나타난 코드를 절대 시간으로 변환하여 시간 순서에 맞게 영상이 정렬된 프로젝트 파일을 생성하는 절대 시간을 이용한 영상 편집 시스템 및 그 방법을 제공한다.
본 발명의 일 실시예에 따른 절대 시간을 이용한 영상 편집 시스템은, 휴대통신단말에 설치되고, 절대시간정보를 적어도 한 종류의 코드로 변환 가능하고, 변환된 특정 종류의 코드를 상기 휴대통신단말을 통해 시각화하여 표시하는 어플리케이션부; 및 카메라를 통해 상기 코드가 포함되도록 촬영된 비디오 클립 및 마이크를 통해 녹음되며 상기 비디오 클립과 동기화된 오디오 트랙을 각각 수집하고, 이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하여 해당 코드 종류에 따른 절대시간정보로 변환하고, 변환된 절대시간정보의 시간순서에 따라 상기 비디오 클립과 상기 오디오 트랙을 정열한 프로젝트 파일을 생성하는 영상 편집부를 포함한다.
또한, 상기 어플리케이션부는, 상기 휴대통신단말을 통해 상기 코드를 표시하는 동안 타임 코드를 오디오 신호로 생성하여 상기 마이크로 전송할 수 있다.
또한, 상기 코드는, QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지, 기호 및 이들의 조합 중 적어도 하나를 포함할 수 있다.
또한, 상기 코드는, 미리 설정된 FPS(Frame Per Second) 단위의 시간에 따라 지속적으로 변경되는 절대시간정보를 포함하고, 상기 카메라를 통해 촬영과 관련된 부가 정보를 더 포함할 수 있다.
또한, 상기 영상 편집부는, 이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하고 인식된 코드의 종류를 식별하는 제1 이미지 프로세스부; 상기 제1 이미지 프로세스부를 통해 식별된 코드 종류에 따른 절대시간코드변환정보에 기초하여 상기 코드를 절대시간정보로 변환하는 제2 이미지 프로세스부; 및 상기 제2 이미지 프로세스부를 통해 변환된 변환된 절대시간정보의 시간순서에 따라 상기 비디오 클립과 상기 오디오 트랙을 정렬하여 프로젝트 파일을 생성하는 프로젝트 파일 생성부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 절대 시간을 이용한 영상 편집 방법은, 어플리케이션부가 절대시간정보를 적어도 한 종류의 코드로 변환하는 코드 변환 단계; 상기 어플리케이션부가, 상기 코드 변환 단계를 통해 변환된 특정 종류의 코드를 시각화하여 표시하는 코드 표시 단계; 영상 편집부가, 상기 코드가 포함되도록 촬영된 비디오 클립과 상기 비디오 클립과 동기화된 오디오 트랙을 각각 수집하는 비디오 및 오디오 수집 단계; 상기 영상 편집부의 이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하여 해당 코드 종류에 따른 절대시간정보로 변환하는 영상 편집 단계; 및 상기 영상 편집부를 통해 변환된 절대시간정보의 시간순서에 따라 상기 비디오 클립과 상기 오디오 트랙을 정열한 프로젝트 파일을 생성하는 프로젝트 파일 생성 단계를 포함한다.
또한, 상기 코드는, QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지, 기호 및 이들의 조합 중 적어도 하나를 포함할 수 있다.
또한, 상기 코드는, 미리 설정된 FPS(Frame Per Second) 단위의 시간에 따라 지속적으로 변경되는 절대시간정보를 포함하고, 상기 카메라를 통해 촬영과 관련된 부가 정보를 더 포함할 수 있다.
또한, 상기 영상 편집 단계는, 이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하고 인식된 코드의 종류를 식별하는 제1 이미지 프로세싱 단계; 및 상기 제1 이미지 프로세싱 단계를 통해 식별된 코드 종류에 따른 절대시간코드변환정보에 기초하여 상기 코드를 절대시간정보로 변환하는 제2 이미지 프로세싱 단계를 포함할 수 있다.
본 발명에 따르면, 오디오와 함께 획득되는 비디오에서 영상 획득 초기에 절대 시간 정보가 포함된 코드를 획득한 후, 비디오 및 오디오 편집 과정에서 해당 비디오 촬영 영역 내에 나타난 코드를 절대 시간으로 변환하여 시간 순서에 맞게 영상이 정렬된 프로젝트 파일을 생성하는 절대 시간을 이용한 영상 편집 시스템 및 그 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 절대 시간을 이용한 영상 편집 시스템의 전체 구성을 나타낸 개요도이다.
도 2는 본 발명의 일 실시예에 따른 절대 시간을 이용한 영상 편집 시스템의 전체 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 편집부의 세부 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 어플리케이션부에서 다양한 코드로 변환되는 절대시간정보를 영상 편집부에서 해당 코드를 획득한 후 다시 절대시간정보로 변환하는 과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 다른 실시예에 따른 절대 시간을 이용한 영상 편집 방법의 전체 구성을 나타낸 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 편집 단계의 세부 구성을 나타낸 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 절대 시간을 이용한 영상 편집 시스템의 전체 구성을 나타낸 개요도이고, 도 2는 본 발명의 일 실시예에 따른 절대 시간을 이용한 영상 편집 시스템의 전체 구성을 나타낸 블록도이고, 도 3은 본 발명의 일 실시예에 따른 영상 편집부의 세부 구성을 나타낸 블록도이며, 도 4는 본 발명의 일 실시예에 따른 어플리케이션부에서 다양한 코드로 변환되는 절대시간정보를 영상 편집부에서 해당 코드를 획득한 후 다시 절대시간정보로 변환하는 과정을 설명하기 위해 나타낸 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 절대 시간을 이용한 영상 편집 시스템(1000)은 어플리케이션부(100)와 영상 편집부(200)를 포함할 수 있다.
상기 어플리케이션부(100)는, 휴대통신단말(10)에 설치되고, 절대시간정보를 적어도 한 종류의 코드로 변환 가능하고, 변환된 특정 종류의 해당 코드를 휴대통신단말(10)의 화면을 통해 시각화하여 표시할 수 있다.
본 실시예의 코드는, QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지, 기호 및 이들의 조합(ex. QR-바코드, 패턴-문자열, 문자열-이미지 등) 중 적어도 하나를 포함할 수 있으며, 미리 설정된 FPS(Frame Per Second) 단위의 시간에 따라 지속적으로 변경되는 절대시간정보를 포함할 수 있다.
즉, 코드는 미리 설정된 단위인 60 FPS 단위로 시간에 따라 해당 코드가 계속하여 절대시간정보에 따라 변경되는 정보일 수 있다.
또한, 코드는 절대시간정보 이외 해당 촬영 장면과 관련한 부가정보를 포함할 수 있다. 여기서 부가정보는 촬영 장면과 관련된 장면 번호, 날짜, 카메라 번호, 프로덕션, 디렉터 등을 포함할 수 있다.
이에 따라, 어플리케이션(100)는 초기 설정 환경에서 절대시간정보를 표시한 코드(QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지, 기호 및 이들의 조합) 중 하나를 선택하여 설정하고, 설정된 코드 종류에 따라 절대시간정보를 해당 종류의 코드로 변환하여 표시할 수 있도록 한다. 예를 들어, 도 4에 도시된 바와 같이 패턴 코드를 절대시간정보로 표현하고자 할 경우, 이를 설정하여 특정 패턴으로서 절대시간을 표시할 수 있으며, 촬영 시 카메라(20)를 통해 방송 촬영 영상 초기에 해당 패턴 코드가 촬영되어 추후 생성되는 비디오 클립에 해당 패턴 코드가 포함될 수 있다.
상기 휴대통신단말(10)은 서버(40)를 통해 어플리케이션부(100)를 다운로드 받아 설치하여 동작시킬 수 있으며, 어플리케이션부(100)를 통해 변환된 코드를 화면을 통해 카메라(20)에 의해 촬영되도록 출력할 수 있다.
이러한 휴대통신단말(10)은, 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기를 포함할 수 있다.
한편, 어플리케이션부(100)는, 휴대통신단말(10)을 통해 해당 코드를 표시하는 동안 타임 코드 또는 세로 시간 부호(LTC: Longitudinal Time Code)를 오디오 신호로 생성하여 마이크(30)로 전송할 수 있다.
상기 카메라(20)는 방송 영상 등을 촬영하기 위한 다양한 종류의 카메라 등을 포함할 수 있으며, 휴대통신단말(10)의 화면을 통해 노출된 코드를 담을 영상을 촬영하여 다수의 비디오 클립을 생성할 수 있다. 이에 따라, 카메라(20)는 각각의 촬영 초기 부분에 휴대통신단말(10)에서 표시된 코드를 일정 시간 촬영한 비디오 클립을 각각 획득할 수 있다.
상기 마이크(30)는 카메라(20)를 통해 촬영되는 방송 영상과 관련한 오디오를 획득할 수 있다. 이때, 마이크(30)에 의해 획득되는 오디오(또는 오디오 트랙)는 카메라(20)를 통해 획득되는 비디오 트랙과 동기화된 상태일 수 있다.
또한, 마이크(200)는 카메라(20)를 통해 획득되는 촬영 장면마다 오디오 트랙의 앞 부분에 휴대통신단말(10)에서 출력되는 타임 코드 또는 세로 시간 부호(LTC: Longitudinal Time Code)를 일정 시간(예를 들어 3초) 이상 획득한 오디오를 획득할 수 있다.
상기 영상 편집부(200)는, 카메라(20)를 통해 코드가 포함되도록 촬영된 비디오 클립 및 마이크(30)를 통해 녹음되며 비디오 클립과 동기화된 오디오 트랙을 각각 수집하고, 이미지 프로세싱을 통해 비디오 클립에 포함된 각각의 코드를 인식하여 인식된 코드 종류에 따른 해당 코드를 절대시간정보로 변환하고, 변환된 절대시간정보의 시간순서에 따라 비디오 클립과 오디오 트랙을 정열한 프로젝트 파일을 각각 생성할 수 있다.
이를 위해 영상 편집부(200)는 제1 이미지 프로세스부(210), 제2 이미지 프로세스부(220) 및 프로젝트 파일 생성부(230)를 포함할 수 있으며, 도시되진 않았으나, 이외에도 통신부, 저장부, 표시부, 음성 출력부 및 제어부를 기본적으로 포함할 수 있다.
상기 제1 이미지 프로세스부(210)는, 이미지 프로세싱을 통해 비디오 클립에 포함된 코드를 인식하고, 인식된 코드의 종류를 식별할 수 있다. 즉, 객체 인식 프로그램을 통해 카메라(20)로부터 제공된 영상 속에 나타난 코드 자체를 인식하고, 인식된 코드가 어떠한 종류의 코드인지와 코드 내용이 무엇인지를 식별할 수 있다.
본 실시예에 따른 객체 인식 프로그램은 영상의 이미지 중 특정 영역 상에 표시되는 특정 객체를 인지하고, 인지한 객체의 종류와 객체 자체를 이미지 프로세싱을 통해 인식할 수 있다. 즉, 해당 코드가 QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지, 기호 또는 이들의 조합에 대한 코드인지 그 종류를 식별할 수 있다.
한편, 본 실시예에 따른 코드의 인식률을 높이기 위해서는 카메라(20)에 휴대통신단말(10)을 일정 시간 이상 그리고 자주 노출하는 것이 바람직하다.
상기 제2 이미지 프로세스부(220)는, 제1 이미지 프로세스부(210)를 통해 식별된 코드 종류에 따른 절대시간코드변환정보에 기초하여 인식된 코드를 절대시간정보로 변환할 수 있다. 여기서, 코드 종류에 따른 절대시간코드변환정보는 서버(40)로부터 다운로드 받아 저장부에 저장될 수 있다. 이에 따라 제2 이미지 프로세스부(220)는 절대시간코드변환정보에 포함된 코드 분석 정보 또는 코드 이미지 정보 중 식별된 코드 분석 정보 또는 코드 이미지 분석 정보와 매칭되는 절대시간정보를 찾아 해당 코드를 해당 절대시간으로 변환할 수 있다. 예를 들어, 문자열 코드의 경우, 문자열 코드와 관련된 절대시간코드변환정보에서 해당 문자열 코드의 분석 정보와 일치하는 절대시간정보를 찾고, 찾은 해당 절대시간정보를 해당 문자열 코드로 변환할 수 있다.
상기 제2 이미지 프로세스부(220)는 비디오 클립의 상대시간정보를 상기와 같이 변환된 절대시간정보로 적용할 수 있다.
한편, 제2 이미지 프로세스부(220)는 비디오 클립의 코드에 포함된 해당 촬영 장면과 관련한 장면 번호, 날짜, 카메라 번호, 프로덕션, 디렉터 등도 함께 인식할 수 있다.
상기 프로젝트 파일 생성부(230)는, 제2 이미지 프로세스부(220)를 통해 변환된 절대시간정보의 시간순서에 따라 비디오 클립과 오디오 트랙을 정렬하여 프로젝트 파일을 생성할 수 있다. 즉, 각각 절대시간정보가 적용된 비디오 클립과 오디오 트랙을 해당 절대시간정보의 시간 순서에 맞게 정렬하여 하나의 프로젝트 파일(prproj, xml 등의 파일 형식)을 생성할 수 있다.
또한, 프로젝트 파일 생성부(230)는 부가적으로 해당 코드 인식을 통해 알게 된 장면 번호, 날짜, 카메라 번호, 프로덕션, 디렉터에 따라 분류 및 정렬도 가능하며, 해당 부가 정보를 영상 정보로서 함께 해당 영상에 표시할 수 있다.
한편, 영상 편집부(200)는 프로젝트 파일 생성부(230)를 통해 생성된 프로젝트 파일들을 통신부를 통해 임의의 외부 장치로 제공(또는 전송)할 수 있다.
상기 통신부는, 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 휴대통신단말(10)와 연결될 수 있다. 이때, 휴대통신단말(10)은 서버(40), 다른 단말(10) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(410)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 통신부는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 통신부는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 다른 단말 등과 무선 신호를 송수신한다.
또한, 통신부는 서버(40)로부터 제공되는 영상 편집을 위한 전용 프로그램 등을 수신할 수 있다.
상기 저장부는, 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장할 수 있으며, 영상 편집부(200)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다.
즉, 저장부는 영상 편집부(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application))의 동작을 위한 데이터들과 각종 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 서버(40)로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 영상 편집부(200)의 기본적인 기능을 위하여 출고 당시부터 영상 편집부(200) 상에 존재할 수 있다. 한편, 응용 프로그램은 저장부에 저장되고, 영상 편집부(200)에 설치되어 영상 편집부(200)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
이러한 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
한편, 영상 편집부(200)는 인터넷(internet)상에서 저장부의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나(즉 클라우드 서비스 방식으로 운영), 또는 웹 스토리지와 관련되어 동작할 수도 있다.
상기 표시부는, 저장부에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 표시부에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(130)는 터치 스크린 일 수 있다.
또한, 표시부는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
상기 음성 출력부는, 소정 신호 처리된 신호에 포함된 음성 정보를 출력할 수 있다. 여기서, 음성 출력부에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
상기 제어부는, 저장부에 저장된 프로그램 및 데이터를 이용하여 영상 편집부(200)의 전반적인 제어 기능을 실행할 수 있다. 이러한 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부에 액세스하여, 저장부에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 절대 시간을 이용한 영상 편집 방법의 전체 구성을 나타낸 흐름도이고, 도 6은 본 발명의 다른 실시예에 따른 영상 편집 단계의 세부 구성을 나타낸 흐름도이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 절대 시간을 이용한 영상 편집 방법(S1000)은 코드 변환 단계(S100), 코드 표시 단계(S200), 비디오 및 오디오 수신 단계(S300), 영상 편집 단계(S400) 및 프로젝트 파일 생성 단계(S500)를 포함한다.
상기 코드 변환 단계(S100)에서는, 어플리케이션부(100)를 통해 절대시간정보를 적어도 한 종류의 코드로 변환할 수 있다.
본 실시예의 코드는, QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지, 기호 및 이들의 조합(ex. QR-바코드, 패턴-문자열, 문자열-이미지 등) 중 적어도 하나를 포함할 수 있으며, 미리 설정된 FPS(Frame Per Second) 단위의 시간에 따라 지속적으로 변경되는 절대시간정보를 포함할 수 있다.
즉, 코드는 미리 설정된 단위인 60 FPS 단위로 시간에 따라 해당 코드가 계속하여 절대시간정보에 따라 변경되는 정보일 수 있다.
또한, 코드는 절대시간정보 이외 해당 촬영 장면과 관련한 부가정보를 포함할 수 있다. 여기서 부가정보는 촬영 장면과 관련된 장면 번호, 날짜, 카메라 번호, 프로덕션, 디렉터 등을 포함할 수 있다.
상기 코드 표시 단계(S200)에서는, 어플리케이션부(100)를 통해 코드 변환 단계(S100)를 통해 변환된 특정 종류의 코드를 휴대통신단말(10)을 통해 시각화하여 표시할 수 있다.
이때, 어플리케이션(100)는 초기 설정 환경에서 절대시간정보를 표시한 코드(QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지, 기호 및 이들의 조합) 중 하나를 선택하여 설정하고, 설정된 코드 종류에 따라 절대시간정보를 해당 종류의 코드로 변환하여 표시할 수 있도록 한다. 예를 들어, 도 4에 도시된 바와 같이 패턴 코드를 절대시간정보로 표현하고자 할 경우, 이를 설정하여 특정 패턴으로서 절대시간을 표시할 수 있으며, 촬영 시 카메라(20)를 통해 방송 촬영 영상 초기에 해당 패턴 코드가 촬영되어 추후 생성되는 비디오 클립에 해당 패턴 코드가 포함될 수 있다.
상기 비디오 및 오디오 수신 단계(S300)에서는, 영상 편집부(200)를 통해 해당 코드가 포함되도록 촬영된 비디오 클립과 그 비디오 클립과 동기화된 오디오 트랙을 각각 수집할 수 있다.
상기 영상 편집 단계(S400)에서는, 영상 편집부(200)의 이미지 프로세싱을 통해 비디오 클립에 포함된 코드를 인식하여 해당 코드 종류에 따른 절대시간정보로 변환할 수 있다.
이를 위해 영상 편집 단계(S400)는 도 6에 도시된 바와 같이 제1 이미지 프로세싱 단계(S410) 및 제2 이미지 프로세싱 단계(S420)를 포함할 수 있다.
상기 제1 이미지 프로세싱 단계(S410)는, 이미지 프로세싱을 통해 비디오 클립에 포함된 코드를 인식하고, 인식된 코드의 종류를 식별할 수 있다. 즉, 객체 인식 프로그램을 통해 카메라(20)로부터 제공된 영상 속에 나타난 코드 자체를 인식하고, 인식된 코드가 어떠한 종류의 코드인지와 코드 내용이 무엇인지를 식별할 수 있다.
본 실시예에 따른 객체 인식 프로그램은 영상의 이미지 중 특정 영역 상에 표시되는 특정 객체를 인지하고, 인지한 객체의 종류와 객체 자체를 이미지 프로세싱을 통해 인식할 수 있다. 즉, 해당 코드가 QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지, 기호 또는 이들의 조합에 대한 코드인지 그 종류를 식별할 수 있다.
상기 제2 이미지 프로세싱 단계(S420)는, 제1 이미지 프로세싱 단계(S410)를 통해 식별된 코드 종류에 따른 절대시간코드변환정보에 기초하여 인식된 코드를 절대시간정보로 변환할 수 있다. 여기서, 코드 종류에 따른 절대시간코드변환정보는 서버(40)로부터 다운로드 받아 저장부에 저장될 수 있다. 이에 따라 제2 이미지 프로세스부(220)는 절대시간코드변환정보에 포함된 코드 분석 정보 또는 코드 이미지 정보 중 식별된 코드 분석 정보 또는 코드 이미지 분석 정보와 매칭되는 절대시간정보를 찾아 해당 코드를 해당 절대시간으로 변환할 수 있다. 예를 들어, 문자열 코드의 경우, 문자열 코드와 관련된 절대시간코드변환정보에서 해당 문자열 코드의 분석 정보와 일치하는 절대시간정보를 찾고, 찾은 해당 절대시간정보를 해당 문자열 코드로 변환할 수 있다.
상기 제2 이미지 프로세싱 단계(S420)에서는 비디오 클립의 상대시간정보를 상기와 같이 변환된 절대시간정보로 적용할 수 있다.
한편, 제2 이미지 프로세싱 단계(S420)에서는 비디오 클립의 코드에 포함된 해당 촬영 장면과 관련한 장면 번호, 날짜, 카메라 번호, 프로덕션, 디렉터 등도 함께 인식할 수 있다.
상기 프로젝트 파일 생성 단계(S500)에서는, 영상 편집부(200)를 통해 변환된 절대시간정보의 시간순서에 따라 비디오 클립과 오디오 트랙을 정열한 프로젝트 파일을 생성할 수 있다.
상기 제2 이미지 프로세싱 단계(S420)를 통해 변환된 절대시간정보의 시간순서에 따라 비디오 클립과 오디오 트랙을 정렬하여 프로젝트 파일을 생성할 수 있다. 즉, 각각 절대시간정보가 적용된 비디오 클립과 오디오 트랙을 해당 절대시간정보의 시간 순서에 맞게 정렬하여 하나의 프로젝트 파일(prproj, xml 등의 파일 형식)을 생성할 수 있다.
또한, 프로젝트 파일 생성 단계(S430)에서는 부가적으로 해당 코드 인식을 통해 알게 된 장면 번호, 날짜, 카메라 번호, 프로덕션, 디렉터에 따라 분류 및 정렬도 가능하며, 해당 부가 정보를 영상 정보로서 함께 해당 영상에 표시할 수 있다.
이상에서 설명한 것은 본 발명에 의한 절대 시간을 이용한 영상 편집 시스템 및 그 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
1000: 영상 편집 시스템
100: 어플리케이션부
200: 영상 편집부
210: 제1 이미지 프로세스부
220: 제2 이미지 프로세스부
230: 프로젝트 파일 생성부
10: 휴대통신단말
20: 카메라
30: 마이크
40: 서버
S1000: 영상 편집 방법
S100: 코드 변환 단계
S200: 코드 표시 단계
S300: 비디오 및 오디오 수집 단계
S400: 영상 편집 단계
S410: 제1 이미지 프로세싱 단계
S420: 제2 이미지 프로세싱 단계
S500: 프로젝트 파일 생성 단계

Claims (9)

  1. 휴대통신단말에 설치되고, 절대시간정보를 적어도 한 종류의 코드로 변환 가능하고, 변환된 특정 종류의 코드를 상기 휴대통신단말을 통해 시각화하여 표시하는 어플리케이션부; 및
    카메라를 통해 상기 코드가 포함되도록 촬영된 비디오 클립 및 마이크를 통해 녹음되며 상기 비디오 클립과 동기화된 오디오 트랙을 각각 수집하고, 이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하여 해당 코드 종류에 따른 절대시간정보로 변환하고, 변환된 절대시간정보의 시간순서에 따라 상기 비디오 클립과 상기 오디오 트랙을 정열한 프로젝트 파일을 생성하는 영상 편집부를 포함하고,
    상기 코드는,
    QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지 및 기호 중 적어도 둘 이상의 조합을 포함하고,
    상기 영상 편집부는,
    이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하고 인식된 코드의 종류를 식별하는 제1 이미지 프로세스부;
    상기 제1 이미지 프로세스부를 통해 식별된 코드 종류에 따른 절대시간코드변환정보에 기초하여 상기 코드를 절대시간정보로 변환하는 제2 이미지 프로세스부; 및
    상기 제2 이미지 프로세스부를 통해 변환된 변환된 절대시간정보의 시간순서에 따라 상기 비디오 클립과 상기 오디오 트랙을 정렬하여 프로젝트 파일을 생성하는 프로젝트 파일 생성부를 포함하고,
    상기 제2 이미지 프로세스부는,
    상기 절대시간코드변환정보를 외부의 서버로 다운로드 받아 저장부에 저장하고, 저장된 상기 절대시간코드변환정보에 포함되어 있는 코드 분석 정보 또는 코드 이미지 정보 중 식별된 코드 분석 정보 또는 코드 이미지 분석 정보와 매칭되는 절대시간정보를 찾아 해당 코드를 해당 절대시간으로 변환하는 것을 특징으로 하는 절대 시간을 이용한 영상 편집 시스템.
  2. 제1 항에 있어서,
    상기 어플리케이션부는,
    상기 휴대통신단말을 통해 상기 코드를 표시하는 동안 타임 코드를 오디오 신호로 생성하여 상기 마이크로 전송하는 것을 특징으로 하는 절대 시간을 이용한 영상 편집 시스템.
  3. 삭제
  4. 제1 항에 있어서,
    상기 코드는,
    미리 설정된 FPS(Frame Per Second) 단위의 시간에 따라 지속적으로 변경되는 절대시간정보를 포함하고,
    상기 카메라를 통해 촬영과 관련된 부가 정보를 더 포함하는 것을 특징으로 하는 절대 시간을 이용한 영상 편집 시스템.
  5. 삭제
  6. 어플리케이션부가 절대시간정보를 적어도 한 종류의 코드로 변환하는 코드 변환 단계;
    상기 어플리케이션부가, 상기 코드 변환 단계를 통해 변환된 특정 종류의 코드를 시각화하여 표시하는 코드 표시 단계;
    영상 편집부가, 카메라를 통해 상기 코드가 포함되도록 촬영된 비디오 클립과 상기 비디오 클립과 동기화된 오디오 트랙을 각각 수집하는 비디오 및 오디오 수집 단계;
    상기 영상 편집부의 이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하여 해당 코드 종류에 따른 절대시간정보로 변환하는 영상 편집 단계; 및
    상기 영상 편집부를 통해 변환된 절대시간정보의 시간순서에 따라 상기 비디오 클립과 상기 오디오 트랙을 정열한 프로젝트 파일을 생성하는 프로젝트 파일 생성 단계를 포함하고,
    상기 코드는,
    QR 코드, 바코드, 타임코드, 패턴, 문자열, 숫자열, 이미지 및 기호 중 적어도 둘 이상의 조합을 포함하고,
    상기 영상 편집 단계는,
    이미지 프로세싱을 통해 상기 비디오 클립에 포함된 상기 코드를 인식하고 인식된 코드의 종류를 식별하는 제1 이미지 프로세싱 단계; 및
    상기 제1 이미지 프로세싱 단계를 통해 식별된 코드 종류에 따른 절대시간코드변환정보에 기초하여 상기 코드를 절대시간정보로 변환하는 제2 이미지 프로세싱 단계를 포함하고,
    상기 제2 이미지 프로세스 단계는,
    상기 절대시간코드변환정보를 외부의 서버로 다운로드 받아 저장부에 저장하고, 저장된 상기 절대시간코드변환정보에 포함되어 있는 코드 분석 정보 또는 코드 이미지 정보 중 식별된 코드 분석 정보 또는 코드 이미지 분석 정보와 매칭되는 절대시간정보를 찾아 해당 코드를 해당 절대시간으로 변환하는 것을 특징으로 하는 절대 시간을 이용한 영상 편집 방법.
  7. 삭제
  8. 제6 항에 있어서,
    상기 코드는,
    미리 설정된 FPS(Frame Per Second) 단위의 시간에 따라 지속적으로 변경되는 절대시간정보를 포함하고,
    상기 카메라를 통해 촬영과 관련된 부가 정보를 더 포함하는 것을 특징으로 하는 절대 시간을 이용한 영상 편집 방법.
  9. 삭제
KR1020200047664A 2020-04-20 2020-04-20 절대 시간을 이용한 영상 편집 시스템 및 그 방법 KR102214421B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200047664A KR102214421B1 (ko) 2020-04-20 2020-04-20 절대 시간을 이용한 영상 편집 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200047664A KR102214421B1 (ko) 2020-04-20 2020-04-20 절대 시간을 이용한 영상 편집 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102214421B1 true KR102214421B1 (ko) 2021-02-09

Family

ID=74559454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200047664A KR102214421B1 (ko) 2020-04-20 2020-04-20 절대 시간을 이용한 영상 편집 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102214421B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010113578A (ko) * 2001-11-03 2001-12-28 한탁돈 코드인식을 위한 장치 및 그 방법
KR20170090392A (ko) * 2017-07-26 2017-08-07 삼성전자주식회사 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
KR101887400B1 (ko) 2017-12-27 2018-08-10 이명섭 동기화를 이용한 방송촬영원본 영상 편집 서비스 제공 방법
KR101964346B1 (ko) * 2019-01-21 2019-04-01 조영근 절대 시간을 이용한 영상 편집 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010113578A (ko) * 2001-11-03 2001-12-28 한탁돈 코드인식을 위한 장치 및 그 방법
KR20170090392A (ko) * 2017-07-26 2017-08-07 삼성전자주식회사 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
KR101887400B1 (ko) 2017-12-27 2018-08-10 이명섭 동기화를 이용한 방송촬영원본 영상 편집 서비스 제공 방법
KR101964346B1 (ko) * 2019-01-21 2019-04-01 조영근 절대 시간을 이용한 영상 편집 장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN106687991B (zh) 用于基于社交关系来设置数字图像的焦点的系统和方法
US20120290981A1 (en) Information terminal apparatus, operation method by information terminal apparatus and program thereof
KR101239284B1 (ko) 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
KR102013329B1 (ko) 광학식 문자 판독기를 이용한 데이터 처리 방법 및 장치
KR101574241B1 (ko) Qr 코드 인식 처리 시스템
US20090310866A1 (en) Superimposition information presentation apparatus and superimposition information presentation system
US10628955B2 (en) Information processing device, information processing method, and program for identifying objects in an image
EP3866014B1 (en) Data processing method, data processing device, terminal and smart device
CN103329163A (zh) 用于收集内容的方法及装置
US20110139874A1 (en) Apparatus for performing multimedia-based data transmission and associated method
TW201344577A (zh) 利用圖像辨識導引安裝應用程式的方法及電子裝置
KR101964346B1 (ko) 절대 시간을 이용한 영상 편집 장치 및 그 방법
KR20160069271A (ko) 화면 미러링을 이용한 화상 회의 제공 방법 및 시스템
KR102214421B1 (ko) 절대 시간을 이용한 영상 편집 시스템 및 그 방법
US10388068B2 (en) System and method of augmented reality alarm system installation
US10013949B2 (en) Terminal device
KR101247387B1 (ko) Ｑｒ 코드를 이용한 명령어 처리 방법, 장치 및 시스템
EP3383051A1 (en) Information processing device, information processing method, receiving device, and receiving method
JP2014068206A (ja) 情報処理端末、情報処理方法、及び機器制御システム
KR102367653B1 (ko) 콘텐츠 제공 장치 및 그 방법
KR102292595B1 (ko) Qr 코드와 워터마크를 통합한 이미지를 이용한 워터마크 인식 장치 및 그 방법
CN117171000A (zh) 一种应用程序app测试方法、装置、电子设备及存储介质
CN111641774B (zh) 中继终端、通信系统、输入系统、中继控制方法
CN110955799A (zh) 一种基于目标检测的人脸推荐影视方法
US11917233B2 (en) Display device and a remote controller controlling same

Legal Events

Date Code Title Description
GRNT Written decision to grant