KR20230007717A - 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 - Google Patents
지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230007717A KR20230007717A KR1020210088393A KR20210088393A KR20230007717A KR 20230007717 A KR20230007717 A KR 20230007717A KR 1020210088393 A KR1020210088393 A KR 1020210088393A KR 20210088393 A KR20210088393 A KR 20210088393A KR 20230007717 A KR20230007717 A KR 20230007717A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- aspect ratio
- model
- optimal
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 24
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 152
- 230000008569 process Effects 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 5
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 description 22
- 230000015654 memory Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 230000008901 benefit Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- JLGLQAWTXXGVEM-UHFFFAOYSA-N triethylene glycol monomethyl ether Chemical compound COCCOCCOCCO JLGLQAWTXXGVEM-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
본 발명은 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 전자 장치는 단말이 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하도록 상기 영상에 대한 정보를 포함한 비트스트림을 상기 단말에 전송하는 전자 장치로서, 상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 분석부; 상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 선택부; 및 상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 포함하는 상기 비트스트림을 생성하는 생성부;를 포함한다.
Description
본 발명은 동영상 재생에 관련된 전자 장치, 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 세로로 긴 화면비율 상태의 단말에서 가로로 긴 영상비율을 갖는 동영상(이하, “영상”이라 지칭함)의 재생 시에 적응적으로 영상의 해상도를 변형하는 지능적 가로-세로 영상 변환 기술을 위한 전자 장치, 시스템 및 방법에 관한 것이다.
종래의 화면비율 변환 기술(이하, “종래 기술”이라 지칭함)에 따라, 단말에서 영상을 재생할 경우, 영상비율(즉, 영상 소스의 가로와 세로 간의 비율)을 유지한 채 화면비율(즉, 단말 화면의 가로와 세로 간의 비율)의 크기에 맞춰 최대한 크기로 영상을 재생한다.
도 1은 종래 기술이 적용된 다양한 화면비율의 단말에서 16:9 영상비율의 영상을 재생 시에 대한 예들을 나타낸다.
이에 따라, 종래 기술을 적용하면 단말 화면의 상하 또는 좌우에 빈 공간이 생기게 되며, 해당 빈 공간은 검은색으로 처리된다. 즉, 도 1을 참조하면, 4:3 화면비율을 가지는 단말에서 16:9 영상비율의 영상을 재생하면 단말 화면의 상하에 생기는 빈 공간에 레터 박스(letter box)라는 검은 영상이 삽입된다. 또한, 21:9 화면비율의 단말에서 16:9 영상비율의 영상을 재생하면 단말 화면의 좌우에 생기는 빈 공간에 필러 박스(pillar box)라는 검은 영상이 삽입된다.
즉, 종래 기술은 단순히 영상비율을 유지하면서 단말의 화면에 맞게 재생하는 기술에 불과하므로, 단말의 화면비율이 영상비율과 맞지 않는 경우에 과도한 레터 박스 또는 필러의 사용으로 인해 사용자의 시각적 만족도가 낮아지는 문제점이 있다. 특히, 종래 기술이 적용된 단말의 화면 상태가 세로 상태(단말의 화면비율이 가로 보다 세로가 더 긴 상태)인 경우에 가로 영상(세로 보다 가로가 더 긴 영상비율을 가지는 영상)이 재생되면 해당 화면비율에 맞게 가로영상이 축소 재생되면서 이러한 문제점이 더욱 부각될 수밖에 없다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 세로로 긴 화면비율 상태의 단말에서 가로로 긴 영상비율을 갖는 영상의 재생 시에 적응적으로 영상의 해상도를 변형하는 지능적 가로-세로 영상 변환 기술을 제공하는데 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 전자 장치는 단말이 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하도록 상기 영상에 대한 정보를 포함한 비트스트림을 상기 단말에 전송하는 전자 장치로서, 상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 분석부; 상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 선택부; 및 상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 포함하는 상기 비트스트림을 생성하는 생성부;를 포함한다.
상기 단말은 수신된 상기 비트스트림으로부터 영상, 재생 영역 및 최적 AI 모델에 대한 정보를 각각 분리하고, 분리된 재생 영역 정보를 기반으로 분리된 영상 정보에서 가로 보다 세로가 더 긴 제2 영상비율의 영상을 프레임마다 추출하며, 분리된 최적 AI 모델 정보에 따른 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 재생할 수 있다.
상기 분석부는 각 프레임 영상에서 객체와 얼굴에 대한 영역을 각각 검출하여 검출된 영역을 포함하는 최대 재생 영역을 산출하며, 산출된 최대 재생 영역에 대한 잘라내기 과정을 통해 가로 보다 세로가 더 긴 제2 영상비율을 가지는 적어도 하나의 상기 재생 영역을 산출할 수 있다.
상기 최대 재생 영역은 상기 검출된 영역이 복수개인 경우에 상기 각 검출된 영역을 모두 포함하는 영역일 수 있다.
상기 분석부는 상기 재생 영역을 복수개 산출하며, 각 재생 영역은 서로 다른 비율의 상기 제2 영상비율을 가질 수 있다.
상기 단말은 수신된 상기 비트스트림으로부터 상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 분리하고, 분리된 복수의 재생 영역 정보 중에서 단말의 화면비율에 가장 유사한 재생 영역 정보를 기반으로 분리된 영상 정보에서 상기 제2 영상비율의 영상을 프레임마다 추출하며, 분리된 최적 AI 모델 정보에 따른 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 재생할 수 있다.
상기 각 AI 모델은 머신 러닝(machine learning) 기법에 따라 서로 다른 컨텐츠의 저화질 영상으로부터 화질 개선된 확대 영상을 생성하도록 학습된 것일 수 있다.
상기 최적 AI 모델은 해상도 증가, 노이즈 제거 및 다이나믹 레인지 증가 중 적어도 하나의 화질 개선을 수행할 수 있다.
상기 생성부는 NAL(Network Abstraction Layer)의 SEI (Supplemental enhancement information)에 상기 재생 영역 및 상기 AI 모델에 대한 정보를 포함하도록 상기 비트스트림을 생성할 수 있다.
상기 단말은 화면의 모든 화소에서 상기 확대된 영상을 재생할 수 있다.
상기 비트스트림에 포함되는 상기 최적 AI 모델에 대한 정보는 상기 최적 AI 모델에 대한 실제 데이터이거나, 상기 최적 AI 모델에 대한 인덱스 데이터일 수 있다.
본 발명의 일 실시예에 따른 시스템은 세로 보다 가로가 더 긴 제1 영상비율의 영상에 대한 정보를 포함한 비트스트림을 전송하는 서버와, 가로 보다 세로가 더 긴 화면비율의 상태에서 상기 영상을 확대 재생하는 단말을 각각 포함하는 시스템이다.
상기 서버는, 상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 분석부; 상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 선택부; 및 상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 포함하는 상기 비트스트림을 생성하는 생성부;를 포함할 수 있다.
상기 단말은 수신된 상기 비트스트림으로부터 영상, 재생 영역 및 최적 AI 모델에 대한 정보를 각각 분리하고, 분리된 재생 영역 정보를 기반으로 분리된 영상 정보에서 가로 보다 세로가 더 긴 제2 영상비율의 영상을 프레임마다 추출하며, 분리된 최적 AI 모델에 따른 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 재생할 수 있다.
본 발명의 다른 일 실시예에 따른 전자 장치는 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하는 전자 장치로서, 상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 분석부; 상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 선택부; 상기 재생 영역을 기반으로 상기 영상에서 가로 보다 세로가 더 긴 제2 영상비율의 영상을 프레임마다 추출하는 추출부; 및 선택된 최적 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 변환하는 변환부;를 포함한다.
본 발명의 일 실시예에 따른 방법은 단말이 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하도록 상기 영상에 대한 정보를 포함한 비트스트림을 상기 단말에 전송하는 전자 장치에 의해 수행되는 방법으로서, 상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 단계; 상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 단계; 및 상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 포함하는 상기 비트스트림을 생성하는 단계;를 포함한다.
본 발명의 일 실시예에 따른 방법은 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하는 전자 장치에서 수행되는 방법으로서, 상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 단계; 상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 단계; 및 상기 재생 영역을 기반으로 상기 영상에서 가로 보다 세로가 더 긴 제2 영상비율의 영상을 프레임마다 추출하며, 선택된 최적 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 변환하는 단계;를 포함한다
상기와 같이 구성되는 본 발명은 제1 영상비율의 영상(가로 영상)을 세로 상태의 단말 화면에서 재생 시, 해당 영상에서 불필요한 영역의 정보들은 제거하고 주요 관심 영역에 해당하는 부분만을 확대할 수 있으며, 경우에 따라 전체 화면으로도 확대하여 재생할 수 있는 새로운 화면비율 변환 기술을 제공할 수 있는 이점이 있다.
특히, 본 발명은 제1 영상비율의 영상을 세로 상태의 단말에서 재생 시, 레터 박스 또는 필러를 최소화할 수 있을 뿐 아니라, 그 영상의 주요 객체를 포함하면서 확대하되, 확대하면서 발생하는 저화질의 문제를 개선한 고화질의 제2 영상비율의 영상으로 재생할 수 있으므로, 사용자의 시각적 만족도를 높일 수 있는 이점이 있다.
또한, 본 발명은 제1 영상비율의 영상(가로 영상)을 세로 상태의 단말 화면에서 재생 시, 단말 화면을 최대한 활용하여 재생할 수 있어 시청 몰입감의 증대될 뿐 아니라, 단말 화면의 전체를 활용하여 재생할 수 있기 때문에, 시각적 만족도가 높고, 노출 효과도 커, 재생 영상이 광고일 경우에 그 광고 효과가 큰 이점이 있다.
또한, 본 발명은 수신 단말 측에 최적합한 다양한 화질 개선 기법의 적용 가능하므로, 주문형 비디오(video on demand; VOD) 뿐 아니라 실시간 스트리밍에도 적용 가능한 이점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래 기술이 적용된 다양한 화면비율의 단말에서 16:9 영상비율의 영상을 재생 시에 대한 예들을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 시스템(10)의 블록 구성도를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 서버(100) 및 단말(200)의 블록 구성도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 송수신 방법에 대한 개념도를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 서버(100)의 제어부(150)의 블록 구성도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 송신 방법의 순서도를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 송신 방법의 S110에 대한 보다 상세한 순서도를 나타낸다.
도 8은 S120에서 최적 AI 모델을 선택하는 일 예를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 단말(100)의 제어부(250)의 블록 구성도를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 수신 방법의 순서도를 나타낸다.
도 11은 세로 상태의 단말에서 제1 영상비율을 가지는 영상을 재생하는 예를 비교하여 나타낸다.
도 12는 본 발명의 다른 일 실시예에 따른 송수신 방법에 대한 개념도를 나타낸다.
도 13은 본 발명의 다른 일 실시예에 따른 단말(200)의 제어부(250)의 블록 구성도를 나타낸다.
도 14는 본 발명의 다른 일 실시예에 따른 수신 방법의 순서도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 시스템(10)의 블록 구성도를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 서버(100) 및 단말(200)의 블록 구성도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 송수신 방법에 대한 개념도를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 서버(100)의 제어부(150)의 블록 구성도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 송신 방법의 순서도를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 송신 방법의 S110에 대한 보다 상세한 순서도를 나타낸다.
도 8은 S120에서 최적 AI 모델을 선택하는 일 예를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 단말(100)의 제어부(250)의 블록 구성도를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 수신 방법의 순서도를 나타낸다.
도 11은 세로 상태의 단말에서 제1 영상비율을 가지는 영상을 재생하는 예를 비교하여 나타낸다.
도 12는 본 발명의 다른 일 실시예에 따른 송수신 방법에 대한 개념도를 나타낸다.
도 13은 본 발명의 다른 일 실시예에 따른 단말(200)의 제어부(250)의 블록 구성도를 나타낸다.
도 14는 본 발명의 다른 일 실시예에 따른 수신 방법의 순서도를 나타낸다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 시스템(10)의 블록 구성도를 나타낸다.
본 발명의 일 실시예에 따른 시스템(10)은 서버(100)가 영상에 대한 정보를 포함한 비트스트림(bitstream)을 인터넷 등의 네트워크를 통해 적어도 하나의 단말(200) 측에 전송하여 단말(200)에서 해당 영상을 재생하는 서비스를 제공하는 시스템이다. 이때, 영상은 동영상(video)을 지칭할 수 있다. 예를 들어, 본 시스템(10)이 제공하는 서비스는 주문형 비디오(video on demand; VOD) 또는 실시간 스트리밍 등의 서비스일 수 있으나, 이에 한정되는 것은 아니다.
특히, 서버(100)에서 전송되는 비트스트림에 포함되는 영상은 세로 보다 가로가 더 긴 영상비율(이하, “제1 영상비율”이라 지칭함)의 컨텐츠를 가진다. 또한, 단말(200)은 가로 보다 세로가 더 긴 화면비율의 상태(이하, “세로 상태”라 지칭함)에서 서버(100)로부터 수신된 제1 영상비율의 영상에 대한 다양한 영상처리를 수행하여 처리된 영상을 세로 상태에 맞게 재생한다. 가령, 단말(200)은 화면의 모든 화소에서 확대된 영상을 재생할 수 있으나, 이에 한정되는 것은 아니다.
즉, 단말(200)은 서버(100)로부터 수신된 제1 영상비율의 영상에 대해 그 주요 컨텐츠 부분을 남기고 나머지를 잘라내어, 가로 보다 세로가 더 긴 영상비율(이하, “제2 영상비율”이라 지칭함)의 영상으로 변경하고, 변경된 제2 영상비율의 영상을 세로 상태의 화면 크기에 맞게 확대 변환하여 재생한다. 물론, 서버(100)는 제1 영상비율의 영상 외에 추가 정보를 더 포함한 비트스트림을 전송하며, 이에 따라 단말(200)에서는 해당 추가 정보를 이용하여 제2 영상비율 영상으로의 영상처리, 즉 변경 및 확대 변환을 수행할 수 있다.
서버(100) 및 단말(200)은 컴퓨팅(computing)이 가능한 전자 장치일 수 있다. 예를 들어, 전자 장치는 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 태블릿 PC(tablet personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), 스마트폰(smart phone), 스마트패드(smart pad), 또는 휴대폰(mobile phone) 등일 수 있으나, 이에 한정되는 것은 아니다.
특히, 서버(100)는 제1 영상비율의 영상을 다수의 소단위로 분리(구분)하여 해당 단위 별로 AI 모델이 적용되도록 이에 대한 정보를 비트스트림에 포함시킬 수 있다. 즉, 서버(100)는 제1 영상비율의 영상을 다수의 소단위로 분리한 후, 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 AI 모델(이하, “최적 AI 모델”이라 지칭함)을 선택할 수 있다.
가령, 소단위가 100개로 분리된다면, 100개 소단위에 대해 각각 하나씩 적용되는 100개의 최적 AI 모델에 대한 정보가 비트스트림에 포함될 수 있다.
즉, 서버(100)는 제1 영상비율의 영상, 재생 영역 및 최적 AI 모델에 대한 정보를 각각 포함하는 데이터를 인코딩(encoding)함으로써 비트스트림을 생성할 수 있다. 이때, 제1 영상비율의 영상의 프레임 별로 적용되는 재생 영역에 대한 정보가 비트스트림에 포함될 수 있으며, 프레임 보다 큰 소단위(가령, 샷 단위) 별로 적용(가령, 키 프레임 별로 적용) 되는 최적 AI 모델에 대한 정보가 비트스트림에 포함될 수 있다. 물론, 비트스트림에는 최적 AI 모델이 적용되기 위한 소단위에 대한 정보가 포함될 수도 있다.
다만, 비트스트림에 포함되는 추가 정보는 재생 영역과 최적 AI(artificial intelligence) 모델에 대한 정보일 수 있으며, 그 외의 정보도 포함될 수 있다.
한편, 서버(100)는 단순히 제1 영상비율의 영상을 포함한 비트스트림을 전송할 수 있다. 이 경우, 단말(200)에서 상술한 추가 정보를 생성할 수 있으며, 해당 추가 정보를 이용하여 제2 영상비율 영상으로의 영상처리, 즉 변경 및 확대 변환을 수행할 수 있다. 이러한 경우가 본 발명의 다른 일 실시예에 해당한다.
도 3은 본 발명의 일 실시예에 따른 서버(100) 및 단말(200)의 블록 구성도를 나타낸다.
이러한 서버(100) 및 단말(200)은, 도 3에 도시된 바와 같이, 입력부(110, 210), 통신부(120, 220), 디스플레이(130, 230), 메모리(140, 240) 및 제어부(150, 250)를 포함할 수 있다.
입력부(110, 210)는 다양한 사용자의 입력에 대응하여, 입력데이터를 발생시키며, 다양한 입력수단을 포함할 수 있다.
예를 들어, 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(120)는 단말(200) 등 다른 장치와의 통신을 수행하는 구성으로서, 제어부(150)에서 생성된 비트스트림 등을 송신할 수 있다. 마찬가지로, 통신부(220)는 서버(100) 등과 같은 다른 장치와의 통신을 수행하는 구성으로서, 서버(100)에서 생성된 비트스트림 등을 수신할 수 있다. 또한, 통신부(120, 220)는 기 학습된 AI 모델에 대한 정보를 다른 장치로부터 수신할 수도 있다.
예를 들어, 통신부(120, 220)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energy), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행하거나, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다.
디스플레이(130, 230)는 다양한 영상 데이터를 화면으로 표시하는 것으로서, 비발광형 패널이나 발광형 패널로 구성될 수 있다. 또한, 디스플레이(230)는 변환된 화질 개선의 확대 영상을 표시할 수 있다.
예를 들어, 디스플레이(130, 230)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(130, 230)는 입력부(120, 220)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다.
메모리(140, 240)는 서버(100) 및 단말(200)의 동작에 필요한 각종 정보를 저장한다. 메모리(140)의 저장 정보로는 제1 영상비율의 영상, 재생 영역, AI 모델, 최적 AI 모델, 후술할 방법에 관련된 프로그램 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(240)의 저장 정보로는 비트스트림, 비트스트림에서 분리된 정보(영상, 재생 영역 및 최적 AI 모델에 대한 정보), 후술할 방법에 관련된 프로그램 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. 특히, AI 모델은 복수개가 저장될 수 있으며, 압축 처리된 형태로 저장될 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 메모리(140, 240)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(magnetic media type), CD-ROM(compact disc read only memory), 광 기록 매체 타입(optical Media type), 자기-광 매체 타입(magneto-optical media type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 플래시 저장부 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(140, 240)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.
제어부(150, 250)는 서버(100) 및 단말(200)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(150, 250)는 후술할 송신 및 수신 방법의 수행을 제어할 수 있으며, 서버(100) 및 단말(200)의 나머지 구성, 즉 입력부(110, 210), 통신부(120, 220), 디스플레이(130, 230), 메모리(140, 240) 등의 동작을 제어할 수 있다. 또한, 제어부(150, 250)는 AI 모델을 다른 장치로부터 수신하여 메모리(140, 240)에 저장하도록 제어할 수 있다. 또한, 제어부(150)는 메모리(140) 등에 저장된 학습 데이터를 이용하여 AI 모델을 학습시켜 메모리(140)에 저장하도록 제어할 수 있다.
예를 들어, 제어부(150, 250)는 하드웨어인 프로세서(processor) 또는 해당 프로세서에서 수행되는 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 4는 본 발명의 일 실시예에 따른 송수신 방법에 대한 개념도를 나타낸다. 이러한 도 4를 기반으로, 이하 본 발명의 일 실시예에 따른 송수신 방법에 대해 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 서버(100)의 제어부(150)의 블록 구성도를 나타내며, 도 6은 본 발명의 일 실시예에 따른 송신 방법의 순서도를 나타낸다.
본 발명의 일 실시예에 따른 송신 방법을 수행하는 제어부(150)는, 도 5에 도시된 바와 같이, 분석부(151), 선택부(152) 및 생성부(153)를 포함할 수 있다. 예를 들어, 분석부(151), 선택부(152) 및 생성부(153)는 제어부(150)의 하드웨어 구성이거나, 제어부(150)에서 수행되는 소프트웨어인 프로세스일 수 있으나, 이에 한정되는 것은 아니다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 송신 방법은 S110 내지 S130을 포함할 수 있다. 물론, S110과 S120는 그 순서가 바뀌거나 동시에 병렬 수행될 수도 있다.
먼저, 분석부(151)는 제1 영상비율의 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출한다(S110). 즉, 분석부(151)는 제1 영상비율의 영상이 압축된 형태인 경우에 먼저 이를 디코딩한 후, 디코딩된 제1 영상비율의 영상에 대해서 영상 컨텐츠 분석을 수행함으로써 재생 영역을 산출할 수 있다.
이때, 재생 영역은 비트스트림에 포함되는 제1 영상비율의 영상에 대해 프레임마다 산출되는데, 해당 프레임 영상 중에 일부 영역으로서, 해당 프레임 영상의 주요 컨텐츠에 해당하는 영역이다. 가령, 단말(200)이 세로 상태에서의 재생을 위해 해당 제1 영상비율의 영상 일부를 잘라내어 제2 영상비율 영상으로 변경할 때, 그 제1 영상비율의 영상에서 해당 재생 영역은 주요 컨텐츠이므로 잘리지 않고 나머지 부분만이 잘려진다. 즉, 재생 영역은 단말(200)에서 제1 영상비율의 영상을 제2 영상비율의 영상으로 변경 시에 제2 영상비율의 영상 내에 포함되어야 하는 영역으로 참조될 수 있다.
가령, 제1 영상비율의 영상이 1000개의 프레임을 가진다면, 1000개 프레임에 대해 각각 하나씩 적용되는 1000개의 재생 영역에 대한 정보가 비트스트림에 포함될 수 있다.
도 7은 본 발명의 일 실시예에 따른 송신 방법의 S110에 대한 보다 상세한 순서도를 나타낸다.
구체적으로, 도 7을 참조하면, 분석부(151)는 디코딩된 제1 영상비율의 영상의 각 프레임 영상에서 객체와 얼굴에 대한 영역을 각각 검출한다(S111). 이때, 분석부(151)는 객체 검출기 및 얼굴 검출기를 이용하여 각 프레임 영상에서 객체에 대한 영역과 얼굴에 대한 영역을 검출할 수 있다. 즉, 객체 검출기는 주요 사물을 검출할 수 있으며, 얼굴 검출기는 주요 등장 인물의 얼굴을 검출할 수 있다. 이때, 각 검출기는 객체 탐지(object detection)에 관련된 다양한 알고리즘을 적용하여 각 영역을 검출하는 것으로서, 메모리(140)에 저장될 수 있다.
예를 들어, 각 검출기는 Canny Edger, Harris corner, Haar-like feature, HOG(Histogram of Oriented Gradient), SIFT(Scale Invariant Feature Transform), 또는 머신 러닝 모델 등을 이용한 검출기일 수 있으며, 이에 한정되는 것은 아니다.
이후, 분석부(151)는 검출된 각 영역을 포함하는 영역(이하, “최대 재생 영역”이라 지칭함)을 산출한다(S112). 즉, S111에서 검출된 각 영역은 재생 영역이 될 수 있는 후보 영역에 해당하므로, 이들을 모두 포함하는 최대 재생 영역을 산출한다. 가령, S111에서 검출된 영역이 복수개인 경우, 각 검출된 영역은 최대 재생 영역에 모두 포함될 수 있다.
특히, S111에서 하나의 검출기 대신 객체 검출기 및 얼굴 검출기를 함께 사용하고, S112에서 각 검출 영역을 모두 포함하도록 최대 재생 영역을 산출함으로써, 본 발명은 각 프레임 영상에 대한 영상 컨텐츠 분석의 정확성을 더욱 높일 수 있다.
이후, 분석부(151)는 산출된 최대 재생 영역에 대한 잘라내기 과정을 통해 제2 영상비율을 가지는 적어도 하나의 재생 영역을 각 프레임에서 산출한다(S113). 즉, 단말(200)이 가질 수 있는 세로 상태의 화면비율의 종류(1:1, 4:5, 9:16, 10:21 등)를 고려하여, 해당 화면비율에 맞도록 최대 재생 영역에 대해 잘라내기 과정을 수행한다. 물론, 단말(200)이 가질 수 있는 세로 상태의 화면비율은 세로가 가로보다 긴 화면비율인 것 외에 세로와 가로가 동일한 화면비율일 수도 있다.
예를 들어, 잘라내기 과정은 최대 재생 영역의 일정 영역을 중심으로(가령, 특정 종류의 객체 또는 얼굴에 대한 영역을 중심으로) 그 외의 영역부터 잘라내도록 해당 과정이 수행될 수 있으나, 이에 한정되는 것은 아니다.
특히, S113에서, 재생 영역은 프레임마다 하나 외에 복수개가 산출될 수도 있다. 즉, 단말(200)이 가질 수 있는 세로 상태의 화면비율의 종류는 다양할 수 있으므로, 이러한 다양한 화면비율을 최대한 반영할 수 있도록 하나의 프레임에 대해 서로 다른 비율의 제2 영상비율을 가지는 복수의 재생 영역이 산출될 수 있다. 예를 들어, 1:1 영상비율의 재생 영역, 4:5 영상비율의 재생 영역, 9:16 영상비율의 재생 영역 및 10:21 영상비율의 재생 영역 중에 적어도 하나 이상의 재생 영역이 각 프레임에 대해서 산출될 수 있으나, 이에 한정되는 것은 아니다.
다만, 각 프레임에 대해 복수개의 서로 다른 비율의 재생 영역이 산출되는 경우, 다양한 화면비율의 단말(200)에 보다 적응적으로 재생 영역이 적용될 수 있는 이점이 있다.
한편, 선택부(152)는 디코딩된 제1 영상비율의 영상의 소단위 별로 적용되는 최적 AI(artificial intelligence) 모델을 선택한다(S120). 즉, 선택부(152)는 디코딩된 제1 영상비율의 영상을 다수의 소단위로 분리하고, 영상 컨텐츠 종류 별로 기 학습되어 메모리(140)에 저장된 다수의 AI 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택할 수 있다.
이때, 선택부(152)는 다양한 장면 전환 검출(scene change detection) 알고리즘을 이용하여, 디코딩된 제1 영상비율의 영상을 다수의 소단위로 분리할 수 있다. 가령, 선택부(152)는 이웃한 프레임 간의 차이 값을 계산하고 계산된 차이 값이 특정 기준치 보다 클 경우에 샷 전환이 이루어진 것으로 판단하여, 각 소단위를 구분할 수 있다.
물론, 분리된 각 소단위에 포함된 프레임 개수는 일정하지 않을 수 있다. 즉, 제1 소단위의 프레임 개수와 제2 소단위 프레임 개수는 같거나 다를 수 있다. 예를 들어, 소단위는 샷(shot), 씬(scene) 또는 시퀀스(sequence) 등에 따라 나눠질 수 있으나, 이에 한정되는 것은 아니다. 다만, 소단위는 프레임 보다 큰 단위인 것이 바람직할 수 있다. 즉, 각 소단위는 복수개의 프레임을 포함할 수 있다.
한편, AI 모델은 변경된 제2 영상비율의 영상을 단말(200)의 화면 크기에 맞게 확대 변환할 때 적용되는 모델이다. 만일, 종래 기술을 적용하면, 변경된 제2 영상비율의 영상이 단순히 일정 비율로 확대 변환되므로, 저해상도 등과 같이 화질 저하가 발생되어 사용자의 시각적 만족도는 낮아질 수밖에 없다. 이를 해결하기 위해, 본 발명에서는 AI 모델을 이용함으로써, 제2 영상비율의 영상을 확대 변환하되 그 화질도 개선할 수 있다. 즉, AI 모델은 머신 러닝(machine learning) 기법에 따라 학습된 머신 러닝 모델로서, 저화질 영상으로부터 화질 개선된 확대 영상을 생성하도록 학습된 모델이다.
구체적으로, AI 모델은 입력 데이터 및 출력 데이터 쌍(데이터셋)의 학습 데이터를 통해 지도 학습(supervised learning)의 머신 러닝 기법에 따라 학습된 머신 러닝 모델이다. 즉, AI 모델은 저화질 영상의 입력 데이터와 화질 개선된 확대 영상의 출력 데이터를 포함하는 학습 데이터를 이용해 학습될 수 있다. 이에 따라, AI 모델은 입력 데이터인 저화질 영상과 출력 데이터인 화질 개선된 확대 영상 간의 관계에 대한 함수를 가지며, 이를 다양한 파라미터를 이용해 표현한다.
예를 들어, AI 모델은 가중치(Weights)와 편향치(Biases)의 파라미터를 이용해 저화질 영상과 화질 개선된 확대 영상 간의 관계를 표현할 수 있다. 이에 따라, 학습된 AI 모델에 저화질 영상(가령, 변경된 제2 영상비율의 영상)의 입력 데이터가 입력되는 경우, 해당 함수에 따른 화질 개선된 확대 영상(가령, 단말(200)의 화면 크기만큼 확대되되 고화질의 제2 영상비율을 가지도록 변환된 영상)의 출력 데이터가 출력될 수 있다.
이때, 화질 개선 종류는 저화질 영상에 비해 해상도 증가, 노이즈 제거 및 다이나믹 레인지 증가 중 적어도 하나일 수 있다. 즉, AI 모델은 저화질 영상이 입력되면, 해상도 증가, 노이즈 제거 및 다이나믹 레인지 증가 중 어느 하나의 화질 개선 영상을 출력할 수 있다. 다만, 제2 영상비율의 영상이 확대 변환되어야 하므로, 해상도 증가는 반드시 포함되는 것이 바람직할 수 있다. 가령, AI 모델은 저화질 영상이 입력되면, 해상도 증가의 화질 개선 영상을 출력하거나, 해상도 증가 및 노이즈 제거의 화질 개선 영상을 출력하거나, 해상도 증가 및 다이나믹 레인지 증가의 화질 개선 영상을 출력할 수 있다.
한편, AI 모델은 복수개가 서버(100) 또는 서버(100)가 접속하는 다른 장치에 저장될 수 있다. 이때, 각 AI 모델은 제1 영상비율의 영상이 가지는 컨텐츠 종류에 따라 학습된 모델일 수 있다. 예를 들어, 영상의 컨텐츠 종류는 스포츠(sports), 드라마(drama), 게임(game), 뉴스(news), 교육(education), 예능(entertainment) 등일 수 있으나, 이에 한정되는 것은 아니다.
즉, 각 AI 모델은 서로 다른 종류의 컨텐츠를 가지는 영상을 기반으로 학습될 수 있다. 이와 같이 영상 컨텐츠 종류에 따라 다양하게 적용되는 다수의 AI 모델을 제공함으로써, 변경된 제2 영상비율의 영상을 확대 변환 시에 해당 화질 개선의 효율을 더욱 향상시킬 수 있는 이점이 있다.
가령, 선택부(152)는 디코딩된 제1 영상비율의 영상을 샷(shot) 단위로 분리하고, 분리된 샷(shot) 내에 포함된 연속된 프레임 영상에 대한 정보를 입력으로 받아 샷(shot) 별로 최적 AI 모델을 선택할 수 있다.
도 8은 S120에서 최적 AI 모델을 선택하는 일 예를 나타낸다.
도 8을 참조하면, 선택부(152)는 분류기(classifier)를 이용하여 최적 AI 모델을 선택할 수 있다. 즉, 분류기는 입력 데이터 및 출력 데이터 쌍(데이터셋)의 학습 데이터를 통해 지도 학습(supervised learning)의 머신 러닝 기법에 따라 학습된 머신 러닝 모델이다.
이때, 분류기는 연속된 프레임 영상의 입력 데이터와 이들 프레임 영상의 컨텐츠 종류(예를 들어, 스포츠, 드라마, 게임, 뉴스, 교육, 예능 등)에 대한 출력 데이터를 포함하는 학습 데이터를 이용해 학습될 수 있다. 이에 따라, 분류기는 입력 데이터인 연속된 프레임 영상과 출력 데이터인 컨텐츠 종류 간의 관계에 대한 함수를 가지며, 이를 다양한 파라미터를 이용해 표현한다.
예를 들어, 분류기는 가중치(Weights)와 편향치(Biases)의 파라미터를 이용해 연속된 프레임 영상과 이들 프레임 영상의 컨텐츠 종류 간의 관계를 표현할 수 있다. 이에 따라, 도 7에 도시된 바와 같이, 학습된 분류기에 어떤 소단위 내의 연속된 프레임 영상(F(t-1), F(t), F(t+1))의 입력 데이터가 입력되는 경우, 해당 함수에 따른 해당 소단위의 영상들(F(t-1), F(t), F(t+1))의 컨텐츠 종류에 대한 출력 데이터가 출력될 수 있다.
예를 들어, AI 모델 및 분류기에 적용되는 머신 러닝 기법은 Artificial neural network, Boosting, Bayesian statistics, Decision tree, Gaussian process regression, Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of classifiers, 또는 Deep learning 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
특히, AI 모델 및 분류기가 딥 러닝(Deep learning) 기법에 의해 학습된 딥 러닝 모델일 경우, 입력 데이터와 출력 데이터 간의 관계를 다수의 층(레이어)으로 표현하며, 이러한 다수의 표현층을 “신경망(neural network)”라 지칭하기도 한다. 이러한 딥 러닝 모델은 본 발명과 같은 영상 처리 분야에서 고무적인 성능을 가질 수 있다.
예를 들어, 딥 러닝 기법은 Deep Neural Network(DNN), Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Restricted Boltzmann Machine(RBM), Deep Belief Network(DBN), Deep Q-Networks 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
특히, 소단위(예를 들어, 샷 등) 내의 영상에 대해 새롭게 AI 모델을 생성하려는 경우, 그 학습 과정이 오래 걸리므로 실시간 전송에 적합하지 않다. 이에 따라, 본 발명에서는 영상의 컨텐츠 종류에 따라 미리 학습해 둔 다수의 AI 모델(즉, AI 모델 DB)을 메모리(140) 또는 별도의 데이터베이스 장치에 기 저장하고, 선택부(152)가 현재 소단위에 적합한 최적 AI 모델을 AI 모델 DB에서 검색하여 사용한다. 즉, 선택부(152)는 어떤 소단위의 연속된 프레임 영상의 입력에 대해 분류기가 출력하는 컨텐츠 종류에 매칭되는 AI 모델을 기 저장된 AI 모델 DB에서 검색하여 검색된 AI 모델을 해당 소단위에 적용되는 최적 AI 모델로 선택할 수 있다. 그 결과, 본 발명은 영상의 실시간 전송에 보다 부합될 수 있는 이점이 있다.
또한, AI 모델이 영상의 컨텐츠 종류에 맞게 학습된 것이므로, 동일 컨텐츠 종류의 일련의 장면에 대한 단위인 샷 단위 또는 씬 단위로 나눠지는 경우가 보다 효과적일 수 있다.
이후, 생성부(153)는 단말(200)에 전송하기 위해, 제1 영상비율의 영상과, S110에서 산출된 재생 영역과, S120에서 선택된 최적 AI 모델에 대한 정보 등을 각각 포함하는 비트스트림을 멀티플렉서(multiplexer)를 이용하여 생성한다(S130). 이와 같이 생성된 비트스트림은 통신부(120)를 통해 단말(200)로 전송된다.
가령, 생성부(153)는 제1 영상비율의 영상을 압축 처리하여 해당 인코딩 코드에 대한 정보를 비트스트림에 포함시킬 수 있다. 이때, 생성부(153)는 다양한 영상 압축 기법을 사용하여 해당 인코딩 코드를 생성할 수도 있다. 영상 압축 기법은 움직임 보상, 쿼터 픽셀, 또는 디블로킹 필터 등을 이용한 기법이거나, 스트리밍(streaming) 또는 주문형 비디오(video on demand; VOD) 등에서 사용되는 기법일 수 있다. 예를 들어, 영상 압축 기법은 MPEG 시리즈(MPEG-1, MPEG-2, MPEG-3, MPEG-4, MPEG-7 등), H.2xx 시리즈(H.261, H.263, H.264, H.265 등) 등일 수 있으나, 이에 한정되는 것은 아니다.
물론, 생성부(153)는 제1 영상비율의 영상에 매칭되는 오디오에 대한 정보도 함께 비트스트림에 포함시킬 수 있다. 이때, 생성부(153)는 다양한 오디오 압축 기법을 사용하여 해당 인코딩 코드를 생성할 수도 있다.
특히, 재생 영역 정보는 프레임마다 적용될 수 있도록 비트스트림에 포함되어야 하며, 다양한 단말(200)의 화면비율을 지원하기 위해 하나의 프레임에 대해 적용될 수 있는 여러 개의 재생 영역이 비트스트림에 포함되어야 한다. 또한, AI 모델은 컨텐츠 종류 및 소단위에 따라서 달라지기 때문에 최소 키 프레임 간격으로 지원되도록 비트스트림에 포함되어야 한다. 가령, 분리된 소단위가 샷 단위인 경우, 키 프레임마다 최적 AI 모델이 선택되어 적용되도록 해당 최적 AI 모델에 대한 정보가 비트스트림에 포함될 수 있다.
예를 들어, 제1 영상비율의 영상의 NAL(Network Abstraction Layer) 비트스트림에서 SEI (Supplemental enhancement information)에 재생 영역 및 최적 AI 모델에 대한 정보가 추가 포함될 수 있으나, 이에 한정되는 것은 아니다. 다만, 이러한 SEI 메시지에 해당 추가 정보를 포함하는 것은 현재 상용 기술에 적용 가능한 실용적인 방안이 될 수 있다.
즉, SEI 메시지는 비트스트림 내에 영상 데이터의 속성을 알려주거나 사용자의 데이터가 실릴 수 영역으로서, 단말(200) 측의 디코더(decoder)가 반드시 해당 영역의 디코딩을 지원하지 않아도 된다. 다만, SEI 메시지를 지원하는 디코더의 경우, 해당 SEI 메시지를 활용하여 수신된 영상의 특징을 개선할 수 있다.
한편, 비트스트림에 포함되는 최적 AI 모델에 대한 정보는 최적 AI 모델에 대한 실제 데이터이거나, 최적 AI 모델에 대한 인덱스 데이터일 수 있다. 즉, 최적 AI 모델에 대한 실제 데이터인 경우, 단말(200)은 비트스트림으로부터 이를 분리하여 사용할 수 있다. 이 경우, 생성부(153)는 최적 AI 모델에 대한 실제 데이터를 MPEG-NNR(Neural Network Representation) 표준 등에 따라 다양하게 압축 처리하여 해당 인코딩 코드에 대한 정보를 비트스트림에 포함시킬 수도 있다.
반면, 최적 AI 모델에 대한 인덱스 데이터의 경우, 단말(200)은 비트스트림으로부터 이를 분리하고, 분리된 인덱스 데이터를 기반으로 단말(200)에 기 저장된 다수의 AI 모델에 대한 실제 데이터 중에서 매칭되는 해당 데이터를 선택하여 사용할 수 있다.
도 9는 본 발명의 일 실시예에 따른 단말(100)의 제어부(250)의 블록 구성도를 나타내며, 도 10은 본 발명의 일 실시예에 따른 수신 방법의 순서도를 나타낸다.
본 발명의 일 실시예에 따른 수신 방법을 수행하는 제어부(250)는, 도 9에 도시된 바와 같이, 분리부(251), 추출부(252) 및 변환부(253)를 포함할 수 있다. 예를 들어, 분리부(251), 추출부(252) 및 변환부(253)는 제어부(250)의 하드웨어 구성이거나, 제어부(250)에서 수행되는 소프트웨어인 프로세스일 수 있으나, 이에 한정되는 것은 아니다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 수신 방법은 S210 내지 S230을 포함할 수 있다.
먼저, 분리부(251)는 통신부(220)를 통해 수신한 서버(100)의 비트스트림에서 제1 영상비율의 영상, 재생 영역 및 최적 AI 모델에 대한 정보를 디멀티플렉서(de-multiplexer)를 이용하여 각각 분리한다(S210). 물론, 분리부(251)는 비트스트림에 함께 포함된 오디오에 대한 정보도 분리할 수 있다. 가령, 비트스트림의 각 정보가 압축되어 있는 경우, 분리부(251)는 이들을 압축 해제하기 위한 각각의 디코더를 이용하여 각 정보를 도출할 수 있다.
이후, 추출부(252)는 S210에서 분리된 재생 영역에 대한 정보를 이용하여, S210에서 분리된 제1 영상비율의 영상에 대한 정보로부터 제2 영상비율의 영상을 프레임마다 추출한다(S220). 즉, 제1 영상비율의 영상의 각 프레임 영상에서 해당 프레임의 재생 영역에 해당하는 부분을 남기고 그 나머지를 제거함으로써 해당 프레임의 제2 영상비율의 영상을 추출할 수 있다.
특히, S210에서, 하나의 프레임에 적용되는 서로 다른 비율의 복수개 재생 영역에 대한 정보가 비트스트림에 있을 경우, 분리부(251)는 해당 복수개 재생 영역에 대한 정보를 각각 분리할 수 있다. 이 경우, S220에서, 추출부(252)는 분리된 복수개 재생 영역에 대한 정보 중에서 단말(200)의 디스플레이(240)의 화면비율에 가장 유사한 재생 영역(이하, “유사 재생 영역”이라 지칭함)에 대한 정보를 선택할 수 있다.
예를 들어, 1:1 영상비율의 재생 영역, 4:5 영상비율의 재생 영역, 9:16 영상비율의 재생 영역, 및 10:21 영상비율의 재생 영역에 대한 정보가 각각 비트스트림에 포함되어 있고, 단말(200)의 디스플레이(240)가 10:16 세로 상태의 화면비율을 가질 수 있다. 이 경우, 추출부(252)는 적응적으로 10:16 세로 상태의 화면비율과 가장 유사한 9:16 영상비율의 재생 영역에 대한 정보를 유사 재생 영역에 대한 정보로 선택할 수 있다.
이러한 방식으로, 추출부(252)는 각 프레임에 대해 유사 재생 영역을 선택할 수 있다. 또한, 추출부(252)는 제1 영상비율의 영상의 각 프레임 영상에서 해당 프레임의 유사 재생 영역에 해당하는 부분을 남기고 그 나머지를 제거함으로써 해당 프레임의 제2 영상비율의 영상을 추출할 수 있다.
이후, 변환부(253)는 S210에서 분리된 최적 AI 모델 정보에 따른 AI 모델을 소단위 별로 적용하여, S220에서 추출된 제2 영상비율의 영상을 확대 변환한다(S230). 즉, 변환부(253)는 S210에서 분리된 저화질 영상인 제2 영상비율의 영상을 AI 모델에 입력한다. 그 결과, AI 모델은 내장된 함수에 따른 화질 개선된 확대 영상, 즉 단말(200)의 디스플레이(240)의 크기만큼 확대되되 고화질의 제2 영상비율을 가지도록 변환된 영상을 출력할 수 있다.
물론, 필요할 경우, 변환부(253)는 AI 모델에서 출력되면서 확대 변환된 고화질의 제2 영상비율의 영상의 일부를 자르는 과정의 영상 처리를 수행하거나 해상도 변형 기법에 따른 크기 보간을 수행할 수도 있다. 이는 확대 변환된 고화질의 제2 영상비율의 영상이 단말(200)의 디스플레이(240) 보다 클 경우에 수행될 수 있다. 예를 들어, 해상도 변형 기법은 Bilinear, bicubic interpolation, down-sampling 등일 수 있으나, 이에 한정되는 것은 아니다.
도 11은 세로 상태의 단말에서 제1 영상비율을 가지는 영상을 재생하는 예를 비교하여 나타낸다. 즉, 좌측이 종래 기술에 따라 재생되는 영상이며, 우측이 본 발명에 따라 재생되는 영상이다.
이후, 제어부(250)는 S230에서 확대 변환된 고화질의 제2 영상비율의 영상이 단말(200)의 디스플레이부(240)에서 재생되도록 제어할 수 있다. 이때, 확대 변환된 고화질의 제2 영상비율의 영상은, 도 11에 도시된 바와 같이, 단말(200)의 디스플레이부(240)의 모든 화소에서 재생될 수 있으나, 이에 한정되는 것은 아니다.
물론, 제어부(250)는 확대 변환된 제2 영상비율의 영상의 재생 시에 해당 영상에 대한 오디오도 함께 동기화하여 단말(200)에서 출력되도록 제어할 수 있다.
도 11을 참조하면, 제1 영상비율의 영상을 세로 상태의 단말에서 재생 시, 본 발명은 종래 기술과 달리, 레터 박스 또는 필러를 최소화할 수 있을 뿐 아니라, 그 영상의 주요 객체를 포함하면서 확대하되, 확대하면서 발생하는 저화질의 문제를 개선한 고화질의 제2 영상비율의 영상으로 재생할 수 있다. 그 결과, 본 발명은 사용자의 시각적 만족도를 높일 수 있는 이점이 있다.
즉, 종래 기술(도 11의 좌측)에서는 단말 화면의 25%를 차지하는 반면, 본 발명의 경우(도 11의 우측) 단말 화면의 전체를 활용할 수 있기 때문에 시각적 만족도가 높고, 노출 효과도 커 재생 영상이 광고일 경우에 그 광고 효과가 큰 이점이 있다.
도 12는 본 발명의 다른 일 실시예에 따른 송수신 방법에 대한 개념도를 나타낸다. 이러한 도 12를 기반으로, 이하 본 발명의 다른 일 실시예에 따른 송수신 방법에 대해 설명하도록 한다.
본 발명의 다른 일 실시예에 따른 송수신 방법에서, 서버(100)의 제어부(150)는 상술한 실시예와 달리 단순히 제1 영상비율의 영상에 대한 정보를 포함하는 비트스트림을 생성한다. 즉, 서버(100)의 제어부(150)는 재생 영역 및 최적 AI 모델에 대한 정보 등을 산출하지 않으며, 이들 추가 정보는 단말(200) 측에서 산출된다. 물론, 서버(100)의 제어부(150)는 제1 영상비율의 영상에 매칭되는 오디오에 대한 정보도 함께 비트스트림에 포함시킬 수 있다. 다만, 이러한 제1 영상비율의 영상 및 오디오에 대한 내용은 본 발명의 일 실시예에 따른 송수신 방법에서 상술한 주요 내용과 같으므로, 이하 그 설명을 생략하도록 한다.
도 13은 본 발명의 다른 일 실시예에 따른 단말(200)의 제어부(250)의 블록 구성도를 나타내며, 도 14는 본 발명의 다른 일 실시예에 따른 수신 방법의 순서도를 나타낸다.
본 발명의 다른 일 실시예에 따른 송신 방법을 수행하는 제어부(250)는, 도 13에 도시된 바와 같이, 분석부(254), 선택부(255) 추출부(256) 및 변환부(256)를 포함할 수 있다. 예를 들어, 분석부(254), 선택부(255) 추출부(256) 및 변환부(256)는 제어부(250)의 하드웨어 구성이거나, 제어부(250)에서 수행되는 소프트웨어인 프로세스일 수 있으나, 이에 한정되는 것은 아니다.
도 6을 참조하면, 본 발명의 다른 일 실시예에 따른 수신 방법은 S210' 내지 S240'를 포함할 수 있다. 물론, S210'과 S220'는 그 순서가 바뀌거나 동시에 병렬 수행될 수도 있다.
먼저, 분석부(254)는 제1 영상비율의 영상에 대해 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출한다(S210'). 다만, 분석부(254) 및 S210'은 본 발명의 일 실시예에 따른 송수신 방법에서 분석부(151) 및 S110이 단말(200)에 적용되는 점 외에 상술한 주요 내용과 같으므로, 이하 그 설명을 생략하도록 한다.
또한, 선택부(255)는 제1 영상비율의 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습되어 메모리(140)에 기 저장된 다수의 AI 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택한다(S220'). 다만, 선택부(255) 및 S220'은 본 발명의 일 실시예에 따른 송수신 방법에서 선택부(152) 및 S120이 단말(200)에 적용되는 점 외에 상술한 주요 내용과 같으므로, 이하 그 설명을 생략하도록 한다.
이후, 추출부(256)는 S210'에서 산출된 재생 영역을 기반으로 제1 영상비율의 영상에서 제2 영상비율의 영상을 프레임마다 추출한다(S230'). 다만, 추출부(256) 및 S230'은 본 발명의 일 실시예에 따른 송수신 방법에서 추출부(252) 및 S220에 대해 상술한 주요 내용과 같으므로, 이하 그 설명을 생략하도록 한다.
이후, 변환부(257)는 S220'에서 선택된 최적 AI 모델을 소단위 별로 적용하여 S230'에서 추출된 제2 영상비율의 영상을 확대 변환한다(S240'). 다만, 변환부(257) 및 S240'은 본 발명의 일 실시예에 따른 송수신 방법에서 변환부(253) 및 S230에 대해 상술한 주요 내용과 같으므로, 이하 그 설명을 생략하도록 한다.
이후, 제어부(250)는 S240'에서 확대 변환된 고화질의 제2 영상비율의 영상이 단말(200)의 디스플레이부(240)에서 재생되도록 제어할 수 있다. 이때, 확대 변환된 고화질의 제2 영상비율의 영상은, 도 11에 도시된 바와 같이, 단말(200)의 디스플레이부(240)의 모든 화소에서 재생될 수 있으나, 이에 한정되는 것은 아니다.
물론, 제어부(250)는 확대 변환된 제2 영상비율의 영상의 재생 시에 해당 영상에 대한 오디오도 함께 동기화하여 단말(200)에서 출력되도록 제어할 수 있다.
즉, 본 발명의 다른 일 실시예의 경우, 서버(100)에서 수행하던 일부분을 단말(200)에서 수행하면서, S210'에서 단말(200)의 화면비율을 고려한 재생 영역이 여러 개가 아닌 하나가 산출되고, 최적 AI 모델 등을 포함한 비트스트림의 송수신을 위한 멀티플렉서 및 디멀티플렉서가 필요 없다. 또한, 단말(200)에서 컨텐츠 분석 및 최적 AI 모델을 선택하기 때문에, 다소 저품질로 재생 영역 추출과 AI 모델 선택될 수 있지만, 이들 추가 정보에 대한 비트스트림의 변환이 없다는 이점이 있다.
상술한 바와 같이 구성되는 본 발명은 종래 기술에 비해 다음과 같은 차이점을 갖는다. 즉, 본 발명은 영상 재생 시, 단말의 전체 해상도를 사용할 수 있도록 재생 화면을 자르거나 확대하는 등 영상 화면에 가공 및 변형을 수행한다. 이를 위해, 본 발명은 컨텐츠 분석, 컨텐츠 별 최적 AI 모델 선택, 적응적 화면비율 변환을 수행한다.
이에 따라, 본 발명은 제1 영상비율의 영상(가로 영상)을 세로 상태의 단말 화면에서 재생 시, 해당 영상에서 불필요한 영역의 정보들은 제거하고 주요 관심 영역에 해당하는 부분만을 확대할 수 있으며, 경우에 따라 전체 화면으로도 확대하여 재생할 수 있는 새로운 화면비율 변환 기술을 제공할 수 있는 이점이 있다. 특히, 본 발명은 제1 영상비율의 영상을 세로 상태의 단말에서 재생 시, 레터 박스 또는 필러를 최소화할 수 있을 뿐 아니라, 그 영상의 주요 객체를 포함하면서 확대하되, 확대하면서 발생하는 저화질의 문제를 개선한 고화질의 제2 영상비율의 영상으로 재생할 수 있으므로, 사용자의 시각적 만족도를 높일 수 있는 이점이 있다. 또한, 본 발명은 제1 영상비율의 영상(가로 영상)을 세로 상태의 단말 화면에서 재생 시, 단말 화면을 최대한 활용하여 재생할 수 있어 시청 몰입감의 증대될 뿐 아니라, 단말 화면의 전체를 활용하여 재생할 수 있기 때문에, 시각적 만족도가 높고, 노출 효과도 커, 재생 영상이 광고일 경우에 그 광고 효과가 큰 이점이 있다. 또한, 본 발명은 수신 단말 측에 최적합한 다양한 화질 개선 기법의 적용 가능하므로, 주문형 비디오(video on demand; VOD) 뿐 아니라 실시간 스트리밍에도 적용 가능한 이점이 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다. 특히, 본 발명은 가로로 긴 화면비율 상태의 단말에서 세로로 긴 영상비율을 갖는 영상의 재생 시에 적응적으로 영상의 해상도를 변형하는 지능적 세로-가로 영상 변환 기술에도 적용될 수 있다. 이 경우, 상술한 내용에서 단말의 "세로로 긴 화면비율 상태"는 "가로로 긴 화면비율 상태"로 대체될 수 있고, "가로로 긴 영상비율의 영상"은 "세로로 긴 영상비율의 영상"으로 대체될 수 있다.
100: 서버
200: 단말
110, 210: 입력부 120, 220: 통신부
130, 230: 디스플레이 140, 240: 메모리
150, 250: 제어부 151, 254: 분석부
152, 255: 선택부 153: 생성부
251: 분리부 252, 256: 추출부
253, 257: 변환부
110, 210: 입력부 120, 220: 통신부
130, 230: 디스플레이 140, 240: 메모리
150, 250: 제어부 151, 254: 분석부
152, 255: 선택부 153: 생성부
251: 분리부 252, 256: 추출부
253, 257: 변환부
Claims (15)
- 단말이 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하도록 상기 영상에 대한 정보를 포함한 비트스트림을 상기 단말에 전송하는 전자 장치로서,
상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 분석부;
상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 선택부; 및
상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 포함하는 상기 비트스트림을 생성하는 생성부;
를 포함하는 전자 장치.
- 제1항에 있어서,
상기 단말은 수신된 상기 비트스트림으로부터 영상, 재생 영역 및 최적 AI 모델에 대한 정보를 각각 분리하고, 분리된 재생 영역 정보를 기반으로 분리된 영상 정보에서 가로 보다 세로가 더 긴 제2 영상비율의 영상을 프레임마다 추출하며, 분리된 최적 AI 모델 정보에 따른 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 재생하는 전자 장치.
- 제1항에 있어서,
상기 분석부는 각 프레임 영상에서 객체와 얼굴에 대한 영역을 각각 검출하여 검출된 영역을 포함하는 최대 재생 영역을 산출하며, 산출된 최대 재생 영역에 대한 잘라내기 과정을 통해 가로 보다 세로가 더 긴 제2 영상비율을 가지는 적어도 하나의 상기 재생 영역을 산출하는 전자 장치.
- 제3항에 있어서,
상기 최대 재생 영역은 상기 검출된 영역이 복수개인 경우에 상기 각 검출된 영역을 모두 포함하는 영역인 전자 장치.
- 제3항에 있어서,
상기 분석부는 상기 재생 영역을 복수개 산출하며, 각 재생 영역은 서로 다른 비율의 상기 제2 영상비율을 가지는 전자 장치.
- 제5항에 있어서,
상기 단말은 수신된 상기 비트스트림으로부터 상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 분리하고, 분리된 복수의 재생 영역 정보 중에서 단말의 화면비율에 가장 유사한 재생 영역 정보를 기반으로 분리된 영상 정보에서 상기 제2 영상비율의 영상을 프레임마다 추출하며, 분리된 최적 AI 모델 정보에 따른 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 재생하는 전자 장치.
- 제1항에 있어서,
상기 각 AI 모델은 머신 러닝(machine learning) 기법에 따라 서로 다른 컨텐츠의 저화질 영상으로부터 화질 개선된 확대 영상을 생성하도록 학습된 모델인 전자 장치.
- 제7항에 있어서,
상기 최적 AI 모델은 해상도 증가, 노이즈 제거 및 다이나믹 레인지 증가 중 적어도 하나의 화질 개선을 수행하는 전자 장치.
- 제1항에 있어서,
상기 생성부는 NAL(Network Abstraction Layer)의 SEI (Supplemental enhancement information)에 상기 재생 영역 및 상기 AI 모델에 대한 정보를 포함하도록 상기 비트스트림을 생성하는 전자 장치.
- 제2항 또는 제6항에 있어서,
상기 단말은 화면의 모든 화소에서 상기 확대된 영상을 재생하는 전자 장치.
- 제1항에 있어서,
상기 비트스트림에 포함되는 상기 최적 AI 모델에 대한 정보는 상기 최적 AI 모델에 대한 실제 데이터이거나, 상기 최적 AI 모델에 대한 인덱스 데이터인 전자 장치.
- 세로 보다 가로가 더 긴 제1 영상비율의 영상에 대한 정보를 포함한 비트스트림을 전송하는 서버와, 가로 보다 세로가 더 긴 화면비율의 상태에서 상기 영상을 확대 재생하는 단말을 각각 포함하는 시스템으로서,
상기 서버는,
상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 분석부;
상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 선택부; 및
상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 포함하는 상기 비트스트림을 생성하는 생성부;를 포함하며,
상기 단말은 수신된 상기 비트스트림으로부터 영상, 재생 영역 및 최적 AI 모델에 대한 정보를 각각 분리하고, 분리된 재생 영역 정보를 기반으로 분리된 영상 정보에서 가로 보다 세로가 더 긴 제2 영상비율의 영상을 프레임마다 추출하며, 분리된 최적 AI 모델에 따른 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 재생하는 시스템.
- 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하는 전자 장치로서,
상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 분석부;
상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 선택부;
상기 재생 영역을 기반으로 상기 영상에서 가로 보다 세로가 더 긴 제2 영상비율의 영상을 프레임마다 추출하는 추출부; 및
선택된 최적 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 변환하는 변환부;
를 포함하는 전자 장치.
- 단말이 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하도록 상기 영상에 대한 정보를 포함한 비트스트림을 상기 단말에 전송하는 전자 장치에 의해 수행되는 방법으로서,
상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 단계;
상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 단계; 및
상기 영상, 상기 재생 영역 및 상기 최적 AI 모델에 대한 정보를 각각 포함하는 상기 비트스트림을 생성하는 단계;
를 포함하는 방법.
- 가로 보다 세로가 더 긴 화면비율의 상태인 경우에 세로 보다 가로가 더 긴 제1 영상비율의 영상을 확대 재생하는 전자 장치에서 수행되는 방법으로서,
상기 영상의 프레임마다 해당 프레임 영상의 컨텐츠를 분석하여 해당 프레임 영상의 일부에 해당하는 재생 영역을 산출하는 단계;
상기 영상을 다수의 소단위로 분리하고 영상의 컨텐츠 종류 별로 기 학습된 다수의 AI(artificial intelligence) 모델 중에서 해당 소단위 내 영상의 컨텐츠에 따라 소단위 별로 적용되는 최적 AI 모델을 선택하는 단계; 및
상기 재생 영역을 기반으로 상기 영상에서 가로 보다 세로가 더 긴 제2 영상비율의 영상을 프레임마다 추출하며, 선택된 최적 AI 모델을 소단위 별로 적용하여 추출된 제2 영상비율의 영상을 확대 변환하는 단계;
를 포함하는 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210088393A KR102595096B1 (ko) | 2021-07-06 | 2021-07-06 | 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 |
| PCT/KR2022/002166 WO2023282425A2 (ko) | 2021-07-06 | 2022-02-14 | 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210088393A KR102595096B1 (ko) | 2021-07-06 | 2021-07-06 | 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230007717A true KR20230007717A (ko) | 2023-01-13 |
| KR102595096B1 KR102595096B1 (ko) | 2023-10-27 |
Family
ID=84801824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210088393A KR102595096B1 (ko) | 2021-07-06 | 2021-07-06 | 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102595096B1 (ko) |
| WO (1) | WO2023282425A2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11647153B1 (en) * | 2021-12-31 | 2023-05-09 | Dell Products L.P. | Computer-implemented method, device, and computer program product |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070039790A (ko) | 2005-10-10 | 2007-04-13 | 주식회사 케이티프리텔 | 영상 전환 기능을 구비한 휴대용 단말기 |
| KR20190088406A (ko) * | 2018-01-04 | 2019-07-26 | 삼성전자주식회사 | 영상 재생 장치 및 그의 제어 방법 |
| KR102106103B1 (ko) * | 2015-07-03 | 2020-05-04 | 에스케이 텔레콤주식회사 | 고 해상도 영상에서의 영상 추출 장치 및 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102424829B1 (ko) * | 2017-02-22 | 2022-07-25 | 에스케이텔레콤 주식회사 | 비디오 데이터가 부호화된 비트스트림을 처리하는 방법 |
-
2021
- 2021-07-06 KR KR1020210088393A patent/KR102595096B1/ko active IP Right Grant
-
2022
- 2022-02-14 WO PCT/KR2022/002166 patent/WO2023282425A2/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070039790A (ko) | 2005-10-10 | 2007-04-13 | 주식회사 케이티프리텔 | 영상 전환 기능을 구비한 휴대용 단말기 |
| KR102106103B1 (ko) * | 2015-07-03 | 2020-05-04 | 에스케이 텔레콤주식회사 | 고 해상도 영상에서의 영상 추출 장치 및 방법 |
| KR20190088406A (ko) * | 2018-01-04 | 2019-07-26 | 삼성전자주식회사 | 영상 재생 장치 및 그의 제어 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11647153B1 (en) * | 2021-12-31 | 2023-05-09 | Dell Products L.P. | Computer-implemented method, device, and computer program product |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102595096B1 (ko) | 2023-10-27 |
| WO2023282425A2 (ko) | 2023-01-12 |
| WO2023282425A3 (ko) | 2023-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10242265B2 (en) | Actor/person centric auto thumbnail | |
| CN108632625B (zh) | 一种视频编码方法、视频解码方法和相关设备 | |
| US8938393B2 (en) | Extended videolens media engine for audio recognition | |
| US8966515B2 (en) | Adaptable videolens media engine | |
| US9432702B2 (en) | System and method for video program recognition | |
| KR102542788B1 (ko) | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 | |
| US11416546B2 (en) | Content type detection in videos using multiple classifiers | |
| US20110243529A1 (en) | Electronic apparatus, content recommendation method, and program therefor | |
| KR102246305B1 (ko) | 증강 미디어 서비스 제공 방법, 장치 및 시스템 | |
| JP2011517223A (ja) | テレビジョン受像機および方法 | |
| US10165274B2 (en) | Encoding of video stream based on scene type | |
| CN110679153B (zh) | 用于提供重新缓冲事件的时间放置的方法 | |
| Jayanthiladevi et al. | AI in video analysis, production and streaming delivery | |
| Katsenou et al. | Perceptually-aligned frame rate selection using spatio-temporal features | |
| KR102595096B1 (ko) | 지능적 가로-세로 영상 변환을 위한 전자 장치, 시스템 및 방법 | |
| US20220358701A1 (en) | Emotion-Based Sign Language Enhancement of Content | |
| KR102596308B1 (ko) | 지능적 영상 변환을 위한 전자 장치 및 방법 | |
| US20170061215A1 (en) | Clustering method using broadcast contents and broadcast related data and user terminal to perform the method | |
| KR20210093605A (ko) | 디스플레이 장치 및 그 동작 방법 | |
| US11037599B2 (en) | Automatic slow motion video recording | |
| US11831887B1 (en) | Scalable video coding for machine | |
| US11908340B2 (en) | Magnification enhancement of video for visually impaired viewers | |
| US20230007276A1 (en) | Encoding Device and Method for Video Analysis and Composition | |
| US20230224526A1 (en) | Processing of multimedia content on an edge device | |
| KR20230137397A (ko) | 비디오 콘텐츠 아이템들의 지각적 품질 표시자들을 결정하기 위한 방법들, 시스템들, 및 매체들 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |