KR102324724B1 - 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법 - Google Patents
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법 Download PDFInfo
- Publication number
- KR102324724B1 KR102324724B1 KR1020200148601A KR20200148601A KR102324724B1 KR 102324724 B1 KR102324724 B1 KR 102324724B1 KR 1020200148601 A KR1020200148601 A KR 1020200148601A KR 20200148601 A KR20200148601 A KR 20200148601A KR 102324724 B1 KR102324724 B1 KR 102324724B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- modem
- transmission
- network
- parameter
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title abstract description 7
- 230000005540 biological transmission Effects 0.000 claims abstract description 171
- 230000006835 compression Effects 0.000 claims description 172
- 238000007906 compression Methods 0.000 claims description 172
- 238000013139 quantization Methods 0.000 claims description 41
- 238000007781 pre-processing Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법은, 다양한 지표들로 이루어지는 영상 파라미터와 모뎀/네트워크 파라미터를 이용하여 영상을 압축함으로써, 모뎀/네트워크 구조에 적합한 영상 전송 데이터를 생성할 수 있고, 통신 대역폭을 효율적으로 사용하여 영상을 전송할 수 있으며, 무선 통신 상태에 따라 영상 수신부의 디코딩 가능성을 높이는 방향으로 데이터를 전송할 수 있다.
Description
본 발명은 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법에 관한 것으로서, 더욱 상세하게는 영상을 압축하고, 압축한 영상을 전송하는, 장치 및 이의 동작 방법에 관한 것이다.
종래의 영상 압축 방법은 통신 환경 중에서 통신 대역폭만을 고려하는 화질 조정을 통해 영상 압축 데이터 생성량을 조절하고 있다. 즉, 영상 압축 데이터의 평균 전송 용량이 통신 대역폭에서 수용될 수 있도록 하는 것에만 초점이 맞추어져 있다. 그러나, 영상 압축 데이터의 생성 시 고려하여야 할 통신 관련 지표는 통신 대역폭 이외에도 다양한 정보들이 존재한다.
본 발명이 이루고자 하는 목적은, 다양한 지표들로 이루어지는 영상 파라미터와 모뎀/네트워크 파라미터를 이용하여 영상을 압축하고, 압축한 영상을 전송하는, 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법을 제공하는 데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치는, 영상 파라미터 및 모뎀/네트워크 파라미터를 저장하고, 상기 영상 파라미터 및 상기 모뎀/네트워크 파라미터를 기반으로 입력 영상의 압축 및 압축된 영상의 전송을 제어하는 관리부; 상기 관리부로부터 제공받은 상기 영상 파라미터 및 상기 모뎀/네트워크 파라미터를 기반으로, 상기 관리부의 제어 신호에 따라, 상기 입력 영상의 프레임율(frames per second, FPS)과 상기 입력 영상의 해상도를 결정하여 상기 입력 영상을 전처리하고, 전처리한 상기 입력 영상을 매크로 블록(macro block, MB) 단위로 압축하여 제1 영상 압축 데이터를 획득하며, 획득한 상기 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터를 획득하고, 획득한 상기 제2 영상 압축 데이터로부터 네트워크 전송 스트림을 획득하는 영상 압축부; 및 상기 관리부로부터 제공받은 상기 모뎀/네트워크 파라미터를 기반으로, 상기 관리부의 제어 신호에 따라, 상기 영상 압축부로부터 제공받은 상기 네트워크 전송 스트림으로부터 모뎀 전송 프레임을 획득하고, 획득한 상기 모뎀 전송 프레임을 기초로 무선으로 모뎀 프레임을 전송하는 영상 전송부;를 포함하며, 상기 영상 파라미터는, 영상 전송 제약 시간, 영상 품질 조건, 영상 관심 영역, 고정 비트 레이트(constant bit rate, CBR) 적용 여부, 평균 영상 데이터 속도 및 슬라이스(slice) 구분 정보를 포함하고, 상기 모뎀/네트워크 파라미터는, 모뎀 전송 주기, 모뎀 대역폭, 모뎀 리전(region) 정보 및 전송 프로토콜 정보를 포함한다.
여기서, 상기 영상 압축부는, 상기 입력 영상의 기존 프레임율(FPS), 상기 모뎀 전송 주기 및 상기 영상 전송 제약 시간을 기반으로 상기 입력 영상의 프레임율(FPS)을 결정하고, 상기 영상 품질 조건, 상기 모뎀 대역폭 및 상기 영상 관심 영역을 기반으로 상기 입력 영상의 해상도를 결정하여, 상기 입력 영상을 전처리하는 영상 전처리 모듈;을 포함할 수 있다.
여기서, 상기 영상 전처리 모듈은, 상기 모뎀 전송 주기가 상기 입력 영상의 상기 기존 프레임율(FPS)보다 높으면 상기 입력 영상의 프레임율(FPS)을 상기 기존 프레임율(FPS)로 결정하고, 상기 모뎀 전송 주기가 상기 입력 영상의 상기 기존 프레임율(FPS)보다 낮으면 상기 입력 영상의 프레임율(FPS)을 상기 기존 프레임율(FPS)로부터 다운 샘플링(down sampling)된 프레임율(FPS)로 결정하며, 상기 영상 전송 제약 시간이 미리 설정된 시간보다 작으면 상기 입력 영상의 프레임율(FPS)을 상기 기존 프레임율(FPS)로부터 다운 샘플링(down sampling)된 프레임율(FPS)로 결정하고, 상기 영상 전송 제약 시간이 미리 설정된 시간보다 크면 상기 입력 영상의 프레임율(FPS)을 상기 기존 프레임율(FPS)로 결정하며, 상기 영상 품질 조건이 고정되어 있으면 상기 모뎀 대역폭을 기반으로 상기 입력 영상을 다운 스케일링(down scaling)하거나 상기 영상 관심 영역을 기반으로 상기 입력 영상을 크롭(crop)하여, 상기 입력 영상의 해상도를 결정할 수 있다.
여기서, 상기 영상 압축부는, 상기 평균 영상 데이터 속도, 상기 영상 관심 영역, 상기 고정 비트 레이트(CBR) 적용 여부 및 상기 모뎀 대역폭을 기반으로 매크로 블록(MB) 양자화 파라미터(quantization paratmeter, QP) 맵을 획득하고, 상기 영상 전처리 모듈을 통해 전처리된 상기 입력 영상을 상기 슬라이스(slice) 구분 정보 및 상기 매크로 블록(MB) 양자화 파라미터(QP) 맵을 기반으로 매크로 블록(MB) 단위로 압축하여 상기 제1 영상 압축 데이터 및 매크로 블록(MB) 단위 영상 압축 파라미터를 획득하는 제1 영상 압축 모듈;을 더 포함할 수 있다.
여기서, 상기 제1 영상 압축 모듈은, 상기 평균 영상 데이터 속도를 기반으로 매크로 블록(MB) 양자화 파라미터(QP) 최대값 기준을 설정하고, 상기 영상 관심 영역이 지정되어 있으면 상기 영상 관심 영역에 대한 양자화 파라미터(QP) 최대값 기준과 상기 영상 관심 영역 외의 나머지 영역에 대한 양자화 파라미터(QP) 최대값 기준을 서로 다르게 설정하며, 상기 고정 비트 레이트(CBR)가 적용되어 있으면 상기 모뎀 대역폭을 기준으로 상기 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득하고, 상기 고정 비트 레이트(CBR)가 적용되어 있지 않으면 상기 모뎀 대역폭과 상기 평균 영상 데이터 속도를 기준으로 결정되는 양자화 파라미터(QP) 고정값으로 이루어진 상기 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득할 수 있다.
여기서, 상기 영상 압축부는, 상기 슬라이스(slice) 구분 정보를 기반으로 상기 제1 영상 압축 모듈을 통해 획득된 상기 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 상기 제2 영상 압축 데이터 및 슬라이스(slice) 분류 정보를 획득하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 제2 영상 압축 데이터에 부가 정보를 추가하며, 상기 슬라이스(slice) 분류 정보 및 상기 매크로 블록(MB) 단위 영상 압축 파라미터를 기반으로 영상 디코딩 파라미터를 획득하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 영상 디코딩 파라미터에 부가 정보를 추가하며, 상기 슬라이스(slice) 분류 정보를 기반으로 상기 제2 영상 압축 데이터에 추가된 부가 정보 및 상기 영상 디코딩 파라미터에 추가된 부가 정보를 이용하여 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터를 분류하는 제2 영상 압축 모듈;을 더 포함할 수 있다.
여기서, 상기 영상 압축부는, 상기 전송 프로토콜 정보를 기반으로 상기 제2 영상 압축 모듈을 통해 분류된 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터 각각에 추가된 부가 정보를 제외하여 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터 각각으로부터 네트워크 전송 스트림을 획득하고, 획득한 네트워크 전송 스트림을 상기 모뎀 리전(region) 정보, 상기 제2 영상 압축 데이터에 추가된 부가 정보 및 상기 영상 디코딩 파라미터에 추가된 부가 정보를 기반으로 복수개의 큐(queue)로 이루어지는 우선순위 큐 중 하나의 큐에 할당하는 스트림 생성 모듈;을 더 포함할 수 있다.
여기서, 상기 영상 전송부는, 상기 우선순위 큐를 통해 수신한 네트워크 전송 스트림을 데이터 종류별로 분류하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 네트워크 전송 스트림의 데이터 종류와 상기 네트워크 전송 스트림이 할당된 큐의 우선순위를 이용하여 상기 네트워크 전송 스트림을 모뎀 전송 리전(region)에 할당하여 상기 모뎀 전송 프레임을 획득하는 스트림 분류 모듈; 및 상기 스트림 분류 모듈을 통해 획득된 상기 모뎀 전송 프레임을 기반으로 무선으로 상기 모뎀 프레임을 전송하는 영상 전송 모듈;을 포함할 수 있다.
여기서, 상기 스트림 분류 모듈은, 우선순위가 가장 높은 큐에 할당된 상기 네트워크 전송 스트림은 상기 모뎀 전송 리전(region)에 중복 할당할 수 있다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법은, 영상 파라미터 및 모뎀/네트워크 파라미터를 저장하고, 상기 영상 파라미터 및 상기 모뎀/네트워크 파라미터를 기반으로 입력 영상을 압축하며, 압축된 영상을 전송하는 영상 압축 및 전송 장치의 동작 방법으로서, 상기 영상 파라미터 및 상기 모뎀/네트워크 파라미터를 기반으로, 상기 입력 영상의 프레임율(frames per second, FPS)과 상기 입력 영상의 해상도를 결정하여 상기 입력 영상을 전처리하고, 전처리한 상기 입력 영상을 매크로 블록(macro block, MB) 단위로 압축하여 제1 영상 압축 데이터를 획득하며, 획득한 상기 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터를 획득하고, 획득한 상기 제2 영상 압축 데이터로부터 네트워크 전송 스트림을 획득하는 단계; 및 상기 모뎀/네트워크 파라미터를 기반으로, 상기 네트워크 전송 스트림으로부터 모뎀 전송 프레임을 획득하고, 획득한 상기 모뎀 전송 프레임을 기초로 무선으로 모뎀 프레임을 전송하는 단계;를 포함하며, 상기 영상 파라미터는, 영상 전송 제약 시간, 영상 품질 조건, 영상 관심 영역, 고정 비트 레이트(constant bit rate, CBR) 적용 여부, 평균 영상 데이터 속도 및 슬라이스(slice) 구분 정보를 포함하고, 상기 모뎀/네트워크 파라미터는, 모뎀 전송 주기, 모뎀 대역폭, 모뎀 리전(region) 정보 및 전송 프로토콜 정보를 포함한다.
여기서, 상기 네트워크 전송 스트림 획득 단계는, 상기 입력 영상의 기존 프레임율(FPS), 상기 모뎀 전송 주기 및 상기 영상 전송 제약 시간을 기반으로 상기 입력 영상의 프레임율(FPS)을 결정하고, 상기 영상 품질 조건, 상기 모뎀 대역폭 및 상기 영상 관심 영역을 기반으로 상기 입력 영상의 해상도를 결정하여, 상기 입력 영상을 전처리하는 단계; 상기 평균 영상 데이터 속도, 상기 영상 관심 영역, 상기 고정 비트 레이트(CBR) 적용 여부 및 상기 모뎀 대역폭을 기반으로 매크로 블록(MB) 양자화 파라미터(quantization paratmeter, QP) 맵을 획득하고, 전처리한 상기 입력 영상을 상기 슬라이스(slice) 구분 정보 및 상기 매크로 블록(MB) 양자화 파라미터(QP) 맵을 기반으로 매크로 블록(MB) 단위로 압축하여 상기 제1 영상 압축 데이터 및 매크로 블록(MB) 단위 영상 압축 파라미터를 획득하는 단계; 상기 슬라이스(slice) 구분 정보를 기반으로 상기 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 상기 제2 영상 압축 데이터 및 슬라이스(slice) 분류 정보를 획득하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 제2 영상 압축 데이터에 부가 정보를 추가하며, 상기 슬라이스(slice) 분류 정보 및 상기 매크로 블록(MB) 단위 영상 압축 파라미터를 기반으로 영상 디코딩 파라미터를 획득하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 영상 디코딩 파라미터에 부가 정보를 추가하며, 상기 슬라이스(slice) 분류 정보를 기반으로 상기 제2 영상 압축 데이터에 추가된 부가 정보 및 상기 영상 디코딩 파라미터에 추가된 부가 정보를 이용하여 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터를 분류하는 단계; 및 상기 전송 프로토콜 정보를 기반으로 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터 각각에 추가된 부가 정보를 제외하여 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터 각각으로부터 네트워크 전송 스트림을 획득하고, 획득한 네트워크 전송 스트림을 상기 모뎀 리전(region) 정보, 상기 제2 영상 압축 데이터에 추가된 부가 정보 및 상기 영상 디코딩 파라미터에 추가된 부가 정보를 기반으로 복수개의 큐(queue)로 이루어지는 우선순위 큐 중 하나의 큐에 할당하는 단계;를 포함할 수 있다.
여기서, 상기 모뎀 프레임 전송 단계는, 상기 우선순위 큐를 통해 수신한 네트워크 전송 스트림을 데이터 종류별로 분류하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 네트워크 전송 스트림의 데이터 종류와 상기 네트워크 전송 스트림이 할당된 큐의 우선순위를 이용하여 상기 네트워크 전송 스트림을 모뎀 전송 리전(region)에 할당하여 상기 모뎀 전송 프레임을 획득하는 단계; 및 상기 모뎀 전송 프레임을 기반으로 무선으로 상기 모뎀 프레임을 전송하는 단계;를 포함할 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법 중 어느 하나를 컴퓨터에서 실행시킨다.
본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법에 의하면, 다양한 지표들로 이루어지는 영상 파라미터와 모뎀/네트워크 파라미터를 이용하여 영상을 압축함으로써, 모뎀/네트워크 구조에 적합한 영상 전송 데이터를 생성할 수 있고, 통신 대역폭을 효율적으로 사용하여 영상을 전송할 수 있으며, 무선 통신 상태에 따라 영상 수신부의 디코딩 가능성을 높이는 방향으로 데이터를 전송할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치를 설명하기 위한 블록도이다.
도 2는 도 1에 도시한 영상 전처리 모듈의 동작을 설명하기 위한 도면이다.
도 3은 도 1에 도시한 제1 영상 압축 모듈의 동작을 설명하기 위한 도면이다.
도 4는 도 1에 도시한 제2 영상 압축 모듈의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 부가 정보 추가의 일례를 설명하기 위한 도면이다.
도 6은 도 1에 도시한 스트림 생성 모듈의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 우선순위 큐 할당의 일례를 설명하기 위한 도면이다.
도 8은 도 1에 도시한 스트림 분류 모듈의 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른 모뎀 전송 리전 할당의 일례를 설명하기 위한 도면이다.
도 10은 도 1에 도시한 영상 전송 모듈의 동작을 설명하기 위한 도면이다.
도 11은 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 2는 도 1에 도시한 영상 전처리 모듈의 동작을 설명하기 위한 도면이다.
도 3은 도 1에 도시한 제1 영상 압축 모듈의 동작을 설명하기 위한 도면이다.
도 4는 도 1에 도시한 제2 영상 압축 모듈의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 부가 정보 추가의 일례를 설명하기 위한 도면이다.
도 6은 도 1에 도시한 스트림 생성 모듈의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 우선순위 큐 할당의 일례를 설명하기 위한 도면이다.
도 8은 도 1에 도시한 스트림 분류 모듈의 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른 모뎀 전송 리전 할당의 일례를 설명하기 위한 도면이다.
도 10은 도 1에 도시한 영상 전송 모듈의 동작을 설명하기 위한 도면이다.
도 11은 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다"등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법의 바람직한 실시예에 대해 상세하게 설명한다.
먼저, 도 1을 참조하여 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치에 대하여 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치(100)는 다양한 지표들로 이루어지는 영상 파라미터와 모뎀/네트워크 파라미터를 이용하여 영상을 압축하고, 압축한 영상을 전송한다.
이를 위해, 영상 압축 및 전송 장치(100)는 관리부(110), 영상 압축부(130) 및 영상 전송부(150)를 포함할 수 있다.
관리부(110)는 영상 압축부(130) 및 영상 전송부(150)를 제어하여, 영상 압축 및 전송 장치(100)의 전반적인 동작을 제어한다.
즉, 관리부(110)는 영상 파라미터 및 모뎀/네트워크 파라미터를 저장하고, 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로 입력 영상의 압축 및 압축된 영상의 전송을 제어한다.
여기서, 영상 파라미터는 영상 전송 제약 시간, 영상 품질 조건, 영상 관심 영역, 고정 비트 레이트(constant bit rate, CBR) 적용 여부, 평균 영상 데이터 속도, 슬라이스(slice) 구분 정보 등을 포함할 수 있다. 영상 전송 제약 시간은 실시간성이 요구되는 영상이 전송되어야 하는 시간에 대한 정보를 말한다. 영상 품질 조건은 영상이 보증하여야 하는 품질에 대한 정보를 말한다. 영상 관심 영역은 영상의 전체 영역 중에서 관리자 등에 의해 설정된 특정 영역을 말한다. 평균 영상 데이터 속도는 영상 데이터 속도의 평균값을 말한다. 슬라이스(slice) 구분 정보는 복수개의 매크로 블록(macro block, MB)으로 이루어지는 슬라이스(slice)를 구분하는데 이용되는 정보를 말한다.
그리고, 모뎀/네트워크 파라미터는 모뎀 전송 주기, 모뎀 대역폭, 모뎀 리전(region) 정보, 전송 프로토콜 정보 등을 포함할 수 있다. 모뎀 전송 주기는 모뎀이 데이터를 전송하는 주기를 말한다. 모뎀 대역폭은 모뎀이 이용할 수 있는 최대 전송 속도를 말한다. 모뎀 리전(region) 정보는 MCS(modulation and coding scheme) 레벨, 리전(region) 할당 정보, 리전(region) 크기, 리전(region) 운용 정보 등을 말한다.
영상 압축부(130)는 관리부(110)로부터 제공받은 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 관리부(110)의 제어 신호에 따라 입력 영상을 압축한다.
즉, 영상 압축부(130)는 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 입력 영상의 프레임율(frames per second, FPS)과 입력 영상의 해상도를 결정하여 입력 영상을 전처리할 수 있다.
그리고, 영상 압축부(130)는 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 전처리한 입력 영상을 매크로 블록(MB) 단위로 압축하여 제1 영상 압축 데이터를 획득할 수 있다.
그리고, 영상 압축부(130)는 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 획득한 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터를 획득할 수 있다.
그리고, 영상 압축부(130)는 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 획득한 제2 영상 압축 데이터로부터 네트워크 전송 스트림을 획득할 수 있다.
영상 전송부(150)는 관리부(110)로부터 제공받은 모뎀/네트워크 파라미터를 기반으로, 관리부(110)의 제어 신호에 따라 압축된 영상을 외부로 전송한다.
즉, 영상 전송부(150)는 모뎀/네트워크 파라미터를 기반으로, 영상 압축부(130)로부터 제공받은 네트워크 전송 스트림으로부터 모뎀 전송 프레임을 획득할 수 있다.
그리고, 영상 전송부(150)는 획득한 모뎀 전송 프레임을 기초로 무선으로 모뎀 프레임을 전송할 수 있다.
그러면, 도 1 내지 도 7을 참조하여 본 발명의 바람직한 실시예에 따른 영상 압축부의 구성에 대하여 보다 자세하게 설명한다.
도 2는 도 1에 도시한 영상 전처리 모듈의 동작을 설명하기 위한 도면이고, 도 3은 도 1에 도시한 제1 영상 압축 모듈의 동작을 설명하기 위한 도면이며, 도 4는 도 1에 도시한 제2 영상 압축 모듈의 동작을 설명하기 위한 도면이고, 도 5는 본 발명의 바람직한 실시예에 따른 부가 정보 추가의 일례를 설명하기 위한 도면이며, 도 6은 도 1에 도시한 스트림 생성 모듈의 동작을 설명하기 위한 도면이고, 도 7은 본 발명의 바람직한 실시예에 따른 우선순위 큐 할당의 일례를 설명하기 위한 도면이다.
도 1을 참조하면, 영상 압축부(130)는 영상 압축 제어 모듈(131), 영상 전처리 모듈(133), 제1 영상 압축 모듈(135), 제2 영상 압축 모듈(137) 및 스트림 생성 모듈(139)를 포함할 수 있다.
영상 압축 제어 모듈(131)은 관리부(110)의 제어 신호에 따라, 영상 전처리 모듈(133), 제1 영상 압축 모듈(135), 제2 영상 압축 모듈(137) 및 스트림 생성 모듈(139)을 제어하여, 영상 압축부(130)의 전반적인 동작을 제어한다.
즉, 영상 압축 제어 모듈(131)은 관리부(110)로부터 제공받은 영상 파라미터 및 모뎀/네트워크 파라미터를 영상 전처리 모듈(133), 제1 영상 압축 모듈(135), 제2 영상 압축 모듈(137) 및 스트림 생성 모듈(139)에 제공할 수 있다.
그리고, 영상 압축 제어 모듈(131)은 영상 전처리 모듈(133), 제1 영상 압축 모듈(135), 제2 영상 압축 모듈(137) 및 스트림 생성 모듈(139) 중의 하나의 모듈로부터 제공받은 정보를 다른 모듈들에게 제공할 수 있다.
영상 전처리 모듈(133)은 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 입력 영상의 프레임율(FPS)과 입력 영상의 해상도를 결정하여, 입력 영상을 전처리할 수 있다.
즉, 도 2에 도시된 바와 같이, 영상 전처리 모듈(133)은 입력 영상의 기존 프레임율(FPS), 모뎀 전송 주기 및 영상 전송 제약 시간을 기반으로 입력 영상의 프레임율(FPS)을 결정할 수 있다.
예컨대, 모뎀 전송 주기가 입력 영상의 기존 프레임율(FPS)보다 높으면, 영상 전처리 모듈(133)은 입력 영상의 프레임율(FPS)을 기존 프레임율(FPS)로 결정할 수 있다. 반면, 모뎀 전송 주기가 입력 영상의 기존 프레임율(FPS)보다 낮으면, 영상 전처리 모듈(133)은 입력 영상의 프레임율(FPS)을 기존 프레임율(FPS)로부터 다운 샘플링(down sampling)된 프레임율(FPS)로 결정할 수 있다. 또한, 영상 전송 제약 시간(예컨대, 영상이 전송되어야 하는 최소 시간)이 미리 설정된 시간(예컨대, 영상의 실시간성을 보장하기 위해 미리 설정된 기준 시간)보다 작으면, 영상 전처리 모듈(133)은 입력 영상의 프레임율(FPS)을 기존 프레임율(FPS)로부터 다운 샘플링(down sampling)된 프레임율(FPS)로 결정할 수 있다. 반면, 영상 전송 제약 시간(예컨대, 영상이 전송되어야 하는 최소 시간)이 미리 설정된 시간(예컨대, 영상의 실시간성을 보장하기 위해 미리 설정된 기준 시간)보다 크면, 영상 전처리 모듈(133)은 입력 영상의 프레임율(FPS)을 기존 프레임율(FPS)로 결정할 수 있다. 다시 설명하면, 입력 영상의 프레임율(FPS)과 모뎀의 전송 주기는 보통 일치하지 않는다. 모뎀의 전송 주기가 보통 입력 영상의 프레임율보다 높은 경우에는 입력 영상의 프레임율을 유지하고, 모뎀의 전송 주기가 낮은 경우에는 프레임율을 다운 샘플링할 필요가 있다. 영상 전송 제약시간을 고려하여 영상 전송 시 실시간성이 필요하여 일정 시간 내에는 전송되어야 한다는 시스템 요구사항이 있는 경우 다운 샘플링을 수행하고, 그렇지 않은 경우 입력 영상의 프레임율을 유지할 수 있다.
그리고, 도 2에 도시된 바와 같이, 영상 전처리 모듈(133)은 영상 품질 조건, 모뎀 대역폭 및 영상 관심 영역을 기반으로 입력 영상의 해상도를 결정할 수 있다.
예컨대, 영상 품질 조건이 고정되어 있으면, 영상 전처리 모듈(133)은 모뎀 대역폭을 기반으로 입력 영상을 다운 스케일링(down scaling)하거나 영상 관심 영역을 기반으로 입력 영상을 크롭(crop)하여, 입력 영상의 해상도를 결정할 수 있다. 다시 설명하면, 영상 품질 조건이 고정되어 있는 경우에는 모뎀 MCS(modulation and coding scheme) 및 모뎀 리전(region) 할당에 의해 결정되는 모뎀 대역폭에 의해 전송 가능 용량이 제한되므로 영상을 다운 스케일링하거나 영상의 관심 영역에 따라 크롭(crop)을 시켜야 한다.
제1 영상 압축 모듈(135)은 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 전처리한 입력 영상을 매크로 블록(MB) 단위로 압축하여 제1 영상 압축 데이터를 획득할 수 있다.
즉, 도 3에 도시된 바와 같이, 제1 영상 압축 모듈(135)은 평균 영상 데이터 속도, 영상 관심 영역, 고정 비트 레이트(CBR) 적용 여부 및 모뎀 대역폭을 기반으로 매크로 블록(MB) 양자화 파라미터(quantization paratmeter, QP) 맵을 획득할 수 있다.
예컨대, 제1 영상 압축 모듈(135)은 평균 영상 데이터 속도를 기반으로 매크로 블록(MB) 양자화 파라미터(QP) 최대값 기준을 설정할 수 있다. 이때, 영상 관심 영역이 지정되어 있으면, 제1 영상 압축 모듈(135)은 영상 관심 영역에 대한 양자화 파라미터(QP) 최대값 기준과 영상 관심 영역 외의 나머지 영역에 대한 양자화 파라미터(QP) 최대값 기준을 서로 다르게 설정할 수 있다. 또한, 고정 비트 레이트(CBR)가 적용되어 있으면, 제1 영상 압축 모듈(135)은 모뎀 대역폭을 기준으로 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득할 수 있다. 반면, 고정 비트 레이트(CBR)가 적용되어 있지 않으면, 제1 영상 압축 모듈(135)은 모뎀 대역폭과 평균 영상 데이터 속도를 기준으로 결정되는 양자화 파라미터(QP) 고정값으로 이루어진 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득할 수 있다. 다시 설명하면, 평균 영상 데이터 속도를 확인하여 양자화 파라미터(QP) 최대값 기준을 설정한다. 영상의 관심 영역이 지정되어 있는 경우에는 관심 영역과 기타 영역에 대한 양자화 파라미터(QP) 최대값 기준을 변경한다. 프레임 단위로 고정 비트 레이트(CBR)가 적용되도록 설정되어 있는 경우에는 모뎀 대역폭 기준으로 매크로 블록(MB)별 양자화 파라미터(QP) 값 맵을 생성하여 고정 비트 레이트(CBR) 목표값을 달성할 수 있도록 한다. 고정 비트 레이트(CBR)이 적용되어 있지 않은 경우에는 모뎀 대역폭 기준으로 평균 전송 용량을 맞추기 위해 고정할 양자화 파라미터(QP) 값을 평균 영상 데이터 속도를 기준으로 산정한다.
그리고, 도 3에 도시된 바와 같이, 제1 영상 압축 모듈(135)은 영상 전처리 모듈(133)을 통해 전처리된 입력 영상을 슬라이스(slice) 구분 정보 및 매크로 블록(MB) 양자화 파라미터(QP) 맵을 기반으로 매크로 블록(MB) 단위로 압축하여 제1 영상 압축 데이터 및 매크로 블록(MB) 단위 영상 압축 파라미터를 획득할 수 있다. 여기서, 매크로 블록(MB) 단위 영상 압축 파라미터는 입력 영상으로부터 제1 영상 압축 데이터를 획득하는데 이용되는 정보를 말하며, 예컨대, 매크로 블록(MB) 양자화 파라미터(QP) 맵, 슬라이스(slice) 구분 정보 등을 말한다.
또한, 제1 영상 압축 모듈(135)은 획득한 매크로 블록(MB) 단위 영상 압축 파라미터를 영상 압축 제어 모듈(131)에 제공할 수 있다.
제2 영상 압축 모듈(137)은 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 획득한 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터를 획득할 수 있다.
즉, 도 4에 도시된 바와 같이, 제2 영상 압축 모듈(137)은 슬라이스(slice) 구분 정보를 기반으로 제1 영상 압축 모듈(135)을 통해 획득된 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터 및 슬라이스(slice) 분류 정보를 획득할 수 있다. 여기서, 슬라이스(slice) 분류 정보는 제2 영상 압축 데이터를 구성하는 슬라이스(slice)에 대한 매크로 블록(MB)을 확인하는데 이용되는 정보를 말한다. 이때, 제2 영상 압축 모듈(137)은 도 5에 도시된 바와 같이, 모뎀 리전(region) 정보를 기반으로 제2 영상 압축 데이터에 부가 정보를 추가할 수 있다. 여기서, 부가 정보는 할당 리전(region) 정보, 중요도 등을 말한다. 중요도는 데이터의 유형에 따라 미리 설정되어 있을 수 있으며, 예컨대, 파라미터와 관련된 데이터는 중요도가 높게 설정되고, 영상의 실제 데이터는 중요도가 상대적으로 낮게 설정될 수 있다.
그리고, 도 4에 도시된 바와 같이, 제2 영상 압축 모듈(137)은 슬라이스(slice) 분류 정보 및 매크로 블록(MB) 단위 영상 압축 파라미터를 기반으로 영상 디코딩 파라미터를 획득할 수 있다. 여기서, 영상 디코딩 파라미터는 압축된 영상을 수신한 수신기(도시하지 않음)에서 압축된 영상을 디코딩하여 원래 영상으로 복원할 때 이용되는 정보를 말하며, 예컨대, 매크로 블록(MB) 양자화 파라미터(QP) 맵, 슬라이스(slice) 분류 정보 등을 말한다. 이때, 제2 영상 압축 모듈(137)은 도 5에 도시된 바와 같이, 모뎀 리전(region) 정보를 기반으로 영상 디코딩 파라미터에 부가 정보를 추가할 수 있다.
그리고, 도 4에 도시된 바와 같이, 제2 영상 압축 모듈(137)은 슬라이스(slice) 분류 정보를 기반으로 제2 영상 압축 데이터에 추가된 부가 정보 및 영상 디코딩 파라미터에 추가된 부가 정보를 이용하여 제2 영상 압축 데이터 및 영상 디코딩 파라미터를 그 중요도에 따라 분류할 수 있다.
스트림 생성 모듈(139)은 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 획득한 제2 영상 압축 데이터로부터 네트워크 전송 스트림을 획득할 수 있다.
즉, 도 6에 도시된 바와 같이, 스트림 생성 모듈(139)은 전송 프로토콜 정보를 기반으로 제2 영상 압축 모듈(137)을 통해 분류된 제2 영상 압축 데이터 및 영상 디코딩 파라미터 각각에 추가된 부가 정보를 제외하여 제2 영상 압축 데이터 및 영상 디코딩 파라미터 각각으로부터 네트워크 전송 스트림을 획득할 수 있다.
그리고, 스트림 생성 모듈(139)은 획득한 네트워크 전송 스트림을 모뎀 리전(region) 정보, 제2 영상 압축 데이터에 추가된 부가 정보 및 영상 디코딩 파라미터에 추가된 부가 정보를 기반으로 복수개의 큐(queue)로 이루어지는 우선순위 큐 중 하나의 큐에 할당할 수 있다. 예컨대, 스트림 생성 모듈(139)은 도 7에 도시된 바와 같이, 제2 영상 압축 데이터 및 영상 디코딩 파라미터로부터 획득한 네트워크 전송 스트림들을 그 중요도에 따라 우선순위 큐에 할당할 수 있다.
그러면, 도 1, 도 8 내지 도 10을 참조하여 본 발명의 바람직한 실시예에 따른 영상 전송부부의 구성에 대하여 보다 자세하게 설명한다.
도 8은 도 1에 도시한 스트림 분류 모듈의 동작을 설명하기 위한 도면이고, 도 9는 본 발명의 바람직한 실시예에 따른 모뎀 전송 리전 할당의 일례를 설명하기 위한 도면이며, 도 10은 도 1에 도시한 영상 전송 모듈의 동작을 설명하기 위한 도면이다.
영상 전송부(150)는 영상 전송 제어 모듈(151), 스트림 분류 모듈(153) 및 영상 전송 모듈(155)을 포함할 수 있다.
영상 전송 제어 모듈(151)은 관리부(110)의 제어 신호에 따라, 스트림 분류 모듈(153) 및 영상 전송 모듈(155)을 제어하여, 영상 전송부(150)의 전반적인 동작을 제어한다.
즉, 영상 전송 제어 모듈(151)은 관리부(110)로부터 제공받은 모뎀/네트워크 파라미터를 스트림 분류 모듈(153)에 제공할 수 있다.
그리고, 영상 전송 제어 모듈(151)은 관리부(110)로부터 제공받은 제어 신호에 따라, 영상 전송 모듈(155)을 제어하여 모뎀 프레임을 전송할 수 있다.
또한, 영상 전송 제어 모듈(151)은 스트림 분류 모듈(153) 및 영상 전송 모듈(155) 중의 하나의 모듈로부터 제공받은 정보를 다른 모듈에게 제공할 수 있다.
스트림 분류 모듈(153)은 모뎀/네트워크 파라미터를 기반으로, 스트림 생성 모듈(139)로부터 제공받은 네트워크 전송 스트림으로부터 모뎀 전송 프레임을 획득할 수 있다.
즉, 도 8에 도시된 바와 같이, 스트림 분류 모듈(153)은 우선순위 큐를 통해 수신한 네트워크 전송 스트림을 데이터 종류별로 분류할 수 있다.
그리고, 도 8에 도시된 바와 같이, 스트림 분류 모듈(153)은 모뎀 리전(region) 정보를 기반으로 네트워크 전송 스트림의 데이터 종류와 네트워크 전송 스트림이 할당된 큐의 우선순위를 이용하여 네트워크 전송 스트림을 모뎀 전송 리전(region)에 할당하여 모뎀 전송 프레임을 획득할 수 있다.
이때, 스트림 분류 모듈(153)은 우선순위가 가장 높은 큐에 할당된 네트워크 전송 스트림은 모뎀 전송 리전(region)에 중복 할당할 수 있다. 즉, 데이터 중요도에 따라 디코딩 시 필수적인 정보인 영상 디코딩 파라미터와 같은 정보는 강건한 반복 전송을 수행할 수 있도록 모뎀 전송 리전(region)에 중복 할당할 수 있다. 보통 영상의 경우 참조 프레임으로 사용되는 I 프레임은 데이터가 크고 그 이외의 P 또는 B 프레임은 데이터량이 작은데 모뎀 전송 리전(region) 할당이 적게 되는 경우에는 중요도가 높은 데이터를 중복 전송할 수 있다.
예컨대, 도 9에 도시된 바와 같이, "우선순위 큐(0)"에 할당된 네트워크 전송 스트림(즉, 영상 디코딩 파라미터)은 모뎀 전송 리전(region) "AH"에 중복 할당할 수 있다. 반면, "우선순위 큐(1)"에 할당된 네트워크 전송 스트림(즉, 제2 영상 압축 데이터)은 모뎀 전송 리전(region) "UL"에 한번만 할당할 수 있다. 즉, 중요도가 높은 영상 디코딩 파라미터는 중복 할당하고, 제2 영상 압축 데이터는 모뎀 리전(region) 운용 정보에 따라 리전(region)을 할당할 수 있다.
그리고, 도 9에 도시된 모뎀 프레임의 일례의 경우, 리전(region)의 종류가 "DL(Downlink)", "UL(Uplink)" 및 "AH(adhoc)"으로 구분되어 있다. 그리고, 도 9에 도시된 모뎀 프레임은 "DL", "UL" 및 "AH"이 주기적으로 반복도는 구조로 이루어진다. 여기서, "DL", "UL" 및 "AH"는 각 리전(region)의 길이가 다르며, 각 리전(region)은 독립적으로 MCS(modulation and coding scheme)를 설정할 수 있다. 시스템 운용에 따라 각 단말에는 주기적으로 리전(region) 할당 정보가 설정되게 된다. 그리고, 각 단말은 리전(region)별 MCS 정보와 리전(region) 할당 정보에 따라 전송 가능 용량을 알 수 있고, 해당 정보를 기분으로 전송할 영상 정보를 중요도에 따라 할당하여 전송할 수 있다.
영상 전송 모듈(155)은 스트림 분류 모듈(153)을 통해 획득된 모뎀 전송 프레임을 기반으로 무선으로 모뎀 프레임을 전송할 수 있다.
즉, 도 10에 도시된 바와 같이, 스트림 분류 모델(153)로부터 제공받은 모뎀 전송 프레임을 영상 전송 제어 모듈(151)의 제어 신호에 따라 외부로 전송할 수 있다.
그러면, 도 11을 참조하여 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법에 대하여 설명한다.
도 11은 본 발명의 바람직한 실시예에 따른 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 영상 압축 및 전송 장치(100)는 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 입력 영상의 프레임율(FPS)과 해상도를 결정하여, 입력 영상을 전처리한다(S110).
즉, 영상 압축 및 전송 장치(100)는 모뎀 전송 주기가 입력 영상의 기존 프레임율(FPS)보다 높으면 입력 영상의 프레임율(FPS)을 기존 프레임율(FPS)로 결정하고, 모뎀 전송 주기가 입력 영상의 기존 프레임율(FPS)보다 낮으면 입력 영상의 프레임율(FPS)을 기존 프레임율(FPS)로부터 다운 샘플링(down sampling)된 프레임율(FPS)로 결정할 수 있다. 또한, 영상 압축 및 전송 장치(100)는 영상 전송 제약 시간이 미리 설정된 시간보다 작으면 입력 영상의 프레임율(FPS)을 기존 프레임율(FPS)로부터 다운 샘플링(down sampling)된 프레임율(FPS)로 결정하고, 영상 전송 제약 시간이 미리 설정된 시간보다 크면 영상 전처리 모듈(133)은 입력 영상의 프레임율(FPS)을 기존 프레임율(FPS)로 결정할 수 있다.
그리고, 영상 압축 및 전송 장치(100)는 영상 품질 조건이 고정되어 있으면, 모뎀 대역폭을 기반으로 입력 영상을 다운 스케일링(down scaling)하거나 영상 관심 영역을 기반으로 입력 영상을 크롭(crop)하여, 입력 영상의 해상도를 결정할 수 있다.
그런 다음, 영상 압축 및 전송 장치(100)는 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 전처리한 입력 영상을 매크로 블록(MB) 단위로 압축하여 제1 영상 압축 데이터를 획득한다(S120).
즉, 영상 압축 및 전송 장치(100)는 평균 영상 데이터 속도, 영상 관심 영역, 고정 비트 레이트(CBR) 적용 여부 및 모뎀 대역폭을 기반으로 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득할 수 있다. 예컨대, 영상 압축 및 전송 장치(100)는 평균 영상 데이터 속도를 기반으로 매크로 블록(MB) 양자화 파라미터(QP) 최대값 기준을 설정할 수 있다. 이때, 영상 압축 및 전송 장치(100)는 영상 관심 영역이 지정되어 있으면 영상 관심 영역에 대한 양자화 파라미터(QP) 최대값 기준과 영상 관심 영역 외의 나머지 영역에 대한 양자화 파라미터(QP) 최대값 기준을 서로 다르게 설정할 수 있다. 또한, 영상 압축 및 전송 장치(100)는 고정 비트 레이트(CBR)가 적용되어 있으면 모뎀 대역폭을 기준으로 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득하고, 고정 비트 레이트(CBR)가 적용되어 있지 않으면 모뎀 대역폭과 평균 영상 데이터 속도를 기준으로 결정되는 양자화 파라미터(QP) 고정값으로 이루어진 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득할 수 있다.
그리고, 영상 압축 및 전송 장치(100)는 전처리된 입력 영상을 슬라이스(slice) 구분 정보 및 매크로 블록(MB) 양자화 파라미터(QP) 맵을 기반으로 매크로 블록(MB) 단위로 압축하여 제1 영상 압축 데이터 및 매크로 블록(MB) 단위 영상 압축 파라미터를 획득할 수 있다.
그런 다음, 영상 압축 및 전송 장치(100)는 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터를 획득한다(S130).
즉, 영상 압축 및 전송 장치(100)는 슬라이스(slice) 구분 정보를 기반으로 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터 및 슬라이스(slice) 분류 정보를 획득할 수 있다. 이때, 영상 압축 및 전송 장치(100)는 모뎀 리전(region) 정보를 기반으로 제2 영상 압축 데이터에 부가 정보를 추가할 수 있다.
그리고, 영상 압축 및 전송 장치(100)는 슬라이스(slice) 분류 정보 및 매크로 블록(MB) 단위 영상 압축 파라미터를 기반으로 영상 디코딩 파라미터를 획득할 수 있다. 이때, 영상 압축 및 전송 장치(100)는 모뎀 리전(region) 정보를 기반으로 영상 디코딩 파라미터에 부가 정보를 추가할 수 있다.
그리고, 영상 압축 및 전송 장치(100)는 슬라이스(slice) 분류 정보를 기반으로 제2 영상 압축 데이터에 추가된 부가 정보 및 영상 디코딩 파라미터에 추가된 부가 정보를 이용하여 제2 영상 압축 데이터 및 영상 디코딩 파라미터를 분류할 수 있다.
그런 다음, 영상 압축 및 전송 장치(100)는 영상 파라미터 및 모뎀/네트워크 파라미터를 기반으로, 제2 영상 압축 데이터로부터 네트워크 전송 스트림을 획득한다(S140).
즉, 영상 압축 및 전송 장치(100)는 전송 프로토콜 정보를 기반으로 제2 영상 압축 데이터 및 영상 디코딩 파라미터 각각에 추가된 부가 정보를 제외하여 제2 영상 압축 데이터 및 영상 디코딩 파라미터 각각으로부터 네트워크 전송 스트림을 획득할 수 있다.
그리고, 영상 압축 및 전송 장치(100)는 획득한 네트워크 전송 스트림을 모뎀 리전(region) 정보, 제2 영상 압축 데이터에 추가된 부가 정보 및 영상 디코딩 파라미터에 추가된 부가 정보를 기반으로 복수개의 큐(queue)로 이루어지는 우선순위 큐 중 하나의 큐에 할당할 수 있다.
그런 다음, 영상 압축 및 전송 장치(100)는 모뎀/네트워크 파라미터를 기반으로, 네트워크 전송 스트림으로부터 모뎀 전송 프레임을 획득한다(S150).
즉, 영상 압축 및 전송 장치(100)는 모뎀 리전(region) 정보를 기반으로 네트워크 전송 스트림의 데이터 종류와 네트워크 전송 스트림이 할당된 큐의 우선순위를 이용하여 네트워크 전송 스트림을 모뎀 전송 리전(region)에 할당하여 모뎀 전송 프레임을 획득할 수 있다. 이때, 영상 압축 및 전송 장치(100)는 우선순위가 가장 높은 큐에 할당된 네트워크 전송 스트림은 모뎀 전송 리전(region)에 중복 할당할 수 있다.
이후, 영상 압축 및 전송 장치(100)는 모뎀 전송 프레임을 기초로 무선으로 모뎀 프레임을 전송한다(S160).
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 영상 압축 및 전송 장치,
110 : 관리부,
130 : 영상 압축부,
131 : 영상 압축 제어 모듈, 133 : 영상 전처리 모듈,
135 : 제1 영상 압축 모듈, 137 : 제2 영상 압축 모듈,
139 : 스트림 생성 모듈,
150 : 영상 전송부,
151 : 영상 전송 제어 모듈, 153 : 스트림 분류 모듈,
155 : 영상 전송 모듈
110 : 관리부,
130 : 영상 압축부,
131 : 영상 압축 제어 모듈, 133 : 영상 전처리 모듈,
135 : 제1 영상 압축 모듈, 137 : 제2 영상 압축 모듈,
139 : 스트림 생성 모듈,
150 : 영상 전송부,
151 : 영상 전송 제어 모듈, 153 : 스트림 분류 모듈,
155 : 영상 전송 모듈
Claims (13)
- 영상 파라미터 및 모뎀/네트워크 파라미터를 저장하고, 상기 영상 파라미터 및 상기 모뎀/네트워크 파라미터를 기반으로 입력 영상의 압축 및 압축된 영상의 전송을 제어하는 관리부;
상기 관리부로부터 제공받은 상기 영상 파라미터 및 상기 모뎀/네트워크 파라미터를 기반으로, 상기 관리부의 제어 신호에 따라, 상기 입력 영상의 프레임율(frames per second, FPS)과 상기 입력 영상의 해상도를 결정하여 상기 입력 영상을 전처리하고, 전처리한 상기 입력 영상을 매크로 블록(macro block, MB) 단위로 압축하여 제1 영상 압축 데이터를 획득하며, 획득한 상기 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터를 획득하고, 획득한 상기 제2 영상 압축 데이터로부터 네트워크 전송 스트림을 획득하는 영상 압축부; 및
상기 관리부로부터 제공받은 상기 모뎀/네트워크 파라미터를 기반으로, 상기 관리부의 제어 신호에 따라, 상기 영상 압축부로부터 제공받은 상기 네트워크 전송 스트림으로부터 모뎀 전송 프레임을 획득하고, 획득한 상기 모뎀 전송 프레임을 기초로 무선으로 모뎀 프레임을 전송하는 영상 전송부;
를 포함하며,
상기 영상 파라미터는,
영상 전송 제약 시간, 영상 품질 조건, 영상 관심 영역, 고정 비트 레이트(constant bit rate, CBR) 적용 여부, 평균 영상 데이터 속도 및 슬라이스(slice) 구분 정보를 포함하고,
상기 모뎀/네트워크 파라미터는,
모뎀 전송 주기, 모뎀 대역폭, 모뎀 리전(region) 정보 및 전송 프로토콜 정보를 포함하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 제1항에서,
상기 영상 압축부는,
상기 입력 영상의 기존 프레임율(FPS), 상기 모뎀 전송 주기 및 상기 영상 전송 제약 시간을 기반으로 상기 입력 영상의 프레임율(FPS)을 결정하고, 상기 영상 품질 조건, 상기 모뎀 대역폭 및 상기 영상 관심 영역을 기반으로 상기 입력 영상의 해상도를 결정하여, 상기 입력 영상을 전처리하는 영상 전처리 모듈;을 포함하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 제2항에서,
상기 영상 전처리 모듈은,
상기 모뎀 전송 주기가 상기 입력 영상의 상기 기존 프레임율(FPS)보다 높으면 상기 입력 영상의 프레임율(FPS)을 상기 기존 프레임율(FPS)로 결정하고, 상기 모뎀 전송 주기가 상기 입력 영상의 상기 기존 프레임율(FPS)보다 낮으면 상기 입력 영상의 프레임율(FPS)을 상기 기존 프레임율(FPS)로부터 다운 샘플링(down sampling)된 프레임율(FPS)로 결정하며, 상기 영상 전송 제약 시간이 미리 설정된 시간보다 작으면 상기 입력 영상의 프레임율(FPS)을 상기 기존 프레임율(FPS)로부터 다운 샘플링(down sampling)된 프레임율(FPS)로 결정하고, 상기 영상 전송 제약 시간이 미리 설정된 시간보다 크면 상기 입력 영상의 프레임율(FPS)을 상기 기존 프레임율(FPS)로 결정하며,
상기 영상 품질 조건이 고정되어 있으면 상기 모뎀 대역폭을 기반으로 상기 입력 영상을 다운 스케일링(down scaling)하거나 상기 영상 관심 영역을 기반으로 상기 입력 영상을 크롭(crop)하여, 상기 입력 영상의 해상도를 결정하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 제2항에서,
상기 영상 압축부는,
상기 평균 영상 데이터 속도, 상기 영상 관심 영역, 상기 고정 비트 레이트(CBR) 적용 여부 및 상기 모뎀 대역폭을 기반으로 매크로 블록(MB) 양자화 파라미터(quantization paratmeter, QP) 맵을 획득하고, 상기 영상 전처리 모듈을 통해 전처리된 상기 입력 영상을 상기 슬라이스(slice) 구분 정보 및 상기 매크로 블록(MB) 양자화 파라미터(QP) 맵을 기반으로 매크로 블록(MB) 단위로 압축하여 상기 제1 영상 압축 데이터 및 매크로 블록(MB) 단위 영상 압축 파라미터를 획득하는 제1 영상 압축 모듈;을 더 포함하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 제4항에서,
상기 제1 영상 압축 모듈은,
상기 평균 영상 데이터 속도를 기반으로 매크로 블록(MB) 양자화 파라미터(QP) 최대값 기준을 설정하고, 상기 영상 관심 영역이 지정되어 있으면 상기 영상 관심 영역에 대한 양자화 파라미터(QP) 최대값 기준과 상기 영상 관심 영역 외의 나머지 영역에 대한 양자화 파라미터(QP) 최대값 기준을 서로 다르게 설정하며, 상기 고정 비트 레이트(CBR)가 적용되어 있으면 상기 모뎀 대역폭을 기준으로 상기 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득하고, 상기 고정 비트 레이트(CBR)가 적용되어 있지 않으면 상기 모뎀 대역폭과 상기 평균 영상 데이터 속도를 기준으로 결정되는 양자화 파라미터(QP) 고정값으로 이루어진 상기 매크로 블록(MB) 양자화 파라미터(QP) 맵을 획득하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 제4항에서,
상기 영상 압축부는,
상기 슬라이스(slice) 구분 정보를 기반으로 상기 제1 영상 압축 모듈을 통해 획득된 상기 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 상기 제2 영상 압축 데이터 및 슬라이스(slice) 분류 정보를 획득하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 제2 영상 압축 데이터에 부가 정보를 추가하며, 상기 슬라이스(slice) 분류 정보 및 상기 매크로 블록(MB) 단위 영상 압축 파라미터를 기반으로 영상 디코딩 파라미터를 획득하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 영상 디코딩 파라미터에 부가 정보를 추가하며, 상기 슬라이스(slice) 분류 정보를 기반으로 상기 제2 영상 압축 데이터에 추가된 부가 정보 및 상기 영상 디코딩 파라미터에 추가된 부가 정보를 이용하여 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터를 분류하는 제2 영상 압축 모듈;을 더 포함하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 제6항에서,
상기 영상 압축부는,
상기 전송 프로토콜 정보를 기반으로 상기 제2 영상 압축 모듈을 통해 분류된 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터 각각에 추가된 부가 정보를 제외하여 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터 각각으로부터 네트워크 전송 스트림을 획득하고, 획득한 네트워크 전송 스트림을 상기 모뎀 리전(region) 정보, 상기 제2 영상 압축 데이터에 추가된 부가 정보 및 상기 영상 디코딩 파라미터에 추가된 부가 정보를 기반으로 복수개의 큐(queue)로 이루어지는 우선순위 큐 중 하나의 큐에 할당하는 스트림 생성 모듈;을 더 포함하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 제7항에서,
상기 영상 전송부는,
상기 우선순위 큐를 통해 수신한 네트워크 전송 스트림을 데이터 종류별로 분류하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 네트워크 전송 스트림의 데이터 종류와 상기 네트워크 전송 스트림이 할당된 큐의 우선순위를 이용하여 상기 네트워크 전송 스트림을 모뎀 전송 리전(region)에 할당하여 상기 모뎀 전송 프레임을 획득하는 스트림 분류 모듈; 및
상기 스트림 분류 모듈을 통해 획득된 상기 모뎀 전송 프레임을 기반으로 무선으로 상기 모뎀 프레임을 전송하는 영상 전송 모듈;
을 포함하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 제8항에서,
상기 스트림 분류 모듈은,
상기 우선순위 큐 중에서 우선순위가 가장 높은 큐에 할당된 상기 네트워크 전송 스트림은 상기 모뎀 전송 리전(region)에 중복 할당하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치. - 영상 파라미터 및 모뎀/네트워크 파라미터를 저장하고, 상기 영상 파라미터 및 상기 모뎀/네트워크 파라미터를 기반으로 입력 영상을 압축하며, 압축된 영상을 전송하는 영상 압축 및 전송 장치의 동작 방법으로서,
상기 영상 파라미터 및 상기 모뎀/네트워크 파라미터를 기반으로, 상기 입력 영상의 프레임율(frames per second, FPS)과 상기 입력 영상의 해상도를 결정하여 상기 입력 영상을 전처리하고, 전처리한 상기 입력 영상을 매크로 블록(macro block, MB) 단위로 압축하여 제1 영상 압축 데이터를 획득하며, 획득한 상기 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 제2 영상 압축 데이터를 획득하고, 획득한 상기 제2 영상 압축 데이터로부터 네트워크 전송 스트림을 획득하는 단계; 및
상기 모뎀/네트워크 파라미터를 기반으로, 상기 네트워크 전송 스트림으로부터 모뎀 전송 프레임을 획득하고, 획득한 상기 모뎀 전송 프레임을 기초로 무선으로 모뎀 프레임을 전송하는 단계;
를 포함하며,
상기 영상 파라미터는,
영상 전송 제약 시간, 영상 품질 조건, 영상 관심 영역, 고정 비트 레이트(constant bit rate, CBR) 적용 여부, 평균 영상 데이터 속도 및 슬라이스(slice) 구분 정보를 포함하고,
상기 모뎀/네트워크 파라미터는,
모뎀 전송 주기, 모뎀 대역폭, 모뎀 리전(region) 정보 및 전송 프로토콜 정보를 포함하는,
모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법. - 제10항에서,
상기 네트워크 전송 스트림 획득 단계는,
상기 입력 영상의 기존 프레임율(FPS), 상기 모뎀 전송 주기 및 상기 영상 전송 제약 시간을 기반으로 상기 입력 영상의 프레임율(FPS)을 결정하고, 상기 영상 품질 조건, 상기 모뎀 대역폭 및 상기 영상 관심 영역을 기반으로 상기 입력 영상의 해상도를 결정하여, 상기 입력 영상을 전처리하는 단계;
상기 평균 영상 데이터 속도, 상기 영상 관심 영역, 상기 고정 비트 레이트(CBR) 적용 여부 및 상기 모뎀 대역폭을 기반으로 매크로 블록(MB) 양자화 파라미터(quantization paratmeter, QP) 맵을 획득하고, 전처리한 상기 입력 영상을 상기 슬라이스(slice) 구분 정보 및 상기 매크로 블록(MB) 양자화 파라미터(QP) 맵을 기반으로 매크로 블록(MB) 단위로 압축하여 상기 제1 영상 압축 데이터 및 매크로 블록(MB) 단위 영상 압축 파라미터를 획득하는 단계;
상기 슬라이스(slice) 구분 정보를 기반으로 상기 제1 영상 압축 데이터로부터 슬라이스(slice) 단위로 이루어지는 상기 제2 영상 압축 데이터 및 슬라이스(slice) 분류 정보를 획득하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 제2 영상 압축 데이터에 부가 정보를 추가하며, 상기 슬라이스(slice) 분류 정보 및 상기 매크로 블록(MB) 단위 영상 압축 파라미터를 기반으로 영상 디코딩 파라미터를 획득하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 영상 디코딩 파라미터에 부가 정보를 추가하며, 상기 슬라이스(slice) 분류 정보를 기반으로 상기 제2 영상 압축 데이터에 추가된 부가 정보 및 상기 영상 디코딩 파라미터에 추가된 부가 정보를 이용하여 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터를 분류하는 단계; 및
상기 전송 프로토콜 정보를 기반으로 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터 각각에 추가된 부가 정보를 제외하여 상기 제2 영상 압축 데이터 및 상기 영상 디코딩 파라미터 각각으로부터 네트워크 전송 스트림을 획득하고, 획득한 네트워크 전송 스트림을 상기 모뎀 리전(region) 정보, 상기 제2 영상 압축 데이터에 추가된 부가 정보 및 상기 영상 디코딩 파라미터에 추가된 부가 정보를 기반으로 복수개의 큐(queue)로 이루어지는 우선순위 큐 중 하나의 큐에 할당하는 단계;
를 포함하는 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법. - 제11항에서,
상기 모뎀 프레임 전송 단계는,
상기 우선순위 큐를 통해 수신한 네트워크 전송 스트림을 데이터 종류별로 분류하고, 상기 모뎀 리전(region) 정보를 기반으로 상기 네트워크 전송 스트림의 데이터 종류와 상기 네트워크 전송 스트림이 할당된 큐의 우선순위를 이용하여 상기 네트워크 전송 스트림을 모뎀 전송 리전(region)에 할당하여 상기 모뎀 전송 프레임을 획득하는 단계; 및
상기 모뎀 전송 프레임을 기반으로 무선으로 상기 모뎀 프레임을 전송하는 단계;
를 포함하는 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법. - 제10항 내지 제12항 중 어느 한 항에 기재된 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치의 동작 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200148601A KR102324724B1 (ko) | 2020-11-09 | 2020-11-09 | 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200148601A KR102324724B1 (ko) | 2020-11-09 | 2020-11-09 | 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102324724B1 true KR102324724B1 (ko) | 2021-11-10 |
Family
ID=78500176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200148601A KR102324724B1 (ko) | 2020-11-09 | 2020-11-09 | 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102324724B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024025160A1 (ko) * | 2022-07-29 | 2024-02-01 | 삼성전자 주식회사 | 저지연 스트리밍을 위해 동영상을 적응적으로 인코딩하는 방법 및 컴퓨팅 장치 |
| WO2024135900A1 (ko) * | 2022-12-23 | 2024-06-27 | 한국전자기술연구원 | 프레임 비율이 다른 모달리티의 정합 처리를 위한 뉴럴 네트워크 및 이를 적용한 데이터 처리 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120010090A (ko) * | 2010-07-20 | 2012-02-02 | 삼성전자주식회사 | Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치 |
| US20120054214A1 (en) * | 2010-08-30 | 2012-03-01 | Sony Corporation | Transmission apparatus and method, reception apparatus and method, and transmission and reception system |
-
2020
- 2020-11-09 KR KR1020200148601A patent/KR102324724B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120010090A (ko) * | 2010-07-20 | 2012-02-02 | 삼성전자주식회사 | Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치 |
| US20120054214A1 (en) * | 2010-08-30 | 2012-03-01 | Sony Corporation | Transmission apparatus and method, reception apparatus and method, and transmission and reception system |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024025160A1 (ko) * | 2022-07-29 | 2024-02-01 | 삼성전자 주식회사 | 저지연 스트리밍을 위해 동영상을 적응적으로 인코딩하는 방법 및 컴퓨팅 장치 |
| WO2024135900A1 (ko) * | 2022-12-23 | 2024-06-27 | 한국전자기술연구원 | 프레임 비율이 다른 모달리티의 정합 처리를 위한 뉴럴 네트워크 및 이를 적용한 데이터 처리 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020239126A1 (en) | Methods and systems for relaying feature-driven communications | |
| US10623690B2 (en) | Camera system | |
| KR102324724B1 (ko) | 모뎀 및 네트워크의 파라미터를 이용한 영상 압축 및 전송 장치 및 이의 동작 방법 | |
| US7027506B2 (en) | Object-based bit rate control method and system thereof | |
| KR101146162B1 (ko) | 멀티-레벨 이미지의 적응 압축 용이 방법 | |
| CN112771859A (zh) | 基于感兴趣区域的视频数据编码方法、装置和存储介质 | |
| US20160065978A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| EP3293974B1 (en) | Quantization parameter determination method and image capture apparatus | |
| US20200314682A1 (en) | Bit rate control method, bit rate control device, and wireless communication apparatus | |
| WO2020239117A1 (en) | Methods and apparatuses for feature-driven machine-to-machine communications | |
| US20230023219A1 (en) | Information processing device and method | |
| CN107750456B (zh) | 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码 | |
| JPH09200758A (ja) | 画像符号化装置 | |
| US9258557B2 (en) | Rate optimization for scalable video transmission | |
| CN117499655A (zh) | 图像编码方法、装置、设备、存储介质及程序产品 | |
| WO2021062624A1 (zh) | 可移动平台的图像处理方法、装置、可移动平台及介质 | |
| US20200084467A1 (en) | Low light compression | |
| US10129551B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP6999633B2 (ja) | ビデオ記録システム内の複数のカメラの間での適応的ストレージ | |
| JP7310148B2 (ja) | メディア符号化方法および装置 | |
| CN111492657B (zh) | 基于脸部区域检测的光场视频压缩 | |
| US20240048501A1 (en) | Method and system for transmitting data by radio signals | |
| KR20230069817A (ko) | 가변 양자화 파라미터 기반의 영상 부호화 및 복호화 방법 및 장치 | |
| US11399180B1 (en) | Video encoder with quantization control | |
| WO2024069833A1 (ja) | 情報処理システム、情報処理装置及び情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |