KR20220073078A - System and method for real time processing and transferring images based ip - Google Patents

System and method for real time processing and transferring images based ip Download PDF

Info

Publication number
KR20220073078A
KR20220073078A KR1020200160806A KR20200160806A KR20220073078A KR 20220073078 A KR20220073078 A KR 20220073078A KR 1020200160806 A KR1020200160806 A KR 1020200160806A KR 20200160806 A KR20200160806 A KR 20200160806A KR 20220073078 A KR20220073078 A KR 20220073078A
Authority
KR
South Korea
Prior art keywords
image
image processing
interrupt
transmission
interface adapter
Prior art date
Application number
KR1020200160806A
Other languages
Korean (ko)
Inventor
김창수
Original Assignee
주식회사 솔레이웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 솔레이웍스 filed Critical 주식회사 솔레이웍스
Priority to KR1020200160806A priority Critical patent/KR20220073078A/en
Publication of KR20220073078A publication Critical patent/KR20220073078A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals

Abstract

본 발명은 IP기반 실시간 영상 처리 및 전송을 위한 시스템 및 그 방법에 관한 것으로, 영상 인터페이스 어댑터를 통해 특정 영상의 규격에 따라 사전에 미리 설정하거나, 실제 처리할 특정 영상으로부터 직접 추출한 수직 동기(Vertical Sync) 신호에 맞추어 인터럽트를 생성하여 제공하면, 상기 영상 처리 및 전송을 담당하는 장치는 상기 제공된 인터럽트를 기준으로 해당 영상을 처리하여 전송함으로써, 상기 영상 처리 및 전송에 대한 지연 없이 주어진 시간에 원하는 영상을 안정적으로 제공할 수 있도록 하는 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for IP-based real-time image processing and transmission, and vertical sync (Vertical Sync) directly extracted from a specific image to be processed or set in advance according to the specification of a specific image through a video interface adapter. ) signal is generated and provided, the device in charge of image processing and transmission processes and transmits the corresponding image based on the provided interrupt, thereby providing a desired image at a given time without delay for image processing and transmission. It relates to a system and method for stably providing it.

Description

IP기반 실시간 영상 처리 및 전송을 위한 시스템 및 그 방법{SYSTEM AND METHOD FOR REAL TIME PROCESSING AND TRANSFERRING IMAGES BASED IP}System and method for IP-based real-time image processing and transmission

본 발명은 IP기반 실시간 영상 처리 및 전송을 위한 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 영상 인터페이스 어댑터를 통해 특정 영상의 규격에 따라 사전에 미리 설정하거나, 실제 처리할 특정 영상으로부터 직접 추출한 수직 동기(Vertical Sync) 신호에 맞추어 인터럽트를 생성하여 제공하면, 상기 영상 처리 및 전송을 담당하는 장치는 상기 제공된 인터럽트를 기준으로 해당 영상을 처리하여 전송함으로써, 상기 영상 처리 및 전송에 대한 지연 없이 주어진 시간에 원하는 영상을 안정적으로 제공할 수 있도록 하는 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for IP-based real-time image processing and transmission, and more particularly, to a vertical image directly extracted from a specific image to be processed or set in advance according to the specification of a specific image through a video interface adapter. When an interrupt is generated and provided according to a vertical sync signal, the device in charge of processing and transmitting the image processes and transmits the image based on the provided interrupt, thereby providing a given time without delay for processing and transmitting the image. It relates to a system and method for stably providing a desired image to a user.

최근 영상처리 기술의 급속하게 발전하고 있고, 전염병의 확산과 맞물려 비대면 기술과 관련 산업이 빠르게 성장하고 있다. 특히 화상회의, 영상 스트리밍과 같이 영상의 실시간 처리 및 전송에 대한 대중의 관심이 증대되고 있다.Recently, image processing technology is rapidly developing, and non-face-to-face technology and related industries are rapidly growing in line with the spread of infectious diseases. In particular, public interest in real-time processing and transmission of images, such as video conferencing and video streaming, is increasing.

또한 최근에는 방송통신융합의 트렌드와 5G(Generation)와 같은 IT기술의 발달로 저 지연 광대역 네트워크는 기존의 데이터 이외에도 고화질의 영상을 실시간으로 전송할 수 있는 여건이 마련되고 있다.In addition, with the recent trend of broadcasting and communication convergence and the development of IT technologies such as 5G (Generation), low-latency broadband networks are being prepared to transmit high-definition images in real time in addition to existing data.

또한 현재 영상 송수신은, 기존 SDI 케이블 기반에서 IP기반으로 진화하고 있으며, IP기반의 영상 송수신은 하드웨어 보다 소프트웨어 기반의 처리가 더 효율적이다. 특히 고화질, 프레임 레이드(Frame Rate)에서는, 지연이나 끊김 없이 영상을 송수신하는 것이 매우 중요하다.In addition, current video transmission and reception is evolving from the existing SDI cable-based to IP-based, and IP-based video transmission/reception is more efficient in software-based processing than hardware. In particular, in high quality and frame rate, it is very important to transmit and receive images without delay or interruption.

현재 실시간으로 영상(음성 포함)을 소프트웨어적으로 처리하는 응용 프로그램이 동작하는 플랫폼은, 윈도우즈(Widows), 리눅스(Linux), 안드로이드(android) 등과 같이 비 실시간 운영체제(Non Real Time Operating System)를 기반으로 하기 때문에 응용 프로그램이 실시간 영상을 처리하는 데 많은 제약과 한계가 있다.Currently, a platform on which an application program that processes video (including voice) software in real time operates is based on a Non Real Time Operating System such as Windows, Linux, and Android. Therefore, there are many restrictions and limitations in the application program processing real-time images.

예를 들어, 60프레임 레이트(즉, 60FPS(Frame Per Second))의 영상은 16ms의 영상 프레임 간격을 가지고 있으나, 운영체제의 태스크 스위칭(스케줄링)은, 태스크 스위칭 기간에 따라 특정 태스크에 리소스(CPU 등)를 할당하는 선점 (preemptive) 방식이고, 수ms ~ 수십 ms에 달하는 태스크 스위칭 기간을 가지고 있어, 주어진 영상 프레임을 주어진 시간 내에 처리하기 위한 리소스를 할당받지 못하는 문제점이 있다.For example, an image at a 60 frame rate (i.e., 60 FPS (Frame Per Second)) has a video frame interval of 16 ms, but task switching (scheduling) of the operating system provides resources (CPU, etc.) to a specific task according to the task switching period. ), and has a task switching period ranging from several ms to several tens of ms, there is a problem in that resources for processing a given image frame within a given time cannot be allocated.

특히, 운영체제는 수직 동기(즉, Vertical Sync)신호를 지원하지 못하므로, 영상을 처리하는 응용 프로그램은 영상 처리를 위한 타이밍을 획득하지 못해, 실시간으로 영상을 처리하지 못하는 문제점이 있다.In particular, since the operating system does not support a vertical sync (ie, vertical sync) signal, an image processing application program cannot obtain a timing for image processing, and thus cannot process an image in real time.

이러한 문제점을 해결하기 위해 최근에는, 운영체제에서 지원하는 고정밀 타이머(Timer)를 이용하여 무한루프를 실행함으로써, 영상 처리를 위한 상기 CPU의 점유율을 높이는 방식이 있으나, 영상 처리가 완료되었음에도 불필요한 CPU 점유율을 높이는 매우 비효율적인 방식이다.In order to solve this problem, recently, there is a method of increasing the CPU occupancy for image processing by executing an infinite loop using a high-precision timer supported by the operating system. Height is a very inefficient method.

따라서 영상 처리 및 전송을 위한 CPU를 효율적으로 할당하고, 영상 처리 및 전송을 위한 타이밍을 제공할 수 있다면, 영상을 실시간으로 처리하여 전송할 수 있으며, 영상 처리 및 전송을 위한 영상 처리 장치의 리소스를 효율적으로 사용할 수 있을 것이다.Therefore, if the CPU for image processing and transmission can be efficiently allocated and timing for image processing and transmission can be provided, the image can be processed and transmitted in real time, and the resources of the image processing device for image processing and transmission can be efficiently used will be available as

이에 따라 본 발명에서는, 사전에 설정한 주파수 혹은 영상으로부터 추출한 수직 동기(Vertical Sync) 신호에 따라 인터럽트를 생성하는 영상 인터페이스 어댑터를 통해 상기 생성한 인터럽트를 상기 영상 인터페이스 어댑터와 연결한 영상 처리 장치로 제공하여, 상기 영상 처리 장치에서 상기 인터럽트에 따라 영상 처리 및 전송을 수행하도록 보장함으로써, 영상 처리 및 전송에 대한 지연 없이 원하는 영상을 안정적으로 제공할 수 있도록 함과 동시에 상기 영상 처리 및 전송을 위한 CPU를 포함한 리소스를 효율적으로 이용할 수 있도록 하는 방안을 제안하고자 한다.Accordingly, in the present invention, the generated interrupt is provided to an image processing device connected to the video interface adapter through a video interface adapter that generates an interrupt according to a preset frequency or a vertical sync signal extracted from an image. Thus, by ensuring that the image processing device performs image processing and transmission according to the interrupt, it is possible to stably provide a desired image without delay in image processing and transmission, and at the same time use a CPU for image processing and transmission. We would like to propose a way to efficiently use the included resources.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical matters that the present invention intends to achieve differently from the prior art will be described.

먼저 한국등록특허 제1717494호(2017.03.13.)는 인터럽트 처리 장치 및 방법에 관한 것으로, 인터럽트를 처리할 다수의 프로세싱 코어를 구비하고 있으면서 특정 인터럽트가 수신되면, 각 프로세싱 코어의 실행 모드가 인터럽트 처리를 위한 IRQ 모드인지 여부를 확인하여, IRQ 모드에 있지 아니한 프로세싱 코더로 제공하는 인터럽트 처리 장치 및 방법에 관한 것이다.First, Korean Patent Registration No. 1717494 (2017.03.13.) relates to an interrupt processing apparatus and method. When a specific interrupt is received while having a plurality of processing cores to handle interrupts, the execution mode of each processing core is interrupt processing. It relates to an interrupt handling apparatus and method for checking whether the IRQ mode for

즉, 상기 선행기술은 특정 프로세싱 코더가 이미 인터럽트를 처리하고 있는 경우, 해당 프로세싱 코어로 인터럽트를 전달하지 않고 인터럽트를 처리하지 않고 있는 프로세싱 코어로 제공하는 것이다.That is, in the prior art, when a specific processing coder has already processed an interrupt, the interrupt is not delivered to the corresponding processing core and provided to the processing core that is not processing the interrupt.

반면에 본 발명은, 영상 처리 장치와 연결되는 영상 인터페이스 어댑터를 통해 사전에 설정한 주파수에 맞추어 인터럽트를 발생시키거나, 또는 실제 처리할 영상으로부터 추출한 수직 동기 신호에 따라 인터럽트를 발생시켜 상기 영상 처리 장치로 제공하여, 상기 인터럽트를 기준으로 상기 영상을 실시간으로 처리하여 전송할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 아무런 시사도 없음이 분명하다.On the other hand, according to the present invention, the image processing apparatus generates an interrupt according to a preset frequency through a video interface adapter connected to the image processing apparatus or generates an interrupt according to a vertical synchronization signal extracted from an image to be actually processed. It is provided as a method to process and transmit the image in real time based on the interrupt, and it is clear that the prior art describes the technical features of the present invention or has no suggestion.

또한 한국등록특허 제2035740호(2019.10.17.)는 타이머 인터럽트 서비스 루틴을 이용한 패킷 전송 장치에 관한 것으로, CPU에서 적어도 하나의 태스크를 처리하는 도중 UDP 패킷을 전송하는 태스크가 발생하면 패킹 전송 간격을 고려하여 설정된 시간마다 타이머 인터럽트 이벤트를 발생시켜 타이머 인터럽트 서비스 루틴을 호출하고, 호출한 인터럽트 서비스 루틴을 이용하여 UDP 패킷을 목적지에 등 간격으로 전송하는 타이머 인터럽트 서비스 루틴을 이용한 패킷 전송 장치에 관한 것이다.In addition, Korea Patent No. 2035740 (2019.10.17.) relates to a packet transmission device using a timer interrupt service routine. When a task to transmit a UDP packet occurs while processing at least one task in the CPU, the packing transmission interval It relates to a packet transmission apparatus using a timer interrupt service routine that generates a timer interrupt event every set time in consideration, calls a timer interrupt service routine, and transmits UDP packets to a destination at equal intervals using the called interrupt service routine.

즉, 상기 선행기술은 사전에 설정된 시간마다 타이머 인터럽트 서비스 루틴을 실행하여 UDP 패킷을 전송하는 것으로, 고정밀 타이머를 이용하여 무한루프를 실행하는 종래의 기술에 대한 문제점을 여전히 극복하지 못하고 있다.That is, the prior art transmits a UDP packet by executing a timer interrupt service routine every preset time, and still does not overcome the problem of the prior art of executing an infinite loop using a high-precision timer.

반면에 본 발명은, 영상 인터페이스 어댑터를 통해 사전에 설정한 주파수를 발생시켜 해당 주파수에 맞추어 인터럽트를 생성하거나, 영상으로부터 추출한 수직 동기 신호에 따라 인터럽트를 생성하여 영상 처리 장치로 제공하고, 상기 영상 처리 장치에서 상기 인터럽트를 기준으로 상기 영상을 실시간으로 처리하여 전송하도록 함으로써, 영상의 끊김이나 지연 없이 원하는 영상을 안정적으로 제공함과 동시에 상기 영상 처리 장치의 리소스를 효율적으로 이용할 수 있도록 하는 것으로, 상기 선행기술과 본 발명은 현저한 차이점이 있다.On the other hand, according to the present invention, an interrupt is generated according to the frequency by generating a preset frequency through a video interface adapter, or an interrupt is generated according to a vertical synchronization signal extracted from an image and provided to the image processing apparatus, and the image processing By allowing the device to process and transmit the image in real time based on the interruption, a desired image can be stably provided without interruption or delay of the image, and the resource of the image processing apparatus can be efficiently used. and the present invention are significantly different.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 영상 인터페이스 어댑터를 통해 영상 처리를 위한 타이밍을 제공하는 인터럽트를 생성하여 영상 처리 장치로 제공함으로써, 상기 영상 처리 및 전송을 보장하여, 상기 영상 처리 및 전송에 대한 지연 없이 주어진 시간에 원하는 영상을 안정적으로 제공할 수 있도록 하는 IP기반 실시간 영상 처리 및 전송을 위한 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.The present invention was created to solve the above problems, and by generating an interrupt providing timing for image processing through an image interface adapter and providing it to the image processing apparatus, the image processing and transmission are ensured, and the image An object of the present invention is to provide a system and method for IP-based real-time image processing and transmission that can stably provide a desired image at a given time without delay in processing and transmission.

또한 본 발명은, 상기 영상 인터페이스 어댑터와 상기 영상 처리 장치를 USB 또는 PCIe(Peripheral Component Interconnect Express) 등과 같은 인터페이스를 통해 연결하여 상기 인터럽트를 송수신할 수 있도록 하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.Another object of the present invention is to provide a system and method for transmitting and receiving the interrupt by connecting the image interface adapter and the image processing device through an interface such as USB or PCIe (Peripheral Component Interconnect Express). do it with

또한 본 발명은, 상기 영상 인터페이스 어댑터에서 사전에 설정한 주파수를 발생하고, 상기 발생한 주파수에 맞추어 상기 인터럽트를 생성하여 상기 영상 처리 장치로 제공하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.Another object of the present invention is to provide a system and method for generating a frequency preset in the video interface adapter, generating the interrupt according to the generated frequency, and providing it to the image processing apparatus.

또한 본 발명은, 상기 영상 인터페이스 어댑터에서 외부 인터페이스를 통해 수신되는 영상으로부터 수직 동기 신호를 추출하고, 상기 추출한 수직 동기 신호에 따라 인터럽트를 발생하여 상기 영상 처리 장치로 제공하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention provides a system and method for extracting a vertical synchronization signal from an image received through an external interface from the video interface adapter, generating an interrupt according to the extracted vertical synchronization signal, and providing it to the image processing apparatus. serve another purpose.

또한 본 발명은 상기 영상 처리 장치에서, 상기 영상 인터페이스 어댑터로부터 제공받은 인터럽트에 따라 현재 버퍼에 저장된 영상의 프레임을 로딩하고, 인코딩하는 영상 처리 및 상기 영상 처리한 영상의 프레임을 IP패킷으로 변환하여 전송하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.Also, according to the present invention, the image processing apparatus loads and encodes a frame of an image currently stored in the buffer according to the interrupt provided from the image interface adapter, and converts the image-processed image frame into an IP packet and transmits it Another object of the present invention is to provide a system and a method for the same.

또한 본 발명은, 상기 인터럽트를 통한 상기 영상 처리 및 전송을 통해 실시간으로 화상회의를 수행하거나, 실시간 스트리밍을 지원할 수 있는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.Another object of the present invention is to provide a system and method capable of performing a video conference in real time or supporting real-time streaming through the image processing and transmission through the interrupt.

본 발명의 일 실시예에 따른 IP기반 실시간 영상 처리 및 전송을 위한 시스템은, 실시간 영상 처리 및 전송을 위한 인터럽트를 생성하는 영상 인터페이스 어댑터 및 상기 생성한 인터럽트에 따라 영상을 처리하여 IP기반으로 전송하는 영상 처리 장치를 포함하며, 상기 인터럽트 신호를 통해 상기 실시간 영상 처리 및 전송을 위한 타이밍을 상기 영상 처리 장치로 제공하여 상기 영상 처리와 전송을 보장하는 것을 특징으로 한다.A system for IP-based real-time image processing and transmission according to an embodiment of the present invention includes a video interface adapter that generates an interrupt for real-time image processing and transmission, and an IP-based video interface adapter that processes and transmits an image according to the generated interrupt. and an image processing device, and providing timing for the real-time image processing and transmission to the image processing device through the interrupt signal to ensure the image processing and transmission.

또한 상기 영상 인터페이스 어댑터는, 특정 영상의 규격에 따라 특정 주파수를 사전에 설정하는 주파수 설정부, 상기 사전에 설정한 특정 주파수에 따라 주파수를 발생하는 주파수 발생부 및 상기 발생한 주파수에 맞추어 상기 인터럽트를 생성하여 상기 영상 처리 장치로 제공하는 인터럽트 처리부를 포함하는 것을 특징으로 한다.In addition, the video interface adapter includes a frequency setting unit that presets a specific frequency according to a specific video standard, a frequency generator that generates a frequency according to the preset specific frequency, and generates the interrupt according to the generated frequency. and an interrupt processing unit provided to the image processing apparatus.

또한 상기 영상 인터페이스 어댑터는, 카메라를 포함하는 영상 제공 장치로부터 영상을 수신하는 영상 수신부, 상기 수신한 영상으로부터 수직 동기(Vertical Sync) 신호를 추출하는 수직 동기 신호 추출부 및 상기 수신한 영상을 루프 스루(loop through)하여 디스플레이에 출력하는 영상 출력부를 포함하며, 상기 추출한 수직 동기 신호에 맞추어 상기 인터럽트를 발생하여 상기 영상 처리 장치로 제공하는 것을 포함하는 것을 특징으로 한다.In addition, the video interface adapter includes an image receiving unit that receives an image from an image providing device including a camera, a vertical sync signal extracting unit that extracts a vertical sync signal from the received image, and loops through the received image. and an image output unit for outputting to a display by looping through, generating the interrupt in accordance with the extracted vertical synchronization signal and providing the interrupt to the image processing apparatus.

또한 상기 영상 인터페이스 어댑터와 상기 영상 처리 장치는, USB 인터페이스 또는 PCIe(Peripheral Component Interconnect) 인터페이스를 통해 연결되어 상기 발생한 인터럽트를 송수신하는 것을 특징으로 한다.In addition, the image interface adapter and the image processing apparatus are connected through a USB interface or a PCIe (Peripheral Component Interconnect) interface to transmit and receive the generated interrupt.

또한 상기 영상 처리 장치는, 상기 영상 인터페이스 어댑터로부터 상기 인터럽트를 수신할 때 마다, 상기 영상 처리 및 전송하기 위한 리소스를 각각 할당하고, 상기 영상 처리, 전송 또는 이들의 조합이 완료되면 상기 할당한 리소스를 각각 회수하며, 상기 영상 처리는, 현재 버퍼에 저장된 영상의 프레임을 로딩하여 인코딩하는 것을 포함하며, 상기 전송은 상기 인코딩한 영상의 프레임을 IP패킷으로 변환하여 전송하는 것을 포함하는 것을 특징으로 한다.In addition, the image processing apparatus allocates resources for processing and transmission of the image, respectively, whenever receiving the interrupt from the image interface adapter, and uses the allocated resources when the image processing, transmission, or a combination thereof is completed. Each is retrieved, and the image processing includes loading and encoding a frame of an image currently stored in a buffer, and the transmission includes converting a frame of the encoded image into an IP packet and transmitting it.

아울러 본 발명의 일 실시예에 따른 IP기반 실시간 영상 처리 및 전송을 위한 방법은, 영상 인터페이스 어댑터에서, 실시간 영상 처리 및 전송을 위한 인터럽트를 생성하는 단계 및 영상 처리 장치에서, 상기 생성한 인터럽트에 따라 영상을 처리하여 IP기반으로 전송하는 단계를 포함하며, 상기 인터럽트 신호를 통해 상기 실시간 영상 처리 및 전송을 위한 타이밍을 상기 영상 처리 장치로 제공하여 상기 영상 처리와 전송을 보장하는 것을 특징으로 한다.In addition, the method for IP-based real-time image processing and transmission according to an embodiment of the present invention includes generating an interrupt for real-time image processing and transmission in an image interface adapter, and in the image processing apparatus, according to the generated interrupt and processing the image and transmitting it based on IP, and providing timing for the real-time image processing and transmission to the image processing device through the interrupt signal to ensure the image processing and transmission.

또한 상기 방법은, 상기 영상 인터페이스 어댑터에서, 특정 영상의 규격에 따라 특정 주파수를 사전에 설정하는 주파수 설정 단계, 상기 영상 인터페이스 어댑터에서, 상기 사전에 설정한 특정 주파수에 따라 주파수를 발생하는 주파수 발생 단계 및 상기 영상 인터페이스 어댑터에서, 상기 발생한 주파수에 맞추어 상기 인터럽트를 생성하여 상기 영상 처리 장치로 제공하는 인터럽트 처리 단계를 포함하는 것을 특징으로 한다.In addition, the method includes a frequency setting step of presetting, in the video interface adapter, a specific frequency according to a standard of a specific video, and a frequency generating step of generating, in the video interface adapter, a frequency according to the preset specific frequency and an interrupt processing step of generating, in the video interface adapter, the interrupt according to the generated frequency and providing the interrupt to the image processing device.

또한 상기 방법은, 상기 영상 인터페이스 어댑터에서, 카메라를 포함하는 영상 제공 장치로부터 영상을 수신하는 영상 수신 단계, 상기 영상 인터페이스 어댑터에서, 상기 수신한 영상으로부터 수직 동기(Vertical Sync) 신호를 추출하는 수직 동기 신호 추출 단계 및 상기 영상 인터페이스 어댑터에서, 상기 수신한 영상을 루프 스루(loop through)하여 디스플레이에 출력하는 영상 출력 단계를 포함하는 것을 특징으로 한다.In addition, the method includes, in the video interface adapter, an image receiving step of receiving an image from an image providing device including a camera, and extracting, in the video interface adapter, a vertical sync signal from the received image. and extracting a signal and outputting an image to a display by looping through the received image in the image interface adapter.

또한 상기 방법은, 상기 영상 처리 장치에서, 상기 영상 인터페이스 어댑터로부터 상기 인터럽트를 수신할 때 마다, 상기 영상 처리 및 전송하기 위한 리소스를 각각 할당하고, 상기 영상 처리, 전송 또는 이들의 조합이 완료되면 상기 할당한 리소스를 각각 회수하며, 상기 영상 처리는, 현재 버퍼에 저장된 영상의 프레임을 로딩하여 인코딩하는 것을 포함하며, 상기 전송은 상기 인코딩한 영상의 프레임을 IP패킷으로 변환하여 전송하는 것을 포함하는 것을 특징으로 한다.In addition, the method includes, in the image processing apparatus, allocating resources for processing and transmitting the image, respectively, each time the interrupt is received from the image interface adapter, and when the image processing, transmission, or a combination thereof is completed, Each of the allocated resources is retrieved, and the image processing includes loading and encoding a frame of an image currently stored in a buffer, and the transmission includes converting a frame of the encoded image into an IP packet and transmitting it characterized.

이상에서와 같이 본 발명의 IP기반 실시간 영상 처리 및 전송을 위한 시스템 및 그 방법은, 영상 인터페이스 어댑터를 통해 사전에 설정한 주파수 또는 영상으로부터 추출한 수직 동기 신호에 따라 영상 처리에 대한 타이밍을 제공하기 위한 인터럽트를 발생하여 영상 처리 장치로 제공하여, 상기 영상 처리 장치에서 상기 인터럽트를 기준으로 상기 영상을 실시간으로 처리하여 IP기반으로 전송하도록 함으로써, 상기 영상 처리 및 전송에 대한 지연 없이 주어진 시간에 원하는 영상을 안정적으로 제공할 수 있도록 함과 동시에 상기 영상 처리 및 전송에 필요한 리소스를 효율적으로 이용할 수 있는 효과가 있다.As described above, the system and method for IP-based real-time image processing and transmission of the present invention provide timing for image processing according to a frequency preset through an image interface adapter or a vertical synchronization signal extracted from an image. By generating an interrupt and providing it to the image processing device, the image processing device processes the image in real time based on the interrupt and transmits the image based on IP, so that a desired image can be processed at a given time without delay in image processing and transmission. There is an effect of efficiently using resources required for image processing and transmission while stably providing the image.

도 1은 본 발명의 일 실시예에 따른 IP기반 실시간 영상 처리 및 전송을 위한 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 인터페이스 어댑터 및 영상 처리 장치의 동작을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 또 다른 일 실시예에 따른 영상 인터페이스 어댑터 및 영상 처리 장치의 동작을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에서 영상 처리 및 전송을 위한 동작을 상세히 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 인터페이스 어댑터의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 P기반 실시간 영상 처리 및 전송을 위한 절차를 나타낸 흐름도이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 P기반 실시간 영상 처리 및 전송을 위한 절차를 나타낸 흐름도이다.1 is a conceptual diagram illustrating a system and method for IP-based real-time image processing and transmission according to an embodiment of the present invention.
2 is a diagram illustrating the operation of an image interface adapter and an image processing apparatus according to an embodiment of the present invention.
3 is a diagram illustrating operations of an image interface adapter and an image processing apparatus according to another embodiment of the present invention.
4 is a diagram illustrating in detail an operation for image processing and transmission in an image processing apparatus according to an embodiment of the present invention.
5 is a block diagram illustrating the configuration of an interface adapter according to an embodiment of the present invention.
6 is a block diagram illustrating the configuration of an image processing apparatus according to an embodiment of the present invention.
7 is a flowchart illustrating a procedure for P-based real-time image processing and transmission according to an embodiment of the present invention.
8 is a flowchart illustrating a procedure for P-based real-time image processing and transmission according to another embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 IP기반 실시간 영상 처리 및 전송을 위한 시스템 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, a preferred embodiment of a system and method for IP-based real-time image processing and transmission of the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements. In addition, specific structural or functional descriptions of the embodiments of the present invention are only exemplified for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all used herein, including technical or scientific terms, are Terms have the same meanings as commonly understood by those of ordinary skill in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. It is preferable not to

도 1은 본 발명의 일 실시예에 따른 IP기반 실시간 영상 처리 및 전송을 위한 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.1 is a conceptual diagram illustrating a system and method for IP-based real-time image processing and transmission according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IP기반 실시간 영상 처리 및 전송을 위한 시스템(10)은, 실시간 영상 처리 및 전송을 위한 인터럽트를 생성하여 제공하는 영상 인터페이스 어댑터(100), 상기 영상 인터페이스 어댑터(100)로부터 제공받은 인터럽트를 기준으로 실제 영상을 처리하여 IP기반으로 전송하는 영상 처리 장치(200), 상기 영상을 제공하는 영상 제공 장치(300), 상기 영상 처리 장치(200)로부터 수신된 영상을 디스플레이하는 영상 표시 장치(400) 및 상기 영상 처리 장치(200)로부터 수신된 영상을 저장하는 영상 수신 장치(500)를 포함하여 구성된다.1, the system 10 for IP-based real-time image processing and transmission according to an embodiment of the present invention includes a video interface adapter 100 that generates and provides an interrupt for real-time image processing and transmission. , an image processing apparatus 200 that processes an actual image based on the interrupt provided from the image interface adapter 100 and transmits it based on IP, an image providing apparatus 300 that provides the image, and the image processing apparatus 200 ) and is configured to include an image display device 400 for displaying an image received from the image processing device 200 and an image reception device 500 for storing an image received from the image processing device 200 .

상기 영상 인터페이스 어댑터(100)는, 상기 인터럽트를 생성하여 상기 영상 처리 장치(200)에 제공함으로써, 상기 영상 처리 장치(200)에 상기 영상을 처리하고 전송을 위한 타이밍을 제공하여, 상기 영상 처리 및 전송을 보장하고, 상기 영상 처리 및 전송에 대한 지연 없이 주어진 시간에 원하는 영상을 안정적으로 제공할 수 있도록 한다.The image interface adapter 100 generates the interrupt and provides it to the image processing apparatus 200 to process the image and provide timing for transmission to the image processing apparatus 200 to process the image and It guarantees transmission and stably provides a desired image at a given time without delay for the image processing and transmission.

이때, 상기 인터럽트는, 사전에 설정한 주파수 또는 상기 영상 제공 장치(300)로부터 부터 수신한 영상으로부터 추출한 수직 동기(Vertical Sync) 신호에 맞추어 생성되어 상기 영상 처리 장치(200)로 제공된다.In this case, the interrupt is generated according to a preset frequency or a vertical sync signal extracted from an image received from the image providing apparatus 300 and provided to the image processing apparatus 200 .

이때, 상기 영상 인터페이스 어댑터(100)와 상기 영상 처리 장치(200)는, USB 인터페이스 또는 PCIe(Peripheral Component Interconnect Express) 인터페이스 등과 같이 상기 인터럽트를 송수신하기 위한 다양한 인터페이스를 통해 연결된다. 상기 인터럽트를 생성하여 제공하는 것은, 도 2 및 도 3을 참조하여 상세히 설명하도록 한다.In this case, the image interface adapter 100 and the image processing apparatus 200 are connected through various interfaces for transmitting and receiving the interrupt, such as a USB interface or a Peripheral Component Interconnect Express (PCIe) interface. Generating and providing the interrupt will be described in detail with reference to FIGS. 2 and 3 .

또한 상기 영상 처리 장치(200)는, 상기 HDMI(High Definition Multimedia Interface)와 같은 외부 인터페이스를 통해 영상 제공 장치(300)로부터 제공되는 특정 영상을 상기 제공받은 인터럽트를 기준으로 처리하고 IP기반으로 전송하는 장치를 의미하는 것으로, 범용 컴퓨터나, 데스크톱 PC, 모바일 PC 등과 같은 사용자 단말의 형태로 제공될 수 있다. 이때, 상기 범용 컴퓨터나 상기 사용자 단말에 상기 영상을 처리하고 전송하기 위한 앱(app)이나 프로그램과 같은 형태로 설치되며, 이를 수행함으로써, 상기 범용 컴퓨터 또는 사용자 단말이 상기 영상 처리 장치(200)가 된다.In addition, the image processing apparatus 200 processes a specific image provided from the image providing apparatus 300 through an external interface such as the HDMI (High Definition Multimedia Interface) based on the received interrupt and transmits it based on IP. This means a device, and may be provided in the form of a user terminal such as a general-purpose computer, a desktop PC, or a mobile PC. At this time, the general-purpose computer or the user terminal is installed in the same form as an app or program for processing and transmitting the image, and by performing this, the general-purpose computer or the user terminal is the image processing device 200 do.

또한 상기 영상 처리 장치(200)는, 상기 영상 제공 장치(300)로부터 영상이 제공되면, 버퍼(미도시)에 저장한다. 또한 상기 영상 처리 장치(200)는, 상기 영상 인터페이스 어댑터(100)로부터 상기 인터럽트가 제공되면, 사전에 등록된 이벤트를 발생시켜, 상기 영상 처리 및 전송을 위한 태스크(Task)를 생성하여, 상기 생성한 태스크를 통해 상기 영상 처리 및 전송을 수행한다. 즉, 상기 영상 처리 장치(200)는, 상기 제공된 인터럽트를 기준으로 상기 영상 처리 및 전송을 실시간으로 수행하는 것이다.Also, when the image is provided from the image providing apparatus 300 , the image processing apparatus 200 stores it in a buffer (not shown). In addition, when the interrupt is provided from the image interface adapter 100 , the image processing apparatus 200 generates a previously registered event to generate a task for image processing and transmission, and generates the image. The image processing and transmission are performed through one task. That is, the image processing apparatus 200 performs the image processing and transmission in real time based on the provided interrupt.

이때, 상기 각 태스크를 처리하기 위한 응용프로그램이 아이들(Idle)상태에서 액티브(Active)상태로 천이되어, 상기 버퍼에 현재 저장된 영상의 프레임(이하, 영상 프레임이라 칭함)을 처리하고 전송하도록 한다.At this time, the application program for processing each task transitions from the idle state to the active state, and processes and transmits an image frame currently stored in the buffer (hereinafter referred to as an image frame).

이때, 상기 영상 처리 장치(100)는 상기 영상 처리 및 전송에 필요한 리소스(즉, 운영체제의 리소스, CPU를 포함)를 상기 각 태스크에 할당하게 된다. 또한 상기 영상 처리 장치(100)는, 상기 영상 처리, 전송 또는 이들의 조합이 완료되면 상기 각 태스크에 할당한 리소스를 회수하여, 상기 영상 처리 및 전송 이외의 또 다른 태스크에 이용할 수 있도록 한다. 이러한 과정은, 상기 수신한 영상에 대한 모든 처리 및 전송이 완료될 때 까지, 상기 인터럽트가 제공될 때마다 수행됨은 자명하다. 한편 상기 영상 처리 및 전송을 위한 상기 영상 처리 장치(100)의 동작은 도 2 및 도 3을 참조하여 설명하도록 한다.In this case, the image processing apparatus 100 allocates resources (ie, operating system resources, including CPU) necessary for image processing and transmission to the respective tasks. In addition, when the image processing, transmission, or a combination thereof is completed, the image processing apparatus 100 recovers the resources allocated to each task to use it for another task other than the image processing and transmission. It is self-evident that this process is performed whenever the interrupt is provided until all processing and transmission of the received image are completed. Meanwhile, the operation of the image processing apparatus 100 for image processing and transmission will be described with reference to FIGS. 2 and 3 .

또한 상기 영상 제공 장치(300)는, 카메라로 구성되어 사용자의 영상 등과 같은 영상을 상기 영상 인터페이스 어댑터(100), 상기 영장 처리 장치(200) 또는 이들의 조합으로 상기 영상을 제공한다. 다만 이에 한정하지 않으며, 상기 영상 제공 장치(300)는 상기 카메라 이외에 상기 영상을 제공할 수 있는 다양한 장치로 구성될 수 있다.In addition, the image providing apparatus 300 is configured as a camera and provides an image such as a user's image by using the image interface adapter 100 , the warrant processing apparatus 200 , or a combination thereof. However, the present invention is not limited thereto, and the image providing apparatus 300 may include various devices capable of providing the image in addition to the camera.

또한 상기 영상 제공 장치(300)는, 실시간 스트리밍 플랫폼과 연동하여 상기 처리한 처리 영상을 상기 영상 표시 장치(400)로 실시간으로 스트리밍할 수 있으며, 상기 영상 표시 장치(400)는, 상기 영상 제공 장치(300)에서 처리되어 IP기반으로 수신되는 상기 처리 영상을 디코딩하여 실시간으로 디스플레이하는 장치를 의미하며, 상기 영상 수신 장치(500)는, 상기 영상 제공 장치(300)에서 처리되어 IP기반으로 수신되는 영상을 저장하거나, 상기 저장한 영상을 서비스하는 특정 서버(예: 스트리밍 서버)를 의미한다.In addition, the image providing apparatus 300 may stream the processed image to the image display apparatus 400 in real time by interworking with a real-time streaming platform, and the image display apparatus 400 may include the image providing apparatus It means a device that decodes the processed image processed in 300 and received based on IP and displays it in real time, and the image receiving device 500 is processed by the image providing device 300 and received based on IP It refers to a specific server (eg, a streaming server) that stores an image or serves the stored image.

즉, 상기 영사 표시 장치(400)는, 상기 영상 처리 장치(100)에서 처리한 처리 영상을 실시간으로 스트리밍하거나, 상기 영상 수신 장치(500)에 저장된 처리 영상을 스트리밍하여 디스플레이하는 기능을 수행하는 것이다.That is, the projection display apparatus 400 performs a function of streaming the processed image processed by the image processing apparatus 100 in real time or streaming and displaying the processed image stored in the image receiving apparatus 500 . .

또한 상기 영상 제공 장치 (100)는, 적어도 하나 이상의 또 다른 영상 제공 장치(400)와의 화상통화(예: 화상 회의)를 수행하는 장치일 수 있으며, 각 영상 제공 장치(400)는, 해당 영상 제공 장치(400)를 이용하는 대화자의 영상(음성 포함)을 처리한 처리 영상을 또 다른 영상 제공 장치(400)로 제공함으로써, 상기 영상 제공 장치(400)에 구성된 디스플레이(미도시)에 실시간으로 출력하여 상기 화상통화를 수행할 수 있도록 한다.In addition, the video providing device 100 may be a device for performing a video call (eg, video conference) with at least one or more other video providing devices 400 , and each video providing device 400 provides a corresponding video By providing another image providing device 400 with a processed image processed with the image (including voice) of the conversationalist using the device 400, it is output to a display (not shown) configured in the image providing device 400 in real time. to perform the video call.

도 2는 본 발명의 일 실시예에 따른 영상 인터페이스 어댑터 및 영상 처리 장치의 동작을 설명하기 위해 나타낸 도면이다.2 is a diagram illustrating the operation of an image interface adapter and an image processing apparatus according to an embodiment of the present invention.

도 2에 도시한 바와 같이 본 발명의 일 실시예에 따른 영상 인터페이스 어댑터(100)는, 특정 영상의 규격(해상도)에 따라 인터럽트를 생성하기 위한 주파수를 사전에 설정한다.As shown in FIG. 2 , the video interface adapter 100 according to an embodiment of the present invention sets a frequency for generating an interrupt in advance according to a standard (resolution) of a specific video.

이때, 상기 영상 인터페이스 어댑터(100)는, 상기 영상의 규격을 나타내는 인터페이스(예: 버튼)를 제공하여, 사용자가 상기 영상의 규격을 선택함으로써, 상기 특정 영상의 규격에 따라 인터럽트를 생성하기 위한 주파수를 사전에 설정한다.In this case, the video interface adapter 100 provides an interface (eg, a button) indicating the standard of the video, and the user selects the standard of the video, thereby generating an interrupt according to the standard of the specific video. set in advance.

상기 주파수는, 상기 사용자가 선택한 영상의 규격에 따라 사전에 설정되는 것으로, 상기 영상의 규격이 SD(Standard Definition)이면 25Hz, HD(High Definition)이면 30Hz, FHD(Full HD)이면 50Hz, UHD(Ultra HD)이면 60Hz로 설정될 수 있다. 다만 이에 한정하지 않으며, 상기 영상 규격과 상관없이 상기 사용자가 상기 영상 인터페이스 어댑터(100)와 연결된 상기 사용자가 상기 영상 처리 장치(200)를 통해 수Hz 내지 수백 Hz 범위 내에서 상기 주파수를 가변하여 설정할 수 있다.The frequency is set in advance according to the standard of the video selected by the user. If the standard of the video is SD (Standard Definition), 25Hz, HD (High Definition) 30Hz, FHD (Full HD) 50Hz, UHD ( Ultra HD), it can be set to 60Hz. However, the present invention is not limited thereto, and regardless of the image standard, the user connected to the image interface adapter 100 sets the frequency within a range of several Hz to several hundreds of Hz through the image processing device 200 . can

또한 상기 영상 인터페이스 어댑터(100)는, 상기 사전에 설정한 주파수에 따라 주파수를 발생시키고, 상기 발생시킨 주파수에 맞추어 인터럽트를 생성하여 상기 영상 처리 장치(200)로 제공한다.Also, the video interface adapter 100 generates a frequency according to the preset frequency, generates an interrupt according to the generated frequency, and provides it to the image processing apparatus 200 .

예를 들어, 상기 사전에 설정한 주파수가 30Hz이면, 상기 영상 인터페이스 어댑터(100)는 1/30초마다 상기 인터럽트를 생성하여 상기 영상 처리 장치(200)로 제공하게 되며, 상기 영상 처리 장치(200)는 1/30초마다 제공되는 상기 인터럽트를 기준으로 상기 수신한 영상을 처리(이때, 상기 영상의 프레임 레이트는 30FPS가 됨)한 처리 영상을 전송하게 된다.For example, if the preset frequency is 30 Hz, the video interface adapter 100 generates the interrupt every 1/30 second and provides it to the image processing device 200 , and the image processing device 200 ) transmits the processed image obtained by processing the received image based on the interrupt provided every 1/30 second (in this case, the frame rate of the image becomes 30 FPS).

또한 상기 영상 처리 장치(200)는, 상기 영상 제공 장치(300)로부터 영상을 수신하여 버퍼에 저장하며, 상기 영상 인터페이스 어댑터(100)로부터 인터럽트가 수신될 때 마다, 상기 수신한 영상에 대한 영상 처리 및 전송을 위해 등록한 이벤트에 따라 적어도 하나 이상의 태스크를 생성하여, 상기 생성한 태스크를 통해 현재 버퍼에 저장된 영상 프레임을 처리하고, 상기 처리한 영상 프레임을 IP기반으로 전송한다.Also, the image processing apparatus 200 receives an image from the image providing apparatus 300 and stores it in a buffer, and whenever an interrupt is received from the image interface adapter 100 , the image is processed on the received image. and at least one task is generated according to an event registered for transmission, the image frame currently stored in the buffer is processed through the created task, and the processed image frame is transmitted based on IP.

즉, 상기 인터럽트가 수신되는 주기에 따라 상기 영상에 대한 특정 영상 프레임 레이트로 처리되며 상기 처리한 영상 프레임을 IP패킷으로 변환(IP패킷화)하여 전송하는 것이다. 이때, 상기 영상 처리 장치(100)는, 상기 처리한 영상 프레임을 전송하는 것뿐만 아니라 또 다른 영상 처리 장치(100)로부터 수신한 처리 영상(처리한 영상 프레임)을 해당 영상 처리 장치(100)와 HDMI를 통해 로컬에서 연결된 디스플레이에 출력할 수도 있다.That is, the image is processed at a specific image frame rate according to the period at which the interrupt is received, and the processed image frame is converted into an IP packet (IP packetized) and transmitted. In this case, the image processing apparatus 100 transmits the processed image frame as well as the processed image (processed image frame) received from another image processing apparatus 100 with the corresponding image processing apparatus 100 . You can also output to a locally connected display via HDMI.

도 3은 본 발명의 또 다른 일 실시예에 따른 영상 인터페이스 어댑터 및 영상 처리 장치의 동작을 설명하기 위해 나타낸 도면이다.3 is a diagram illustrating operations of an image interface adapter and an image processing apparatus according to another embodiment of the present invention.

도 3에 도시한 바와 같이, 본 발명의 또 다른 일 실시예에 따른 영상 인터페이스 어댑터(100)는, 상기 영상 제공 장치(300)로부터 영상을 수신한다.As shown in FIG. 3 , the video interface adapter 100 according to another embodiment of the present invention receives an image from the image providing device 300 .

이때, 상기 영상은 상기 영상 인터페이스 어댑터(100)와 상기 영상 처리 장치(300)에 동시에 제공된다.In this case, the image is simultaneously provided to the image interface adapter 100 and the image processing device 300 .

이때, 상기 영상 제공 장치(300)에서 제공되는 영상(즉, 영상 신호)에는 수직 동기 신호가 포함되며, 상기 영상 인터페이스 어댑터(100)는, 상기 수신한 영상(즉, 상기 영상 처리 장치에서 처리할 실제 영상)으로부터 수직 동기(Vertical Sync) 신호를 추출한다.In this case, the image (ie, the image signal) provided by the image providing apparatus 300 includes a vertical synchronization signal, and the image interface adapter 100 provides the received image (ie, the image signal to be processed by the image processing apparatus) A vertical sync signal is extracted from the actual image).

또한 상기 영상 인터페이스 어댑터(100)는, 상기 추출한 수직 동기 신호에 맞추어 인터럽트를 생성하여 상기 영상 처리 장치(200)로 제공한다. 이후, 상기 영상 처리 장치(200)는 상기 인터럽트를 수신하여 도 2에서 설명한 것과 같이 상기 영상 처리 및 전송을 수행하게 된다.In addition, the video interface adapter 100 generates an interrupt according to the extracted vertical synchronization signal and provides it to the image processing apparatus 200 . Thereafter, the image processing apparatus 200 receives the interrupt and performs the image processing and transmission as described with reference to FIG. 2 .

한편, 상기 본 발명의 또 다른 일 실시예에 따른 영상 인터페이스 어댑터(100)는, 상기 HDMI와 같은 인터페이스를 통해 로컬에서 디스플레이와 직접 연결될 수 있으며, 상기 수신한 영상을 루프 스루(loop through)하여 상기 디스플레이로 출력할 수 있도록 구성될 수 있다.On the other hand, the video interface adapter 100 according to another embodiment of the present invention may be directly connected to a display locally through an interface such as HDMI, and loop through the received image. It may be configured to output to a display.

도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에서 영상 처리 및 전송을 위한 동작을 상세히 설명하기 위해 나타낸 도면이다.4 is a diagram illustrating in detail an operation for image processing and transmission in an image processing apparatus according to an embodiment of the present invention.

도 4에 도시한 바와 같이 본 발명의 일 실시예에 따른 영상 처리 장치(100)는, 상기 영상 인터페이스 어댑터(100)로부터 인터럽트가 수신될 때 마다, 사전에 등록한 이벤트에 따라 영상 처리 및 전송을 위한 복수의 태스크를 생성하고, 상기 생성한 각 태스크를 위한 태스크를 위한 운영체제의 리소스를 할당한다. 이때, 상기 영상 처리 및 전송을 위한 응용프로그램이 액티브 상태로 전이됨은 상술한 바와 같다.As shown in FIG. 4 , the image processing apparatus 100 according to an embodiment of the present invention provides an image processing and transmission method according to a pre-registered event whenever an interrupt is received from the image interface adapter 100 . A plurality of tasks are created, and resources of the operating system are allocated for the tasks for each of the created tasks. In this case, the transition of the application program for image processing and transmission to the active state is as described above.

상기 영상 처리를 위한 태스크는, 상기 수신한 인터럽트를 기준으로 현재 버퍼에 저장된 영상 프레임을 로딩하기 위한 태스크, 상기 로딩한 영상 프레임을 인코딩하기 위한 태스크를 포함한다. 다만, 상기 영상 처리를 위한 태스크는, 상기 로딩한 영상 프레임에 대한 편집 등과 같이 영상 처리를 위한 다양한 태스크로 구성될 수 있다.The task for processing the image includes a task for loading an image frame currently stored in a buffer based on the received interrupt and a task for encoding the loaded image frame. However, the task for image processing may include various tasks for image processing, such as editing the loaded image frame.

또한 상기 전송을 위한 태스크는, 상기 처리한 영상 프레임을 IP기반으로 전송하기 위한 것으로, 상기 처리한 영상 프레임을 IP패킷으로 변환하여 전송하기 위한 태스크로 구성된다.In addition, the task for transmission is for transmitting the processed image frame based on IP, and consists of a task for converting the processed image frame into an IP packet and transmitting it.

즉, 상기 영상 처리는, 상기 인터럽트를 기준으로 현재 버퍼에 저장된 영상 프레임의 로딩 및 인코딩을 포함하여 구성되며, 상기 전송은, 상기 처리한 영상 프레임을 IP패킷으로 변환하여 전송하는 것을 포함하여 구성되는 것이다.That is, the image processing includes loading and encoding of the image frame currently stored in the buffer based on the interrupt, and the transmission includes converting the processed image frame into an IP packet and transmitting it. will be.

또한 상기 영상 처리 장치(200)는, 상기 생성한 각 태스크를 위한 운영체제의 리소스를 할당할 때, 할당할 리소스가 부족한 경우에는, 현재 수행되고 있는 또 다른 태스크 중 우선순위가 낮은 태스크에 할당한 리소스를 회수하여 상기 영상 처리 및 전송을 위해 생성한 태스크에 우선적으로 할당한다.Also, when allocating the resources of the operating system for each of the created tasks, the image processing apparatus 200 allocates the resources allocated to the low-priority task among other tasks currently being performed if the allocated resources are insufficient. is retrieved and preferentially assigned to the task created for image processing and transmission.

이를 통해 상기 영상 처리 장치(200)는, 상기 인터럽트 신호에 따라 상기 영상 처리 및 전송을 보장하여, 상기 영상 처리 및 전송에 대한 지연 없이 주어진 시간에 원하는 영상을 안정적으로 제공할 수 있다.Through this, the image processing apparatus 200 guarantees the image processing and transmission according to the interrupt signal, thereby stably providing a desired image at a given time without delay for the image processing and transmission.

또한 상기 영상 처리 장치(200)는, 상기 로딩, 인코딩, IP패킷화 및 전송 또는 이들의 조합이 완료되면, 해당 태스크를 위해 할당한 상기 리소스를 회수하여, 또 다른 태스크를 위해 상기 회수한 리소스를 할당함으로써, 상기 리소스를 효율적으로 이용한다.In addition, when the loading, encoding, IP packetization and transmission or a combination thereof is completed, the image processing apparatus 200 recovers the resource allocated for a corresponding task, and uses the recovered resource for another task. By allocating, the resource is efficiently used.

도 5는 본 발명의 일 실시예에 따른 인터페이스 어댑터의 구성을 나타낸 블록도이다.5 is a block diagram illustrating the configuration of an interface adapter according to an embodiment of the present invention.

도 5에 도시한 바와 같이 본 발명의 일 실시예에 따른 인터페이스 어댑터(100)는, 사전에 주파수를 설정하는 주파수 설정부(110), HDMI와 같은 인터페이스를 통해 카메라와 같은 영상 제공 장치(300)로부터 영상을 수신하는 영상 수신부(120), 상기 수신한 영상을 루프 스루하여 상기 인터페이스 어댑터(100)와 로컬에서 연결된 디스플레이에 출력하는 영상 출력부(130), 상기 수신한 영상으로부터 수직 동기 신호를 추출하는 수직 동기 신호 추출부(140), 상기 사전에 설정한 주파수에 따라 주파수를 발생하는 주파수 발생부(150) 및 상기 발생한 주파수 또는 상기 추출한 수직 동기 신호에 맞추어 인터럽트를 생성하고 영상 처리 장치(200)로 제공하는 인터럽트 처리부(160)를 포함하여 구성된다.As shown in FIG. 5 , the interface adapter 100 according to an embodiment of the present invention includes a frequency setting unit 110 for setting a frequency in advance, and an image providing device 300 such as a camera through an interface such as HDMI. An image receiving unit 120 that receives an image from, an image output unit 130 that loops through the received image and outputs it to a display connected locally with the interface adapter 100, and extracts a vertical sync signal from the received image The vertical synchronization signal extraction unit 140, the frequency generation unit 150 for generating a frequency according to the preset frequency, and the image processing apparatus 200 for generating an interrupt according to the generated frequency or the extracted vertical synchronization signal It is configured to include an interrupt processing unit 160 provided as

상기 주파수 설정부(110)는, 상기 인터럽트를 생성하기 위한 주파수를 사전에 설정하는 기능을 수행한다. 이때, 상기 주파수 설정부(110)는, 특정 영상의 규격을 사용자로 하여금 선택하도록 복수의 버튼으로 구성된 인터페이스를 제공하여, 상기 사용자의 선택에 따라 상기 주파수를 사전에 설정함은 상술한 바와 같다.The frequency setting unit 110 performs a function of setting a frequency for generating the interrupt in advance. In this case, the frequency setting unit 110 provides an interface composed of a plurality of buttons to allow the user to select a standard of a specific image, and sets the frequency in advance according to the user's selection as described above.

다만, 상기 주파수는, 특정 영상의 규격에 따라 설정하는 것이 바람직 하지만 상기 인터페이스 어댑터(100)와 연결된 상기 영상 처리 장치(200)를 통해 상기 사용자가 임의의 주파수로 설정할 수 있음은 자명하다.However, although it is preferable to set the frequency according to the standard of a specific image, it is obvious that the user can set an arbitrary frequency through the image processing device 200 connected to the interface adapter 100 .

또한 상기 영상 수신부(120)는, HDMI와 같은 외부 인터페이스로 연결된 영상 제공 장치(300)(즉, 카메라)로부터 영상을 수신하며, 상기 영상 출력부(130)는, 루프 스루를 통해 상기 수신한 영상을 상기 디스플레이에 직접 출력하는 기능을 수행한다. 이때, 상기 영상 제공 장치(300)의 영상은 상기 인터페이스 어댑터(100)와 연결된 상기 영상 처리 장치(200)로 같이 제공됨은 상술한 바와 같다.In addition, the image receiving unit 120 receives an image from the image providing device 300 (ie, camera) connected to an external interface such as HDMI, and the image output unit 130, the received image through a loop-through to directly output to the display. In this case, the image of the image providing apparatus 300 is provided to the image processing apparatus 200 connected to the interface adapter 100 as described above.

또한 상기 수직 동기 신호 추출부(140)는, 상기 수신한 영상으로부터 수직 동기 신호를 추출하는 기능을 수행한다.In addition, the vertical synchronization signal extraction unit 140 performs a function of extracting a vertical synchronization signal from the received image.

또한 상기 주파수 발생부(150)는, 오실레이터(Oscillator)로 구성되며, 상기 오실레이터를 통해 상기 사전에 설정한 주파수에 따라 상기 주파수를 발생하는 기능을 수행한다.Also, the frequency generator 150 includes an oscillator, and generates the frequency according to the preset frequency through the oscillator.

또한 상기 인터럽트 처리부(160)는, 상기 주파수 발생부(150)에서 발생한 주파수 또는 상기 추출한 수직 동기 신호에 맞추어 인터럽트를 생성하고, 상기 생성한 인터럽트를 상기 영상 처리 장치(200)로 제공하는 기능을 수행한다.In addition, the interrupt processor 160 generates an interrupt according to the frequency generated by the frequency generator 150 or the extracted vertical synchronization signal, and provides the generated interrupt to the image processing apparatus 200 . do.

상기 인터럽트는, 상기 영상 처리 장치(200)에서 상기 수신한 영상 처리 및 전송에 대한 타이밍을 제공하기 위한 것임은 상술한 바와 같다.As described above, the interrupt is for providing timing for processing and transmission of the image received by the image processing apparatus 200 .

도 6은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 나타낸 블록도이다.6 is a block diagram illustrating the configuration of an image processing apparatus according to an embodiment of the present invention.

도 6에 도시한 바와 같이 본 발명의 일 실시예에 따른 영상 처리 장치(200)는, HDMI와 같은 외부 인터페이스를 통해 영상을 수신하는 영상 수신부(210), 상기 영상 처리 장치(200)와 연결된 영상 인터페이스 장치(100)로부터 인터럽트를 수신하는 인터럽트 수신부(220), 출력부(230), 태스크 생성부(240), 리소스 처리부(250), 영상 처리부(260) 및 전송부(270)를 포함하여 구성된다.As shown in FIG. 6 , the image processing apparatus 200 according to an embodiment of the present invention includes an image receiving unit 210 that receives an image through an external interface such as HDMI, and an image connected to the image processing apparatus 200 . The interface device 100 is configured to include an interrupt receiving unit 220 , an output unit 230 , a task generating unit 240 , a resource processing unit 250 , an image processing unit 260 , and a transmitting unit 270 , which receive an interrupt from the interface device 100 . do.

상기 영상 수신부(210)는, 상기 카메라와 같은 영상 제공 장치(300)로부터 상기 외부 인터페이스를 통해 영상을 수신하여, 상기 수신한 영상을 버퍼에 저장하는 기능을 수행한다. 이때 상기 영상 제공 장치(300)는, 상기 영상을 상기 영상 처리 장치(200)와 상기 영상 인터페이스 어댑터(100)에 동시에 제공함은 상술한 바와 같다.The image receiving unit 210 receives an image from the image providing device 300 such as the camera through the external interface, and performs a function of storing the received image in a buffer. In this case, as described above, the image providing apparatus 300 simultaneously provides the image to the image processing apparatus 200 and the image interface adapter 100 .

또한 상기 인터럽트 수신부(220)는, 상기 영상 인터페이스 어댑터(100)로부터 인터럽트를 수신하는 기능을 수행한다.Also, the interrupt receiving unit 220 performs a function of receiving an interrupt from the video interface adapter 100 .

또한 상기 태스크 생성부(240)는, 상기 인터럽트가 수신되면, 사전에 등록한 이벤트에 따라 현재 버퍼에 저장된 영상 프레임을 로딩하기 위한 태스크, 상기 로딩한 영상 프레임을 인코딩하기 위한 태스크를 포함하는 영상 처리를 위한 태스크와, 상기 인코딩한 영상을 IP패킷으로 변환하여 전송하기 위한 태스크를 생성하는 기능을 수행한다.In addition, when the interrupt is received, the task generator 240 performs image processing including a task for loading an image frame currently stored in the buffer and a task for encoding the loaded image frame according to an event registered in advance. It performs a function of generating a task for converting and transmitting the encoded image into an IP packet.

또한 상기 리소스 처리부(250)는, 상기 생성한 각 태스크를 처리하기 위한 운영체제의 리소스를 할당한다.Also, the resource processing unit 250 allocates an operating system resource for processing each of the generated tasks.

또한 상기 영상 처리부(260)는, 로딩부(261) 및 인코딩부(262)를 포함하여 구성되며, 상기 로딩부(261) 및 상기 인코딩부(262)가 상기 영상 처리를 위해 생성한 태스크를 각각 처리하는 응용프로그램으로써, 동작한다.Also, the image processing unit 260 includes a loading unit 261 and an encoding unit 262, and each of the tasks generated by the loading unit 261 and the encoding unit 262 for processing the image is performed. As the processing application, it works.

상기 로딩부(261)는, 현재 버퍼에 저장된 영상 프레임을 로딩하며, 상기 인코딩부(262)는, 상기 로딩한 영상 프레임을 압축(즉, 인코딩)하는 기능을 수행한다.The loading unit 261 loads an image frame currently stored in the buffer, and the encoding unit 262 performs a function of compressing (ie, encoding) the loaded image frame.

또한 상기 전송부(270)는, 상기 전송을 위해 생성한 태스크를 처리하는 응용프로그램으로써 동작하는 것으로, 상기 인코딩한 영상 프레임을 IP패킷으로 변환하는 IP패킷화를 수행하고, 상기 변환한 IP패킷을 전송하는 기능을 수행한다.In addition, the transmission unit 270 operates as an application program that processes the task created for the transmission, performs IP packetization for converting the encoded image frame into an IP packet, and converts the converted IP packet into an IP packet. It performs the function of sending.

한편, 상기 리소스 처리부(250)는, 상기 생성한 각 태스크를 처리하기 위한 상기 운영체제의 리소스를 할당할 때, 전체 리소스가 부족한 경우에는 사전에 생성한 태스크 중 우선순위가 낮은 태스크에 할당된 리소스를 회수하여 상기 생성한 각 태스크를 처리하기 위한 리소스를 할당한다.On the other hand, the resource processing unit 250, when allocating the resources of the operating system for processing each of the generated tasks, if the total resources are insufficient, the resources allocated to the tasks of low priority among previously created tasks Allocate resources for processing each task created by recovering it.

또한 상기 리소스 처리부(250)는, 상기 로딩, 인코딩, IP패킷화 및 전송 또는 이들의 조합이 완료되면 해당 태스크를 처리하기 위해 할당한 리소스를 회수하여 또 다른 태스크를 처리하기 위해 할당하는 기능을 수행한다.In addition, when the loading, encoding, IP packetization and transmission or a combination thereof is completed, the resource processing unit 250 recovers the resource allocated to process the task and allocates it to process another task. do.

한편, 상기 영상 수신부(210)는, 또 다른 영상 처리 장치(100)에서 처리된 처리 영상을 IP기반으로 수신하는 기능을 수행하며, 상기 출력부(230)는 상기 수신한 처리 영상을 로컬에서 연결된 디스플레이에 출력하는 기능을 수행한다. 이를 통해 다른 영상 처리 장치(100)와의 화상회의나 화상통화를 실시간으로 수행하거나, 상기 또 다른 영상 처리 장치(100)에서 처리한 처리 영상에 대한 실시간 스트리밍을 수행할 수 있다.Meanwhile, the image receiving unit 210 performs a function of receiving the processed image processed by another image processing apparatus 100 based on IP, and the output unit 230 is configured to locally connect the received processed image. It performs the function of outputting to the display. Through this, a video conference or video call with another image processing apparatus 100 may be performed in real time, or real-time streaming of the processed image processed by the other image processing apparatus 100 may be performed.

도 7은 본 발명의 일 실시예에 따른 IP기반 실시간 영상 처리 및 전송을 위한 절차를 나타낸 흐름도이다.7 is a flowchart illustrating a procedure for IP-based real-time image processing and transmission according to an embodiment of the present invention.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 IP기반 실시간 영상 처리 및 전송을 위한 절차는, 우선 상기 인터페이스 어댑터(100)와 영상 처리 장치(200)를 연결(S105)하고, 상기 인터페이스 어댑터(100)에서 제공하는 인터페이스를 통해 사용자의 선택에 따라 주파수를 사전에 설정하는 주파수 설정 단계(110)를 수행한다.As shown in FIG. 7 , in the procedure for IP-based real-time image processing and transmission according to an embodiment of the present invention, first, the interface adapter 100 and the image processing apparatus 200 are connected (S105), and the A frequency setting step 110 of presetting a frequency according to a user's selection is performed through an interface provided by the interface adapter 100 .

상기 주파수를 사전에 설정하는 것은, 임의의 주파수를 설정하는 것으로 특정 영상의 규격에 따라 설정함은 상술한 바와 같다.Setting the frequency in advance refers to setting an arbitrary frequency, and setting according to the standard of a specific image is as described above.

다음으로 상기 인터페이스 어댑터에서, 상기 사전에 설정한 주파수에 따라 주파수를 발생하는 주파수 발생 단계를 수행(S115)하고, 상기 발생한 주파수에 맞추어 인터럽트를 생성하여 상기 영상 처리 장치(200)로 제공하는 인터럽트 처리 단계를 수행한다(S120).Next, the interface adapter performs a frequency generation step of generating a frequency according to the preset frequency (S115), generates an interrupt according to the generated frequency, and provides the interrupt processing to the image processing apparatus 200 Step is performed (S120).

한편 상기 인터럽트는, HDMI를 통해 상기 영상 제공 장치(300)로부터 수신한 영상으로부터 추출한 수직 동기 신호에 맞추어 생성되어 제공될 수 있음은 상술한 바와 같다.Meanwhile, as described above, the interrupt may be generated and provided according to a vertical synchronization signal extracted from an image received from the image providing apparatus 300 through HDMI.

다음으로 상기 영상 처리 장치(200)에서, 상기 제공받은 인터럽트를 기준으로 현재 버퍼에 저장된 영상 프레임에 대한 영상 처리 및 전송을 위한 리소스를 할당하는 리소스 처리 단계를 수행한다(S125).Next, the image processing apparatus 200 performs a resource processing step of allocating resources for image processing and transmission with respect to the image frame currently stored in the buffer based on the received interrupt ( S125 ).

이때, 상기 영상 처리 장치(200)는, 상기 영상 처리 및 전송을 위한 복수의 태스크를 각각 생성하는 태스크 생성 단계를 수행하며, 상기 리소스 처리 단계는, 상기 태스크를 처리하기 위해 운영체제의 리소스를 할당함은 상술한 바와 같다.In this case, the image processing apparatus 200 performs a task generating step of generating a plurality of tasks for processing and transmitting the image, respectively, and the resource processing step allocates an operating system resource to process the task is as described above.

다음으로, 상기 영상 처리 장치(200)에서, 상기 할당한 리소스를 이용하여 상기 영상 프레임을 처리하는 영상 처리 단계 및 상기 처리한 영상 프레임을 전송하는 전송 단계를 수행한다(S130).Next, the image processing apparatus 200 performs an image processing step of processing the image frame using the allocated resource and a transmission step of transmitting the processed image frame (S130).

상기 영상 처리 단계는, 상기 영상 처리를 위해 생성한 각 태스크에 따라 현재 버퍼에 저장된 영상 프레임을 로딩하는 로딩 단계 및 상기 로딩한 영상 프레임을 압축하는 인코딩 단계를 포함한다.The image processing step includes a loading step of loading an image frame currently stored in a buffer according to each task created for the image processing, and an encoding step of compressing the loaded image frame.

또한 상기 전송 단계는, 상기 전송을 위한 태스크에 따라 상기 인코딩한 영상 프레임을 IP패킷으로 변환(IP패킷화)하여 상기 변환한 IP패킷을 전송하는 것을 포함한다.In addition, the transmitting step includes converting the encoded video frame into an IP packet (IP packetization) according to the transmission task and transmitting the converted IP packet.

다음으로, 상기 영상 처리 장치(100)에서 상기 영상 처리, 전송 또는 이들의 조합이 완료(S135)되면 상기 각 태스크를 처리하기 위해 할당한 리소스를 회수하는 리소스 처리 단계를 수행한다(S140).Next, when the image processing, transmission, or a combination thereof is completed in the image processing apparatus 100 ( S135 ), a resource processing step of recovering the resources allocated to process each task is performed ( S140 ).

이때, 상기 리소스 처리 단계는, 상기 회수한 리소스를 또 다른 태스크를 처리하기 위한 리소스로 할당하게 된다.In this case, the resource processing step allocates the recovered resource as a resource for processing another task.

이후, 모든 영상 처리 및 전송이 완료(S145)되는 경우, 전체 영상 처리 및 전송이 종료되며, 그렇지 않은 경우(S145)는, 전체 영상 처리 및 전송이 완료될 때 까지 상기 S115 단계 내지 S145 단계를 반복적으로 수행한다.Thereafter, when all image processing and transmission are completed (S145), the entire image processing and transmission is terminated. Otherwise (S145), steps S115 to S145 are repeated until the entire image processing and transmission is completed. carry out with

도 8은 본 발명의 또 다른 일 실시예에 따른 IP기반 실시간 영상 처리 및 전송을 위한 절차를 나타낸 흐름도이다.8 is a flowchart illustrating a procedure for IP-based real-time image processing and transmission according to another embodiment of the present invention.

도 8에 도시한 바와 같이 또 다른 일 실시예에 따른 IP시간 실시간 영상 처리 및 전송을 위한 절차는 우선, 인터페이스 어댑터(100)에서, 수신한 영상으로부터 수직 동기 신호를 추출하는 수직 동기 신호 추출 단계를 수행한다(S210).As shown in FIG. 8 , the procedure for IP time real-time image processing and transmission according to another embodiment includes, first, a vertical synchronization signal extraction step of extracting a vertical synchronization signal from a received image in the interface adapter 100 . perform (S210).

한편, 상기 영상 처리 및 전송을 위해 인터페이스 어댑터(100)와 상기 영상 처리 장치(200)를 우선적으로 연결함은 당연하다.Meanwhile, it is natural that the interface adapter 100 and the image processing apparatus 200 are preferentially connected for the image processing and transmission.

다음으로 상기 영상 인터페이스 어댑터(100)에서, 상기 추출한 수직 동기 신호에 맞추어 인터럽트를 생성하여 영상 처리 장치(200)로 제공하는 인터럽트 처리 단계를 수행한다(S215).Next, the video interface adapter 100 performs an interrupt processing step of generating an interrupt in accordance with the extracted vertical synchronization signal and providing it to the image processing apparatus 200 (S215).

상기 인터럽트는, 사전에 설정한 주파수에 맞추어 생성되어 제공될 수 있음은 상술한 바와 같다.As described above, the interrupt may be generated and provided according to a preset frequency.

다음으로 상기 영상 처리 장치(200)에서, S215 단계 내지 S240 단계를 통해 상기 제공받은 인터럽트를 기준으로 영상을 처리하고 전송하는 단계를 수행한다.Next, the image processing apparatus 200 processes and transmits the image based on the received interrupt through steps S215 to S240.

한편, 상기 S215 단계 내지 S240 단계는, 도 7에 도시한 S125 단계 내지 S145 단계와 동일하므로 더 이상의 상세한 설명은 생략하도록 한다.Meanwhile, since steps S215 to S240 are the same as steps S125 to S145 shown in FIG. 7 , further detailed descriptions will be omitted.

한편, 상기 영상 처리 장치(100)는, 또 다른 영상 처리 장치(100)에서 처리한 처리 영상을 수신하는 단계를 수행할 수 있으며, 상기 수신한 처리 영상을 로컬에서 연결된 디스플레이에 출력하는 출력 단계를 수행할 수 있다.Meanwhile, the image processing apparatus 100 may perform a step of receiving the processed image processed by another image processing apparatus 100, and outputting the received processed image to a locally connected display. can be done

이처럼, 본 발명은 영상 인터페이스 어댑터를 통해 특정 영상의 규격에 따라 사전에 설정하거나, 또는 특정 영상으로부터 추출한 수직 동기 신호에 맞추어 인터럽트를 생성하여 실시간 영상 처리 및 전송을 수행하는 영상 처리 장치로 제공함으로써, 상기 인터럽트를 통해 상기 영상 처리 및 전송을 위한 타이밍을 상기 영상 처리 장치로 제공하여 상기 영상 처리 및 전송을 보장함과 동시에 상기 영상 처리 및 전송에 대한 지연 없이 안정적으로 제공할 수 있도록 하는 효과가 있다.As such, the present invention provides an image processing apparatus that performs real-time image processing and transmission by generating an interrupt in accordance with a vertical synchronization signal extracted from a specific image or set in advance according to the standard of a specific image through a video interface adapter, By providing the timing for image processing and transmission to the image processing device through the interrupt, the image processing and transmission are guaranteed, and the image processing and transmission can be stably provided without delay.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, which are merely exemplary, and those of ordinary skill in the art can make various modifications and equivalent other embodiments therefrom. You will understand that it is possible. Therefore, the technical protection scope of the present invention should be determined by the following claims.

10: IP기반 실시간 영상 처리 및 전송을 위한 시스템
100: 영상 인터페이스 어댑터 110: 주파수 설정부
120: 영상 인터페이스 어댑터의 영상 수신부 130: 영상 출력부
140: 수직 동기 신호 추출부 150: 주파수 발생부
160: 인터럽트 처리부 200: 영상 처리 장치
210: 영상 처리 장치의 영상 수신부 220: 인터럽트 수신부
230: 출력부 240: 태스크 생성부
250: 리소스 처리부 260: 영상 처리부
261: 로딩부 262: 인코딩부
270: 전송부10: IP-based real-time image processing and transmission system
100: video interface adapter 110: frequency setting unit
120: video receiving unit of the video interface adapter 130: video output unit
140: vertical synchronization signal extraction unit 150: frequency generation unit
160: interrupt processing unit 200: image processing device
210: image receiving unit of the image processing device 220: interrupt receiving unit
230: output unit 240: task generator
250: resource processing unit 260: image processing unit
261: loading unit 262: encoding unit
270: transmission unit

Claims (10)

실시간 영상 처리 및 전송을 위한 인터럽트를 생성하는 영상 인터페이스 어댑터; 및
상기 생성한 인터럽트에 따라 영상을 처리하여 IP기반으로 전송하는 영상 처리 장치;를 포함하며,
상기 인터럽트 신호를 통해 상기 실시간 영상 처리 및 전송을 위한 타이밍을 상기 영상 처리 장치로 제공하여 상기 영상 처리와 전송을 보장하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 시스템.a video interface adapter that generates interrupts for real-time video processing and transmission; and
and an image processing device that processes the image according to the generated interrupt and transmits the image based on IP;
and providing the timing for processing and transmitting the real-time image to the image processing device through the interrupt signal to ensure the image processing and transmission. 청구항 1에 있어서,
상기 영상 인터페이스 어댑터는,
특정 영상의 규격에 따라 특정 주파수를 사전에 설정하는 주파수 설정부;
상기 사전에 설정한 특정 주파수에 따라 주파수를 발생하는 주파수 발생부; 및
상기 발생한 주파수에 맞추어 상기 인터럽트를 생성하여 상기 영상 처리 장치로 제공하는 인터럽트 처리부;를 포함하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 시스템.The method according to claim 1,
The video interface adapter comprises:
a frequency setting unit for presetting a specific frequency according to the standard of a specific image;
a frequency generator for generating a frequency according to the preset specific frequency; and
and an interrupt processing unit that generates the interrupt according to the generated frequency and provides the interrupt to the image processing device. 청구항 1에 있어서,
상기 영상 인터페이스 어댑터는,
카메라를 포함하는 영상 제공 장치로부터 영상을 수신하는 영상 수신부;
상기 수신한 영상으로부터 수직 동기(Vertical Sync) 신호를 추출하는 수직 동기 신호 추출부; 및
상기 수신한 영상을 루프 스루(loop through)하여 디스플레이에 출력하는 영상 출력부;를 포함하며,
상기 추출한 수직 동기 신호에 맞추어 상기 인터럽트를 발생하여 상기 영상 처리 장치로 제공하는 것을 포함하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 시스템.The method according to claim 1,
The video interface adapter comprises:
an image receiving unit for receiving an image from an image providing device including a camera;
a vertical sync signal extraction unit for extracting a vertical sync signal from the received image; and
and an image output unit that loops through the received image and outputs it to a display;
and generating the interrupt in accordance with the extracted vertical synchronization signal and providing the interrupt to the image processing device. 청구항 1에 있어서,
상기 영상 인터페이스 어댑터와 상기 영상 처리 장치는,
USB 인터페이스 또는 PCIe(Peripheral Component Interconnect) 인터페이스를 통해 연결되어 상기 발생한 인터럽트를 송수신하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 시스템.The method according to claim 1,
The image interface adapter and the image processing device,
A system for IP-based real-time image processing and transmission, characterized in that it is connected through a USB interface or a PCIe (Peripheral Component Interconnect) interface to transmit and receive the generated interrupt. 청구항 1에 있어서,
상기 영상 처리 장치는,
상기 영상 인터페이스 어댑터로부터 상기 인터럽트를 수신할 때 마다, 상기 영상 처리 및 전송하기 위한 리소스를 각각 할당하고, 상기 영상 처리, 전송 또는 이들의 조합이 완료되면 상기 할당한 리소스를 각각 회수하며,
상기 영상 처리는, 현재 버퍼에 저장된 영상의 프레임을 로딩하여 인코딩하는 것을 포함하며, 상기 전송은 상기 인코딩한 영상의 프레임을 IP패킷으로 변환하여 전송하는 것을 포함하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 시스템.The method according to claim 1,
The image processing device,
Each time the interrupt is received from the video interface adapter, allocating the resources for processing and transmitting the image, and recovering the allocated resources when the image processing, transmission, or a combination thereof is completed,
IP-based real-time image processing, characterized in that the image processing includes loading and encoding a frame of an image currently stored in a buffer, and the transmission includes converting the encoded image frame into an IP packet and transmitting it and systems for transmission. 영상 인터페이스 어댑터에서, 실시간 영상 처리 및 전송을 위한 인터럽트를 생성하는 단계; 및
영상 처리 장치에서, 상기 생성한 인터럽트에 따라 영상을 처리하여 IP기반으로 전송하는 단계;를 포함하며,
상기 인터럽트 신호를 통해 상기 실시간 영상 처리 및 전송을 위한 타이밍을 상기 영상 처리 장치로 제공하여 상기 영상 처리와 전송을 보장하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 방법.generating, in a video interface adapter, an interrupt for real-time video processing and transmission; and
In the image processing apparatus, processing the image according to the generated interrupt and transmitting the image based on IP;
The IP-based real-time image processing and transmission method according to claim 1, wherein the timing for processing and transmitting the real-time image is provided to the image processing device through the interrupt signal to ensure the image processing and transmission. 청구항 6에 있어서,
상기 방법은,
상기 영상 인터페이스 어댑터에서, 특정 영상의 규격에 따라 특정 주파수를 사전에 설정하는 주파수 설정 단계;
상기 영상 인터페이스 어댑터에서, 상기 사전에 설정한 특정 주파수에 따라 주파수를 발생하는 주파수 발생 단계; 및
상기 영상 인터페이스 어댑터에서, 상기 발생한 주파수에 맞추어 상기 인터럽트를 생성하여 상기 영상 처리 장치로 제공하는 인터럽트 처리 단계;를 포함하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 방법.7. The method of claim 6,
The method is
a frequency setting step of presetting, in the video interface adapter, a specific frequency according to a standard of a specific video;
a frequency generating step of generating, in the video interface adapter, a frequency according to the preset specific frequency; and
and an interrupt processing step of generating, in the video interface adapter, the interrupt according to the generated frequency and providing the interrupt to the image processing device. 청구항 6에 있어서,
상기 방법은,
상기 영상 인터페이스 어댑터에서, 카메라를 포함하는 영상 제공 장치로부터 영상을 수신하는 영상 수신 단계;
상기 영상 인터페이스 어댑터에서, 상기 수신한 영상으로부터 수직 동기(Vertical Sync) 신호를 추출하는 수직 동기 신호 추출 단계; 및
상기 영상 인터페이스 어댑터에서, 상기 수신한 영상을 루프 스루(loop through)하여 디스플레이에 출력하는 영상 출력 단계;를 포함하며,
상기 추출한 수직 동기 신호에 맞추어 상기 인터럽트를 발생하여 상기 영상 처리 장치로 제공하는 것을 포함하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 방법.7. The method of claim 6,
The method is
an image receiving step of receiving, in the image interface adapter, an image from an image providing device including a camera;
a vertical sync signal extraction step of extracting, in the video interface adapter, a vertical sync signal from the received image; and
an image output step of looping through the received image in the image interface adapter and outputting it to a display;
and generating the interrupt in accordance with the extracted vertical synchronization signal and providing the interrupt to the image processing apparatus. 청구항 6에 있어서,
상기 영상 인터페이스 어댑터와 상기 영상 처리 장치는,
USB 인터페이스 또는 PCIe(Peripheral Component Interconnect) 인터페이스를 통해 연결되어 상기 발생한 인터럽트를 송수신하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 방법.7. The method of claim 6,
The image interface adapter and the image processing device,
A method for IP-based real-time image processing and transmission, characterized in that it is connected through a USB interface or a PCIe (Peripheral Component Interconnect) interface to transmit and receive the generated interrupt. 청구항 6에 있어서,
상기 방법은,
상기 영상 처리 장치에서, 상기 영상 인터페이스 어댑터로부터 상기 인터럽트를 수신할 때 마다, 상기 영상 처리 및 전송하기 위한 리소스를 각각 할당하고, 상기 영상 처리, 전송 또는 이들의 조합이 완료되면 상기 할당한 리소스를 각각 회수하며,
상기 영상 처리는, 현재 버퍼에 저장된 영상의 프레임을 로딩하여 인코딩하는 것을 포함하며, 상기 전송은 상기 인코딩한 영상의 프레임을 IP패킷으로 변환하여 전송하는 것을 포함하는 것을 특징으로 하는 IP기반 실시간 영상 처리 및 전송을 위한 방법.7. The method of claim 6,
The method is
In the image processing apparatus, each time the interrupt is received from the video interface adapter, resources for processing and transmission of the image are allocated respectively, and when the processing, transmission, or a combination thereof is completed, the allocated resources are respectively allocated recover,
IP-based real-time image processing, characterized in that the image processing includes loading and encoding a frame of an image currently stored in a buffer, and the transmission includes converting the encoded image frame into an IP packet and transmitting it and methods for transmission.
KR1020200160806A 2020-11-26 2020-11-26 System and method for real time processing and transferring images based ip KR20220073078A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200160806A KR20220073078A (en) 2020-11-26 2020-11-26 System and method for real time processing and transferring images based ip

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200160806A KR20220073078A (en) 2020-11-26 2020-11-26 System and method for real time processing and transferring images based ip

Publications (1)

Publication Number Publication Date
KR20220073078A true KR20220073078A (en) 2022-06-03

Family

ID=81982562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160806A KR20220073078A (en) 2020-11-26 2020-11-26 System and method for real time processing and transferring images based ip

Country Status (1)

Country Link
KR (1) KR20220073078A (en)

Similar Documents

Publication Publication Date Title
US10454986B2 (en) Video synchronous playback method, apparatus, and system
US8495162B2 (en) Communication system, communication apparatus and communication method of communication system
CN111010614A (en) Method, device, server and medium for displaying live caption
CN102209232A (en) Remote audio and video monitor system and method thereof
US9716865B2 (en) Apparatus and method for shooting moving picture in camera device
US20090015711A1 (en) Relay apparatus and communication system
JP6179179B2 (en) Information processing apparatus, information processing method, and program
CN106227492A (en) Combination and mobile intelligent terminal interconnected method and device
CN109302637B (en) Image processing method, image processing device and electronic equipment
JPH09252462A (en) Transmission processing unit, video conference system, transmission processing method and storage medium
CN113286190A (en) Cross-network and same-screen control method and device and cross-network and same-screen system
CN205105347U (en) Video wireless transmission equipment, video playback devices and system
CN113259729B (en) Data switching method, server, system and storage medium
CN105898187A (en) Method, device and system for implementation of remote communications
KR20220073078A (en) System and method for real time processing and transferring images based ip
JP2016192610A (en) Remote conference program, controller and remote conference method
CN112218034A (en) Video processing method, system, terminal and storage medium
CN110570614B (en) Video monitoring system and intelligent camera
CN113053374B (en) Large screen control system
CN114554277B (en) Multimedia processing method, device, server and computer readable storage medium
CN106851134B (en) Method, device and system for transmitting image data
JPH11112964A (en) Image transmitter
CN113630575A (en) Method, system and storage medium for displaying multi-person online video conference image
JP4738251B2 (en) Synchronous automatic adjustment device
CN110798700A (en) Video processing method, video processing device, storage medium and electronic equipment

Legal Events

Date Code Title Description
E601 Decision to refuse application