KR20190099895A

KR20190099895A - High Speed Image Processing Method

Info

Publication number: KR20190099895A
Application number: KR1020180019939A
Authority: KR
Inventors: 황규호
Original assignee: 주식회사돌도2소프트
Priority date: 2018-02-20
Filing date: 2018-02-20
Publication date: 2019-08-28

Abstract

Disclosed is a high-speed image processing method. The method performed by an image processing apparatus comprises the following steps: acquiring an original image including a target image; performing image compression processing on the original image according to a predetermined compression rate, and acquiring a low pixel image after the image compression processing; determining a boundary of the target image on the low pixel image; acquiring the target image included in the original image by mapping the determined boundary included in the low pixel image to the original image; receiving a first frame of target image data; writing a configuration vector corresponding to the first frame of target image data to an active configuration vector register of a first image processing device during activation of a first enable signal; and generating an activated first enable signal by combining a trigger signal generated from a timing signal corresponding to the first frame of target image data with a second enable signal. According to the present invention, the target image is acquired based on the low pixel image, thereby reducing time taken to acquire the target image.

Description

High Speed Image Processing Method

본 발명은 고속 화상 처리 방법에 관한 것으로, 더욱 상세하게는 저픽셀 이미지에 기초하여 목표 이미지를 획득함으로써 목표 이미지를 획득하는 시간을 단축시킬 수 있고, 목표 이미지를 획득 작업의 효율성을 도모할 수 있을 뿐만 아니라, 화상 처리 장치에 의한 시간 지연에 관계없이 CPU가 데이터의 타이밍과는 별도로 업데이트된 구성 벡터를 출력하는 경우에도 화상 처리 장치들의 체인에서 각 화상 처리 단계를 순차적으로 업데이트할 수 있는 화상 처리 방법에 관한 것이다. The present invention relates to a high-speed image processing method, and more particularly, it is possible to shorten the time for acquiring the target image by acquiring the target image based on the low pixel image, and to achieve the efficiency of acquiring the target image. In addition, an image processing method capable of sequentially updating each image processing step in a chain of image processing apparatuses even when the CPU outputs an updated configuration vector independently of the timing of the data regardless of the time delay by the image processing apparatus. It is about.

현재 비디오 기술은 특정 장면 모니터링, 목표로 하는 사람의 검색 등을 위한 다양한 분야에서 널리 사용되고 있다.Currently, video technology is widely used in various fields for monitoring specific scenes and searching for a target person.

따라서, 카메라에 의해 수집되는 원본 이미지(original image)가 프로세싱될 때, 원본 이미지로부터 목표로 하는 대상(target object) 또는 목표로 하는 사람을 식별하는 것, 즉, 목표 이미지(target image)를 결정하는 것이 종종 요구된다.Thus, when the original image collected by the camera is processed, identifying the target object or the target person from the original image, i.e., determining the target image. Is often required.

현재는 일반적으로 원본 이미지로부터 목표 이미지를 결정하기 위해서, 원본 이미지의 픽셀이 하나씩 스캔되어 원본 이미지로부터 목표 이미지의 경계선을 결정하는 방식이 사용된다.Currently, in order to determine the target image from the original image, a method of determining the boundary of the target image from the original image by scanning pixels of the original image one by one is generally used.

한편, 종래의 방식은 원본 이미지가 고해상도인 경우, 원본 이미지가 많은 픽셀 포인트를 포함하기 때문에, 상기의 기술적 솔루션을 사용하는 것에 의해 원본 이미지로부터 목표 이미지를 결정하는 데에 수 초 또는 심지어 그 이상의 시간을 필요로 한다. 즉, 목표 이미지를 획득하는 데에 걸리는 시간이 길고 효율성이 낮다는 문제점이 있다.On the other hand, in the conventional method, since the original image contains many pixel points when the original image is high resolution, several seconds or even more time is required to determine the target image from the original image by using the above technical solution. need. That is, there is a problem that the time taken to acquire the target image is long and the efficiency is low.

한편, MIPI(Mobile Industry Processor Interface)는 상호 접속에 의해 연결된 각 프로세싱 장치은 데이터의 전체 프레임에서 동작하고, 프레임의 데이터의 타이밍은 일반적으로 각 장치을 통해 지연된 타이밍 신호로 나타난다. 각 프로세싱 장치은 각 장치의 프로세싱을 제어하기 위해 구성 벡터(V)를 사용한다. On the other hand, the Mobile Industry Processor Interface (MIPI) is that each processing device connected by an interconnect operates on an entire frame of data, and the timing of the data in the frame is generally represented by a delayed timing signal through each device. Each processing device uses a configuration vector V to control the processing of each device.

구성 벡터는 일반적으로 프로세서, 온-칩(on-chip) 또는 오프-칩(off-chip)에 의해 '라이트'되고, 데이터의 프레임의 크기를 포함하는 프로세싱 장치의 동작의 여러 측면을 제어한다.Configuration vectors are generally 'written' by a processor, on-chip or off-chip, and control various aspects of the operation of the processing device, including the size of the frame of data.

각 장치에 대하여 업데이트된 새로운 구성 벡터는 각 장치이 프레임에 대한 프로세싱을 시작할 때 또는 그 이전에 적용되어야 하며, 각 장치이 전체 프레임을 프로세싱하는 동안 각 장치에서 일정하게 유지되어야 한다.The updated new configuration vector for each device must be applied at or before each device starts processing the frame, and must remain constant at each device while each device processes the entire frame.

직렬 배열로 종속 접속된 모든 화상 처리 장치들이 동시에 정확하게 업데이트된 경우, 장치들 각각을 통한 지연으로 인해, 업데이트는 적어도 하나 이상의 장치들이 프레임을 프로세싱하는 동안 적용될 수 있다.If all the image processing devices cascaded in a serial arrangement are updated correctly at the same time, due to the delay through each of the devices, the update can be applied while the at least one or more devices are processing the frame.

이 경우 장치들이 프레임을 프로세싱하는 동안 구성 벡터는 해당 장치에서 일정하게 유지되지 않으며, 데이터 손상이 발생할 수 있다. 예컨대, 일련의 프로세싱 장치들에 있어서, 수평 폭은 일반적으로 구성 벡터의 일부이며, 특정 프레임에 대하여 수신된 데이터가 구성 벡터와 일치하지 않은 경우 장치은 이미지 데이터를 정확히 처리하지 않는다. In this case, while the devices are processing the frame, the configuration vector is not kept constant at that device, and data corruption may occur. For example, in a series of processing devices, the horizontal width is generally part of the configuration vector, and the device does not process the image data correctly if the data received for a particular frame does not match the configuration vector.

순차적으로 처리될 프레임들 사이의 이미지 크기(예컨대, 수평 폭)를 변경하는 경우, 각프로세싱 장치은 이전의 프로세싱 장치들을 통해 지연된 이미지 데이터를 수신하는 시점과 동시에 새로운 구성 벡터를 수신할 필요가 있다.When changing the image size (eg, horizontal width) between frames to be processed sequentially, each processing apparatus needs to receive a new configuration vector at the same time as receiving the delayed image data through the previous processing apparatuses.

적절한 시점에 모든 장치들을 업데이트하기 위해서, MIPI 연결된 각각의 화상 처리 장치들을 통한 지연 및 데이터의 타이밍 추적이 필요한 경우 CPU는 크게 부담이 되고 기타 프로세싱 작업을 위해 이용할 수 없게 된다. In order to update all the devices at the right time, the CPU becomes very burdensome and unusable for other processing tasks when delay and timing of data through each of the MIPI connected image processing devices is required.

그것은 마찬가지로 비효율적이며 프로세싱 장치들의 전체 파이프라인을 중단하고, 새로운 구성 벡터를 적용한 다음 프로세싱 장치을 재시작하고, 구성 벡터가 변경되는 경우 나타나는 각 장치으로부터 인터럽트에 의존하는 것은 이미지 센서로부터 이미지 데이터 손상의 원인이 될 것이며, CPU가 충분히 빠르게 응답할 수 있기를 원한다.It is likewise inefficient and interrupting the entire pipeline of processing devices, applying a new configuration vector and then restarting the processing device, and relying on interrupts from each device appearing when the configuration vector changes will cause image data corruption from the image sensor. We want the CPU to respond fast enough.

화상 처리 장치의 동작에 최소한의 중단과 함께 CPU에 부담 없이, 업데이트된 구성 벡터는 각각의 이전 프로세싱 장치을 통해 지연된 이미지 데이터의 지연 및 타이밍과 동시에 이루어지는 각각 MIPI 연결된 프로세싱 장치에 적용되는 것이 바람직하다.Without burdening the CPU with minimal interruption to the operation of the image processing apparatus, the updated configuration vector is preferably applied to each MIPI-connected processing apparatus that coincides with the delay and timing of the image data delayed through each previous processing apparatus.

따라서, 본 발명의 목적은, 저픽셀 이미지에 기초하여 목표 이미지를 획득함으로써 목표 이미지를 획득하는 시간을 단축시킬 수 있고, 목표 이미지를 획득 작업의 효율성을 도모할 수 있을 뿐만 아니라, 화상 처리 장치에 의한 시간 지연에 관계없이 CPU가 데이터의 타이밍과는 별도로 업데이트된 구성 벡터를 출력하는 경우에도 화상 처리 장치들의 체인에서 각 화상 처리 단계를 순차적으로 업데이트할 수 있는 화상 처리 방법을 제공함에 있다.Therefore, the object of the present invention is to shorten the time for acquiring the target image by acquiring the target image based on the low pixel image, to achieve the efficiency of the acquisition operation of the target image, and to the image processing apparatus. It is an object of the present invention to provide an image processing method capable of sequentially updating each image processing step in a chain of image processing apparatuses even when the CPU outputs an updated configuration vector independently of the timing of data.

상기 목적을 달성하기 위한 본 발명에 따른 화상 처리 방법은, (a) 화상 처리 장치가, 목표 이미지(target image)를 포함하는 원본 이미지(original image)를 획득하는 단계; (b) 상기 화상 처리 장치가, 미리 설정된 압축률에 따라 상기 원본 이미지에 대해 이미지 압축 프로세싱을 수행하여, 상기 이미지 압축 프로세싱 이후의 저픽셀(low-pixel) 이미지를 획득하는 단계; (c) 상기 화상 처리 장치가, 상기 저픽셀 이미지에서 상기 목표 이미지의 경계선(borderline)을 결정하는 단계; (d) 상기 화상 처리 장치가, 상기 저픽셀 이미지에 포함되는 상기 결정된 경계선을 상기 원본 이미지로 매핑하여, 상기 원본 이미지에 포함되는 상기 목표 이미지를 획득하는 단계; (e) 상기 화상 처리 장치가, 상기 목표 이미지 데이터의 제1 프레임을 수신하는 단계; (f) 상기 화상 처리 장치가, 제1 인에이블 신호가 활성화되는 동안 상기 목표 이미지 데이터의 제1 프레임에 상응하는 구성 벡터를 제1 화상 처리 장치의 액티브 구성 벡터 레지스터로 라이트하는 단계; 및 (g) 상기 화상 처리 장치가, 상기 목표 이미지 데이터의 제1 프레임에 상응하는 타이밍 신호로부터 생성된 트리거 신호와 제2 인에이블 신호를 결합함으로써 상기 활성화된 제1 인에이블 신호를 발생하는 단계를 포함한다.An image processing method according to the present invention for achieving the above object comprises the steps of: (a) obtaining an original image including a target image by the image processing apparatus; (b) the image processing apparatus performing image compression processing on the original image according to a preset compression rate to obtain a low-pixel image after the image compression processing; (c) determining, by the image processing apparatus, a borderline of the target image in the low pixel image; (d) the image processing apparatus mapping the determined boundary included in the low pixel image to the original image to obtain the target image included in the original image; (e) receiving, by the image processing apparatus, a first frame of the target image data; (f) the image processing apparatus writing the configuration vector corresponding to the first frame of the target image data to an active configuration vector register of the first image processing apparatus while a first enable signal is activated; And (g) generating, by the image processing apparatus, the activated first enable signal by combining a trigger signal generated from a timing signal corresponding to the first frame of the target image data with a second enable signal. Include.

바람직하게는, 상기 타이밍 신호는 비디오 프레임 동기 신호를 포함하는 것을 특징으로 한다.Preferably, the timing signal includes a video frame synchronization signal.

또한, 상기 (e) 단계 이후, 상기 (f) 단계 이전에, 상기 제1 인에이블 신호가 활성화되기 이전에, 상기 화상 처리 장치가, 상기 목표 이미지 데이터의 제1 프레임에 상응하는 상기 구성 벡터를 상기 제1 화상 처리 장치의 버퍼링된 구성 벡터 레지스터로 라이트하는 단계를 더 포함한다.Further, after the step (e) and before the step (f), but before the first enable signal is activated, the image processing apparatus is further configured to obtain the configuration vector corresponding to the first frame of the target image data. And writing to the buffered configuration vector register of the first image processing apparatus.

또한, 상기 트리거 신호는 상기 비디오 프레임 동기 신호로부터 생성되는 것을 특징으로 한다.The trigger signal may be generated from the video frame synchronization signal.

본 발명에 따르면, 저픽셀 이미지에 기초하여 목표 이미지를 획득함으로써 목표 이미지를 획득하는 시간을 단축시킬 수 있고, 목표 이미지를 획득 작업의 효율성을 도모할 수 있게 된다.According to the present invention, the time for acquiring the target image can be shortened by acquiring the target image based on the low pixel image, and the efficiency of the task of acquiring the target image can be achieved.

아울러, 본 발명에 따르면, 화상 처리 장치에 의한 시간 지연에 관계없이 CPU가 데이터의 타이밍과는 별도로 업데이트된 구성 벡터를 출력하는 경우에도 화상 처리 장치들의 체인에서 각 화상 처리 단계를 순차적으로 업데이트할 수 있는 화상 처리 방법이 제공된다. In addition, according to the present invention, even when the CPU outputs a configuration vector updated independently of the timing of the data regardless of the time delay by the image processing apparatus, it is possible to sequentially update each image processing step in the chain of image processing apparatuses. An image processing method is provided.

도 1은 본 발명의 일 실시예에 따른 화상 처리 방법의 실행 과정을 설명하는 절차 흐름도이다.1 is a flowchart illustrating an execution process of an image processing method according to an exemplary embodiment.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, with reference to the drawings will be described the present invention in more detail. It should be noted that the same elements in the figures are represented by the same numerals wherever possible. In addition, detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.

도 1은 본 발명의 일 실시예에 따른 화상 처리 방법의 실행 과정을 설명하는 절차 흐름도이다. 이하에서는 도 1을 참조하여, 본 발명의 일 실시예에 따른 화상 처리 방법의 실행 과정을 설명하기로 한다.1 is a flowchart illustrating an execution process of an image processing method according to an exemplary embodiment. Hereinafter, an execution process of an image processing method according to an exemplary embodiment of the present invention will be described with reference to FIG. 1.

먼저, 본 발명에 따른 화상 처리 장치는 목표 이미지를 포함하고 있는 원본 이미지를 획득한다(S100).First, the image processing apparatus according to the present invention obtains an original image including a target image (S100).

구체적으로, 전술한 S100 단계를 실시함에 있어서, 이미지 수집 디바이스는 각각의 카메라 디바이스로부터 획득되는 원본 이미지를 화상 처리 디바이스로 개별적으로 전송하고, 그 결과 화상 처리 디바이스는 각각의 카메라 디바이스에 의해 캡쳐되는 원본 이미지를 직접적으로 획득한다.Specifically, in carrying out the above-described step S100, the image acquisition device individually transmits original images obtained from each camera device to the image processing device, and as a result, the image processing device is an original captured by each camera device. Obtain the image directly.

한편, 화상 처리 장치는 원본 이미지에 대해 미리 설정된 압축률에 따라 이미지 압축 프로세싱이 수행되어, 이미지 압축 프로세싱 이후의 저픽셀 이미지를 획득한다(S110).On the other hand, the image processing apparatus performs image compression processing according to a preset compression ratio for the original image, so as to obtain a low pixel image after the image compression processing (S110).

한편, 전술한 S110 단계를 실시함에 있어서, 화상 처리 장치는 미리 설정된 압축률에 따라 저픽셀 이미지에서의 각각의 픽셀 포인트의 위치를 결정하고, 고속 이중 선형 보간 알고리즘을 사용하는 것에 의해 원본 이미지에 대해 이미지 압축프로세싱을 수행하여, 저픽셀 이미지에서의 각각의 픽셀 포인트의 픽셀 값을 획득하고, 압축 이후의 각각의 픽셀 포인트의 위치 및 픽셀 값에 따라 저픽셀 이미지를 생성한다. On the other hand, in carrying out the above-described step S110, the image processing apparatus determines the position of each pixel point in the low pixel image according to a preset compression ratio, and uses the fast double linear interpolation algorithm to image the original image. Compression processing is performed to obtain pixel values of each pixel point in the low pixel image, and generate a low pixel image according to the position and pixel value of each pixel point after compression.

여기서, 미리 설정된 압축률은 특정한 애플리케이션 시나리오에 따라 미리 구성되는 값이며, 미리 설정된 압축률은 미리 설정되는 수평 압축률 및 종방향 압축률을 포함하고, 수평 압축률은 종방향 압축률과 동일할 수도 있고 또는 동일하지 않을 수도 있을 것이다.Here, the preset compression ratio is a value configured in advance according to a specific application scenario, the preset compression ratio includes a preset horizontal compression ratio and a longitudinal compression ratio, and the horizontal compression ratio may or may not be the same as the longitudinal compression ratio. There will be.

그 다음, 화상 처리 장치는 전술한 S110 단계에서 획득한 저픽셀 이미지로부터 목표 이미지의 경계선을 결정한다(S120). Next, the image processing apparatus determines a boundary of the target image from the low pixel image acquired in step S110 described above (S120).

한편, 화상 처리 장치는 전술한 S120 단계에서 결정된 저픽셀 이미지에 포함되는 경계선을 원본 이미지로 매핑 처리하며, 이를 통해 원본 이미지에 포함되는 목표 이미지를 획득한다(S130).On the other hand, the image processing apparatus maps the boundary line included in the low pixel image determined in the above-described step S120 to the original image, and thereby obtains the target image included in the original image (S130).

그 다음, 화상 처리 장치는 상기 목표 이미지의 데이터의 제1 프레임을 수신하게 되며(S140), 업데이트 인에이블 신호가 활성화되는 동안 목표 이미지 데이터의 제1 프레임에 상응하는 구성 벡터를 화상 처리 장치의 액티브 구성 벡터 레지스터로 라이트한다(S150).Next, the image processing apparatus receives the first frame of the data of the target image (S140), and activates a configuration vector corresponding to the first frame of the target image data while the update enable signal is activated. Write to the configuration vector register (S150).

그 다음, 화상 처리 장치는 상기 목표 이미지 데이터의 제1 프레임에 상응하는 타이밍 신호로부터 생성된 트리거 신호와 하드웨어 인에이블 신호를 결합함으로써 상기 활성화된 업데이트 인에이블 신호를 발생한다(S160).Next, the image processing apparatus generates the activated update enable signal by combining a hardware enable signal and a trigger signal generated from a timing signal corresponding to the first frame of the target image data (S160).

한편, 본 발명을 실시함에 있어서, 전술한 S160 단계에서의 타이밍 신호는 비디오 프레임 동기 신호를 포함토록 함이 바람직할 것이다.Meanwhile, in implementing the present invention, it may be desirable to include the video frame synchronization signal in the above-described step S160.

아울러, 본 발명을 실시함에 있어서, 전술한 S140 단계와 S150 단계 사이에 화상 처리 장치는, 상기 업데이트 인에이블 신호가 활성화되기 이전에, 목표 이미지 데이터의 제1 프레임에 상응하는 상기 구성 벡터를 제1 화상 처리 장치의 버퍼링된 구성 벡터 레지스터로 라이트함이 바람직하며, 또한 본 발명을 실시함에 있어서, 상기 트리거 신호는 상기 비디오 프레임 동기 신호로부터 생성됨이 바람직할 것이다.In addition, in the embodiment of the present invention, between the above-described step S140 and step S150, before the update enable signal is activated, the image processing apparatus first generates the configuration vector corresponding to the first frame of the target image data. It is preferable to write to the buffered configuration vector register of the image processing apparatus, and in the practice of the present invention, the trigger signal may be preferably generated from the video frame synchronization signal.

본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the above has been shown and described with respect to preferred embodiments and applications of the present invention, the present invention is not limited to the specific embodiments and applications described above, the invention without departing from the gist of the invention claimed in the claims Various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

Claims

In the image processing method,
(a) acquiring, by the image processing apparatus, an original image including the target image;
(b) the image processing apparatus performing image compression processing on the original image according to a preset compression rate to obtain a low pixel image after the image compression processing;
(c) determining, by the image processing apparatus, a boundary of the target image in the low pixel image;
(d) the image processing apparatus mapping the determined boundary included in the low pixel image to the original image to obtain the target image included in the original image;
(e) receiving, by the image processing apparatus, a first frame of the target image data;
(f) the image processing apparatus writing the configuration vector corresponding to the first frame of the target image data to an active configuration vector register of the first image processing apparatus while a first enable signal is activated; And
(g) the image processing apparatus generating the activated first enable signal by combining a trigger signal generated from a timing signal corresponding to the first frame of the target image data with a second enable signal;
Image processing method comprising a.