KR102213147B1 - Image Processing Method and Vehicle supporting the same - Google Patents
Image Processing Method and Vehicle supporting the same Download PDFInfo
- Publication number
- KR102213147B1 KR102213147B1 KR1020140179607A KR20140179607A KR102213147B1 KR 102213147 B1 KR102213147 B1 KR 102213147B1 KR 1020140179607 A KR1020140179607 A KR 1020140179607A KR 20140179607 A KR20140179607 A KR 20140179607A KR 102213147 B1 KR102213147 B1 KR 102213147B1
- Authority
- KR
- South Korea
- Prior art keywords
- area
- blocks
- threshold value
- target block
- frame
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Abstract
본 발명은 차량의 전방 영상을 수집하는 원적외선 센서 및 상기 영상을 구성하는 제1 프레임의 부호화 정보를 기반으로 화면의 복잡성을 판단할 수 있는 임계 영역 및 임계 값을 설정하고, 상기 영상을 구성하는 제2 프레임을 화면 내 예측 부호화시 상기 임계 영역 및 상기 임계 값을 이용하여 부호화 단위로 지정될 대상 블록의 크기를 결정하도록 제어하는 제어부를 포함하는 영상 처리 방법 및 이를 지원하는 차량에 관한 것이다. The present invention sets a threshold area and a threshold value for determining the complexity of a screen based on a far-infrared sensor for collecting a front image of a vehicle and encoding information of a first frame constituting the image, and The present invention relates to an image processing method including a control unit for controlling to determine a size of a target block to be designated as a coding unit using the threshold region and the threshold value when intra prediction encoding two frames in a screen, and a vehicle supporting the same.
Description
본 발명은 영상 처리에 관한 것으로서, 보다 구체적으로 원적외선 영상의 H.264 부호화 과정에서 화면 내 예측 부호화의 예측 모드를 결정할 수 있도록 지원하는 영상 처리 방법 및 이를 지원하는 차량에 관한 것이다.The present invention relates to image processing, and more particularly, to an image processing method supporting the determination of a prediction mode of intra prediction encoding in a process of H.264 encoding of a far-infrared image, and a vehicle supporting the same.
H.264 표준을 따르는 부호화기는 영상이 표현하는 화면의 공간 영역에서의 국부적 특징을 반영하여 블록의 방향성을 고려한 화면 내 예측 부호화 즉, 인트라 모드 부호화를 수행할 수 있다. 블록 또는 매크로 블록(macroblock, MB)이 인트라 모드로 부호화되면, 예측할 대상 블록은 대상 블록과 인접한 위치에 있는 이미 복원된 블록을 이용하여 구성될 수 있다.An encoder conforming to the H.264 standard may perform intra-prediction encoding, that is, intra-mode encoding, in consideration of the direction of a block by reflecting local characteristics in a spatial domain of a screen represented by an image. When a block or a macroblock (MB) is encoded in the intra mode, the target block to be predicted may be configured by using an already reconstructed block located adjacent to the target block.
한편, H.264 표준을 따르는 부호화기는 영상의 부호화를 위해 다양한 예측 모드를 수행할 수 있다. 이와 관련하여, H.264 표준을 따르는 부호화기는 휘도(luminance) 블록들에 대한 예측 부호화를 4x4 서브 블록이나 16x16 매크로블록 단위로 수행할 수 있다. 이 경우, H.264 표준을 따르는 부호화기는 휘도 블록들에 대한 예측 부호화를 4x4 서브 블록 단위로 수행하는 경우 방향성에 따라 9가지의 예측 모드를 수행할 수 있으며, 16x16 매크로블록 단위로 수행하는 경우 방향성에 따라 4가지의 예측 모드를 수행할 수 있다. 또한, 공간 영역에서의 예측을 위한 매크로 블록은 I16MB 또는 I4MB로 분류될 수 있으며, 그에 따라 서로 다른 예측 모드를 수행할 수 있다. 예컨대, I16MB의 경우 16x16 크기의 매크로 블록을 4가지 공간 내 예측 방향으로 예측을 수행하며, I4MB의 경우 4x4 크기의 단위로 9가지의 공간 내 예측 방향으로 예측을 수행함으로써 예측 오차를 산출할 수 있다.Meanwhile, an encoder conforming to the H.264 standard may perform various prediction modes for encoding an image. In this regard, an encoder conforming to the H.264 standard may perform predictive encoding on luminance blocks in units of 4x4 subblocks or 16x16 macroblocks. In this case, an encoder conforming to the H.264 standard can perform 9 prediction modes according to directionality when predictive encoding for luminance blocks is performed in units of 4x4 sub-blocks, and directionality is performed in units of 16x16 macroblocks. According to, four prediction modes can be performed. In addition, macroblocks for prediction in a spatial domain may be classified into I16MB or I4MB, and accordingly, different prediction modes may be performed. For example, in the case of I16MB, a 16x16 macroblock is predicted in four intra-space prediction directions, and in the case of I4MB, a prediction error can be calculated by performing prediction in nine intra-space prediction directions in a unit of 4x4 size. .
이와 관련하여, 종래의 기술에서는 율-왜곡 최적화(rate-distortion optimization, RDO) 기법을 사용하여 최적의 예측 모드를 결정할 수 있다. RDO 기법은 가능한 모든 예측 모드로 부호화를 진행한 후에 최적의 예측 모드를 결정하는 방법이다. 따라서, RDO 기법은 최적의 예측 모드를 통해 부호화 효율은 높일 수 있지만 최적의 예측 모드를 결정하는 과정에서 상당한 시간이 소요되는 문제점을 갖고 있다.In this regard, in the prior art, an optimal prediction mode may be determined using a rate-distortion optimization (RDO) technique. The RDO technique is a method of determining an optimal prediction mode after encoding in all possible prediction modes. Therefore, although the RDO technique can increase the coding efficiency through the optimal prediction mode, it takes a considerable amount of time in the process of determining the optimal prediction mode.
이러한 종래의 문제점을 해결하기 위한 본 발명의 목적은 차량 전방에 대한 원적외선 영상을 H.264 표준에 따라 부호화하는 경우, 영상의 통계적 특성에 따라 화면 내 예측 부호화에 대한 예측 모드를 결정하는 방법을 통해 표준을 준수하면서도 처리 속도를 향상시킬 수 있도록 하는 영상 처리 방법 및 이를 지원하는 차량을 제공함에 있다.An object of the present invention to solve such a conventional problem is to determine a prediction mode for intra prediction encoding according to the statistical characteristics of the image when encoding a far-infrared image in front of a vehicle according to the H.264 standard. It is to provide an image processing method that can improve processing speed while complying with standards and a vehicle supporting the same.
본 발명의 차량은 상기 차량의 전방 영상을 수집하는 원적외선 센서 및 상기 영상을 구성하는 제1 프레임의 부호화 정보를 기반으로 화면의 복잡성을 판단할 수 있는 임계 영역 및 임계 값을 설정하고, 상기 영상을 구성하는 제2 프레임을 화면 내 예측 부호화시 상기 임계 영역 및 상기 임계 값을 이용하여 부호화 단위로 지정될 대상 블록의 크기를 결정하도록 제어하는 제어부를 포함할 수 있다.The vehicle of the present invention sets a threshold area and a threshold value for determining the complexity of a screen based on a far-infrared sensor for collecting the front image of the vehicle and encoding information of a first frame constituting the image, and A control unit for controlling the size of a target block to be designated as a coding unit is determined by using the threshold region and the threshold value during intra prediction encoding of the constituting second frame.
상기 제어부는 상기 제1 프레임을 일정 시간 간격으로 일정 횟수만큼 지정하고, 상기 제1 프레임의 시간적으로 뒤에 위치한 프레임을 상기 제2 프레임으로 지정하도록 제어할 수 있다.The control unit may control to designate the first frame a certain number of times at a certain time interval, and to designate a frame temporally located behind the first frame as the second frame.
상기 제1 프레임의 부호화 정보는 상기 부호화 단위로 지정된 상기 제1 프레임에 포함된 블록들의 크기 및 상기 블록들과 인접한 위치에 있는 참조 블록이 맞닿아 있는 참조 화소들에 대한 상기 블록들에 포함된 화소들의 분산 값을 포함할 수 있다.The encoding information of the first frame is a size of blocks included in the first frame designated as the coding unit and pixels included in the blocks for reference pixels to which a reference block adjacent to the blocks abuts May contain the variance value of
상기 제어부는 상기 임계 영역을 상기 블록들의 크기가 상대적으로 큰 제1 블록들과 상기 블록들의 크기가 상대적으로 작은 제2 블록들의 경계에 대응하는 영역으로 설정하고, 상기 임계 영역의 상단에 상기 제1 블록들이 위치한 화면 영역을 상단 영역으로 지정하고, 상기 임계 영역의 하단에 상기 제1 블록들이 위치한 화면 영역을 하단 영역으로 지정하고, 상기 상단 영역 및 상기 하단 영역을 제외한 화면 영역을 중간 영역으로 지정할 수 있다.The control unit sets the critical area as an area corresponding to a boundary between first blocks having a relatively large size of the blocks and second blocks having a relatively small size of the blocks, and the first A screen area in which blocks are located may be designated as an upper area, a screen area in which the first blocks are located below the critical area may be designated as a lower area, and a screen area excluding the upper area and the lower area may be designated as a middle area. have.
상기 제어부는 상기 분산 값을 특정 값으로 가지는 상기 제1 블록들의 개수와 상기 제2 블록들의 개수가 동일한 경우 상기 특정 값을 상기 임계 값으로 설정할 수 있다.When the number of first blocks having the variance value as a specific value and the number of second blocks are the same, the controller may set the specific value as the threshold value.
상기 제어부는 상기 상단 영역 및 상기 하단 영역에 위치한 상기 대상 블록의 크기는 상대적으로 크게 설정하고, 상기 중간 영역에 위치한 상기 대상 블록의 분산 값이 상기 임계 값보다 작은 경우 상기 대상 블록의 크기를 상대적으로 크게 설정하고, 상기 중간 영역에 위치한 상기 대상 블록의 분산 값이 상기 임계 값보다 큰 경우 상기 대상 블록의 크기를 상대적으로 작게 설정할 수 있다.The controller sets the size of the target block located in the upper area and the lower area to be relatively large, and when the variance value of the target block located in the middle area is less than the threshold value, the size of the target block is relatively It is set to be large, and when the variance value of the target block located in the middle area is greater than the threshold value, the size of the target block may be set relatively small.
본 발명의 영상 처리 방법은 상기 차량의 전방 영상을 수집하는 단계, 상기 영상을 구성하는 제1 프레임의 부호화 정보를 기반으로 화면의 복잡성을 판단할 수 있는 임계 영역 및 임계 값을 설정하는 단계, 및 상기 영상을 구성하는 제2 프레임을 화면 내 예측 부호화시 상기 임계 영역 및 상기 임계 값을 이용하여 부호화 단위로 지정될 대상 블록의 크기를 결정하도록 제어하는 단계를 포함할 수 있다.The image processing method of the present invention includes the steps of collecting a front image of the vehicle, setting a threshold area and a threshold value for determining the complexity of a screen based on encoding information of a first frame constituting the image, and The second frame constituting the image may be subjected to intra prediction encoding, controlling to determine a size of a target block to be designated as a coding unit using the threshold region and the threshold value.
상기 임계 영역 및 임계 값을 설정하는 단계는 상기 제1 프레임을 일정 시간 간격으로 일정 횟수만큼 지정하는 단계, 및 상기 제1 프레임의 시간적으로 뒤에 위치한 프레임을 상기 제2 프레임으로 지정하도록 제어하는 단계를 포함할 수 있다.The step of setting the threshold area and the threshold value includes designating the first frame a certain number of times at a certain time interval, and controlling a frame located temporally behind the first frame to designate the second frame. Can include.
상기 임계 영역 및 임계 값을 설정하는 단계는 상기 부호화 단위로 지정된 상기 제1 프레임에 포함된 블록들의 크기 및 상기 블록들과 인접한 위치에 있는 참조 블록이 맞닿아 있는 참조 화소들에 대한 상기 블록들에 포함된 화소들의 분산 값을 상기 제1 프레임의 부호화 정보에 포함시키는 단계를 포함할 수 있다.In the setting of the threshold region and the threshold value, the sizes of blocks included in the first frame designated as the coding unit and the blocks for reference pixels to which a reference block adjacent to the blocks contact each other may be performed. And including the variance values of the included pixels in the encoding information of the first frame.
상기 임계 영역 및 임계 값을 설정하는 단계는 상기 블록들의 크기가 상대적으로 큰 제1 블록들과 상기 블록들의 크기가 상대적으로 작은 제2 블록들의 경계에 대응하는 영역을 상기 임계 영역으로 설정하는 단계, 상기 임계 영역의 상단에 상기 제1 블록들이 위치한 화면 영역을 상단 영역으로 지정하는 단계, 상기 임계 영역의 하단에 상기 제1 블록들이 위치한 화면 영역을 하단 영역으로 지정하는 단계, 및 상기 상단 영역 및 상기 하단 영역을 제외한 화면 영역을 중간 영역으로 지정하는 단계를 포함할 수 있다.The setting of the threshold area and the threshold value may include setting an area corresponding to a boundary of first blocks having a relatively large size of the blocks and second blocks having a relatively small size of the blocks as the critical area, Designating a screen area in which the first blocks are located at an upper end of the critical area as an upper area, designating a screen area in which the first blocks are located at a lower end of the critical area as a lower area, and the upper area and the It may include the step of designating the screen area excluding the lower area as the middle area.
상기 임계 영역 및 임계 값을 설정하는 단계는 상기 분산 값을 특정 값으로 가지는 상기 제1 블록들의 개수와 상기 제2 블록들의 개수가 동일한 경우 상기 특정 값을 상기 임계 값으로 설정하는 단계를 포함할 수 있다.The step of setting the threshold region and the threshold value may include setting the specific value as the threshold value when the number of the first blocks having the variance value as a specific value and the number of the second blocks are the same. have.
상기 대상 블록의 크기를 결정하도록 제어하는 단계는 상기 상단 영역 및 상기 하단 영역에 위치한 상기 대상 블록의 크기를 상대적으로 크게 설정하는 단계, 상기 중간 영역에 위치한 상기 대상 블록의 분산 값이 상기 임계 값보다 작은 경우 상기 대상 블록의 크기를 상대적으로 크게 설정하는 단계, 및 상기 중간 영역에 위치한 상기 대상 블록의 분산 값이 상기 임계 값보다 큰 경우 상기 대상 블록의 크기를 상대적으로 작게 설정하는 단계를 포함할 수 있다.The controlling to determine the size of the target block may include setting the size of the target block located in the upper region and the lower region to be relatively large, and the variance value of the target block located in the middle region is greater than the threshold value. If it is small, setting the size of the target block to be relatively large, and when the variance value of the target block located in the middle region is greater than the threshold value, setting the size of the target block to be relatively small. have.
본 발명의 영상 처리 방법 및 이를 지원하는 차량에 따르면, 본 발명은 화면 내 예측 부호화에 대한 예측 모드를 조기에 결정함으로써 부호화 속도를 향상시킬 수 있으며, 영상의 통계적 특성에 따라 예측 모드를 결정함으로써 부호화 효율의 하락을 감소시킬 수 있다.According to the image processing method of the present invention and a vehicle supporting the same, the present invention can improve the encoding speed by determining a prediction mode for intra prediction encoding early, and by determining the prediction mode according to the statistical characteristics of the image. It can reduce the drop in efficiency.
도 1은 본 발명의 실시 예에 따른 영상 처리 방법을 지원하는 차량의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 화면 내 예측 부호화에 대한 예측 모드 중 16x16 매크로 블록 단위로 수행되는 예측 모드를 설명하기 위한 도면이다.
도 3은 본 발명의 화면 내 예측 부호화에 대한 예측 모드 중 4x4 서브 블록 단위로 수행되는 예측 모드를 설명하기 위한 도면이다.
도 4는 본 발명의 차량의 제어부 구성 중 예측 모드 결정부를 보다 상세히 나타낸 도면이다.
도 5는 본 발명의 임계 영역 설정을 설명하기 위한 도면이다.
도 6은 본 발명의 임계 값 설정을 설명하기 위한 도면이다.
도 7은 본 발명의 임계 영역 및 임계 값에 기반한 영상 처리 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 영상 처리 방법에 따른 효과를 설명하기 위한 도면이다.1 is a diagram schematically showing a configuration of a vehicle supporting an image processing method according to an exemplary embodiment of the present invention.
FIG. 2 is a diagram illustrating a prediction mode performed in units of 16x16 macroblocks among prediction modes for intra prediction encoding according to the present invention.
FIG. 3 is a diagram illustrating a prediction mode performed in units of 4x4 subblocks among prediction modes for intra prediction encoding according to the present invention.
4 is a diagram showing in more detail a prediction mode determination unit among the configuration of a control unit of a vehicle according to the present invention.
5 is a diagram for explaining a critical area setting according to the present invention.
6 is a diagram for describing a threshold value setting according to the present invention.
7 is a diagram for describing an image processing method based on a threshold region and a threshold value according to the present invention.
8 is a diagram for explaining the effect of the image processing method of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하고자 한다. 다만, 실시 예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. Hereinafter, exemplary embodiments of the present invention will be described in more detail with reference to the accompanying drawings. However, in describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present invention pertains and are not directly related to the present invention will be omitted as much as possible. This is to more clearly convey the core of the present invention by omitting unnecessary description.
도 1은 본 발명의 실시 예에 따른 영상 처리 방법을 지원하는 차량의 구성을 개략적으로 나타낸 도면이며, 도 2는 본 발명의 화면 내 예측 부호화에 대한 예측 모드 중 16x16 매크로 블록 단위로 수행되는 예측 모드를 설명하기 위한 도면이다. 그리고 도 3은 본 발명의 화면 내 예측 부호화에 대한 예측 모드 중 4x4 서브 블록 단위로 수행되는 예측 모드를 설명하기 위한 도면이다.1 is a diagram schematically showing a configuration of a vehicle supporting an image processing method according to an embodiment of the present invention, and FIG. 2 is a prediction mode performed in units of 16x16 macroblocks among prediction modes for intra prediction encoding according to the present invention. It is a figure for explaining. 3 is a diagram for explaining a prediction mode performed in units of 4x4 subblocks among prediction modes for intra prediction coding according to the present invention.
먼저, 도 1을 참조하면, 본 발명의 차량 100은 원적외선 센서 110 및 제어부 160을 포함할 수 있다. 이와 같은 구성의 차량 100은 원적외선 센서 110이 수집한 원적외선 영상을 제어부 160에 포함된 H.264 부호화부 60을 통해 H.264 표준에 따라 부호화할 수 있다. 이 경우, 부호화 과정에서 차량 100은 제어부 160에 포함된 예측 모드 결정부 80을 통해 영상의 통계적 특성에 따라 화면 내 예측 부호화의 예측 모드를 결정할 수 있다.First, referring to FIG. 1, the
원적외선 센서 110은 사물에서 방사되는 원적외선을 감지하고, 감지된 원적외선을 기반으로 원적외선 영상을 획득할 수 있다. 그리고, 원적외선 센서 110은 획득된 원적외선 영상을 제어부 160에 전달할 수 있다. 원적외선 센서 110은 차량 100의 전면에 배치되어 차량 전방에 대한 원적외선 영상 수집을 지원할 수 있다. 원적외선 센서 110을 통해 획득된 원적외선 영상은 초당 수십 프레임(frame)의 화면으로 구성된 휘도 성분만을 포함하는 동영상일 수 있다.The far-
제어부 160은 원적외선 센서 110을 통해 전달받은 원적외선 영상을 H.264 표준에 따라 부호화하기 위하여 H.264 부호화부 60 및 예측 모드 결정부 80을 포함할 수 있다. 제어부 160은 휘도 성분만을 포함하는 차량 전방에 대한 원적외선 영상을 H.264 부호화부 60을 통해 부호화할 수 있으며, 부호화 과정에서 수행되는 예측 모드를 예측 모드 결정부 80을 통해 결정할 수 있다.The
원적외선 영상의 H.264 표준에 따른 부호화 과정은 화면 내 예측 부호화 즉, 인트라 부호화를 포함한다. 인트라 부호화는 복수 개의 프레임들로 구성된 동영상을 부호화하는 경우, 하나의 프레임에 해당하는 영상을 부호화하는 방식일 수 있다. 예컨대, 인트라 부호화는 해당 영상을 표현하는 화면의 공간 영역에서의 국부적 특징을 반영하여 매크로 블록의 방향성을 고려한 화면 내 예측 부호화일 수 있다. 이와 관련하여, 매크로 블록은 H.264 표준의 영상 부호화 방식에서 움직임 보상 또는 예측을 위해 복수 개의 화소들을 그룹화시킨 예측 단위일 수 있다. 즉, 영상을 부호화하는 과정은 매크로 블록 단위로 이루어질 수 있다. 또한, 매크로 블록은 서브 블록들로 나누어질 수 있다. 예컨대, 16x16 매크로 블록은 4개의 4x4 서브 블록들로 나누어질 수 있다.The encoding process of the far-infrared image according to the H.264 standard includes intra prediction encoding, that is, intra encoding. Intra encoding may be a method of encoding an image corresponding to one frame when encoding a video composed of a plurality of frames. For example, intra-encoding may be intra-prediction encoding in consideration of a direction of a macroblock by reflecting a local characteristic in a spatial region of a screen representing a corresponding image. In this regard, the macroblock may be a prediction unit in which a plurality of pixels are grouped for motion compensation or prediction in the video encoding method of the H.264 standard. That is, the process of encoding an image may be performed in units of macroblocks. Also, the macro block can be divided into sub-blocks. For example, a 16x16 macroblock can be divided into four 4x4 subblocks.
상술한 인트라 부호화와 관련하여, H.264 부호화부 60은 휘도 블록들에 대한 예측 부호화를 4x4 서브 블록이나 16x16 매크로 블록 단위로 수행할 수 있다. 또한, H.264 부호화부 60은 영상의 부호화를 위해 다양한 예측 모드를 수행할 수 있다. 상술한 예측 모드와 관련하여, H.264 부호화부 60은 예측할 대상 블록과 인접한 위치에 있는 이미 복원된 블록을 참조 블록으로 지정할 수 있다. 이 경우, H.264 부호화부 60은 참조 블록에 포함된 화소들 중에서 대상 블록과 맞닿아 있는 화소(이하, 참조 화소라 한다)들을 선택하여, 참조 화소들의 화소 값을 기반으로 대상 블록에 포함된 화소들의 화소 값을 예측할 수 있다.Regarding the above-described intra encoding, the H.264 encoder 60 may perform predictive encoding on luminance blocks in units of 4x4 subblocks or 16x16 macroblocks. In addition, the H.264 encoder 60 may perform various prediction modes to encode an image. Regarding the above-described prediction mode, the H.264 encoder 60 may designate an already reconstructed block adjacent to the target block to be predicted as the reference block. In this case, the H.264 encoder 60 selects pixels (hereinafter referred to as reference pixels) from among the pixels included in the reference block, and is included in the target block based on the pixel values of the reference pixels. The pixel value of the pixels can be predicted.
이와 관련하여, 도 2에 도시된 바와 같이 H.264 부호화부 60은 휘도 블록들에 대한 예측 부호화를 16x16 매크로 블록 단위로 수행하는 경우, 참조 블록으로 대상 블록의 상단 또는 좌측에 위치한 매크로 블록으로 지정할 수 있으며, 방향성에 따라 4가지의 예측 모드를 수행할 수 있다. 예컨대, 예측 모드 0(prediction mode 0)은 예측할 대상 블록의 상단에 위치한 매크로 블록을 참조 블록으로 지정하여 수직 방향으로 예측할 수 있다. 또한, 예측 모드 1(prediction mode 1)은 대상 블록의 좌측에 위치한 매크로 블록을 참조 블록으로 지정하여 수평 방향으로 예측할 수 있다. 그리고 예측 모드 2(prediction mode 2)는 대상 블록의 상단 및 좌측에 위치한 매크로 블록들을 참조 블록으로 지정하여 해당 화소 값들의 평균 값을 기반으로 예측할 수 있다. 마지막으로 예측 모드 3(prediction mode 3)은 대상 블록의 상단 및 좌측에 위치한 매크로 블록들을 참조 블록으로 지정하여 대각선 방향으로 보간(interpolation)하여 예측할 수 있다.In this regard, as shown in FIG. 2, when the H.264 encoder 60 performs predictive encoding on luminance blocks in units of 16x16 macroblocks, the H.264 encoder 60 designates a macroblock located at the top or left of the target block as a reference block. And four prediction modes may be performed according to the direction. For example, in
또한, 도 3에 도시된 바와 같이 H.264 부호화부 60은 휘도 블록들에 대한 예측 부호화를 4x4 서브 블록 단위로 수행하는 경우, 참조 블록으로 대상 블록의 상단, 좌측, 좌측 상단, 또는 우측 상단에 위치한 매크로 블록으로 지정할 수 있으며, 방향성에 따라 9가지의 예측 모드를 수행할 수 있다. 예컨대, 예측 모드는 수직 방향의 예측 모드 0(prediction mode 0), 수평 방향의 예측 모드 1(prediction mode 1), 평균 값 기반의 예측 모드 2(prediction mode 2), 좌측 하단 대각선 방향의 예측 모드 3(prediction mode 3), 우측 하단 대각선 방향의 예측 모드 4(prediction mode 4), 우측 세로 방향의 예측 모드 5(prediction mode 5), 하단 가로 방향의 예측 모드 6(prediction mode 6), 좌측 세로 방향의 예측 모드 7(prediction mode 7), 또는 상단 가로 방향의 예측 모드 8(prediction mode 8)을 포함할 수 있다.In addition, as shown in FIG. 3, when predictive encoding for luminance blocks is performed in units of 4x4 sub-blocks, the H.264 encoder 60 is a reference block at the top, left, top left, or right top of the target block. It can be designated as a located macroblock, and 9 prediction modes can be performed according to the direction. For example, the prediction mode is
상술한 바와 같이 인트라 부호화를 수행하는 경우에 있어서, 4x4 서브 블록 단위 수행하는 것보다 16x16 매크로 블록 단위로 수행하는 것이 예측 모드의 횟수가 적을 수 있으며, 상대적으로 처리 속도가 빠를 수 있다. 또한, 차량 전방에 대한 원적외선 영상은 특성상 화면 상단에는 하늘에 대한 정보가 포함될 확률이 높으며, 화면 하단에는 도로에 대한 정보가 포함될 확률이 높을 수 있다. 하늘에 대응하는 상단 영역 및 도로에 대응하는 하단 영역에서는 영상이 비교적 균일하게 표현되기 때문에 16x16 매크로 블록 단위의 예측 모드가 선택될 수 있다. 또한, 건물, 차량, 또는 보행자 등이 주로 표현되는 화면 중간 영역은 영상의 복잡성에 따라 복잡한 영역은 4x4 서브 블록 단위의 예측 모드(이하, 4x4 모드라 한다)가 선택되고, 비교적 균일한 영역은 16x16 매크로 블록 단위의 예측 모드(이하, 16x16 모드라 한다)가 선택될 수 있다. 그러나 상술한 블록 단위만으로 선택되는 것은 아니며, 본 발명의 기술적 사상에 부합되는 선택이 이루어질 수 있다. 예를 들어, 영상의 복잡성에 따라 복잡한 영역은 상대적으로 복잡하지 않은 영역보다 대상 블록의 크기를 작게 설정하여 예측할 수 있다.In the case of performing intra coding as described above, the number of prediction modes may be smaller and the processing speed may be relatively faster to perform in 16x16 macroblock units than in 4x4 subblock units. In addition, a far-infrared ray image in front of a vehicle may have a high probability of including information on the sky at the top of the screen, and a high probability of including information on a road at the bottom of the screen. Since the image is relatively uniformly expressed in the upper region corresponding to the sky and the lower region corresponding to the road, a prediction mode in units of 16x16 macroblocks may be selected. In addition, in the middle area of the screen where buildings, vehicles, or pedestrians are mainly expressed, a prediction mode (hereinafter referred to as 4x4 mode) is selected for a complex area according to the complexity of the image, and a relatively uniform area is 16x16. A prediction mode in units of macroblocks (hereinafter referred to as 16x16 mode) may be selected. However, it is not selected only in units of blocks described above, and a selection may be made consistent with the technical idea of the present invention. For example, according to the complexity of the image, a complex area can be predicted by setting the size of a target block smaller than that of a relatively non-complex area.
예측 모드 결정부 80은 H.264 부호화부 60이 영상을 부호화하는 과정에 있어서, 지정된 예측 모드로 부호화를 진행하도록 기능할 수 있다. 예측 모드 결정부 80은 H.264 부호화부 60으로부터 차량 전방에 대한 원적외선 영상들 중 특정 프레임에 해당하는 영상의 부호화 정보를 수집할 수 있다. 특정 프레임에 해당하는 영상의 부호화 정보에는 부호화시 사용된 예측 모드의 정보(예: 부호화 단위로 지정된 블록의 크기)를 포함할 수 있다. 예를 들어, 영상이 표현하는 화면의 특정 영역에 해당하는 블록들이 4x4 모드로 예측되었는지 또는 16x16 모드로 예측되었는지에 대한 정보를 포함할 수 있다. 또한, 특정 프레임에 해당하는 영상의 부호화 정보에는 예측 모드의 수행 시 계산된 참조 화소들에 대한 분산 값을 포함할 수 있다.The
상술한 예측 모드의 정보를 기반으로 예측 모드 결정부 80은 임계 영역을 설정할 수 있다. 임계 영역은 특정 프레임에 해당하는 화면을 상단, 중간, 및 하단 영역으로 분류할 수 있는 기준 영역일 수 있다. 이와 관련하여, 예측 모드 결정부 80은 특정 프레임에 해당하는 영상을 부호화하는 과정에서 선택된 예측 모드(4x4 모드 및 16x16 모드)의 분포를 판단할 수 있다. 또한, 예측 모드 결정부 80은 선택된 예측 모드의 분포를 기반으로 4x4 모드와 16x16 모드의 경계에 해당하는 블록들을 판단할 수 있다. 예측 모드 결정부 80은 경계에 해당하는 블록들이 분포된 영역을 임계 영역으로 설정할 수 있다. 예측 모드 결정부 80은 임계 영역을 기준으로 영상에 대응하는 화면을 상단, 중간, 및 하단 영역으로 분류할 수 있다.The
또한, 상술한 분산 값을 기반으로 예측 모드 결정부 80은 임계 값을 설정할 수 있다. 임계 값은 화면의 중간 영역에 포함된 블록들의 예측 모드 선택의 기준 값일 수 있다. 예컨대, 예측 모드 결정부 80은 부호화될 대상 블록을 임계 값을 기준으로 4x4 모드로 예측할지 또는 16x16 모드로 예측할지를 결정할 수 있다.Also, the
예측 모드 결정부 80은 설정된 임계 영역 및 임계 값을 기반으로 H.264 부호화부 60이 화면의 상단 영역 및 하단 영역은 16x16 모드로 예측하고, 중간 영역은 임계 값을 기준으로 결정된 예측 모드로 예측하도록 기능할 수 있다. 상술한 기능을 통해, H.264 부호화부 60이 영상을 부호화하는 과정에 있어서 최적의 예측 모드를 결정하기 위한 동작의 로드(load)를 줄일 수 있다.The
도 4는 본 발명의 차량의 제어부 구성 중 예측 모드 결정부를 보다 상세히 나타낸 도면이며, 도 5는 본 발명의 임계 영역 설정을 설명하기 위한 도면이다. 그리고 도 6은 본 발명의 임계 값 설정을 설명하기 위한 도면이다.FIG. 4 is a diagram illustrating in more detail a prediction mode determining unit among the configuration of a control unit of a vehicle of the present invention, and FIG. 5 is a diagram for explaining setting a critical region according to the present invention. And Figure 6 is a diagram for explaining the threshold value setting of the present invention.
먼저, 도 4를 참조하면, 예측 모드 결정부 80은 임계 영역 설정부 81 및 임계 값 설정부 83을 포함할 수 있다. 예측 모드 결정부 80은 H.264 부호화부 60으로부터 수집한 특정 프레임에 해당하는 영상의 부호화 정보를 기반으로 임계 영역 설정부 81을 통해 영상이 표현하는 화면의 영역을 분류할 수 있는 기준이 되는 임계 영역을 설정할 수 있으며, 임계 값 설정부 83을 통해 화면의 중간 영역에 해당하는 블록들의 예측 모드를 결정할 수 있는 기준이 되는 임계 값을 설정할 수 있다. 이와 관련하여, 특정 프레임에 해당하는 영상은 원적외선 영상으로 휘도 성분만을 포함할 수 있다. 또한, 해당 영상은 초당 수십 프레임으로 구성된 동영상의 특정 프레임에 대응하기 때문에 일정 시간마다 일정 횟수만큼 임계 영역 및 임계 값을 재설정할 필요가 있다. 따라서 예측 모드 결정부 80은 H.264 부호화부 60으로부터 일정 시간마다 일정 횟수만큼 특정 프레임에 해당하는 영상의 부호화 정보를 수집할 수 있다. 즉, H.264 부호화부 60은 RDO 기법을 적용하여 예측 모드를 결정하는 과정에서 계산된 참조 화소들에 대한 분산 값 및 결정된 예측 모드의 정보를 일정 시간마다 일정 횟수만큼 예측 모드 결정부 80에 전달할 수 있다. 또한, 설정된 임계 영역 및 임계 값은 H.264 부호화부 60이 특정 프레임 이후의 프레임을 부호화하는 과정에서 사용될 수 있다.First, referring to FIG. 4, the prediction
임계 영역 설정부 81은 특정 프레임에 해당하는 영상이 표현하는 화면을 적응적으로 상단, 하단, 및 중간 영역으로 분류할 수 있도록 할 수 있는 임계 영역을 설정할 수 있다. 이와 관련하여, 도 5를 참조하면, 화면 501은 원적외선 센서 110로부터 전달받은 원적외선 영상일 수 있다. H.264 부호화부 60은 화면 501의 영상을 RDO 기법을 적용하여 예측 모드를 결정할 수 있다. 화면 503은 H.264 부호화부 60으로부터 수집한 RDO 기법으로 결정된 예측 모드의 정보를 포함할 수 있다. 화면 503에서와 같이 넓은 간격의 블록은 16x16 모드로 예측이 이루어진 블록이며, 좁은 간격의 블록은 4x4 모드로 예측이 이루어진 블록일 수 있다. 임계 영역 설정부 81은 화면의 상단 영역을 결정하기 위해 화면의 정중앙을 기준으로 상단 부분의 16x16 모드로 예측된 블록 중에서 상단 부분 화면의 좌측 최상단에 위치한 블록의 좌표를 좌표 A, 우측 최상단에 위치한 블록의 좌표를 좌표 B, 및 중앙 최하단에 위치한 블록의 좌표를 좌표 C로 지정할 수 있다. 이 경우, 임계 영역 설정부 81은 좌표 A, 좌표 B, 및 좌표 C를 지나는 임의의 2차 다항식을 설정할 수 있으며, 해당 2차 다항식을 좌표 영역에 곡선으로 나타낼 경우에 곡선이 지나는 영역을 임계 영역을 설정할 수 있으며, 곡선의 윗부분을 화면의 상단 영역으로 설정할 수 있다. 또한, 상술한 방법과 동일하게 또는 유사하게 임계 영역 설정부 81은 화면의 하단 영역을 설정하기 위한 좌표 D, 좌표 E, 및 좌표 F를 지정할 수 있다. 이 경우, 임계 영역 설정부 81은 지정된 좌표 D, 좌표 E, 및 좌표 F를 지나는 임의의 2차 다항식을 이용하여, 해당 2차 다항식에 대응하는 곡선이 지나는 영역을 임계 영역으로 설정할 수 있으며, 곡선의 아랫부분을 화면의 하단 영역으로 설정할 수 있다. 또한, 임계 영역 설정부 81은 화면의 상단 영역 및 하단 영역을 제외한 영역을 화면의 중간 영역으로 설정할 수 있다.The critical
임계 값 설정부 83은 특정 프레임에 해당하는 화면의 중간 영역의 예측 모드를 결정하기 위한 기준이 되는 임계 값을 적응적으로 설정할 수 있다. 임계 값 설정부 83은 H.264 부호화부 60으로부터 수집한 참조 화소들에 대한 분산 값을 이용하여 임계 값을 설정할 수 있다. 이와 관련하여, 도 6을 참조하면, 화면 601은 부호화될 대상 블록 및 대상 블록과 인접한 위치에 있는 참조 블록을 나타낸다. H.264 부호화부 60은 부호화될 대상 블록의 좌측 상단에 위치한 이미 부호화가 끝난 매크로 블록(참조 블록)에서 대상 블록과 맞닿아 있는 화소를 화소 A, 대상 블록의 상단에 위치한 참조 블록에서 대상 블록과 맞닿아 있는 화소들을 화소들 B, 및 대상 블록의 좌측에 위치한 참조 블록에서 대상 블록과 맞닿아 있는 화소들을 화소들 C로 지정할 수 있다. 이와 관련하여, H.264 부호화부 60은 특정 프레임(예: 원적외선 센서 110으로부터 수집한 동영상의 첫 번째 프레임)을 RDO 기법으로 예측 모드를 결정하고 부호화하면서 각각의 매크로 블록의 부호화 단위를 저장함과 동시에 또는 일정 시간 간격을 두고 해당 매크로 블록에 대응하는 화소 A, 화소들 B, 및 화소들 C에 대한 분산 값을 계산하여 저장할 수 있다. 매크로 블록의 위치에 따라 화소 A, 화소들 B, 또는 화소들 C 중 일부만 존재하는 경우, H.264 부호화부 60은 존재하는 참조 블록의 화소에 대해서만 분산 값을 계산할 수 있으며, 프레임의 첫 번째 매크로 블록과 같이 화소 A, 화소들 B, 및 화소들 C가 모두 존재하지 않는 경우 분산 값을 0으로 설정하여 처리할 수 있다. 예컨대, 프레임의 첫 번째 행 및 첫 번째 열에 해당하는 매크로 블록의 분산 값은 0으로 지정할 수 있으며, 프레임의 첫 번째 행 및 첫 번째 열에 해당하는 매크로 블록을 제외한 첫 행에 포함된 매크로 블록들은 화소들 C에 대한 분산 값, 첫 번째 행 및 첫 번째 열에 해당하는 매크로 블록을 제외한 첫 열에 포함된 매크로 블록들은 화소들 B에 대한 분산 값으로 지정할 수 있다. 상술한 매크로 블록들을 제외한 매크로 블록들은 화소 A, 화소들 B, 및 화소들 C에 대한 분산 값으로 지정할 수 있다.The threshold
상술한 방법으로 계산된 분산 값이 포함된 특정 프레임에 해당하는 영상의 부호화 정보를 기반으로 임계 값 설정부 83은 임계 값을 설정할 수 있다. 이와 관련하여, 화면 603은 4x4 모드 및 16x16 모드에 해당하는 분산 별 매크로 블록의 수를 그래프로 표시한 화면이다. 임계 값 설정부 83은 화면 603에서 도시된 바와 같이 4x4 모드에 대응하는 곡선과 16x16 모드에 대응하는 곡선의 교차점이 지시하는 분산 값을 임계 값으로 설정할 수 있다.The threshold
도 7은 본 발명의 임계 영역 및 임계 값에 기반한 영상 처리 방법을 설명하기 위한 도면이다.7 is a diagram for describing an image processing method based on a threshold region and a threshold value according to the present invention.
차량 전방에 대한 원적외선 영상은 휘도 성분만을 포함하는 영상일 수 있으며, RDO 기법을 사용하여 부호화를 수행하면 영상의 특성상 화면의 상단에는 하늘에 대한 정보가 포함될 확률이 높으며, 화면의 하단에는 도로에 대한 정보가 포함될 확률이 높기 때문에 해당 영역은 비교적 균일한 영상이 나타나게 되어 상대적으로 연산량이 적은 16x16 모드로 예측될 수 있다. 상술한 바와 같이 H.264 부호화부 60은 부호화될 대상 블록의 복잡도와 대상 블록과 인접한 위치에 있는 참조 화소들의 분산이 상관 관계에 있음을 응용하여 임계 영역 및 임계 값을 기반으로 예측 모드를 결정할 수 있다. 임계 영역 및 임계 값은 영상에 따라 예측 모드 결정부 80을 통해 적응적으로 결정될 수 있다.The far-infrared image in front of the vehicle may be an image containing only the luminance component, and if encoding is performed using the RDO technique, there is a high probability that information about the sky is included at the top of the screen, and the information about the road at the bottom of the screen is Since the probability of including information is high, a relatively uniform image appears in the corresponding region, and thus, a relatively small amount of computation can be predicted in a 16x16 mode. As described above, the H.264 encoder 60 may determine a prediction mode based on the threshold region and the threshold value by applying that the complexity of the target block to be encoded and the variance of reference pixels adjacent to the target block are correlated. have. The threshold region and the threshold value may be adaptively determined through the
단계 S101에서, H.264 부호화부 60은 예측 모드 결정부 80을 통해 설정된 임계 영역을 기반으로 부호화될 매크로 블록(대상 블록)이 화면의 상단 영역에 위치하는 지를 판단할 수 있다. 대상 블록이 화면의 상단 영역에 위치하는 경우, 단계 s111에서와 같이, H.264 부호화부 60은 대상 블록을 16x16 모드로 예측할 수 있다.In step S101, the H.264 encoder 60 may determine whether a macroblock (target block) to be encoded is located in an upper region of the screen based on the critical region set by the
대상 블록이 화면의 상단 영역에 위치하지 않는 경우, 단계 S103에서, H.264 부호화부 60은 대상 블록이 화면의 하단 영역에 위치하는 지를 판단할 수 있다. 대상 블록이 화면의 하단 영역에 위치하는 경우, H.264 부호화부 60은 단계 S111을 수행할 수 있다.If the target block is not located in the upper area of the screen, in step S103, the H.264 encoder 60 may determine whether the target block is located in the lower area of the screen. When the target block is located in the lower area of the screen, the H.264 encoder 60 may perform step S111.
대상 블록이 화면의 하단 영역에 위치하지 않는 경우, H.264 부호화부 60은 대상 블록이 중간 영역에 위치하고 있음을 판단하여, 예측 모드 결정부 80을 통해 설정된 임계 값을 기반으로 예측 모드를 결정할 수 있다. 단계 S105에서, H.264 부호화부 60은 대상 블록과 인접한 위치에 있는 참조 블록들을 지정하고, 참조 블록들과 맞닿아 있는 참조 화소에 대한 분산 값을 계산할 수 있다. 단계 S107에서, H.264 부호화부 60은 계산된 분산 값이 예측 모드 결정부 80을 통해 설정된 임계 값보다 큰 지를 판단할 수 있다. 계산된 분산 값이 임계 값보다 작은 경우, H.264 부호화부 60은 단계 S111과 같이, 대상 블록을 16x16 모드로 예측할 수 있으며, 계산된 분산 값이 임계 값보다 큰 경우, H.264 부호화부 60은 단계 S109와 같이, 대상 블록을 4x4 모드로 예측할 수 있다.When the target block is not located in the lower area of the screen, the H.264 encoder 60 determines that the target block is located in the middle area, and determines the prediction mode based on the threshold value set through the prediction
도 8은 본 발명의 영상 처리 방법에 따른 효과를 설명하기 위한 도면이다.8 is a diagram for explaining the effect of the image processing method of the present invention.
도 8을 참조하면, 화면 801은 본 발명의 영상 처리 방법에 따라 임의의 영상을 부호화하여 측정된 실험 결과 값을 표시한 화면이다. 상술한 실험 결과 값은 384x288 원적외선 센서를 사용하여 얻어진 영상을 H.264 표준을 따르는 기존의 방식과 본 발명의 영상 처리 방법을 적용한 방식을 통해 부호화한 결과 값을 포함한다.Referring to FIG. 8, a
화면 801에 도시된 표를 참조하면, 상황 1에 대응하는 결과 값은 차량 100이 임의의 직선 주행로를 주행하는 상황에서 얻어진 영상을 대상으로 측정한 실험 결과 값이며, 상황 2는 임의의 연구소 내를 주행하는 상황, 상황 3은 곡선 주행로를 주행하는 상황, 그리고 상황 4는 임의의 아파트 단지 내를 주행하는 상황에서 얻어진 영상을 대상으로 측정한 실험 결과 값이다. 화면 803은 상황 2에서 얻어진 영상을 보여주는 화면이다. 실험 결과 값을 통해 평균적으로 본 발명의 영상 처리 방법을 적용한 부호화 방식을 사용하는 경우, H.264 표준을 따르는 기존의 부호화 방식을 사용하는 것보다 상대적으로 부호화 효율이 약 0.6% 감소하게 되지만, 부호화 속도는 약 20% 이상 향상되는 것을 확인할 수 있다.Referring to the table shown on
상술한 바와 같이 본 발명의 영상 처리 방법을 적용한 부호화 방식은 부호화될 영상이 차량 전방에 대한 원적외선 영상이라는 점을 반영하여 부호화 과정에서 적용될 예측 모드를 조기에 결정할 수 있게 한다. 부호화 과정에 적용될 예측 모드가 조기에 결정됨에 따라 부호화 속도는 향상될 수 있다. 또한, 영상의 특성을 고려하여 예측 모드를 결정함으로써 부호화 효율의 하락을 최소화할 수 있다. 또한, 본 발명의 영상 처리 방법을 적용한 부호화 방식은 부호화 표준(ISO/IEC 14496-10)을 준수함으로써 종래의 복호화기들에서 정상적으로 동작할 수 있다.As described above, the encoding method to which the image processing method of the present invention is applied reflects that an image to be encoded is a far-infrared image in front of a vehicle, so that a prediction mode to be applied in the encoding process can be determined early. As the prediction mode to be applied to the encoding process is determined early, the encoding speed may be improved. In addition, by determining a prediction mode in consideration of the characteristics of an image, it is possible to minimize a decrease in encoding efficiency. In addition, the encoding method to which the image processing method of the present invention is applied conforms to the encoding standard (ISO/IEC 14496-10), so that conventional decoders can operate normally.
본 명세서와 도면에서는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 상기에 기재된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. In the present specification and drawings, a preferred embodiment of the present invention has been disclosed, and although specific terms are used, these are merely used in a general meaning to easily explain the technical content of the present invention and to aid understanding of the present invention. It is not intended to limit the scope of. In addition to the above-described embodiments, it is obvious to those of ordinary skill in the art that other modifications based on the technical idea of the present invention can be implemented.
100 : 차량 110 : 원적외선 센서
160 : 제어부100: vehicle 110: far infrared sensor
160: control unit
Claims (12)
상기 차량의 전방 영상을 수집하는 원적외선 센서; 및
상기 영상을 구성하는 제1 프레임의 부호화 정보를 기반으로 화면의 복잡성을 판단할 수 있는 임계 영역 및 임계 값을 설정하고, 상기 영상을 구성하는 제2 프레임을 화면 내 예측 부호화시 상기 임계 영역 및 상기 임계 값을 이용하여 부호화 단위로 지정될 대상 블록의 크기를 결정하도록 제어하는 제어부;를 포함하는 차량.In the vehicle,
A far-infrared sensor for collecting a front image of the vehicle; And
A threshold region and a threshold value for determining the complexity of a screen are set based on encoding information of the first frame constituting the image, and the critical region and the threshold value when the second frame constituting the image is predictively encoded A vehicle including a; a control unit controlling to determine a size of a target block to be designated as a coding unit by using a threshold value.
상기 제어부는
상기 제1 프레임을 일정 시간 간격으로 일정 횟수만큼 지정하고, 상기 제1 프레임의 시간적으로 뒤에 위치한 프레임을 상기 제2 프레임으로 지정하도록 제어하는 차량.The method according to claim 1,
The control unit
A vehicle that designates the first frame a certain number of times at a certain time interval, and controls to designate a frame temporally located behind the first frame as the second frame.
상기 제1 프레임의 부호화 정보는
상기 부호화 단위로 지정된 상기 제1 프레임에 포함된 블록들의 크기 및 상기 블록들과 인접한 위치에 있는 참조 블록이 맞닿아 있는 참조 화소들에 대한 상기 블록들에 포함된 화소들의 분산 값을 포함하는 차량.The method according to claim 1,
The encoding information of the first frame is
A vehicle including sizes of blocks included in the first frame designated as the coding unit and variance values of pixels included in the blocks with respect to reference pixels to which a reference block adjacent to the blocks abuts.
상기 제어부는
상기 임계 영역을 상기 블록들의 크기가 상대적으로 큰 제1 블록들과 상기 블록들의 크기가 상대적으로 작은 제2 블록들의 경계에 대응하는 영역으로 설정하고,
상기 임계 영역의 상단에 상기 제1 블록들이 위치한 화면 영역을 상단 영역으로 지정하고,
상기 임계 영역의 하단에 상기 제1 블록들이 위치한 화면 영역을 하단 영역으로 지정하고,
상기 상단 영역 및 상기 하단 영역을 제외한 화면 영역을 중간 영역으로 지정하는 차량.The method of claim 3,
The control unit
The critical area is set as an area corresponding to a boundary between first blocks having a relatively large size of the blocks and second blocks having a relatively small size of the blocks,
Designating a screen area in which the first blocks are located above the critical area as an upper area,
Designating a screen area in which the first blocks are located below the critical area as a bottom area,
A vehicle that designates a screen area excluding the upper area and the lower area as an intermediate area.
상기 제어부는
상기 분산 값을 특정 값으로 가지는 상기 제1 블록들의 개수와 상기 제2 블록들의 개수가 동일한 경우 상기 특정 값을 상기 임계 값으로 설정하는 차량.The method of claim 4,
The control unit
When the number of the first blocks having the variance value as a specific value and the number of the second blocks are the same, the vehicle sets the specific value as the threshold value.
상기 제어부는
상기 상단 영역 및 상기 하단 영역에 위치한 상기 대상 블록의 크기는 상대적으로 크게 설정하고,
상기 중간 영역에 위치한 상기 대상 블록의 분산 값이 상기 임계 값보다 작은 경우 상기 대상 블록의 크기를 상대적으로 크게 설정하고,
상기 중간 영역에 위치한 상기 대상 블록의 분산 값이 상기 임계 값보다 큰 경우 상기 대상 블록의 크기를 상대적으로 작게 설정하는 차량.The method of claim 5,
The control unit
The size of the target block located in the upper region and the lower region is set to be relatively large,
When the variance value of the target block located in the middle area is less than the threshold value, the size of the target block is set relatively large,
When the variance value of the target block located in the middle area is greater than the threshold value, the size of the target block is set relatively small.
상기 차량의 전방 영상을 수집하는 단계;
상기 영상을 구성하는 제1 프레임의 부호화 정보를 기반으로 화면의 복잡성을 판단할 수 있는 임계 영역 및 임계 값을 설정하는 단계; 및
상기 영상을 구성하는 제2 프레임을 화면 내 예측 부호화시 상기 임계 영역 및 상기 임계 값을 이용하여 부호화 단위로 지정될 대상 블록의 크기를 결정하도록 제어하는 단계;를 포함하는 영상 처리 방법.In the vehicle image processing method,
Collecting a front image of the vehicle;
Setting a threshold region and a threshold value for determining the complexity of a screen based on encoding information of a first frame constituting the image; And
And controlling a second frame constituting the image to determine a size of a target block to be designated as a coding unit using the threshold region and the threshold value during intra prediction encoding.
상기 임계 영역 및 임계 값을 설정하는 단계는
상기 제1 프레임을 일정 시간 간격으로 일정 횟수만큼 지정하는 단계; 및
상기 제1 프레임의 시간적으로 뒤에 위치한 프레임을 상기 제2 프레임으로 지정하도록 제어하는 단계;를 포함하는 영상 처리 방법.The method of claim 7,
The step of setting the threshold area and the threshold value
Designating the first frame a predetermined number of times at a predetermined time interval; And
And controlling a frame located temporally behind the first frame to be designated as the second frame.
상기 임계 영역 및 임계 값을 설정하는 단계는
상기 부호화 단위로 지정된 상기 제1 프레임에 포함된 블록들의 크기 및 상기 블록들과 인접한 위치에 있는 참조 블록이 맞닿아 있는 참조 화소들에 대한 상기 블록들에 포함된 화소들의 분산 값을 상기 제1 프레임의 부호화 정보에 포함시키는 단계;를 포함하는 영상 처리 방법.The method of claim 7,
The step of setting the threshold area and the threshold value
The size of blocks included in the first frame designated as the coding unit and a variance value of pixels included in the blocks with respect to reference pixels contacting reference blocks adjacent to the blocks are determined in the first frame Including the encoding information of the; image processing method comprising a.
상기 임계 영역 및 임계 값을 설정하는 단계는
상기 블록들의 크기가 상대적으로 큰 제1 블록들과 상기 블록들의 크기가 상대적으로 작은 제2 블록들의 경계에 대응하는 영역을 상기 임계 영역으로 설정하는 단계;
상기 임계 영역의 상단에 상기 제1 블록들이 위치한 화면 영역을 상단 영역으로 지정하는 단계;
상기 임계 영역의 하단에 상기 제1 블록들이 위치한 화면 영역을 하단 영역으로 지정하는 단계; 및
상기 상단 영역 및 상기 하단 영역을 제외한 화면 영역을 중간 영역으로 지정하는 단계;를 포함하는 영상 처리 방법.The method of claim 9,
The step of setting the threshold area and the threshold value
Setting an area corresponding to a boundary between first blocks having a relatively large size of the blocks and second blocks having a relatively small size of the blocks as the critical area;
Designating a screen area in which the first blocks are located above the critical area as an upper area;
Designating a screen area in which the first blocks are located below the critical area as a bottom area; And
Designating a screen area excluding the upper area and the lower area as an intermediate area.
상기 임계 영역 및 임계 값을 설정하는 단계는
상기 분산 값을 특정 값으로 가지는 상기 제1 블록들의 개수와 상기 제2 블록들의 개수가 동일한 경우 상기 특정 값을 상기 임계 값으로 설정하는 단계;를 포함하는 영상 처리 방법.The method of claim 10,
The step of setting the threshold area and the threshold value
And setting the specific value as the threshold value when the number of the first blocks having the variance value as a specific value and the number of the second blocks are the same.
상기 대상 블록의 크기를 결정하도록 제어하는 단계는
상기 상단 영역 및 상기 하단 영역에 위치한 상기 대상 블록의 크기를 상대적으로 크게 설정하는 단계;
상기 중간 영역에 위치한 상기 대상 블록의 분산 값이 상기 임계 값보다 작은 경우 상기 대상 블록의 크기를 상대적으로 크게 설정하는 단계; 및
상기 중간 영역에 위치한 상기 대상 블록의 분산 값이 상기 임계 값보다 큰 경우 상기 대상 블록의 크기를 상대적으로 작게 설정하는 단계;를 포함하는 영상 처리 방법.
The method of claim 11,
Controlling to determine the size of the target block
Setting the size of the target block located in the upper region and the lower region to be relatively large;
Setting a size of the target block to be relatively large when the variance value of the target block located in the middle area is less than the threshold value; And
And setting a size of the target block to be relatively small when the variance value of the target block located in the middle region is greater than the threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140179607A KR102213147B1 (en) | 2014-12-12 | 2014-12-12 | Image Processing Method and Vehicle supporting the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140179607A KR102213147B1 (en) | 2014-12-12 | 2014-12-12 | Image Processing Method and Vehicle supporting the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160071876A KR20160071876A (en) | 2016-06-22 |
KR102213147B1 true KR102213147B1 (en) | 2021-02-05 |
Family
ID=56365072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140179607A KR102213147B1 (en) | 2014-12-12 | 2014-12-12 | Image Processing Method and Vehicle supporting the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102213147B1 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100949917B1 (en) * | 2008-05-28 | 2010-03-30 | 한국산업기술대학교산학협력단 | Fast Encoding Method and System Via Adaptive Intra Prediction |
KR101246119B1 (en) * | 2011-02-08 | 2013-03-21 | 연세대학교 산학협력단 | Intra prediction mode decision method and apparatus |
-
2014
- 2014-12-12 KR KR1020140179607A patent/KR102213147B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20160071876A (en) | 2016-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6276336B2 (en) | Video decoding method and video decoding apparatus | |
JP5423948B2 (en) | Moving picture encoding method, and apparatus and program using the same | |
CN103379335B (en) | Method, equipment and system for transcoded video signal | |
KR20180107761A (en) | Method and apparatus for prediction using reference block | |
US20060274956A1 (en) | Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus | |
JP5988577B2 (en) | Image coding apparatus, image coding method, and program | |
KR20190038405A (en) | Method and apparatus for encoding/decoding image, recording medium for stroing bitstream | |
JP2007067469A (en) | In-frame prediction coding control method, in-frame prediction coding control apparatus, in-frame prediction coding control program, and recording medium recorded with the program | |
KR20140072231A (en) | Fast Prediction Mode Determination Method in Video Encoder Based on Probability Distribution of Rate-Distortion | |
KR102169610B1 (en) | Method and apparatus for determining intra prediction mode | |
KR20130085392A (en) | Method and apparatus for encoding and decoding video to enhance intra prediction process speed | |
KR20120135828A (en) | Method for performing fast intra-prediction | |
CN102301713A (en) | Method and device for encoding an image using a prediction mask decoding method and device and corresponding signals and computer programs | |
CN113273188A (en) | Image encoding/decoding method and apparatus, and recording medium storing bit stream | |
JP2005348280A (en) | Image encoding method, image encoding apparatus, image encoding program, and computer readable recording medium recorded with the program | |
CN105847794A (en) | HEVC intra-frame prediction mode rapid selection method | |
KR102213147B1 (en) | Image Processing Method and Vehicle supporting the same | |
JPH06327003A (en) | Predictive coding system for moving image | |
CN107613294A (en) | A kind of method for fast skipping P, B frame intra prediction mode in HEVC | |
CN109547798B (en) | Rapid HEVC inter-frame mode selection method | |
KR101793623B1 (en) | Method and apparatus for detemining coding unit depth based on history | |
KR20150121278A (en) | Method for coding data by fast coding unit decision in high efficiency video coding | |
JP2005184241A (en) | System for determining moving picture interframe mode | |
KR20050115136A (en) | Method of and apparatus for predictive video data encoding and/or decoding | |
CN113574875A (en) | Encoding/decoding method and apparatus based on intra block copy and bit stream storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |