KR100783817B1 - Video encoder, image processing device and image signal processing method - Google Patents
Video encoder, image processing device and image signal processing method Download PDFInfo
- Publication number
- KR100783817B1 KR100783817B1 KR1020060072046A KR20060072046A KR100783817B1 KR 100783817 B1 KR100783817 B1 KR 100783817B1 KR 1020060072046 A KR1020060072046 A KR 1020060072046A KR 20060072046 A KR20060072046 A KR 20060072046A KR 100783817 B1 KR100783817 B1 KR 100783817B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- frame
- color information
- image
- digital
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
도 1은 일반적인 디지털 영상처리 장치, 비디오 인코더와 TV 수상기간의 구성을 나타낸 블록도이다. 1 is a block diagram showing a configuration of a general digital image processing apparatus, a video encoder, and a TV award period.
도 2는 종래의 비디오 인코더를 나타낸 블록도이다. 2 is a block diagram illustrating a conventional video encoder.
도 3은 본 발명의 일실시예에 따른 화상 처리 장치를 나타낸 블록도이다. 3 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
도 4 및 도 5는 프레임의 모션 벡터의 총합을 나타내는 그래프이다. 4 and 5 are graphs showing the sum of motion vectors of a frame.
도 6은 본 발명의 일실시예에 따른 영상 처리 전의 8픽셀 × 8픽셀의 영상을 나타낸 개념도이다. 6 is a conceptual diagram illustrating an image of 8 pixels x 8 pixels before image processing according to an embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 색상 정보 처리 전의 8픽셀 × 8픽셀로 이루어진 한 프레임의 영상을 나타낸 개념도이다. 6 is a conceptual diagram illustrating an image of one frame including 8 pixels x 8 pixels before color information processing according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 색상 정보 처리 전의 한 프레임 내의 영상을 나타낸 개념도이다.7 is a conceptual diagram illustrating an image in one frame before color information processing according to an embodiment of the present invention.
도 8은 본 발명의 일실시예에 따른 한 프레임 내의 특정 영역의 영상의 에지와 중심점을 나타낸 개념도이다. 8 is a conceptual diagram illustrating edges and a center point of an image of a specific region in one frame according to an embodiment of the present invention.
도 9는 도 8의 특정 영역의 영상이 소정 방향을 따라서 움직인 경우를 나타낸 개념도이다.9 is a conceptual diagram illustrating a case where an image of a specific region of FIG. 8 is moved in a predetermined direction.
도 10 내지 도 14는 프레임의 모션 벡터의 총합이 소정의 임계치보다 큰 경우 프레임내의 특정 영상의 특정 위치의 픽셀에 대해 색상 정보를 감소시키는 과정을 설명하는 개념도이다. 10 to 14 are conceptual views illustrating a process of reducing color information for pixels at a specific position of a specific image in a frame when the sum of the motion vectors of the frame is larger than a predetermined threshold.
도 15는 프레임 내 특정 영역의 영상의 모든 픽셀들에 대해 색상 정보를 제거하는 과정을 설명하기 위한 개념도이다.FIG. 15 is a conceptual diagram illustrating a process of removing color information of all pixels of an image of a specific region in a frame.
도 16은 본 발명의 일실시예에 따른 영상 신호 처리 방법을 설명하기 위한 순서도이다. 16 is a flowchart illustrating a video signal processing method according to an embodiment of the present invention.
도 17은 본 발명의 다른 실시예에 따른 영상 처리 장치를 나타낸 블록도이다.17 is a block diagram illustrating an image processing apparatus according to another exemplary embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
120 : 비디오 인코더 220, 320 : 화질 보정부120:
230, 330 : 변조부 240, 340 : 변조신호 발생부230, 330:
330 : 선택부 360 : 모션 벡터 방향성 검출부330: selection unit 360: motion vector direction detection unit
370 : 색상 정보 추출부 390 : 색상 정보 처리부370: color information extraction unit 390: color information processing unit
380, 1170 : 영상 처리부380, 1170: image processing unit
본 발명은 비디오 인코더, 영상 처리 장치 및 영상 신호 변환 방법에 관한 것으로, 더욱 상세하게는 프레임간 영상의 변화가 많은 경우 전력 소모를 줄일 수 있는 비디오 인코더, 영상 처리 장치 및 영상 신호 변환 방법에 관한 것이다. The present invention relates to a video encoder, an image processing apparatus, and a video signal conversion method, and more particularly, to a video encoder, an image processing device, and an image signal conversion method that can reduce power consumption when there is a large change in inter-frame images. .
도 1은 일반적인 디지털 영상처리 장치, 비디오 인코더와 TV 수상기간의 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 비디오 인코더(video encoder, 120)는 디지털 영상 신호 출력 장치(110)로부터 출력된 디지털 영상 신호(112)를 아날로그 영상 신호(122)로 변환하여 TV 수상기(130) 등에서 영상을 디스플레이하도록 한다. 디지털 영상 신호 출력 장치(110)는 디지털 카메라폰, 메모리 카드, 개인용 컴퓨터(PC), PMP(Portable Multimedia Player) 등이 될 수 있다. 비디오 인코더(120)는 TV 수신기(130) 내부에 포함되거나 디지털 영상 신호 출력 장치(110) 내부에 포함되거나 도 1에 도시된 바와 같이 독립된 장치로 구현될 수도 있다. 도 1에서는 비디오 인코더(120)이 TV 수상기(130)에 연결되는 것을 도시하였으나, 비디오 인코더(120)는 고화질텔레비젼(HDTV; High Definition Television), PDP (Plasma Display Panel) TV, LCD(Liquid Crystal Display) TV 등의 TV 수상기(130) 외에 프로젝터(projector)에도 연결되어 사용될 수 있다. 1 is a block diagram showing a configuration of a general digital image processing apparatus, a video encoder, and a TV award period. As shown in FIG. 1, the
도 2는 종래의 비디오 인코더를 나타낸 블록도이다. 2 is a block diagram illustrating a conventional video encoder.
도 2를 참조하면, 종래의 비디오 인코더는 동기화 신호 제어부(210), 화질 보정부(220), 변조부(230), 변조 신호 발생부(240) 및 디지털-아날로그 변환부(250)를 포함한다. Referring to FIG. 2, a conventional video encoder includes a
동기화 신호 제어부(210)는 타이밍 제어부(212), 싱크 신호 발생부(214) 및 블랭크 신호 발생부(216)로 구성되어 수직 동기 신호(VSYNC), 수평 동기 신호 (HSYNC), 필드 식별자(FIELD_ID) 및 클럭(CLOCK)에 기초하여 아날로그 TV 신호의 싱크를 맞추어 주기 위한 동기화 신호(SYNC 신호, 211) 및 블랭크 신호(또는 귀선 소거 신호, 213)등을 발생한다. The
화질 보정부(220)를 통과한 디지털 영상 신호에는 블랭크 신호가 삽입되고, 귀선 기간에 동기화 신호(SYNC 신호)가 삽입된다. 수평 귀선 소거 기간에는 수평 동기 신호(HSYNC)가 삽입되고, 수직 귀선 소거 기간에는 수직 동기 신호(VSYNC)가 삽입된다. 아날로그 TV 신호의 싱크를 맞추어 주기 위하여 수직동기신호의 전후에 등화펄스(equalizing pulse)를 삽입하고, 수직동기신호의 기간내에 톱니 펄스(serration pulse)를 삽입하고, 디지털 영상 신호의 수평귀선기간의 백포치(back porch)에 버스트 신호(burst signal)를 삽입한다. A blank signal is inserted into the digital image signal passing through the image
디지털 영상 신호(201)의 휘도신호 Y, 색상신호 CB 및 CR은 각각 제1 화질 보정부(222), 제2 화질 보정부(224) 및 제3 화질 보정부(226)을 거치면서 오버샘플링부(222a, 224a, 226a)에서 오버샘플링되고 로우패스필터(222b, 224b, 226b)에서 잡음 성분이 제거되어 디지털 영상 신호의 화질이 개선된다. The luminance signal Y, the color signals CB, and CR of the
변조 신호 발생부(240)는 아날로그 TV 신호를 생성하기 위하여 화질 개선된 휘도신호 Y(202), 색상신호 CB(204) 및 CR(206)를 변조하기 위한 반송파를 발생시킨다. 구체적으로, 변조 신호 발생부(240)는 메모리에 n개 샘플링된 사인파 샘플값 및 코사인파 샘플값을 미리 저장해두고 상기 사인파 샘플값을 읽어들여 사인파 신호(242)를 발생하고, 상기 코사인파 샘플값을 읽어들여 코사인파 신호(244)를 발생시킨다. The modulated
변조부(230)에서는 동기화 신호(211), 블랭크 신호(213) 및 반송파(242, 244)에 기초하여 화질 개선된 휘도신호 Y(202), 색상신호 CB(204) 및 CR(206)를 변조하여 아날로그 TV 신호에 상응하는 디지털 신호를 생성한다. The
디지털-아날로그 변환부(250)는 3개의 디지털-아날로그 변환기(252, 254, 256)으로 구성되어, 상기 변조부(230)에서 출력되는 디지털 신호를 디지털-아날로그 변환하여 아날로그 TV 신호(258)로 변환한다. The digital-to-
H.264 또는 MPEG4와 같이 모션 벡터를 이용하여 프레임간의 변화량에 따라 압축을 수행하는 영상 압축 코덱의 디코딩 과정에서 영상 화면에서 프레임 간의 장면 전환이나 움직임이 아주 빠른 동영상의 경우에는 영상 신호의 프레임의 모션 벡터의 총합이 이전 프레임에 비하여 급격하게 증가한다. In the video decoding codec that decompresses according to the amount of change between frames by using motion vectors such as H.264 or MPEG4, the motion of the frame of the video signal in the case of a video having a very fast scene change or movement between frames on the video screen. The sum of the vectors increases dramatically compared to the previous frame.
종래의 비디오 인코더에서는 프레임의 모션 벡터의 총합이 소정 임계치보다 큰 경우에는 휘도 신호(Y)와 색상 신호(CBCR)에 대해 화질 보정부(220)에서 화질 개선 동작시 많은 연산이 필요하고 그 결과 전력 소모가 증가한다. In the conventional video encoder, when the sum of the motion vectors of a frame is larger than a predetermined threshold, many operations are required during the image quality improvement operation by the image
프레임의 모션 벡터의 총합이 소정 임계치보다 큰 경우 휘도 신호(Y)의 연산량을 줄이기 위해 화질 보정부(220)로 입력되는 휘도 신호(Y)의 휘도 정보를 감소(또는 손실)시키는 경우에는 화질이 저하될 수 있다. When the sum of the motion vectors of the frames is larger than the predetermined threshold, the image quality is reduced when the luminance information of the luminance signal Y input to the image
인간의 시각은 휘도 성분보다 색상 성분에 대해 더 둔감하므로 프레임의 모션 벡터의 총합이 소정 임계치보다 큰 경우에는 특히 색상 신호(CBCR)에 대해 연산량을 줄여 화질 보정부(220)로 입력되는 색상 신호(CBCR)의 색상 정보를 감소시킬 필요가 있다. Since human vision is more insensitive to color components than luminance components, when the sum of the motion vectors of a frame is larger than a predetermined threshold, the color signal input to the
즉, 종래의 비디오 인코더에서는 상기와 같이 프레임(frame) 간의 장면 전환 이나 움직임이 아주 빠른 동영상의 경우에는 화질 보정부(220)로 입력되는 색상 신호(CBCR)의 색상 정보를 감소시켜 화질 개선 블록(220)에서 화질 개선 동작시 전력 소모를 줄일 필요가 있다.That is, in the conventional video encoder, the color information of the color signal (CBCR) input to the image
따라서, 본 발명의 제1 목적은 모션 벡터의 방향성에 기초하여 디지털 영상 신호의 색상 정보를 조절하여 프레임(frame) 간 영상의 변화가 많은 경우 전력 소모를 줄일 수 있는 비디오 인코더를 제공하는 것이다. Accordingly, a first object of the present invention is to provide a video encoder capable of reducing power consumption when there is a large change in image between frames by adjusting color information of a digital image signal based on the direction of a motion vector.
본 발명의 제2 목적은 모션 벡터의 방향성에 기초하여 디지털 영상 신호의 색상 정보를 조절하여 프레임(frame) 간 영상의 변화가 많은 경우 전력 소모를 줄일 수 있는 영상 처리 장치를 제공하는 것이다.It is a second object of the present invention to provide an image processing apparatus capable of reducing power consumption when there is a large change in an image between frames by adjusting color information of a digital image signal based on the direction of a motion vector.
또한, 본 발명의 제3 목적은 모션 벡터의 방향성에 기초하여 디지털 영상 신호의 색상 정보를 조절하여 프레임(frame) 간 영상의 변화가 많은 경우에도 전력 소모를 줄일 수 있는 영상 신호 처리 방법을 제공하는 것이다.In addition, a third object of the present invention is to provide a video signal processing method that can reduce power consumption even when there is a large change in the image between frames by adjusting the color information of the digital video signal based on the direction of the motion vector. will be.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일측면에 따른 비디오 인코더는 아날로그 영상 신호의 동기를 맞추기 위한 동기화 신호를 생성하는 동기화 신호 제어부; 프레임별 모션 벡터의 총합이 소정의 임계값보다 큰 경우 입력되는 제1 디지털 영상 신호의 프레임내 소정 영역의 영상의 움직임 방향에 기초하여 상기 프레임내의 픽셀의 색상 정보를 감소시키는 색상 정보 처리부; 상기 제1 디지털 영상 신호 중 색상 신호 및 상기 감소된 색상 정보를 가진 색상 신호 중 하 나와 상기 제1 디지털 영상 신호 중 휘도 신호의 화질을 보정하여 제2 디지털 영상 신호를 생성하는 화질 보정부; 및 상기 동기화 신호 및 반송파에 기초하여 상기 제2 디지털 영상 신호를 상기 아날로그 영상 신호에 상응하는 디지털 신호로 변조하는 변조부를 포함한다. 상기 색상 정보 처리부는 상기 프레임 내의 소정의 탐색 거리를 가지는 소정 탐색 영역내의 추정 영역-여기서, 상기 추정 영역은 상기 프레임내 소정 영역의 영상의 움직임 벡터의 방향을 중심으로 소정 각도 범위내의 영역임-내의 적어도 하나의 픽셀을 제외한 상기 소정 탐색 영역 내의 나머지 픽셀들에 대해서 색상 정보를 제거시킬 수 있다. 상기 색상 정보 처리부는 상기 프레임의 모션 벡터의 총합이 클수록 상기 프레임 내의 색상 정보를 제거한 픽셀들의 개수를 증가시킬 수 있다. 상기 색상 정보 처리부는 상기 프레임의 모션 벡터의 총합의 기울기가 클수록 상기 프레임내의 색상 정보를 제거한 픽셀들의 개수를 증가시킬 수 있다. 상기 색상 정보 처리부는 상기 프레임의 모션 벡터의 총합의 변화율이 클수록 상기 프레임 내의 색상 정보를 제거한 픽셀들의 개수를 증가시킬 수 있다. 상기 색상 정보 처리부는 상기 프레임 내 소정 영상의 모션 벡터의 방향성을 구하는 모션 벡터 방향성 검출부; 상기 프레임의 모션 벡터의 총합을 입력받고, 상기 프레임의 모션 벡터의 총합이 소정 임계치보다 큰 경우에는 상기 프레임 내 소정 영상의 모션 벡터의 방향성에 기초하여 상기 프레임의 픽셀들의 색상 정보를 감소시키는 색상 정보 추출부; 및 제어 신호에 응답하여 상기 제1 디지털 영상 신호 중 색상 신호 또는 상기 감소된 색상 정보를 가진 색상 신호 중 하나를 선택하여 상기 화질 보정부로 제공하는 선택부를 포함할 수 있다. 상기 비디오 인코더는 상기 변조된 디지털 신호를 아날로그 신호로 변환하여 상기 아날로그 영상 신호를 생성하는 디지털-아날로그 변환부를 더 포함할 수 있다.According to an aspect of the present invention, there is provided a video encoder, including: a synchronization signal controller configured to generate a synchronization signal for synchronizing an analog image signal; A color information processing unit for reducing color information of pixels in the frame based on a moving direction of an image of a predetermined region in a frame of an input first digital image signal when the sum of the motion vectors for each frame is larger than a predetermined threshold value; An image quality correction unit configured to generate a second digital image signal by correcting an image quality of a luminance signal of the first digital image signal and one of a color signal of the first digital image signal and the color signal having the reduced color information; And a modulator configured to modulate the second digital video signal into a digital signal corresponding to the analog video signal based on the synchronization signal and the carrier wave. The color information processing section is an estimated area within a predetermined search area having a predetermined search distance in the frame, wherein the estimated area is an area within a predetermined angle range around the direction of the motion vector of the image of the predetermined area within the frame. Color information may be removed for the remaining pixels in the predetermined search area except at least one pixel. The color information processor may increase the number of pixels from which color information in the frame is removed as the sum of the motion vectors of the frame increases. The color information processor may increase the number of pixels from which the color information in the frame is removed as the slope of the sum of the motion vectors of the frame increases. The color information processor may increase the number of pixels from which the color information in the frame is removed as the rate of change of the sum of the motion vectors of the frame increases. The color information processor may include: a motion vector direction detection unit configured to obtain a direction of a motion vector of a predetermined image in the frame; Color information for reducing the color information of the pixels of the frame based on the direction of the motion vector of the predetermined image in the frame when the sum of the motion vectors of the frame is received and the sum of the motion vectors of the frame is greater than a predetermined threshold Extraction unit; And a selector configured to select one of a color signal of the first digital image signal or a color signal having the reduced color information in response to a control signal and provide the selected color signal to the image quality correction unit. The video encoder may further include a digital-to-analog converter configured to convert the modulated digital signal into an analog signal to generate the analog image signal.
본 발명의 제2 목적을 달성하기 위한 본 발명의 일측면에 따른 영상 처리 장치는 프레임별 모션 벡터의 총합이 소정의 임계값보다 큰 경우 입력되는 제1 디지털 영상 신호의 프레임 내 소정 영역의 영상의 움직임 방향에 기초하여 상기 프레임 내의 픽셀의 색상 정보를 감소시키는 색상 정보 처리부; 상기 제1 디지털 영상 신호 중 색상 신호 및 상기 감소된 색상 정보를 가진 색상 신호 중 하나와 상기 제1 디지털 영상 신호 중 휘도 신호의 화질을 보정하여 제2 디지털 영상 신호를 생성하는 화질 보정부; 및 상기 제2 디지털 영상 신호를 영상 처리하는 영상 처리부를 포함한다. 상기 영상 처리부는 상기 제2 디지털 영상 신호를 인코딩하는 MPEG 인코더가 될 수 있다. According to an aspect of the present invention, there is provided an image processing apparatus according to an aspect of the present invention, in which an image of a predetermined region in a frame of a first digital image signal is input when the sum of motion vectors per frame is greater than a predetermined threshold. A color information processor which reduces color information of pixels in the frame based on a movement direction; An image quality correction unit configured to generate a second digital image signal by correcting an image quality of one of a color signal of the first digital image signal and a color signal having the reduced color information and a luminance signal of the first digital image signal; And an image processor configured to image-process the second digital image signal. The image processor may be an MPEG encoder that encodes the second digital image signal.
본 발명의 제3 목적을 달성하기 위한 본 발명의 일측면에 따른 영상 신호 처리 방법은 프레임별 모션 벡터의 총합이 소정의 임계값보다 큰 경우 입력되는 제1 디지털 영상 신호의 프레임 내 소정 영역의 영상의 움직임 방향에 기초하여 상기 프레임내의 픽셀의 색상 정보를 감소시키는 단계; 상기 제1 디지털 영상 신호 중 휘도 신호 및 상기 감소된 색상 정보를 가지는 색상 신호의 화질을 보정하여 제2 디지털 영상 신호를 생성하는 단계; 및 상기 제2 디지털 영상 신호를 영상 처리하는 단계를 포함한다. 상기 색상 정보를 감소시키는 단계는 상기 프레임 내의 소정의 탐색 거리를 가지는 소정 탐색 영역 내의 추정 영역-여기서, 상기 추정 영역은 상기 프레임 내 소정 영역의 영상의 움직임 벡터의 방향을 중심으로 소정 각도 범 위내의 영역임-내의 적어도 하나의 픽셀을 제외한 상기 소정 탐색 영역 내의 나머지 픽셀들에 대해서 색상 정보를 제거할 수 있다. 상기 제2 디지털 영상 신호를 영상 처리하는 단계는 아날로그 영상 신호의 동기를 맞추기 위한 동기화 신호 및 반송파에 기초하여 상기 제2 디지털 영상 신호를 디지털 신호로 변조하는 단계; 및 상기 변조된 디지털 신호를 아날로그 신호로 변환하여 아날로그 영상 신호를 생성하는 단계를 포함할 수 있다. 상기 제2 디지털 영상 신호를 영상 처리하는 단계는 상기 제2 디지털 영상 신호를 MPEG 인코딩하는 단계를 포함할 수 있다. According to an aspect of the present invention, there is provided a method of processing a video signal according to an aspect of the present invention, wherein an image of a predetermined region in a frame of a first digital video signal input when a sum of motion vectors per frame is greater than a predetermined threshold. Reducing color information of a pixel in the frame based on a moving direction of the frame; Generating a second digital video signal by correcting an image quality of a luminance signal of the first digital video signal and a color signal having the reduced color information; And image processing the second digital video signal. The reducing of the color information may include estimating an area in a predetermined search area having a predetermined search distance in the frame, wherein the estimated area is within a predetermined angle range around a direction of a motion vector of an image of the predetermined area in the frame. Color information may be removed for the remaining pixels in the predetermined search area except at least one pixel in the area. The image processing of the second digital video signal may include modulating the second digital video signal into a digital signal based on a synchronization signal and a carrier wave to synchronize the analog video signal; And converting the modulated digital signal into an analog signal to generate an analog image signal. The image processing of the second digital video signal may include MPEG encoding the second digital video signal.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.
도 3은 본 발명의 일실시예에 따른 영상 처리 장치를 나타낸 블록도이다. 3 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일실시예에 따른 영상 처리 장치는 화질 보정부(320), 색상 정보 처리부(390) 및 영상 처리부(380)을 포함한다. 이하, 도 3의 영상 처리 장치가 비디오 인코더인 경우를 예로 들어 설명한다. 영상 처리부(380) 는 동기화 신호 제어부(310), 변조부(330), 변조 신호 발생부(340) 및 디지털-아날로그 변환부(350)를 포함한다. Referring to FIG. 3, an image processing apparatus according to an embodiment of the present invention includes an image
동기화 신호 제어부(310)는 타이밍 제어부(312), 싱크 신호 발생부(314) 및 블랭크 신호 발생부(316)로 구성된다. 동기화 신호 제어부(310)는 수직 동기 신호(VSYNC), 수평 동기 신호 (HSYNC), 필드 식별자(FIELD_ID) 및 클럭(CLOCK)에 기초하여 아날로그 영상 신호의 싱크를 맞추어 주기 위한 동기화 신호(SYNC 신호, 311) 및 블랭크 신호(또는 귀선 소거 신호, 313)등을 발생한다. 이하, 아날로그 영상 신호는 TV 수상기로 출력하기 위한 아날로그 TV 신호 또는 프로젝터로 출력하기 위한 아날로그 영상 신호를 모두 포함하는 개념이다. The
색상 정보 처리부(390)는 모션 벡터 방향성 검출부(360) 및 색상 정보 추출부(370)를 포함한다.The
색상 정보 처리부(390)는 프레임별 모션 벡터의 총합 및 모션 벡터의 방향성에 기초하여 비디오 인코더로 입력되는 디지털 영상 신호(301)의 색상 정보를 조절하여 화질 보정부(320)으로 제공한다. 여기서, 비디오 인코더로 입력되는 디지털 영상 신호(301)를 제1 디지털 영상 신호라고 한다. The
모션 벡터 방향성 검출부(360)는 프레임내 소정 영상의 중심점에 대한 모션 벡터의 방향성을 구하여 상기 모션 벡터의 방향성 정보(361)를 색상 정보 추출부(370)로 제공한다. The motion vector
색상 정보 추출부(370)는 프레임별 모션 벡터의 총합(371)을 입력받아 프레임의 모션 벡터의 총합이 소정 임계치보다 큰 경우에는 상기 프레임내 소정 영상의 중심점에 대한 모션 벡터의 방향성 정보(361)에 기초하여 화질 보정부(220)로 제공되는 프레임의 픽셀들의 색상 정보를 감소시킨다. 프레임별 모션 벡터의 총합은 디지털 영상 신호(301)의 각 프레임(frame)의 모션 벡터를 구하여 합한 값이다. The color
예를 들어, 색상 정보 추출부(370)는 프레임의 모션 벡터의 총합이 소정 임계치보다 큰 경우에는 모션 벡터의 총합 및 현재 프레임 내의 소정 영상의 중심점의 모션 벡터의 방향성 정보에 기초하여 소정의 탐색 영역 내의 추정 영역을 결정하고, 상기 추정 영역 내의 픽셀에 대한 휘도 정보 및 색상 정보 중에서 색상 정보를 제거한 후, 상기 추정 영역 내의 색상 정보가 제거된 픽셀을 가지는 프레임의 영상 데이터를 화질 보정부(220)으로 제공한다. 따라서, 프레임의 모션 벡터의 총합이 소정 임계치보다 큰 경우에는 화질 보정부(220)로 입력되는 프레임의 색상 정보가 감소된다. 자세한 설명은 후술한다. For example, when the sum of the motion vectors of the frame is greater than a predetermined threshold, the
선택부(330)는 제어 신호(307)에 응답하여 비디오 인코더로 입력되는 디지털 영상 신호(301) 또는 색상 정보 처리부(390)로부터 출력되는 감소된 색상 정보를 가진 색상 신호(373, 375) 중 하나를 선택하여 화질 보정부(320)으로 제공한다. 상기 제어 신호(307)는 프레임의 모션 벡터의 총합이 소정 임계치보다 큰 경우에 활성화될 수 있다. 여기서, 상기 제어 신호(307)는 도 3에 도시된 바와 같이 비디오 인코더의 외부에서 입력될 수도 있고, 색상 정보 처리부(390)에서 프레임의 모션 벡터의 총합에 기초하여 모션 벡터의 총합이 소정 임계치보다 큰 경우에 활성화되도록 생성할 수도 있다. The
제1 선택부(332)는 제어 신호(307)에 응답하여 비디오 인코더로 입력되는 디 지털 영상 신호(301) 중 색상 신호(CB) 또는 색상 정보 처리부(390)로부터 출력되는 감소된 색상 정보를 가진 제1 색상 신호(373) 중 하나를 선택하여 제2 화질 보정부(324)로 제공한다. 제2 선택부(334)는 제어 신호(307)에 응답하여 비디오 인코더로 입력되는 디지털 영상 신호(301) 중 색상 신호(CR) 또는 색상 정보 처리부(390)로부터 출력되는 감소된 색상 정보를 가진 제2 색상 신호(375) 중 하나를 선택하여 제3 화질 보정부(326)로 제공한다. 예를 들어, 제1 선택부(332) 및 제2 선택부(334)는 각각 먹스(MUX)로 구현될 수 있다. The
디지털 영상 신호의 휘도신호 Y, 선택부(330)로부터 출력되는 색상신호 CB 및 CR은 각각 제1 화질 보정부(322), 제2 화질 보정부(324) 및 제3 화질 보정부(326)을 거치면서 오버샘플링부(322a, 324a, 326a)에서 오버샘플링되고 로우패스필터(322b, 324b, 326b)에서 잡음 성분이 제거되어 디지털 영상 신호의 화질이 개선된다. 여기서, 화질 보정부(320)를 통과한 디지털 영상 신호(302, 304, 306)를 제2 디지털 영상 신호라고 한다.The luminance signal Y and the color signals CB and CR output from the
화질 보정부(320)를 통과한 디지털 영상 신호(302, 304, 306)에는 블랭크 신호가 삽입되고, 귀선 기간에 동기화 신호(311)가 삽입될 수 있다. 수평 귀선 소거 기간에는 수평 동기 신호(HSYNC)가 삽입되고, 수직 귀선 소거 기간에는 수직 동기 신호(VSYNC)가 삽입될 수 있다. 아날로그 영상 신호의 싱크를 맞추어 주기 위하여 수직동기신호의 전후에 등화펄스(equalizing pulse)를 삽입할 수 있다. 수직동기신호의 기간내에 톱니 펄스(serration pulse)를 삽입할 수 있다. 디지털 영상 신호의 수평귀선기간의 백포치(back porch)에 버스트 신호(burst signal)를 삽입할 수 있 다. A blank signal may be inserted into the digital image signals 302, 304, and 306 passing through the image
변조 신호 발생부(340)는 아날로그 영상 신호를 생성하기 위하여 화질 개선된 디지털 영상 신호- 예를 들어 휘도신호 Y(302), 색상신호 CB(304) 및 CR(306)-를 변조하기 위한 반송파를 발생시킨다. 여기서, 변조 신호 발생부(240)는 소정의 샘플링 횟수로 샘플링된 반송파-사인파 신호와 코사인파 신호-를 메모리에 미리 저장해두고, 메모리에 저장된 상기 사인파 샘플링값 및 코사인파 샘플링값을 읽어들여 사인파 신호(342) 및 코사인파 신호(344)를 발생시킨다.The modulated
변조부(330)에서는 동기화 신호(311), 블랭크 신호(313) 및 반송파(342, 344)에 기초하여 화질 개선된 휘도신호 Y(302), 색상신호 CB(304) 및 CR(306)를 변조하여 아날로그 영상 신호에 상응하는 디지털 신호를 생성한다. The
디지털-아날로그 변환부(250)는 3개의 디지털-아날로그 변환기(352, 354, 356)으로 구성되어, 상기 변조부(330)에서 출력되는 디지털 신호를 디지털-아날로그 변환하여 아날로그 영상 신호(358)로 변환한다. 여기서, 아날로그 영상 신호(358)는 고화질텔레비젼(HDTV; High Definition Television), PDP (Plasma Display Panel) TV, LCD(Liquid Crystal Display) TV 등의 TV 수상기(130) 또는 프로젝터(projector)로 제공될 수 있다. The digital-to-
이하, 본 발명의 실시예들에 따른 프레임의 모션 벡터의 총합(371) 및 프레임내 소정 영상의 중심점에 대한 모션 벡터의 방향성 정보(361)에 기초하여 색상 신호(CB, CR)의 색상 정보를 감소시키는 방법에 대해 구체적으로 설명한다.Hereinafter, the color information of the color signals CB and CR is based on the
영상 압축 코덱의 디코딩 과정에서 이전 프레임의 이미지와 현재 프레임의 이미지가 유사하다면 현재 프레임의 모션 벡터의 총합은 작으며, 이전 프레임의 이미지와 현재 프레임의 이미지가 많이 상이하다면 현재 프레임의 모션 벡터의 총합은 이전 프레임의 모션 벡터의 총합보다 급격히 증가한다. 즉, 영상 화면에서 프레임 간의 장면 전환이나 움직임이 아주 빠른 동영상의 경우에는 프레임을 구성하는 대부분의 모션 벡터가 변화하므로 프레임의 모션 벡터의 총합이 급격하게 증가한다. If the image of the previous frame is similar to the image of the current frame during decoding of the video compression codec, the sum of the motion vectors of the current frame is small. If the image of the previous frame and the image of the current frame are very different, the sum of the motion vectors of the current frame is different. Increases rapidly than the sum of the motion vectors of the previous frame. That is, in the case of a moving image having a very fast transition or movement between frames in a video screen, most of the motion vectors constituting the frame change, so the sum of the motion vectors of the frames increases rapidly.
본 발명의 일실시예에 따른 비디오 인코더에서는 프레임(frame) 간의 장면 전환이나 움직임이 아주 빠른 동영상의 경우에는 화질 보상부(320)로 입력되는 프레임의 픽셀들의 색상 정보를 감소시킴으로써 비디오 인코더의 전력 소모를 줄일 수 있다.In the video encoder according to an embodiment of the present invention, in the case of a video having a very fast scene change or movement between frames, power consumption of the video encoder is reduced by reducing color information of pixels of a frame input to the
본 발명의 일실시예에 따른 비디오 인코더에서는 프레임(frame) 간의 장면 전환이나 움직임이 아주 빠른 동영상의 경우에는 상기 프레임의 모션벡터 총합의 시간에 따른 변화율에 따라서 상기 화질 보상부(320)로 입력되는 프레임의 픽셀들 중 색상 정보가 제거되는 픽셀의 개수를 다르게 할 수 있다. In the video encoder according to an embodiment of the present invention, when the scene transition or movement between frames is very fast, the video encoder is input to the image
본 발명의 일실시예에 따르면, 도 4의 프레임의 모션 벡터의 총합을 나타내는 그래프에서 A1, A2 및 A3 지점에서의 프레임의 모션 벡터의 총합의 기울기에 상응하는 사인값 sinα1, sinα2 및 sinα3에 따라서 화질 보상부(320)로 입력되는 프레임의 픽셀들 중 색상 정보가 제거되는 픽셀의 개수를 서로 다르게 할 수 있다. 예를 들어, 프레임의 모션 벡터의 총합의 기울기에 상응하는 사인값 sinα이 sin 0°와 sin 30°사이인 경우에는 화질 보상부(320)로 입력되는 프레임이 추정 영역 내의 제1 개수의 색상 정보가 제거되는 픽셀들을 포함하도록 하고, 사인값 sinα이 sin 30°와 sin 60°사이인 경우에는 화질 보상부(320)로 입력되는 프레임이 추정 영역 내의 상기 제1 개수보다 큰 제2 개수의 색상 정보가 제거되는 픽셀들을 포함하도록 하고, 사인값 sinα이 sin 60°와 sin 90°사이인 경우에는 화질 보상부(320)로 입력되는 프레임이 추정 영역내의 상기 제2 개수보다 큰 제3 개수의 색상 정보가 제거되는 픽셀들을 포함하도록 할 수 있다. According to one embodiment of the invention, according to the sine values sinα1, sinα2 and sinα3 corresponding to the slope of the sum of the motion vectors of the frames at points A1, A2 and A3 in the graph representing the sum of the motion vectors of the frames of FIG. The number of pixels from which color information is removed among the pixels of the frame input to the
본 발명의 다른 실시예에서는 프레임의 모션 벡터의 총합에 기초하여 화질 보상부(320)로 입력되는 프레임의 추정 영역 내의 색상 정보가 제거되는 픽셀들의 개수를 조절할 수 있다. 예를 들어, 도 5의 프레임의 모션 벡터의 총합을 나타내는 그래프에서 B1, B2 및 B3 지점에서의 프레임의 모션 벡터의 총합이 어느 구간에 속하는 지에 따라서 화질 보상부(320)로 입력되는 프레임의 추정 영역이 포함하는 색상 정보가 제거되는 픽셀들의 개수를 조절할 수 있다. 예를 들어, B1, B2 및 B3 지점에서의 프레임의 모션 벡터의 총합이 C2와 C3 사이인 경우(B1)에는 화질 보상부(320)로 입력되는 프레임의 추정 영역이 포함하는 색상 정보가 제거되는 픽셀들의 개수가 제4 개수를 가지도록 하고, C2와 C1 사이인 경우(B2)에는 화질 보상부(320)로 입력되는 프레임의 추정 영역이 포함하는 색상 정보가 제거되는 픽셀들의 개수가 제4 개수보다 적은 제5 개수를 가지도록 하고, C1 미만인 경우(B3)에는 화질 보상부(320)로 입력되는 프레임의 추정 영역이 포함하는 색상 정보가 제거되는 픽셀들의 개수가 제5 개수보다 적은 제6 개수를 가지도록 할 수 있다. According to another embodiment of the present invention, the number of pixels from which color information in the estimated area of the frame input to the
도 6은 본 발명의 일실시예에 따른 색상 정보 처리 전의 8픽셀 × 8픽셀로 이루어진 한 프레임의 영상을 나타낸 개념도이고, 도 7은 본 발명의 일실시예에 따른 색상 정보 처리 전의 한 프레임 내의 영상을 나타낸 개념도이다. 6 is a conceptual diagram illustrating an image of one frame consisting of 8 pixels x 8 pixels before color information processing according to an embodiment of the present invention, and FIG. 7 is an image in one frame before color information processing according to an embodiment of the present invention. Is a conceptual diagram showing.
도 6의 프레임내의 특정 픽셀의 휘도 정보(601)는 도 3의 디지털 영상 신호(301)의 휘도신호(Y)의 휘도 데이터 값을 가지며, 도 6의 프레임 내의 특정 픽셀의 색상 정보(603)는 도 3의 디지털 영상 신호(301)의 색상 신호(CB, CR)의 색상 데이터 값을 가진다. 프레임의 모션 벡터의 총합이 소정의 임계치보다 작은 경우 도 6의 프레임의 픽셀들의 휘도 정보 및 색상 정보를 가진 영상 데이터가 화질 보정부(320)으로 제공된다. The
도 7은 도 6의 영상에서 4픽셀 × 4픽셀 영역(610)만을 나타낸 것으로서 프레임의 모션 벡터의 총합이 소정의 임계치보다 작은 경우 프레임의 픽셀들의 영상 데이터가 색상 정보의 감소없이 화질 보정부(320)으로 제공된다. FIG. 7 illustrates only a 4 pixel × 4
이하, 프레임의 모션 벡터의 총합이 소정의 임계치보다 큰 경우 프레임내의 특정 영상의 움직임 벡터의 방향성을 구하고, 움직임 벡터의 방향성에 기초하여 프레임의 특정 영상의 색상 정보를 감소시키는 과정에 대해 예를 들어 설명한다. Hereinafter, a process of obtaining the directionality of a motion vector of a specific image in a frame when the sum of the motion vectors of the frame is larger than a predetermined threshold, and reducing the color information of the specific image of the frame based on the directionality of the motion vector, for example. Explain.
도 8은 본 발명의 일실시예에 따른 한 프레임 내의 특정 영역의 영상의 에지와 중심점을 나타낸 개념도이고, 도 9는 도 8의 특정 영역의 영상이 소정 방향을 따라서 움직인 경우를 나타낸 개념도이다.8 is a conceptual diagram illustrating edges and a center point of an image of a specific region in one frame according to an embodiment of the present invention, and FIG. 9 is a conceptual diagram illustrating a case in which an image of the specific region of FIG. 8 is moved in a predetermined direction.
도 8을 참조하면, 먼저, 한 프레임의 화상 데이터를 카메라폰, 개인용 PC, PMP등의 디지털 영상 처리 장치로부터 입력받아, 상기 프레임내 특정 영상의 윤곽선, 즉 에지를 검출한다. 에지의 검출은 종래 널리 알려진 여러 가지 미분 필터들 에 의해서 구할 수 있다. 예를 들어, 소벨(Sobel) 필터를 이용하여 에지 검출 시에 소정의 가중치를 주어 에지를 더욱 두드러지게 하여 용이하게 에지를 검출할 수 있다. 상기 소벨 필터를 사용하기 이전 단계에 블러링 필터를 거치게 하여 더욱 선명한 에지를 얻을 수도 있다. 소벨 필터를 거쳐서 검출된 에지는 크기에 따라 복수의 단계로 나눌 수 있다. 예를 들어, 에지의 크기를 4 단계로 나누어 단계별로 0, 1, 2, 3의 가중치를 둘 수 있다. Referring to FIG. 8, first, image data of one frame is input from a digital image processing apparatus such as a camera phone, a personal PC, or a PMP to detect an outline, that is, an edge, of a specific image in the frame. Edge detection can be obtained by various differential filters that are well known in the art. For example, a Sobel filter may be used to give an edge a more prominent weight at the edge detection so that the edge may be easily detected. A sharper edge may be obtained by passing the blurring filter before the Sobel filter is used. The edge detected through the Sobel filter can be divided into a plurality of stages according to the size. For example, by dividing the size of the edge into four stages can be weighted 0, 1, 2, 3 step by step.
상기와 같은 에지 검출 방법을 적용하여 도 8과 같이 에지(E1, E2, E3, E4)를 검출한 후, 에지로 둘러싸인 영상의 중심점(C)를 구한다. 예를 들어, 중심점은 에지로 둘러싸인 영상의 무게 중심을 구하여 얻을 수 있다. After the edges E1, E2, E3, and E4 are detected by applying the edge detection method as described above, the center point C of the image surrounded by the edges is obtained. For example, the center point can be obtained by obtaining the center of gravity of the image surrounded by the edge.
에지로 둘러싸인 영상의 중심점(C)을 구한 후, 다음 프레임에서 상기 영상의 중심점이 도 9의 모션 벡터(M)의 방향을 따라 움직인 경우(C -> C'), 상기 영상의 중심점의 모션 벡터의 방향을 상기 영상의 움직임 방향으로 볼 수 있다. After the center point C of the image surrounded by the edge is obtained and the center point of the image is moved along the direction of the motion vector M of FIG. 9 in the next frame (C-> C '), the motion of the center point of the image The direction of the vector can be seen as the movement direction of the image.
따라서, 상기 구한 특정 영상의 중심점의 모션 벡터의 방향을 상기 특정 영상의 움직임 방향으로 보면, 상기 특정 영상 내의 특정 위치의 픽셀의 움직임 방향을 상기 특정 영상의 중심점의 모션 벡터의 방향으로 볼 수 있다. Accordingly, when the direction of the motion vector of the center point of the specific image is obtained as the movement direction of the specific image, the direction of motion of the pixel at the specific position in the specific image may be viewed as the direction of the motion vector of the center point of the specific image.
도 10 내지 도 14는 프레임의 모션 벡터의 총합이 소정의 임계치보다 큰 경우 프레임내의 특정 영상의 특정 위치의 픽셀에 대해 색상 정보를 감소시키는 과정을 설명하는 개념도이다. 10 to 14 are conceptual views illustrating a process of reducing color information for pixels at a specific position of a specific image in a frame when the sum of the motion vectors of the frame is larger than a predetermined threshold.
프레임 내의 특정 영상의 특정 위치의 픽셀(P11)의 움직임 방향을 나타내는 특정 영상의 중심점의 모션 벡터(M11)의 방향을 기준으로 소정의 탐색 거리를 가지 는 소정 탐색 영역내의 추정 영역의 전부 또는 일부의 픽셀들에 대해서는 색상 정보를 제거하지 않는다. 여기서, 탐색 거리는 픽셀 단위를 가질 수 있으며, 도 11의 경우는 탐색 거리는 3 픽셀이고, 도 12의 경우는 탐색 거리는 2 픽셀이고, 도 13 및 도 14의 경우는 탐색 거리는 1 픽셀이다. 여기서, 탐색 영역은 프레임 내의 특정 영상의 특정 위치의 픽셀을 중심으로 상기 탐색 거리만큼 떨어진 영역을 나타낸다. 추정 영역은 상기 탐색 영역 내 상기 모션 벡터의 방향을 중심으로 하는 소정 각도 범위 내의 영역을 나타낸다. 예를 들어, 도 11의 경우 추정 영역은 픽셀(P11)을 중심으로 3 픽셀만큼의 탐색 거리를 가지는 정사각형의 탐색영역(1110)내의 12시 방향의 모션 벡터의 방향을 중심으로 한 소정 각도 범위 내의 점선으로 표시한 영역을 나타낸다. All or part of the estimated region in the predetermined search region having a predetermined search distance with respect to the direction of the motion vector M11 of the center point of the specific image representing the movement direction of the pixel P11 at the specific position of the specific image in the frame. Color information is not removed for pixels. Here, the search distance may have a pixel unit, the search distance is 3 pixels in FIG. 11, the search distance is 2 pixels in FIG. 12, and the search distance is 1 pixel in FIGS. 13 and 14. Here, the search area indicates an area separated by the search distance with respect to pixels of a specific position of a specific image in a frame. The estimation area represents an area within a predetermined angular range around the direction of the motion vector in the search area. For example, in FIG. 11, the estimation region is within a predetermined angle range around the direction of the motion vector at 12 o'clock in the
여기서, 도 10에 도시된 바와 같이, 추정 영역 내의 모든 픽셀들에 대해 색상 정보를 제거하지 않을 수도 있고, 추정 영역 내의 일부 픽셀들(도 11의 P22, P23, P31, 또는 도 13의 P42, P43, P51, 또는 도 14의 P61)에 대해서만 색상 정보를 제거하지 않고 상기 추정 영역 내의 나머지 픽셀들에 대해서는 색상 정보를 제거할수도 있다. Here, as shown in FIG. 10, color information may not be removed for all pixels in the estimation region, and some pixels in the estimation region (P22, P23, P31 of FIG. 11 or P42, P43 of FIG. , P51, or P61 of FIG. 14, the color information may be removed for the remaining pixels in the estimation region without removing the color information.
또는, 프레임의 모션 벡터의 총합에 기초하여, 프레임의 모션 벡터의 총합(또는 프레임의 모션 벡터의 총합의 기울기 또는 프레임의 모션 벡터의 총합의 변화율)이 클수록 프레임 내의 색상 정보를 제거한 픽셀들의 개수를 증가시킬 수 있다. Alternatively, based on the sum of the motion vectors of the frames, the larger the sum of the motion vectors of the frame (or the slope of the sum of the motion vectors of the frame or the change rate of the sum of the motion vectors of the frame), the more the number of pixels from which the color information in the frame is removed. Can be increased.
프레임의 모션 벡터의 총합(또는 프레임의 모션 벡터의 총합의 기울기 또는 프레임의 모션 벡터의 총합의 변화율)이 K1, K2, K3, K4 (단, K1<K2<K3<K4)를 가진다고 가정할 때, 도 11은 프레임의 모션 벡터의 총합이 가장 큰 K4의 값을 가지는 경우 프레임 내의 특정 영상 영역의 특정 위치의 픽셀에 대해 3 픽셀만큼의 탐색 거리를 가지는 탐색 영역 중 추정 영 역내의 일부 픽셀들(P22, P23, P31)을 제외한 나머지 픽셀들의 색상 정보를 제거한 것을 나타내고, 도 12는 프레임의 모션 벡터의 총합이 두 번째로 큰 K3의 값을 가지는 경우 프레임 내의 특정 영상 영역의 특정 위치의 픽셀에 대해 2픽셀만큼의 탐색 거리를 가지는 탐색 영역 중 추정 영역 내의 일부 픽셀들(P32, P33, P41)을 제외한 나머지 픽셀들의 색상 정보를 제거한 것을 나타내고, 도 13은 프레임의 모션 벡터의 총합이 세 번째로 큰 K2의 값을 가지는 경우 프레임내의 특정 영상 영역의 특정 위치의 픽셀에 대해 1 픽셀만큼의 탐색 거리를 가지는 탐색 영역 중 추정 영 역내의 픽셀들(P42, P43, P51)을 제외한 나머지 픽셀들의 색상 정보를 제거한 것을 나타내고, 도 14는 프레임의 모션 벡터의 총합이 가장 작은 K1의 값을 가지는 경우 프레임 내의 특정 영상 영역의 특정 위치의 픽셀에 대해 1 픽셀만큼의 탐색 거리를 가지는 탐색 영역 중 추정 영역 내의 단지 하나의 픽셀(P61)을 제외한 나머지 픽셀들의 색상 정보를 제거한 것을 나타낸다.Suppose the sum of the motion vectors of a frame (or the slope of the sum of the motion vectors of a frame or the rate of change of the sum of the motion vectors of a frame) has K1, K2, K3, K4 (where K1 <K2 <K3 <K4). 11 shows some pixels in the estimated region of the search region having a search distance of 3 pixels for a pixel at a specific position of a specific image region in the frame when the sum of the motion vectors of the frame has the largest value K4 ( The color information of the remaining pixels except for P22, P23, and P31) is removed, and FIG. 12 shows pixels for a specific position of a specific image area within a frame when the sum of the motion vectors of the frame has the second largest K3 value. FIG. 13 is a view illustrating removal of color information of pixels except for some pixels P32, P33, and P41 in the estimation area among the search areas having a search distance of 2 pixels. If the sum has a value of K3 which is the third largest, except pixels P42, P43, and P51 in the estimated area of the search area having a search distance of 1 pixel with respect to the pixel at a specific position of the specific image area in the frame. 14 illustrates a search region having a search distance of one pixel with respect to a pixel at a specific position of a specific image region in a frame when the sum of the motion vectors of the frame has the smallest value K1. The color information of the remaining pixels except for only one pixel P61 in the estimated region is removed.
도 12 내지 도 14를 참조하면, 프레임의 모션 벡터의 총합이 도 12에서 도 14로 갈수록 점점 감소하며, 이에 상응하여 도 12에서 도 14로 갈수록 프레임 내의 특정 영상 영역의 특정 위치의 픽셀에 대해 탐색 영역 내의 색상 정보가 제거된 픽셀들의 개수가 감소함을 알 수 있다. 12 to 14, the sum of the motion vectors of the frame decreases gradually from FIG. 12 to FIG. 14, and accordingly, from FIG. 12 to FIG. 14, the pixel is searched for a specific position of a specific image area in the frame. It can be seen that the number of pixels from which color information in the area is removed is reduced.
프레임 내의 특정 영역의 영상의 모든 픽셀들에 대해 상기와 같은 탐색 거리 및 탐색 영역의 범위를 변경하여 색상 정보를 제거하면, 도 14의 경우 프레 임내의 색상 정보를 제거한 픽셀들의 개수가 가장 적고, 도 11의 경우 프레임 내의 색상 정보를 제거한 픽셀들의 개수가 가장 많게 된다. When the color information is removed by changing the search distance and the range of the search area for all the pixels of the image of the specific area in the frame, in FIG. 14, the number of pixels from which the color information in the frame is removed is the lowest. In case of 11, the number of pixels from which color information is removed in a frame is the largest.
도 15는 프레임 내 특정 영역의 영상의 모든 픽셀들에 대해 색상 정보를 제거하는 과정을 설명하기 위한 개념도이다. 도 15에 도시된 바와 같이, 3 픽셀만큼의 탐색 거리를 가지는 탐색 영역 내의 추정 영역 중 빗금친 S2 영역 내의 픽셀들에 대해서는 색상 정보가 제거되지 않고 추정 영역 중 나머지 영역 내의 픽셀들에 대해서는 색상 정보가 제거된다. FIG. 15 is a conceptual diagram illustrating a process of removing color information of all pixels of an image of a specific region in a frame. As shown in FIG. 15, color information is not removed for pixels in the shaded S2 area of the estimated area in the search area having a search distance of 3 pixels, and color information is applied to the pixels in the remaining area in the estimated area. Removed.
도 16은 본 발명의 일실시예에 따른 영상 신호 처리 방법을 설명하기 위한 순서도이다. 16 is a flowchart illustrating a video signal processing method according to an embodiment of the present invention.
도 16를 참조하면, 먼저 디지털 영상 신호의 프레임별로 모션 벡터의 총합을 산출하고(단계 1610), 프레임의 모션 벡터의 총합이 소정의 임계치를 초과하는지 여부를 판단한다(단계 1620). 여기서 프레임의 모션 벡터의 총합이 기준치를 초과하는지 여부의 판단은 상술한 바와 같이 프레임의 모션 벡터의 총합의 기울기, 프레임의 모션 벡터의 총합의 기울기의 변화율 또는 프레임의 모션 벡터의 총합값이 소정의 임계치를 초과하는지 여부로서 판단할 수 있다. 또한, 상기 소정의 임계치는 1개의 임계치 값이 아니라 복수의 임계치 값 또는 소정의 구간 경계값이 될 수도 있다. Referring to FIG. 16, first, a sum of motion vectors for each frame of a digital image signal is calculated (step 1610), and it is determined whether the sum of motion vectors of a frame exceeds a predetermined threshold (step 1620). The determination of whether or not the sum of the motion vectors of the frames exceeds the reference value is performed by determining the slope of the sum of the motion vectors of the frames, the rate of change of the slope of the sum of the motion vectors of the frames, or the sum of the motion vectors of the frames. It can be determined as whether or not the threshold is exceeded. In addition, the predetermined threshold value may be a plurality of threshold values or a predetermined interval boundary value instead of one threshold value.
프레임의 모션 벡터의 총합이 임계치를 초과하는 경우에는 입력되는 디지털 영상 신호의 프레임내 소정 영역의 영상의 움직임 방향에 기초하여 상기 프레임내의 픽셀의 색상 정보를 감소시킨다(단계 1630). 프레임의 모션 벡터의 총합이 임계치를 초과하지 않는 경우에는 입력되는 디지털 영상 신호의 프레임 내 픽셀의 색상 정보를 감소시키지 않는다. If the sum of the motion vectors of the frames exceeds the threshold, the color information of the pixels in the frames is reduced based on the direction of movement of the image of the predetermined region in the frame of the input digital video signal (step 1630). If the sum of the motion vectors of the frames does not exceed the threshold, the color information of the pixels in the frames of the input digital video signal is not reduced.
상기 프레임의 모션 벡터의 총합에 따라 감소된 색상 정보를 가지는 디지털 영상 신호에 대해 오버 샘플링 및 로우패스 필터를 통과시켜 화질 보정을 수행 한다(단계 1640). Image quality correction is performed by passing an oversampling and lowpass filter on the digital image signal having the color information reduced according to the sum of the motion vectors of the frame (step 1640).
상기 화질 보정된 디지털 영상 신호를 영상 처리한다(단계 1650). 여기서, 영상 처리는 예를 들어, 비디오 인코더에서 소정의 샘플링 횟수로 샘플링되어 메모리에 저장된 사인파 샘플링값 또는 코사인파 샘플링값을 읽어들여 반송파를 발생시키고, 동기화 신호, 블랭크 신호 및 반송파를 이용하여 화질 보정된 디지털 영상 신호를 변조한 후, 상기 변조된 디지털 영상 신호를 디지털-아날로그 변환하여 아날로그 영상 신호로 변환하는 과정을 포함한다. 또는, 영상 처리는 예를 들어, 상기 화질 보정된 디지털 영상 신호를 MPEG 압축하는 과정을 포함할 수도 있다. The digital image signal having the corrected image quality is image-processed (step 1650). Here, the image processing is performed by reading a sine wave sampling value or cosine wave sampling value stored in a memory, for example, sampled at a predetermined number of times by a video encoder to generate a carrier, and correcting image quality using a synchronization signal, a blank signal, and a carrier wave. And modulating the digital video signal, and converting the modulated digital video signal into an analog video signal by digital-to-analog conversion. Alternatively, the image processing may include, for example, MPEG compression of the quality corrected digital image signal.
도 17은 본 발명의 다른 실시예에 따른 영상 처리 장치를 나타낸 블록도이다. 도 17을 참조하면, 영상 처리 장치는 색상 정보 처리부(390), 화질 보정부(320) 및 영상 처리부(1700)을 포함한다. 도 17의 영상 처리 장치는 일반적인 MPEG 인코더와 같은 영상 처리부를 포함한 영상 처리 장치에 도 3의 색상 정보 처리부(390)을 적용한 예를 나타낸다. 17 is a block diagram illustrating an image processing apparatus according to another exemplary embodiment of the present invention. Referring to FIG. 17, the image processing apparatus includes a
도 17을 참조하면, 영상 처리부(1700)는 버퍼(1710), 직렬-병렬(Serial-to- parallel) 변환기(1720), 이산코산인 변환기(Discrete Cosine Transform, 1730), 양자화기(1740), VLC 부호화기(Variable Length Code, 1750), 버퍼(1760), 역양자화기(1770) 및 역이산여현변환기(1780)을 포함한다. 영상 처리 장치는 프레임의 모션 벡터의 총합에 기초하여 색상 정보가 조절된 디지털 영상 신호(302, 304, 306)를 입력받아 버퍼(1710)에 버퍼링한 후, 직렬-병렬 변환기(1720), 이산코산인 변환기(1730), 양자화기(1740), VLC 부호화기(1750) 및 버퍼(1760)를 거쳐 압축된 영상 데이터를 출력한다. Referring to FIG. 17, the
도 17의 영상 처리 장치 중 MPEG 인코더의 구성은 종래 널리 알려진 MPEG 인코더의 구성을 가지므로 자세한 설명은 생략한다. 도 17에 도시된 구성외에 종래 MPEG 인코더의 다른 구성을 가질 수도 있다. Since the structure of the MPEG encoder in the image processing apparatus of FIG. 17 has the structure of a conventionally known MPEG encoder, a detailed description thereof will be omitted. In addition to the configuration shown in Fig. 17, it may have another configuration of the conventional MPEG encoder.
도 17에서는 도 3의 색상 정보 처리부(390)을 MPEG 인코더를 포함하는 영상 처리 장치에 적용하는 예를 도시하였지만, 동영상의 디지털 영상 데이터 중 휘도 성분(Y)과 색상 성분(CB, CR)을 입력받아 처리하는 영상 처리 블록이라면 본 발명의 일실시예에 따른 색상 정보 처리부(390)를 적용할 수 있음은 물론이다.Although FIG. 17 illustrates an example in which the
상기와 같은 비디오 인코더, 영상 처리 장치 및 영상 신호 처리 방법에 따르면, 입력되는 디지털 영상 신호의 프레임별 모션 벡터의 총합이 소정의 임계값보다 큰 경우 입력되는 디지털 영상 신호의 프레임내 소정 영역의 영상의 움직임 방향에 기초하여 영상 처리부로 입력되는 디지털 영상 신호 중의 색상 신호의 색상 정보를 감소시킨다. 특히 프레임간의 영상의 변화가 많은 경우 영상 처리부로 입력되는 디 지털 영상 신호 중의 색상 신호의 색상 정보를 더 크게 감소시킴으로써 영상 처리 장치의 전력 소모를 줄일 수 있다.According to the video encoder, the image processing apparatus, and the image signal processing method as described above, when the sum of the motion vectors for each frame of the input digital image signal is larger than a predetermined threshold, the image of the predetermined region in the frame of the input digital image signal is Color information of the color signal in the digital image signal input to the image processor is reduced based on the movement direction. In particular, when there is a large change in the image between frames, the color information of the color signal in the digital image signal input to the image processor may be further reduced to reduce power consumption of the image processing apparatus.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060072046A KR100783817B1 (en) | 2006-07-31 | 2006-07-31 | Video encoder, image processing device and image signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060072046A KR100783817B1 (en) | 2006-07-31 | 2006-07-31 | Video encoder, image processing device and image signal processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100783817B1 true KR100783817B1 (en) | 2007-12-13 |
Family
ID=39140281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060072046A KR100783817B1 (en) | 2006-07-31 | 2006-07-31 | Video encoder, image processing device and image signal processing method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100783817B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08140099A (en) * | 1994-11-11 | 1996-05-31 | Canon Inc | Coding device and method |
KR970703683A (en) * | 1994-05-13 | 1997-07-03 | 요트.게.아.롤페즈 | Cross-luminance Reduction |
JP2001359117A (en) | 2000-06-15 | 2001-12-26 | Canon Inc | Image processing unit and image processing method or the unit |
KR20020021688A (en) * | 2000-09-16 | 2002-03-22 | 니시무로 타이죠 | Video encoding method and video encoding apparatus |
-
2006
- 2006-07-31 KR KR1020060072046A patent/KR100783817B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR970703683A (en) * | 1994-05-13 | 1997-07-03 | 요트.게.아.롤페즈 | Cross-luminance Reduction |
JPH08140099A (en) * | 1994-11-11 | 1996-05-31 | Canon Inc | Coding device and method |
JP2001359117A (en) | 2000-06-15 | 2001-12-26 | Canon Inc | Image processing unit and image processing method or the unit |
KR20020021688A (en) * | 2000-09-16 | 2002-03-22 | 니시무로 타이죠 | Video encoding method and video encoding apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10992898B2 (en) | Display method and display device | |
CN111580765B (en) | Screen projection method, screen projection device, storage medium, screen projection equipment and screen projection equipment | |
EP0651578B1 (en) | Image processing apparatus that can provide image data of high quality without deterioration in picture quality | |
JP2018511210A (en) | Pixel preprocessing and encoding | |
JP2014519221A5 (en) | ||
US9832421B2 (en) | Apparatus and method for converting a frame rate | |
EP1998570A2 (en) | Method and apparatus for replacing a portion of a first digital signal with a second digital signal | |
CN103248797A (en) | Video resolution enhancing method and module based on FPGA (field programmable gate array) | |
US8264587B2 (en) | Increasing frame rate for imaging | |
US20100026896A1 (en) | Noise reduction apparatus and noise reduction method | |
JP2010113012A (en) | Display system, image output device and image display device | |
JP5642348B2 (en) | Display device driving method and display device driving circuit using the same | |
US8026952B2 (en) | Image capturing device with reduced-sized sub-image collection and an image processing method thereof | |
KR100783817B1 (en) | Video encoder, image processing device and image signal processing method | |
US8072516B2 (en) | Dynamic range enhancement method and apparatus | |
CN109413445B (en) | Video transmission method and device | |
US8270773B2 (en) | Image processing apparatus and image processing method | |
JP5213604B2 (en) | Imaging device | |
CN111541940B (en) | Motion compensation method and device for display equipment, television and storage medium | |
KR100827718B1 (en) | Video encoder and method of transforming image signal | |
KR101927865B1 (en) | Method for providing video augmented reality service, set-top box and computer program | |
KR100827711B1 (en) | Video encoder and method of transforming image signal | |
KR20110038467A (en) | Method and apparatus for generating a compressed file, and terminal having the apparatus | |
JP2003333370A (en) | Signal processing apparatus | |
JP2015005881A (en) | Image processing apparatus, imaging device, and imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121011 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20131127 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20151127 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20171128 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20181126 Year of fee payment: 12 |