KR20100056634A - Image sensing method of image tracking chip - Google Patents
Image sensing method of image tracking chip Download PDFInfo
- Publication number
- KR20100056634A KR20100056634A KR1020080115524A KR20080115524A KR20100056634A KR 20100056634 A KR20100056634 A KR 20100056634A KR 1020080115524 A KR1020080115524 A KR 1020080115524A KR 20080115524 A KR20080115524 A KR 20080115524A KR 20100056634 A KR20100056634 A KR 20100056634A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- data
- luminance data
- chip
- motion
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/12—Analogue/digital converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 영상 추적 칩의 영상 감지 방법에 관한 것으로, 좀 더 구체적으로는 NTSC/PAL 카메라용 영상 추적 SOC 칩의 영상 감지 방법에 관한 것이다.The present invention relates to an image sensing method of an image tracking chip, and more particularly, to an image sensing method of an image tracking SOC chip for an NTSC / PAL camera.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT SoC 핵심설계인력양성사업의 일환으로 수행한 연구로부터 도출된 것이다[IT SoC 핵심설계인력양성].The present invention is derived from a study conducted as part of the IT SoC core design manpower development project of the Ministry of Knowledge Economy and ICT [Industrial IT SoC core design manpower].
최근 감시카메라 분야의 고성능화 및 지능화 추세에 따라 각종 영상 감지 및 추적용 솔루션(solution) 등이 많이 개발되고 있다, 기존의 솔루션들은 개인용 컴퓨터 기반하에서 영상 감지 및 추적용 소프트웨어가 실행되든지, 혹은 카메라에 이러한 솔루션이 탑재되어 있었다. 하지만, 종래의 그것들은 고용량의 프레임 메모리와 고가의 DSP 칩 등이 장착되어야만 했다.Recently, according to the trend of high performance and intelligence in the field of surveillance cameras, various solutions for image detection and tracking have been developed. Existing solutions are implemented on a personal computer based image detection and tracking software or on a camera. The solution was on board. However, in the past, they had to be equipped with high capacity frame memory and expensive DSP chips.
본 발명은 NTSC/PAL 카메라 인터페이스를 지원가능하며, 내부에 저용량의 메모리만 갖더라도 영상 감지가 가능하면서 동시에 저가의 영상 추적 칩을 제공하는데 있다.The present invention is capable of supporting an NTSC / PAL camera interface, and is capable of detecting an image even if only a low memory is provided therein, and at the same time providing a low-cost image tracking chip.
본 발명에 따른 영상 추적 칩의 영상 감지 방법은, 디지털로 변환된 영상 데이터를 입력받는 단계; 상기 입력된 영상 데이터 중 휘도 데이터를 1/2 샘플링하여 저장하는 단계; 상기 입력된 영상 데이터 중 색감 데이터를 출력하는 단계; 상기 색감 데이터를 출력하면서 동시에 상기 저장된 이전 휘도 데이터와 입력되는 현재 휘도 데이터를 비교하는 단계; 및 상기 비교결과에 따라 객체의 움직임을 계산하여 모션 벡터를 출력하는 단계를 포함한다.An image sensing method of an image tracking chip according to the present invention includes: receiving image data converted into digital; Sampling 1/2 of luminance data among the input image data and storing the luminance data; Outputting color data of the input image data; Outputting the color data and simultaneously comparing the stored previous luminance data with the input current luminance data; And calculating a motion of the object according to the comparison result and outputting a motion vector.
실시 예에 있어서, 상기 영상 데이터는 상기 영상 추적 칩 외부의 아날로그 디지털 변환기로부터 변환되는 것을 특징으로 한다.The image data may be converted from an analog-to-digital converter external to the image tracking chip.
실시 예에 있어서, 상기 이전 휘도 데이터는 입력되는 상기 현재 휘도 데이터에 대하여 N(여기서 N은 자연수)번째 이전 휘도 데이터이고, 상기 N은 상기 객체의 움직임 속도에 따라 가변되는 것을 특징으로 한다.The previous luminance data may be N (where N is a natural number) previous luminance data with respect to the input current luminance data, and N may vary according to a movement speed of the object.
실시 예에 있어서, 상기 영상 추적 칩은 복수의 객체들의 움직임을 감지하고, 각 객체들의 최외각 값의 중심 값을 이용하여 상기 모션 값을 계산하는 것을 특징으로 한다.In example embodiments, the image tracking chip may detect movement of a plurality of objects and calculate the motion value by using a center value of an outermost value of each object.
실시 예에 있어서, 상기 영상 추적 칩은 상기 이전 휘도 데이터 및 상기 현재 휘도 데이터의 차이가 설정된 값 이상일 때 상기 객체의 움직임이 감지되는 것을 특징으로 한다.In example embodiments, the image tracking chip may detect movement of the object when a difference between the previous luminance data and the current luminance data is greater than or equal to a set value.
실시 예에 있어서, 상기 영상 추적 칩은 NTSC/PAL 카메라를 위한 영상 추적에 사용되고, 상기 NTSC/PAL 카메라에서 출력된 Y축 영상은 라인 바이 라인으로 샘플링되는 것을 특징으로 한다.In an embodiment, the image tracking chip is used for image tracking for an NTSC / PAL camera, and the Y-axis image output from the NTSC / PAL camera is sampled by line by line.
본 발명에 따른 영상 추적 칩은 메모리와 DSP 등을 이용한 영상 추적 솔루션을 하나의 칩으로 구현된다.Image tracking chip according to the present invention is implemented as a single chip video tracking solution using a memory and DSP.
본 발명의 영상 추적 칩은 서브-샘플링 및 타이밍 공유 방법을 통하여 영상프레임 메모리 크기를 크게 줄일 수 있게 된다. 이로써, 칩 내부에 영상 추적 솔루션이 내장될 수 있게 된다.The image tracking chip of the present invention can greatly reduce the image frame memory size through sub-sampling and timing sharing methods. This allows an image tracking solution to be embedded inside the chip.
본 발명의 영상 추적 칩은 복수의 객체들의 움직임에 대하여 추적 가능하고, 적응적인 인덱스 값을 이용함으로써 다양한 속도의 영상에 대하여 최적의 상태로 추적가능하게 된다.The image tracking chip of the present invention is able to track the movement of a plurality of objects, and by using an adaptive index value, the image tracking chip can be optimally tracked for images of various speeds.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention.
본 발명에 따른 영상 추적 칩은 색감 데이터의 출력과 동시에 휘도 데이터의 비교 동작을 수행하도록 구현된다. 이로써, 영상 감지 동작이 실시간으로 수행되고, 또한 영상 감지 동작시 사용되는 메모리 사용량을 줄일 수 있게 된다. The image tracking chip according to the present invention is implemented to perform a comparison operation of luminance data simultaneously with the output of color data. As a result, the image sensing operation is performed in real time, and the amount of memory used in the image sensing operation can be reduced.
도 1은 본 발명에 따른 SOC 칩을 보여주는 블록도이다. 도 1을 참조하면, SOC 칩(100)은 프레임 메모리(110), 처리 소자(120), 비교 유닛(130), 위치 결정 유닛(140), 계산 유닛(150), I2C 인터페이스 유닛(160), I2C(170), 및 제어기(180)를 포함한다. 본 발명의 SOC 칩(100)은 하나의 프레임 메모리로 2 프레임 사이의 영상 차이를 비교하여 움직임을 감지한다. 여기서 SOC 칩(100)은 영상 추적 칩이다.1 is a block diagram showing an SOC chip according to the present invention. Referring to FIG. 1, the
프레임 메모리(110)는 A/D 변환기(도시되지 않음)로부터 변환된 영상 데이터(yuv)를 입력받아 서브-샘플링하면서 저장한다. 여기서 A/D 변환기는 SOC 칩(100)의 외부에 배치된다. 프레임 메모리(110)는 입력된 모든 영상 데이터(yuv)를 샘플링하지 않고, 영상 데이터(yuv) 중 Y 데이터만 저장한다. 특히 본 발명의 프레임 메모리(110)는 Y 데이터 중 1/2만 저장되도록 구현된다.The
처리 소자(120)는 처리 신호(pe_en)에 응답하여 프레임 메모리(110)에 저장된 이전 Y 데이터(data_mem)와 입력된 영상 데이터(yuv)의 현재 Y 데이터의 차이에 대한 절대값(abs_sub)을 계산하여 출력한다.The
비교 유닛(130)은 비교 신호(comp_en)에 응답하여 상기 처리 소자(120)로부터 출력된 절대값(abc_sub)이 소정의 값(threshold) 이상인지를 비교한다. 만일, 절대값(abc_sub)이 설정 값(threshold)보다 작으면, 움직임 신호(refresh)가 활성화되지 않는다. 반면에 만일 절대값(abc_sub)이 설정 값(threshold) 이상이면, 움 직임 신호(refresh)가 활성화된다.The
또한, 움직임 신호(refresh)는 인식하고자 하는 물체에 대한 기본 정보를 사용하기 위한 환경정보(configuration factor)로 저장된 최소 크기 정보(size)를 이용하여 최종적으로 발생되도록 구현될 것이다. 즉, 절대값(abc_sub)이 설정 값(threshold)보다 크고 객체의 크기가 최소 크기 정보(size)보다 클 때, 움직임 신호(refresh)가 활성화된다. In addition, the movement signal (refresh) will be implemented to be finally generated using the minimum size information (size) stored as configuration information (configuration factor) for using the basic information about the object to be recognized. That is, when the absolute value abc_sub is larger than the threshold and the size of the object is larger than the minimum size information, the motion signal is activated.
위치 결정 유닛(140)은 수평신호(hs_cnt), 수직신호(vs_cnt), 및 위치 결정 활성화 신호(pos_dec_en)에 응답하여 움직임 신호(refresh)를 입력받아 객체의 위치에 대응하는 신호들(srt_x,srt_y,end_x,end_y)를 출력한다. 위치 결정 유닛(140)은 적응적인 프레임 차이 인덱스를 사용하여 다양한 속도를 갖는 객체의 움직임을 감지한다.The
계산 유닛(150)은 계산 활성화 신호(calc_en)에 응답하여 입력된 객체 위치에 대응하는 신호들(srt_x,srt_y,end_x,end_y)로부터 객체 이동에 대한 모션 벡터들(mov_x,mov_y)를 계산하여 출력한다. 계산 유닛(150)은 최 외각의 중심 좌표를 계산함으로써 객체를 감지하도록 설계될 수 있다.The
I2C 인터페이스 유닛(160)은 계산 유닛(150)로부터 출력된 모션 벡터들(mov_x,mov_y)을 입력받는다. I2C 인터페이스 유닛(160)은 레지스터 어드레스(reg_address)에 응답하여 레지스터(도시되지 않음)에 저장된 크기(size) 및 기준 값(threshod)를 비교회로(130)에 제공한다.The
I2C 장치(170)는 외부와 I2C 인터페이싱을 수행한다. I2C 장치(170)은 I2C 인터페이스 유닛(160)로/로부터 쓰기 데이터(wr_data)d을 전송하거나/읽기 데이터(re_data)를 전송받는다. I2C 장치(170)는 레지스터 주소(reg_addr)을 I2C 인터페이스 유닛(160)으로 전송한다. I2C 장치(17)는 외부와 직렬 데이터(sda)를 주고 받고, 클럭(scl)을 전송한다.The
제어기(180)는 SOC 칩(100)의 제반 동작을 제어하다. 제어기(180)는 수직 신호(hs), 수평 신호(hs), 및 클럭(pclk)을 입력받고, 처리 활성화 신호(pe_en), 비교 활성화 신호(comp_en), 수평 신호(hs_cnt), 수직 신호(vs_cnt), 위치 결정 활성화 신호(pos_dec_en), 및 계산 활성화 신호(calc_en)를 생성하여 각 내부 장치들로 출력한다.The
도 1을 다시 참조하면, SOC 칩(100)은 NTSC/PAL 디지털 입력영상을 서브-샘플링하고, 메모리 쓰기/읽기 함으로써 영상 차이를 계산하고, 계산된 값을 기반으로 객체의 위치를 감지하고, 최종 움직임 벡터를 외부로 출력한다. 이때 외부와의 인터페이스는 I2C 프로토콜을 이용하여 구현된다. 이로써, 본 발명의 SOC 칩(100)은 메모리 사용량을 줄이면서, 실시간으로 영상 차이를 계산할 수 있게 된다.Referring back to FIG. 1, the
도 2는 A/D 변환기를 통하여 디지털로 변환된 NTSC/PAL 영상 신호를 X축으로 서브-샘플링하는 방법을 보여주는 타이밍도이다. 여기서 A/D 변환기(도시되지 않음)는 칩 구현의 효율성 때문에 칩(100) 내부에 내장되지 않고 외부의 상용화된 제품이 이용될 것이다.FIG. 2 is a timing diagram illustrating a method of sub-sampling an NTSC / PAL video signal digitally converted through an A / D converter onto an X axis. Here, the A / D converter (not shown) is not embedded inside the
도 2를 참조하면, 샘플링된 영상 데이터는 휘도(Luminance) 성분을 가지는 Y 데이터(혹은, 휘도 데이터), 색상(Color) 성분을 가지는 Cb,Cr 데이터(혹은, 색감 데이터)로 구성된다. Y 데이터는 하나의 픽셀 당 하나의 데이터가 출력되고, Cb,Cr 데이터는 2개의 픽셀 당 하나의 데이터가 출력된다. 본 발명의 영상 인식과정에서는 휘도 성분(Y 데이터)만 사용된다. 따라서 칩 내부에서 Cb, Cr 데이터는 제외되고, Y 데이터만 입력받아 프레임 메모리(110)에 저장된다. 이때 모든 Y 데이터가 저장되는 것이 아니라, 프레임 메모리(110) 크기를 줄이기 위해서 하나 건너 하나씩(샘플링) 저장된다. 이런 방법으로 영상의 X축으로 1/2 서브-샘플링이 구현된다.Referring to FIG. 2, the sampled image data includes Y data (or luminance data) having a luminance component and Cb and Cr data (or color data) having a color component. One data per Y pixel is output, and one data per two pixels is output for Cb and Cr data. In the image recognition process of the present invention, only the luminance component (Y data) is used. Therefore, Cb and Cr data are excluded from the chip, and only Y data is received and stored in the
일반적인 디지털 영상에서는 Y축으로 서브-샘플링은 라인 바이 라인(line by line)으로 연속적으로 영상 데이터가 출력된다. 따라서 하나의 라인을 건너서 하나의 라인씩 샘플링해야 된다. 이 경우에는 하나의 라인 전체가 제외된다. 또한 경우에 따라서 하나의 라인 전체에 대한 데이터가 저장되어야 한다. 이러한 문제로 ㅅ샘플링 칩이 간단하게 구현되기가 용이하지 않다.In a general digital image, sub-sampling on the Y-axis continuously outputs image data on a line by line. Therefore, you must sample one line across one line. In this case, one entire line is excluded. In some cases, data for one entire line should be stored. Due to this problem, the sampling chip is not easily implemented.
반면에 NTSC/PAL 영상에서는 인터레이스(interlace) 주사방법의 특성상 디지털로 변환된 영상은 홀수 라인과 짝수 라인이 자연스럽게 구분되어 출력된다.On the other hand, in the NTSC / PAL image, the digitally converted image is naturally divided into an odd line and an even line because of the interlace scanning method.
도 3는 A/D 변환기를 통하여 디지털로 변환된 NTSC/PAL 영상 신호를 Y축으로 서브-샘플링하는 방법을 보여주는 타이밍도이다. 도 3를 참조하면, 프레임 동기 신호(VS)가 하이 레벨일 때 240 라인 데이터가 저장된다. 따라서 Y축 방향으로 서브-샘플링된 영상이 저장된다.FIG. 3 is a timing diagram illustrating a method of sub-sampling a NTSC / PAL video signal digitally converted through an A / D converter on the Y axis. Referring to FIG. 3, 240 line data is stored when the frame synchronization signal VS is at a high level. Therefore, the sub-sampled image in the Y-axis direction is stored.
도 4은 프레임 메모리 1개만 갖고 이전 영상과 현재 영상의 데이터 차이를 구하기 위한 타이밍도이다. 도 4를 참조하면, Y 데이터는 읽기/쓰기 명령(mem_rw), 어드레스(mem_addr)에 응답하여 하나 건너 하나 씩 프레임 메모리(110)에 저장됨으 로써 프레임 메모리(110)로부터 읽은 이전 데이터(data_mem)와 입력된 현재 데이터(yuv)의 비교가 수행되고, 동시에 현재 Y 데이터가 프레임 메모리(110)에 저장될 수 있게 된다.4 is a timing diagram for obtaining a data difference between a previous video and a current video with only one frame memory. Referring to FIG. 4, the Y data is stored in the
영상 움직임의 기본적인 감지 방법은 이전 영상(REFluma)과 현재 영상(CURluma)의 차이를 구하는 것이다. 만약, 데이터의 차이가 없으면, 영상의 변화 즉 움직임이 없는 것이다. 반면에 데이터의 차이가 발생하면 이 차이 나는 부분을 중심으로 영상이 움직인 것이다. 이를 위해서 두 영상의 차이에 대한 절대값(ABSluma)이 구해진다.The basic detection method of image motion is to obtain the difference between the previous image (REF luma ) and the current image (CUR luma ). If there is no difference in data, there is no change in the image, that is, no movement. On the other hand, if there is a difference in the data, the image moves around the difference. For this purpose, the absolute value (ABS luma ) of the difference between two images is obtained.
종래에는 단순 영상의 차이 발생시 인지하였다. 반면에 본 발명에서는 영상의 차이 값이 소정의 설정 단위(threshold) 이상이 될 때에만 움직임이 인지되도록 구성된다. 따라서 본 발명은 단순한 잡음 성분(noise)에 너무 민감하게 반응하지 않게 된다.Conventionally, it is recognized when a difference of a simple image occurs. In contrast, the present invention is configured such that the motion is recognized only when the difference value of the image is equal to or greater than a predetermined threshold. Therefore, the present invention does not react too sensitively to simple noise.
또한, 본 발명은 인식하고자 하는 물체에 대한 기본 정보를 사용하기 위해서 환경정보(configuration factor)로 저장된 최소 크기 정보(size)가 이용된다. 따라 서 최종적으로 움직임 발생에 대한 움직임 신호(refresh)가 발생된다. 즉, 영상의 차이 값이 소정의 설정 단위(threshold)보다 크고 객체의 크기가 최소 크기 정보(size)보다 클 때, 움직임 신호(refresh)가 발생된다.In addition, in the present invention, the minimum size information stored as a configuration factor is used to use basic information about an object to be recognized. As a result, a motion signal (refresh) is generated for motion occurrence. That is, when the difference value of the image is larger than a predetermined threshold and the size of the object is larger than the minimum size information, a motion signal is generated.
일반적으로 영상은 프레임 단위로 출력된다. 따라서, 기존의 감지 방법에서는 이전 영상과 현재 영상을 저장할 수 있는 2개의 기본 프레임 메모리 공간을 설정하고, 각각의 영상 차이를 구함으로써 움직임이 감지되었다.In general, an image is output in units of frames. Therefore, in the conventional sensing method, the motion is detected by setting two basic frame memory spaces capable of storing the previous image and the current image, and obtaining the difference between the images.
반면에 본 발명에 따른 움직임 감지 방법은 상술 된 바와 같이 현재의 모든 영상 데이터가 저장되는 것이 아니고, Y 데이터의 1/2만 서브-샘플링되어 프레임 메모리(110)에 저장된다. 이로서, 본 발명의 움직임 감지 방법은 실시간의 영상 데이터의 차이를 계산할 수 있게 된다. 즉, Cb, Cr 데이터가 출력되는 동안에 프레임 메모리에 있는 저장된 이전 Y 데이터를 읽어와 현재 영상 데이터와 이전 영상 데이터의 차이가 곧바로 계산될 수 있다.On the other hand, the motion detection method according to the present invention does not store all current image data as described above, but only 1/2 of the Y data is sub-sampled and stored in the
본 발명의 영상 감지 방법에서는 하나의 프레임 영상 데이터 출력이 끝나는 시점에서 실시간으로 전체 영상 데이터의 차이가 계산된다. 또한 출력이 끝나는 시점에서의 저장된 현재 Y 데이터는 다음 프레임 데이터 출력 시 이전의 Y 데이터로 곧 바로 활용된다. 즉, 본 발명에서는 NTSC/PAL 영상 신호 출력의 특징이 잘 이용되어 서브-샘플링 및 메모리 동시 읽기/쓰기 기법이 사용된다. 그 결과로써 본 발 명의 영상 감지 방법, 즉 영상데이터의 차이를 계산하는 방법은 기존의 그것과 비교하여 사용되는 메모리의 크기를 줄이고, 또한 실시간 처리 가능하게 한다.In the image sensing method of the present invention, the difference of the entire image data is calculated in real time when one frame image data output ends. Also, the current Y data stored at the end of the output is immediately used as the previous Y data when the next frame data is output. That is, in the present invention, the characteristics of the NTSC / PAL video signal output are well used, so the sub-sampling and memory simultaneous read / write technique are used. As a result, the image sensing method of the present invention, that is, the method of calculating the difference of the image data, reduces the size of the memory used in comparison with the existing one, and also enables real-time processing.
도 5는 천천히 움직이는 물체와 빨리 움직이는 물체가 이전 프레임과 현재 프레임에서 맺히는 상황을 도시하고 있다. 도 5를 참조하면, 앞서서 영상의 움직임을 감지하기 위해서는 이전 영상과 현재 영상의 차이를 구해서 움직임을 감지한다. 일반적으로 이전 영상이라고 하는 것은 현재 영상으로부터 N 번째 전의 영상을 의미한다.5 illustrates a situation in which a slow moving object and a fast moving object are formed in a previous frame and a current frame. Referring to FIG. 5, in order to detect the motion of the image, the motion is detected by obtaining a difference between the previous image and the current image. In general, the previous image means an image before the Nth image from the current image.
실제 영상을 감지할 때는, 이전 영상과의 차이가 계산되지 않는다. NTSC/PAL 신호의 경우 초당 30 프레임 정도의 속도로 출력되므로, 바로 이전 영상과의 차이를 구하면 33ms의 짧은 시간 차이로 움직이는 영상이 감지되기 때문이다. 이때 33ms 보다 천천히 움직이는 영상의 경우에는 전혀 감지가 되지 않을 수도 있다. 따라서 일반적으로 N 값이 4~8 사이의 값으로 설정되어 사용된다. 본 발명에서는 칩 내부 레지스터 값에 이 N 값을 설정하도록 구현된다. 이때 N 값은 사용자에 의해 설정될 수 있다.When detecting the actual image, the difference from the previous image is not calculated. The NTSC / PAL signal is output at a rate of about 30 frames per second. Therefore, if the difference with the previous image is obtained, the moving image is detected with a short time difference of 33ms. At this time, the video moving slower than 33ms may not be detected at all. Therefore, N value is generally used to set the value between 4 and 8. In the present invention, it is implemented to set this N value to an on-chip register value. At this time, the N value may be set by the user.
그런데, 이렇게 특정한 N값이 설정되면, 너무 천천히 움직이는 영상이나 빨리 움직이는 영상은 최적화되어 감지되기 어렵다. 본 발명에서는 이러한 단점을 보완하고자 이러한 특정한 값(이하, 인덱스 값)이 적응적(Adaptive)으로 동작되도록 구현하였다. 즉, 초기 설정된 인덱스 값으로 영상이 감지되다가 영상의 속도가 도 5(a)처럼 느리게 움직이면, 인덱스 값을 증가시켜 영상이 천천히 감지되게 한다. 반면에, 도 5(b)처럼 빠르게 움직이면, 인덱스 값을 감소시켜 영상이 빨리 감지되 게 한다. 이러한 방법으로 다양한 물체의 동작 속도에 대하여 최적으로 감지하도록 구현된다. 도 6는 본 발명에 따른 인덱스 값을 조절하는 방법에 대한 가상 코드를 보여주는 도면이다.However, when this specific N value is set, too slow moving images or fast moving images are optimized and difficult to detect. In the present invention, in order to make up for this drawback, such a specific value (hereinafter, referred to as an index value) is implemented to operate adaptively. That is, when the image is detected by the initially set index value and the speed of the image moves slowly as shown in FIG. 5 (a), the image is detected slowly by increasing the index value. On the other hand, when moving quickly as shown in FIG. In this way it is implemented to optimally detect the operating speed of various objects. 6 is a diagram illustrating a virtual code for a method of adjusting an index value according to the present invention.
도 7은 복수의 객체들의 움직임이 감지될 때 움직임 값을 계산하는 실시 예를 설명하기 위한 도면이다. 도 7을 참조하면, 본 발명에서는 다중 객체라도 개개 움직이는 객체를 감지하고, 그 감지된 움직임 값 중 최외각(srtx ,y,endx ,y)의 값을 추출하여, 그 값의 중심 값을 최종 움직임의 중심 값(movx ,y)으로 계산하도록 구현된다. 따라서, 본 발명은 다중 객체 움직임 추적(Multi-object Tracking)에도 용이하다.FIG. 7 is a diagram for describing an embodiment of calculating a motion value when motions of a plurality of objects are detected. Referring to FIG. 7, in the present invention, even if multiple objects are detected, individual moving objects are detected, and the values of the outermost angles (srt x , y , end x , y ) are extracted from the detected motion values, and the center value of the values is extracted. It is implemented to calculate the center value of the final motion (mov x , y ). Therefore, the present invention is also easy for multi-object tracking.
도 8은 본 발명에 따른 움직임 감지 방법에 대한 흐름도이다. 도 1 내지 도 8을 참조하면, 움직임 감지 방법은 다음과 같다.8 is a flowchart illustrating a motion detection method according to the present invention. 1 to 8, a motion detection method is as follows.
SOC 칩(100)은 디지털로 변환된 영상 데이터(yuv)를 입력받는다(S110). 입력된 영상 데이터(yuv)에서 휘도 성분을 갖는 Y 데이터만 프레임 메모리(110)에 저장된다(S120). 이때 저장되는 Y 데이터는 하나 걸러 하나씩 저장된다. Cr, Cb 데이터가 출력되는 동안에 입력되는 현재 Y 데이터와 프레임 메모리(110)에 저장된 이전 Y 데이터가 비교된다(S130). 이때 비교결과로써, 영상의 차이 값이 소정의 값(threshold)보다 크고, 객체의 크기가 최소 정보 크기(size)보다 클 때 영상의 움직임 신호(Refresh)가 발생된다. 움직임 신호(Refresh)에 응답하여 움직임의 최외각 값들(srtx ,y,endx ,y)이 추출되고, 그 추출된 값들을 이용하여 모션 벡터(movx ,y) 가 계산된다(S140). 계산된 모션 벡터(movx,y)는 I2C 프로토콜을 이용하여 외부로 송출된다.The
도 9은 본 발명을 PC상에서 소프트웨어로 시뮬레이션한 결과를 보여주는 도면이다. 본 발명에 따른 영상 칩은 저렴한 비용으로 좋은 특성을 갖고 객체 추적을 할 수 있게 된다.9 is a diagram showing the results of simulation of the present invention by software on a PC. The imaging chip according to the present invention is capable of tracking objects with good characteristics at low cost.
본 발명의 영상 추적 칩은 메모리와 DSP등을 이용한 영상 추적 솔루션을 하나의 칩으로 구현된다.The video tracking chip of the present invention is implemented as a single chip video tracking solution using a memory and DSP.
본 발명의 영상 추적 칩에서는 서브-샘플링 방법 및 타이밍 공유 방법을 사용함으로써, 영상 프레임 크기가 획기적으로 줄어들게 된다. 따라서, 칩 내부에 내장되도록 구현가능하다.In the image tracking chip of the present invention, by using the sub-sampling method and the timing sharing method, the image frame size is drastically reduced. Therefore, it can be implemented to be embedded inside the chip.
본 발명의 영상 추척 칩은 다양한 속도의 영상을 감지하도록 적응적 인덱스를 제공함으로써 동시에 여러 움직임 객체가 감지되는 경우에 대해서도 효과적으로 대응될 수 있다.The image tracking chip of the present invention can effectively cope with a case where several moving objects are detected at the same time by providing an adaptive index to detect images of various speeds.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지로 변형할 수 있다. 그러므로 본 발명의 범위는 상술한 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위 뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be defined by the equivalents of the claims of the present invention as well as the following claims.
도 1은 본 발명에 따른 SOC 칩에 대한 블록도를 보여주는 도면이다.1 is a block diagram of an SOC chip according to the present invention.
도 2은 본 발명에서 X축으로 영상 데이터를 서브-샘플링하여 저장하는 방법을 보여주는 도면이다.FIG. 2 is a diagram for a method of sub-sampling and storing image data in the X-axis according to the present invention.
도 3은 본 발명에서 Y축으로 영상 데이터를 서브-샘플링하여 저장하는 방법을 보여주는 도면이다.FIG. 3 is a diagram illustrating a method of sub-sampling and storing image data in the Y axis according to the present invention.
도 4는 본 발명에서 하나의 프레임 메모리로 2 개의 프레임 영상 차이를 계산하는 방법을 보여주는 타이밍도이다.4 is a timing diagram illustrating a method of calculating two frame image differences with one frame memory according to the present invention.
도 5는 본 발명에서 적응적인 프레임 차이 인덱스를 사용하여 움직이는 객체의 포착속도를 개선하는 방법을 보여주는 도면이다.5 is a view showing a method of improving the capture speed of a moving object using an adaptive frame difference index in the present invention.
도 6은 본 발명에 따른 적응적인 인덱스를 조절하는 수도-코드에 대한 실시 예를 보여주는 도면이다.6 is a diagram illustrating an embodiment of a pseudo-code for adjusting an adaptive index according to the present invention.
도 7은 본 발명에서 움직임 객체들의 최외각 영상의 중심을 추출하여 다중 객체의 움직임을 개선하는 방법을 보여주는 도면이다.FIG. 7 is a diagram illustrating a method of improving the motion of multiple objects by extracting the centers of the outermost images of the moving objects in the present invention.
도 8은 본 발명에 따른 움직임 감지 방법에 대한 흐름도이다.8 is a flowchart illustrating a motion detection method according to the present invention.
도 9은 본 발명에 따른 컴퓨터 시뮬레이션 결과를 보여주는 도면이다.9 illustrates a computer simulation result according to the present invention.
*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *
100: SOC 칩 100: SOC chip
110: 프레임 메모리110: frame memory
120: 처리 소자 120: processing element
130: 비교 유닛130: comparison unit
140: 위치 결정 유닛 140: positioning unit
150: 계산 유닛150: calculation unit
160: I2C 인터페이스 유닛 160: I2C interface unit
170: I2C 장치170: I2C device
180: 제어기180: controller
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080115524A KR101059473B1 (en) | 2008-11-20 | 2008-11-20 | Image detection method of video tracking chip |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080115524A KR101059473B1 (en) | 2008-11-20 | 2008-11-20 | Image detection method of video tracking chip |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100056634A true KR20100056634A (en) | 2010-05-28 |
KR101059473B1 KR101059473B1 (en) | 2011-08-26 |
Family
ID=42280610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080115524A KR101059473B1 (en) | 2008-11-20 | 2008-11-20 | Image detection method of video tracking chip |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101059473B1 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252591A (en) * | 2007-03-30 | 2008-10-16 | Toshiba Corp | Interpolation frame generation device, interpolation frame generation method, and broadcast receiver |
-
2008
- 2008-11-20 KR KR1020080115524A patent/KR101059473B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR101059473B1 (en) | 2011-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2693394B1 (en) | Information processor, information processing method, computer program and storage medium | |
KR101939628B1 (en) | Method of detecting motion and motion detector | |
CN110248048B (en) | Video jitter detection method and device | |
US9049380B2 (en) | Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus | |
US8723969B2 (en) | Compensating for undesirable camera shakes during video capture | |
US8723967B2 (en) | Image processing apparatus, image pickup apparatus, and image processing method for performing cut-out processing for an image for electronic image-stabilization | |
US7961961B2 (en) | Image processing apparatus and image processing program using motion information | |
EP4115600A1 (en) | Power-efficient dynamic electronic image stabilization | |
CN108540689B (en) | Image signal processor, application processor and mobile device | |
US8379146B2 (en) | Deinterlacing method and apparatus for digital motion picture | |
KR20150146424A (en) | Method for determining estimated depth in an image and system thereof | |
KR101059473B1 (en) | Image detection method of video tracking chip | |
US10846837B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP4547321B2 (en) | Motion vector detection device and imaging device | |
US20100053326A1 (en) | Image sensor, the operating method and usage thereof | |
WO2017126899A2 (en) | Methods and systems for reconstructing a high frame rate high resolution video | |
JP4859795B2 (en) | Camera device and recording system | |
KR100792960B1 (en) | Compensation apparatus for motion in the mobile terminal | |
JP2005197862A (en) | Image processing apparatus | |
JP2005252570A (en) | Video signal processor | |
US8373752B2 (en) | Detection apparatus, detection method and computer readable medium thereof for detecting an object in real-time | |
WO2022168667A1 (en) | Image processing device and image processing method | |
KR100843615B1 (en) | Efficient dual frame buffer control device and the same method | |
JP4549144B2 (en) | Video switching device, image processing device, video recording device, image processing system, and video recording system | |
CN100471232C (en) | Digital dynamic image uninterleaving method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |