KR20190067531A

KR20190067531A - Method for synchronizing for hdmi image process

Info

Publication number: KR20190067531A
Application number: KR1020170167562A
Authority: KR
Inventors: 임은석
Original assignee: (주)스마트로직
Priority date: 2017-12-07
Filing date: 2017-12-07
Publication date: 2019-06-17

Abstract

The present invention relates to a synchronizing method for processing a high definition multimedia interface (HDMI) image signal. According to an embodiment of the present invention, the synchronizing method for processing an HDMI image signal comprises the steps of: receiving a timing code; and processing an image by searching for data matching the timing code.

Description

[0001] METHOD FOR SYNCHRONIZING FOR HDMI IMAGE PROCESS [0002]

본 발명은 관심 영역 설정 방법에 관한 것으로, 보다 상세하게는 HDMI 영상신호처리를 위한 동기화 방법에 관한 것이다. The present invention relates to a method of setting a region of interest, and more particularly, to a synchronization method for processing an HDMI video signal.

최근에 디지털 컨텐츠의 보급이 일반화되면서 디지털 컨텐츠를 제공하는 캠코더, DVD(Digital Versatile Disc)플레이어, PS3(Play Station 3), 셋탑박스 등의 멀티미디어 소스장치와, 멀티미디어 소스장치로부터 제공받은 디지털 컨텐츠를 처리하여 표시하는 모니터, 디지털 TV 등의 영상장치를 연결하여 사용하는 사용자들이 증가하고 있다.In recent years, with the popularization of digital contents becoming common, multimedia source devices such as a camcorder, a DVD (Digital Versatile Disc) player, a Playstation 3 (PS3), and a set-top box, There is an increasing number of users who connect and use video devices such as monitors and digital TVs.

그리고 LED를 이용하여 영상을 처리하는 방법에 대한 연구가 늘어나고 있다.And research on methods of processing images using LEDs is increasing.

따라서 LED와 조도센서가 내장된 여러 단위 모듈들, HDMI(high definition multimedia interface) 영상을 각각의 단위 모듈에 분할하여 영상을 처리할 때 동기화를 수행하는 방법에 대한 연구가 필요한 실정이다.Therefore, it is necessary to study how to perform synchronization when processing image by dividing several unit modules and a high definition multimedia interface (HDMI) image with LED and illuminance sensor into each unit module.

본 발명의 목적은 LED와 조도센서가 내장된 여러 단위 모듈들, HDMI(high definition multimedia interface) 영상을 각각의 단위 모듈에 적적하게 분할하여 영상을 처리할 때 수행되는 HDMI 영상신호처리를 위한 동기화 방법을 제공하는 데 있다.It is an object of the present invention to provide an image processing apparatus and a method for processing an HDMI image signal, which are performed when an image is processed by appropriately dividing an image of a high definition multimedia interface (HDMI) .

상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 타이밍 코드를 수신하는 단계; 및 상기 타이밍 코드에 매칭되는 데이터를 검색하여 영상을 처리하는 단계를 포함하는 것을 특징으로 하는 HDMI 영상신호처리를 위한 동기화 방법이 개시된다. According to an aspect of the present invention, And processing the image by searching for data matching the timing code. A synchronization method for processing an HDMI video signal is disclosed.

본 발명의 일실시예에 의하면, 타이밍 코드를 이용한 동기화를 통해 분산 처리된 영상을 끈김없이 재생할 수 있다.According to an embodiment of the present invention, it is possible to reproduce a decoded image seamlessly through synchronization using a timing code.

도 1은 본 발명의 일실시예와 관련된 영상 처리 장치의 구성도이다.
도 2 내지 도 4는 본 발명의 일실시예와 관련된 HDMI 영상신호처리를 위한 동기화 방법을 설명하기 위한 도면이다.1 is a configuration diagram of an image processing apparatus according to an embodiment of the present invention.
2 to 4 are diagrams for explaining a synchronization method for HDMI video signal processing according to an embodiment of the present invention.

이하, 본 발명의 일실시예와 관련된 HDMI 영상신호처리를 위한 동기화 방법에 대해 도면을 참조하여 설명하도록 하겠다.Hereinafter, a synchronization method for HDMI video signal processing according to an embodiment of the present invention will be described with reference to the drawings.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.As used herein, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this specification, the terms "comprising ", or" comprising "and the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps.

도 1은 본 발명의 일실시예와 관련된 영상 처리 장치의 구성도이다.1 is a configuration diagram of an image processing apparatus according to an embodiment of the present invention.

도 1은 4개의 단위 모듈을 결합한 시스템의 예이다. 하나의 단위 모듈은 LED와 조도센서가 내장된 두께 3mm이하 제품이며, 이때 LED와 조도 센서의 배치를 Figure 1-2에 보인다. 단위 모듈의 해상도는 제작 시에 결정되며, 단위 모듈의 해상도는 128 * 64 픽셀(총 8,192 픽셀)이다. 하나의 단위 모듈은 상하좌우로 다른 단위 모듈과 전기신호를 연결하기 위한 패드가 존재한다. 단위 모듈은 분산 저속화 처리된 HDMI 고속 영상 신호를 받아서 프레임 단위로 저장하고 이를 출력한다. 단위 모듈의 조도 센서는 인터럽트 방식으로 동작하며, 조도 센서가 물체를 감지하게 되면 모듈에 내장된 마스터 컨트롤러로 감지 결과인 조도 값을 보내게 된다.Figure 1 is an example of a system combining four unit modules. One unit module is a product with LED and illuminance sensor less than 3mm in thickness. The arrangement of LED and illuminance sensor is shown in Figure 1-2. The resolution of the unit module is determined at the time of manufacture, and the resolution of the unit module is 128 * 64 pixels (total 8,192 pixels). One unit module has pads for connecting electric signals with other unit modules in up, down, left, and right directions. The unit module receives the distributed low-speed processed HDMI high-speed video signal and stores it in units of frames and outputs it. The illuminance sensor of the module operates as an interrupt method. When the illuminance sensor detects an object, the illuminance value, which is the result of detection, is sent to the master controller built in the module.

도 2 내지 도 4는 본 발명의 일실시예와 관련된 HDMI 영상신호처리를 위한 동기화 방법을 설명하기 위한 도면이다.2 to 4 are diagrams for explaining a synchronization method for HDMI video signal processing according to an embodiment of the present invention.

도 2에는 ROIM에서 전송한 시리얼 데이터를 병렬 데이터로 변환하는 과정에서 발생하는 데이터 정렬 문제의 예를 보인다. 도 2의 ①은 0x168(0000_0001_0110_10002)은 전송할 병렬 데이터를 의미한다. 해당 데이터는 2 bits LVDS 라인으로 전송될 때 ②와 같이 2 bits로 전송될 때 역순으로 2 bits씩 나눠서 "0 2 2 1 1 0 0 0"순으로 전송되며, ③과 같이 수신된다. 이때 해당 신호를 수신할 때 해당 신호를 생성했던 클럭에 대한 정보가 없기 때문에 데이터가 틀어지는 문제가 ④와 같이 발생할 수 있다. 도 2의 ④를 보면 병렬 데이터로 변환한 값이 0x0168이 되어야 하지만, 정렬이 제대로 되지 못해서 "0x8016 0x4016"으로 4 bits가 틀어짐을 확인할 수 있다. 이렇게 데이터가 제대로 정렬되지 않는 문제는 2 bits 단위로 발생할 수 있는 데, 이는 ROIS에서 시리얼 데이터를 병렬 데이터로 변환할 때 클럭의 상승 에지를 기준으로 데이터가 정렬되기 때문이다.FIG. 2 shows an example of a data alignment problem that occurs in the process of converting serial data transmitted by the ROIM into parallel data. In Fig. 2, (1) denotes 0x168 (0000_0001_0110_10002) denotes parallel data to be transmitted. When the data is transmitted in the 2 bits LVDS line, the corresponding data is transmitted in the order of "0 2 2 1 1 0 0 0" in the order of 2 bits in the reverse order when it is transmitted in the 2 bits as shown in (2). At this time, there is no information about the clock that generated the signal when receiving the signal, so that the data may be distorted as shown in (4). In Fig. 2 ④, the value converted to parallel data should be 0x0168. However, since alignment is not performed properly, it is confirmed that 4 bits are changed by "0x8016 0x4016". The problem that the data is not properly aligned can occur in 2 bits units because the data is arranged based on the rising edge of the clock when the serial data is converted into parallel data by ROIS.

이러한 데이터 정렬 문제를 해결하기 위한 방법은 크게 두 가지를 생각해볼 수 있다. 하나는 ROIM에서 데이터 생성에 사용한 74.25 MHz에 대한 클럭 정보를 주는 것이다. 두 번째는 시스템 리셋 후 일정 시간 동안 사전에 정의된 codeword를 전송하여 데이터를 어떻게 정렬하면 되는 지를 ROIS에서 판단하는 방법을 생각해볼 수 있다. ROIM에서 ROIS로 74.25 MHz에 대한 클럭 신호를 전달하는 것은 추가적인 와이어 연결 등 회로도 수정이 필요하기 때문에 본 프로젝트에서는 후자의 방식을 사용하여 데이터 정렬 문제를 해결하였다. There are two ways to solve this sorting problem. One is the clock information for the 74.25 MHz used to generate the data in the ROIM. Second, ROIS can decide how to sort the data by transmitting a predefined codeword for a certain period of time after system reset. Transferring the clock signal from ROIM to ROIS to 74.25 MHz solves the data alignment problem in this project because of the need for circuit modification such as additional wire connections.

앞서 설명한 문제를 해결하기 위해 ROIM과 ROIS에 다음과 같이 동작하는 회로를 추가하였다. 우선 ROIM에는 리셋이 들어오면 일정 시간동안 사전에 정의된 codeword를 도 3의 ①과 같이 전송한다. 본 명세서에서 정의한 codeword는 0xD076이다. 해당 값은 비디오 신호에서 타이밍 정보를 나타내는 H Sync, V Sync, Data Enable 신호가 위치한 8, 9, 10번째 bits부분은 0으로 하고 다른 부분엔 임의의 값을 채운 값이다. ROIS에서는 시리얼 데이터를 병렬 데이터로 변환 후 이를 매 사이클 16 bits right shift를 하여 도 3의 ②의 rx_rcv_sft[31:0]와 같이 32 bits 데이터로 변환한다. ROIS에선 리셋이 들어오면 일정 시간 동안 codeword를 32 bits 데이터(rx_rcv_sft[31:0])에 존재하는 지를 탐색한다. 예를 들어, 도 3의 ②를 보면 codeword 0x6D076000 가 rx_rcv_sft[27:12]에 존재함을 알 수 있다. 마찬가지로 다음 사이클의 값도 0x6D076D07로, codeword가 rx_rcv_sft[27:12]에 존재함을 확인할 수 있다. 이에 rx_rcv_sft[27:12]의 데이터를 향후 영상 데이터를 추출할 수 있도록 rx_dataline[15:0]의 값을 0x3FC0으로 설정한다. 이후 영상 데이터가 수신될 때에는 해당 rx_dataline에 정의된 값을 이용하여 데이터를 선택하도록 하였다. 도 4에서 보인 정렬되지 않은 데이터가 들어온 후 앞서 설명한 과정을 거친 후 rx_data[15:0]에 0x168로 수신됨을 확인할 수 있다.In order to solve the problem described above, ROIM and ROIS have added circuit that operates as follows. First, when a reset is input to the ROIM, a predefined codeword is transmitted for a predetermined time as shown in (1) of FIG. The codeword defined herein is 0xD076. The corresponding values are 0, 8, 9, and 10 bits where the H Sync, V Sync, and Data Enable signals indicating timing information in the video signal are located, and the other values are filled with random values. ROIS converts the serial data into parallel data and converts it into 16 bits right shift every cycle and converts it into 32 bits data like rx_rcv_sft [31: 0] in ② of Fig. In ROIS, when a reset is received, it searches the codeword for 32 bits data (rx_rcv_sft [31: 0]) for a certain period of time. For example, in Fig. 3, it can be seen that codeword 0x6D076000 exists in rx_rcv_sft [27:12]. Similarly, the value of the next cycle is 0x6D076D07, and the codeword is found in rx_rcv_sft [27:12]. Therefore, the value of rx_dcline_ [15: 0] is set to 0x3FC0 so that the image data of rx_rcv_sft [27:12] can be extracted in the future. Then, when the image data is received, the data is selected by using the value defined in the corresponding rx_dataline. After the unaligned data shown in FIG. 4 is received, it is confirmed that it is received as 0x168 in rx_data [15: 0] after the process described above.

상술한 HDMI 영상신호처리를 위한 동기화 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지된 것일 수도 있다.The synchronization method for HDMI video signal processing described above may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable recording medium. At this time, the computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. On the other hand, the program instructions recorded on the recording medium may be those specially designed and configured for the present invention or may be those known to those skilled in the computer software.

컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리, SSD (Solid State Drive)와 같은 메모리 저장장치 등 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. The computer-readable recording medium includes a magnetic recording medium such as a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical medium such as a CD-ROM and a DVD, a magnetic disk such as a floppy disk, A hard disk drive, a magneto-optical medium, and a memory device such as a ROM, a RAM, a flash memory, and a solid state drive (SSD).

한편, 이러한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.The recording medium may be a transmission medium, such as a light or metal line, a wave guide, or the like, including a carrier wave for transmitting a signal designating a program command, a data structure, and the like.

또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The program instructions also include machine language code, such as those generated by the compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

상기와 같이 설명된 HDMI 영상신호처리를 위한 동기화 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The above-described synchronization method for HDMI video signal processing is not limited to the configuration and method of the embodiments described above, but the embodiments may be modified so that all or some of the embodiments may be modified Or may be selectively combined.

Claims

Receiving a timing code; And
And searching for data matched with the timing code to process the image.