KR101567313B1 - Apparatus for processing image data for embedded simulation system and the method thereof - Google Patents
Apparatus for processing image data for embedded simulation system and the method thereof Download PDFInfo
- Publication number
- KR101567313B1 KR101567313B1 KR1020140095081A KR20140095081A KR101567313B1 KR 101567313 B1 KR101567313 B1 KR 101567313B1 KR 1020140095081 A KR1020140095081 A KR 1020140095081A KR 20140095081 A KR20140095081 A KR 20140095081A KR 101567313 B1 KR101567313 B1 KR 101567313B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- storage unit
- simulation
- temporary storage
- central processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 고화질의 시뮬레이션 영상을 제공하기 위한 장치에 관한 것으로, 더욱 상세하게는, 고화질 시뮬레이션 영상 재생 시 영상 데이터를 램(RAM)으로 로딩하는 때에 발생하는 하드웨어적인 성능 병목현상을 최소화시키는 것에 의해, 고화질의 시뮬레이션 영상을 효과적으로 재생시키는 임베디드 시뮬레이션 시스템을 위한 영상처리 장치 및 그 방법에 관한 것이다.
The present invention relates to an apparatus for providing a high-quality simulation image, and more particularly, to an apparatus for providing a high-quality simulated image by minimizing a hardware performance bottleneck occurring when loading image data into a RAM during high- And more particularly, to an image processing apparatus and method for an embedded simulation system that efficiently reproduces a high-quality simulation image.
일반적으로 임베디드 시스템은 마이크로프로세서 혹은 마이크로컨트롤러를 내장(embedded)하여 원래 제작자가 지정한 기능만을 수행하는 장치를 말한다. 만일 한 시스템에서 사용자가 프로그램을 바꿔가면서 그에 따라 여러 가지 기능들을 수행할 수 있다면 그 시스템은 대부분의 사람들이 임베디드 시스템이라고 분류하지 않는다.Generally, an embedded system refers to a device that embeds a microprocessor or a microcontroller and performs only functions designated by the original creator. If a system allows a user to switch programs and perform various functions accordingly, the system does not classify most people as embedded systems.
이러한 임베디드 시스템은 프로세서, 컨트롤러, 메모리, I/O, 네트워크를 포함하는 임베디드 하드웨어와 커널, 시스템 S/W, 응용 S/W를 포함하는 임베디드소프트웨어로 구성된다.These embedded systems consist of embedded hardware including processors, controllers, memory, I / O, and network, and embedded software including kernel, system software, and application software.
이러한 구성을 가지는 임베디드 시스템의 웅용 분야로는 정보가전, 정보단말, 통신장비, 항공/군용, 물류/금융, 차량/교통, 사무, 산업/제어, 의료, 게임 등 다양하다.The fields of application of such embedded system are various fields such as information appliance, information terminal, communication equipment, aviation / military, logistics / finance, vehicle / transportation, office, industrial / control, medical and game.
이중 군사적 적용 분야로는 비행기, 군용 전자 통신 장비, 전자 제어 무기 등을 들 수 있다. 항공 분야의 경우에는 전자동 항공기 관리 시스템을 들 수 있으며, 원격지의 조종사가 항공기에서 촬영한 영상화면을 실시간으로 전송받아 항공기의 시야를 보면서 조종하는 기술이 적용될 수 있다. 이러한 경우 정확한 항공기의 조작을 위하여 고화질의 영상데이터 처리가 필요하게 된다. 또한 조종 훈련 등을 위한 영상 시뮬레이션의 경우에도 고화질의 영상처리를 필요로 한다. 그러나 임베디드 시스템의 경우 발열 및 전력소모 등 많은 제약사항 등으로 고품질의 영상을 제공하는 시뮬레이션 구현을 위한 고성능 컴퓨터 환경을 구축하기 어려운 문제점을 가진다.Dual military applications include airplanes, military electronic communications equipment, and electronically controlled weapons. In the case of the aeronautical field, a fully automated aircraft management system can be used. A remote pilot can receive a real-time image of an airplane and control the view of the aircraft. In this case, high-quality image data processing is required for accurate operation of the aircraft. Also, in the case of image simulation for pilot training, high-quality image processing is required. However, in the case of an embedded system, it is difficult to construct a high-performance computer environment for implementing a simulation that provides high-quality images due to many limitations such as heat generation and power consumption.
따라서 고화질의 시뮬레이션 영상의 재생 또는 원격조종을 위해서는 고화질의 영상데이터 및 영상데이터 처리 기술을 필요로 한다.Therefore, in order to reproduce or remotely control a high-quality simulation image, high-quality image data and image data processing technology are required.
이러한 필요에 따라 대한민국 공개특허 제2014-0062967호(이하, '선행기술 1' 이라 함)에서는 데이터 분배부가 위성체로부터 전송된 압축 데이터를 분산 병렬 처리하여 출력한 후, 복수의 압축 해제기가 분산 병렬 처리된 압축 영상 데이터를 일정 단위로 분배 받아 압축 해제 동작을 실시하여 각각 압축 해제 데이터를 추출하고, 운영체제가 압축 해제된 데이터들을 비동기 파일 입출력 방식으로 처리하여, 압축 해제 데이터의 순서 정렬을 위한 대기 시간을 필요로 하지 않고, 최적의 스캔 방식으로 저장 장치에 저장하기 때문에 저장 장치에서의 병목 현상을 최소화시키는 위성 데이터 압축 해제 시스템을 개시하고 있다.In accordance with this need, Korean Patent Laid-Open Publication No. 2014-0062967 (hereinafter referred to as "
또한, 대한민국 등록특허 제10-1155564호(이하 '선행기술 2'라 함)에서는 다수의 노드들이 통신망을 통해 연결되어 할당된 데이터 처리를 수행하고, 데이터 처리된 결과물들을 다수의 노드들에 공유되도록 처리하여 저장한 후, 저장된 데이터를 이용하여 최종 결과물을 생성하는 것에 의해 영상 제작 환경에서 병목 현상으로 속도 저하를 야기하는 쉐이딩, 라이팅, 렌더링을 다양한 하드웨어 자원들과 개인화된 병렬 컴퓨팅 환경(멀티코어 CPU, GPU, 전용 SIMD 하드웨어)을 이용하여 연산을 수행하는 알고리즘 병렬화 및 데이터 병렬화를 통해 병목현상을 현저히 줄이는 협업적 영상 제작 관리 장치를 개시하고 있다.In Korean Patent No. 10-1155564 (hereinafter, referred to as 'Prior Art 2'), a plurality of nodes are connected through a communication network to perform assigned data processing, and data processed results are shared among a plurality of nodes. Shading, lighting, and rendering that cause a bottleneck in the image production environment by using various data and hardware resources and a personalized parallel computing environment (multi-core CPU A GPU, a dedicated SIMD hardware), and a bottleneck phenomenon is remarkably reduced through parallelization and data parallelization.
그러나 상술한 선행 기술 1의 경우에는 영상의 재생 시 램으로 로딩하는 과정에서의 하드웨어적인 병목 현상을 최소화시키지 못하는 문제점을 가진다.However, in the case of the above-described
또한 선행기술 2의 경우에는 다수의 노드들의 분산처리를 이용하는 것으로서 단일 시스템에 의한 처리를 수행하지 못하므로 임베디드 시뮬레이션 시스템에 적용하지 못하는 문제점을 가진다.
Also, in the case of the
따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 고화질 시뮬레이션 영상 재생 시 영상 데이터를 램(RAM)으로 로딩 하는데 발생하는 병목현상을 최소화시키는 것에 의해, 고화질의 시뮬레이션 영상을 효과적으로 재생키는 임베디드 시뮬레이션 시스템을 위한 영상처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.
SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the conventional technology, and it is an object of the present invention to provide an image processing method and a computer program for minimizing bottlenecks in loading image data into a RAM during high- And an object thereof is to provide an image processing apparatus and method for an embedded simulation system.
상술한 목적을 달성하기 위한 본 발명의 임베디드 시뮬레이션 시스템을 위한 영상처리 장치는, 시뮬레이션을 위한 데이터를 저장하는 저장부; 상기 데이터가 로딩되는 임시저장부; 중앙처리부의 요청에 따라 시뮬레이션 실행을 위한 상기 저장부에 저장된 데이터를 상기 임시저장부에 로딩하는 데이터로더부; 상기 임시저장부에 로딩된 데이터 중 시뮬레이션 프로그램을 실행하여 시뮬레이션을 수행하는 중앙처리부; 및 상기 시뮬레이션의 수행 중 영상데이터에 대한 영상처리를 수행하는 그래픽처리부;를 포함하여 구성되는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an image processing apparatus for an embedded simulation system, including: a storage unit for storing simulation data; A temporary storage unit in which the data is loaded; A data loader unit for loading data stored in the storage unit for simulation execution into the temporary storage unit at the request of the central processing unit; A central processing unit for executing a simulation program among the data loaded in the temporary storage unit to perform a simulation; And a graphics processor for performing image processing on image data during the simulation.
상기 데이터는, 상기 시뮬레이션 구동을 위한 프로그램과 상기 시뮬레이션에 적용되는 영상 데이터를 포함하여 구성되는 것을 특징으로 한다.The data may include a program for driving the simulation and image data to be applied to the simulation.
상기 데이터로더부는, 상기 중앙처리부가 시뮬레이션 실행을 위해 필요한 대용량 영상 데이터를 상기 저장부에서 상기 임시저장부로 로딩하도록 구성되는 것을 특징으로 한다.And the data loader unit is configured such that the central processing unit loads the large-capacity image data required for executing the simulation from the storage unit to the temporary storage unit.
상기 데이터로더부는, 상기 임시저장부에 저장된 영상데이터의 저장위치에 대응하는 어드레스 버스 라인과 데이터 버스 라인을 획득한 후, 상기 중앙처리부와 상기 임시저장부의 어드레스 버스 라인과 데이터 버스 라인을 연결시키도록 구성되는 것에 의해, 상기 시뮬레이션 수행을 위한 데이터를 시뮬레이션 수행시마다 상기 저장부로부터 상기 임시저장부로 로딩하는 횟수를 최소화하여 영상데이터 로딩에 따른 지연 시간을 최소화시키도록 구성되는 것을 특징으로 한다.The data loader unit may acquire an address bus line and a data bus line corresponding to a storage location of the image data stored in the temporary storage unit and then connect the address bus line and the data bus line of the central processing unit and the temporary storage unit According to an embodiment of the present invention, the number of times of loading the simulation execution data from the storage unit to the temporary storage unit is minimized each time a simulation is performed, thereby minimizing a delay time due to image data loading.
상기 데이터로더부는, 중앙처리부와 통신을 수행하여 중앙처리부로부터 로딩 대상 데이터 정보 및 신호를 받아 미리 상기 저장부에서 상기 데이터를 상기 임시저장부로 로딩하도록 하는 명령을 출력하는 커맨드컨트롤러; 상기 커맨드컨트롤러의 로딩 명령에 따라 상기 저장부의 상기 데이터가 저장된 데이터 블록의 데이터를 복사하여 상기 임시저장부로 로딩하는 플래시컨트롤러; 상기 중앙처리부와 연결된 어드레스 버스 라인과 상기 데이터로더부에 연결된 상기 임시저장부의 물리적 어드레스 버스 라인의 관계를 해석하여 연결시켜주는 어드레스디코더; 상기 중앙처리부와 상기 임시저장부의 데이터 버스 라인의 관계를 해석하여 상기 데이터가 저장된 데이터 버스 라인을 상기 중앙처리부와 연결시키는 데이터디코더; 및 상기 임시저장부 제어에 필요한 CS(Chip Select), OE(Output Enable) 신호를 수신하여 상기 임시저장부를 제어하는 칩컨트롤러;를 포함하는 FPGA로 구성되는 것을 특징으로 한다.
The data loader unit communicates with the central processing unit and receives a data signal and information to be loaded from the central processing unit and outputs the command to load the data from the storage unit into the temporary storage unit in advance; A flash controller for copying data of a data block storing the data of the storage unit according to a loading command of the command controller and loading the data of the data block into the temporary storage unit; An address decoder for analyzing and connecting the relationship between an address bus line connected to the central processing unit and a physical address bus line for the temporary storage unit connected to the data loader unit; A data decoder for interpreting a relationship between data bus lines of the central processing unit and the temporary storage unit and connecting the data bus line storing the data to the central processing unit; And a chip controller for receiving the CS (Chip Select) and OE (Output Enable) signals required for the temporary storage control and controlling the temporary storage unit.
상술한 목적을 달성하기 위한 본 발명의 임베디드 시뮬레이션 시스템을 위한 영상처리 방법은, 저장부, 임시저장부, 데이터로더부, 중앙처리부 및 그래픽 처리부를 포함하는 임베디드 시뮬레이션 시스템의 영상처리 방법에 있어서, 상기 데이터로더부가 상기 중앙처리부의 시뮬레이션 데이터 요청 신호에 따라 상기 저장부의 시뮬레이션 수행을 위한 데이터를 상기 임시저장부에 로딩하는 데이터로딩과정; 및According to another aspect of the present invention, there is provided an image processing method for an embedded simulation system including a storage unit, a temporary storage unit, a data loader unit, a central processing unit, and a graphics processing unit, A data loading unit loading data for performing a simulation of the storage unit into the temporary storage unit according to a simulation data request signal of the central processing unit; And
상기 데이터로더부가 상기 데이터의 상기 임시저장부에서의 저장위치에 대응하는 어드레스 버스와 데이터 버스를 상기 중앙처리부로 연결시키는 어드레스 버스와 데이터 버스 연결과정;을 포함하여 이루어지는 것을 특징으로 한다.And an address bus and a data bus connecting the data bus with an address bus and a data bus corresponding to a storage location of the data loader in the temporary storage unit, to the central processing unit.
또한, 상술한 임베디드 시뮬레이션 시스템을 위한 영상처리 방법은, 상기 데이터로딩과정 이전에 중앙처리부가 상기 시뮬레이션 수행을 위한 영상 데이터를 상기 데이터로더부로 요청하는 영상데이터요청과정;을 더 포함하여 이루어 지는 것을 특징으로 한다.The image processing method for the embedded simulation system may further include an image data requesting step in which the central processing unit requests the image data for performing the simulation to the data loader unit before the data loading step .
상기 어드레스 버스와 데이터 버스 연결과정은, 상기 데이터로더부가 상기 임시저장부의 상기 중앙처리부 요청 데이터 저장 블록의 어드레스 버스와 데이터 버스를 상기 중앙처리부와 연결시키는 과정인 것을 특 징으로 한다.And the data bus connecting the address bus and the data bus is a process of connecting the address bus and the data bus of the central processing unit requested data storage block of the temporary storage unit with the central processing unit.
또한, 상술한 본 발명의 임베디드 시뮬레이션 시스템을 위한 영상처리 방법은, 상기 어드레스 버스와 데이터 버스 연결과정 이전에, 상기 데이터로더부가 상기 임시저장부로 로딩된 데이터의 어드레스 버스 정보와 데이터 버스 관계를 해석하여 상기 중앙처리부 요청 데이터에 대한 상기 임시저장부의 상기 어드레스 버스와 데이터 버스의 각 라인 정보를 획득하는 어드레스 버스와 데이터 버스 관계 해석 과정;을 더 포함하여 이루어지는 것을 특징으로 한다.
In the image processing method for the embedded simulation system of the present invention, the data loader unit interprets the address bus information and the data bus relationship of the data loaded into the temporary storage unit before the address bus and the data bus connection process And an address bus and a data bus relationship analyzing process for obtaining line information of the address bus and the data bus of the temporary storage unit with respect to the central processing unit request data.
상술한 구성의 본 발명은, 임베디드 시뮬레이션 시스템에 의한 시뮬레이션의 수행 시, 시뮬레이션에 필요한 대용량 영상 데이터를 미리 램에 로딩한 후, 중앙처리부에 의한 영상 데이터의 요청이 있는 경우, 데이터로더부가 요청된 영상 데이터에 대한 어드레스 버스와 데이터 버스를 중앙처리부에 연결시켜 주는 것에 의해, 시뮬레이션의 실행 시 필요 영상 데이터를 저장부로부터 임시저장부로 로딩하는 과정을 병행하지 않도록 하는 것에 의해, 영상 데이터의 로딩에 의한 하드웨어적인 병목 현상을 최소화시켜, 고화질의 시뮬레이션을 수행할 수 있도록 하고, 시뮬레이션 수행의 지연을 최소화시키는 효과를 제공한다.
According to the present invention having the above-described configuration, when performing simulation by the embedded simulation system, the large-capacity image data required for the simulation is loaded in the RAM in advance, and when there is a request for image data by the central processing unit, By connecting the address bus and the data bus for data to the central processing unit so that the process of loading the necessary video data from the storage unit to the temporary storage unit during the execution of the simulation is not performed in parallel, Minimize bottlenecks, enable high-quality simulation, and minimize delays in simulation.
도 1은 본 발명이 실시예에 따르는 임베디드 시뮬레이션 시스템을 위한 영상 처리 장치(1)의 기능 블록도.
도 2는 상기 도 1의 영상 처리 장치(1)의 구체적인 실시예의 영상 처리 장치(100)를 나타내는 도면.
도 3은 도 2의 구성 중 FPGA(130)의 실시예를 나타내는 도면.
도 4는 본 발명의 임베디드 시뮬레이션 시스템을 위한 영상 처리 방법의 처리과정을 나타내는 순서도.1 is a functional block diagram of an
Fig. 2 is a diagram showing a
3 is a diagram illustrating an embodiment of an
4 is a flowchart showing a process of an image processing method for an embedded simulation system of the present invention.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings showing embodiments of the present invention.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
Embodiments in accordance with the concepts of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail in this specification or application. It should be understood, however, that the embodiments according to the concepts of the present invention are not intended to be limited to any particular mode of disclosure, but rather all variations, equivalents, and alternatives falling within the spirit and scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ",or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.
도 1은 본 발명이 실시예에 따르는 임베디드 시뮬레이션 시스템을 위한 영상 처리 장치(1)의 기능 블록도이다.1 is a functional block diagram of an
도 1에 도시된 바와 같이, 상기 영상 처리 장치(1)는 저장부(10), 임시저장부(20), 데이터로더부(30, 중앙처리부(40) 및 그래픽처리부(50)를 포함하여 구성된다.1, the
상기 저장부(10)는 플래시 드라이브 디스크(FDD), 하드 드라이브 디스크(HDD) 등으로 데이터를 영구적으로 저장할 수 있는 읽고 쓰기 가능한 저장장치로 구성된다. 상술한 구성의 상기 저장부(10)는 시뮬레이션의 수행을 위한 시뮬레이션 프로그램과 영상 데이터와 위치 및 고도 데이터 등의 시뮬레이션 수행을 위한 필요 데이터들을 저장한다.The storage unit 10 includes a flash drive disk (FDD), a hard disk drive (HDD), etc., and a readable and writable storage device capable of permanently storing data. The storage unit 10 having the above-described configuration stores a simulation program for performing a simulation and necessary data for performing simulation such as image data, position and altitude data, and the like.
상기 임시저장부(20)는 상기 중앙처리부(40)이 연산처리 수행을 위한 데이터 들이 임시 로딩되는 휘발성 기록장치로 구성된다. 즉, 상기 임시저장부(20)는 시뮬레이션의 실행을 위해 필요한 데이터를 미리 로딩하는 것에 의해 중앙처리부(40) 및 그래픽 처리부(50)가 신속하게 데이터 및 영상 데이터 처리를 수행할 수 있도록 하여 신속한 시뮬레이션 수행을 가능하게 한다.The
상기 임시저장부(20)는 중앙처리부(40)와 그래픽처리부(40)가 빠르게 접근할 수 있도록 하기 위하여, 운영체계, 응용프로그램 그리고 현재 사용 중인 데이터를 유지하고 있는 저장 장치로 구성된다. 상기 임시저장부(20)에 저장되는 데이터는 영상처리장치(1)가 작동하는 동안에만 유지되며, 영상처리장치(1)의 전원이 꺼지면 임시저장부(20)에 저장된 데이터는 지워진다. 영상처리장치(1)의 전원이 다시 켜지면 저장부(10)에 저장된 시뮬레이션 프로그램 및 시뮬레이션 프로그램 구동을 위한 데이터들이 다시 임시저장부(20)에 로딩된다.The
상기 데이터로더부(30)는 실시간 시뮬레이션의 실행을 위해 시뮬레이션 프로그램의 구동 이전에 상기 중앙처리부의 데이터 요청에 따라 시뮬레이션 프로그램과 영상데이터와 고도 위치 방위 등의 시뮬레이션 구동을 위한 데이터를 상기 임시저장부(20)로 로딩하도록 구성된다. 그리고 시뮬레이션 수행을 위한 데이터가 임시저장부(20)에 로딩된 후에 중앙처리부(40)와 임시저장부(120)의 해당 데이터에 대한 어드레스 버스 라인과 데이터 버스 라인의 관계를 분석하여, 임시저장부(120) 내에 저장된 중앙처리부(140) 요청 데이터의 어드레스 버스 라인 및 데이터 버스 라인을 식별해 낸다. 그리고 이 후 중앙처리부(140)와 임시저장부(120)의 중앙처리부 요청 데이터의 어드레스 버스라인과 데이터 버스 라인을 연결하여, 중앙처리부(140)가 임시저장부(120)에 저장된 시뮬레이션을 위한 데이터를 시간 지연 없이 읽어 들일 수 있도록 한다.The data loader unit 30 stores data for simulation driving such as simulation program, image data and altitude orientation in response to a data request of the central processing unit before the simulation program is executed, 20). After the data for executing the simulation is loaded into the
상기 중앙처리부(40)는 시뮬레이션 프로그램의 명령을 해독하여 실행하는 것으로, 기억, 연산, 제어의 기능을 수행하도록 구성된다. The
상기 그래픽처리부(50)는 영상 정보처리, 가속화, 신호전환, 화면출력 등의 영상 데이터 처리를 수행 하도록 구성된다. 즉, 상기 그래픽처리부(50)는 시뮬레이션 영상 생성을 위한 영상 데이터에 대한 영상처리를 중앙처리부(40)와 별도로 독립적으로 수행하도록 구성된다. 상기 그래픽처리부(50)는 중앙처리장치(40)의 그래픽 작업으로 인해 생기는 병목 현상을 줄일 수 있도록 그래픽 가속기능(Graphics Accelerator)을 구비할 수 있다. 또한, 상기 그래픽 처리부(50)는 중앙처리부(40)가 처리하던 트랜스폼(Transform)과 라이트닝(Lighting)을 대신 처리하여, 중앙처리부(40)의 부담을 줄이고 좀 더 자유롭게 사용할 수 있도록 한다.
The
도 2는 상기 도 1의 영상 처리 장치(1)의 구체적인 실시예의 영상 처리 장치(100)를 나타내는 도면이다.2 is a diagram showing the
도 2와 같이, 도 1의 영상처리장치(1)의 저장부(10), 임시저장부(20), 데이터로더부(30), 중앙처리부(40) 및 그래픽처리부(50)는, 도 2와 같이, 플래시 드라이브 디스크(110), 램(RAM)(120), 데이터로딩 및 어드레스 버스와 데이터 버스 연결 기능을 가지는 FPGA(130), CPU(14) 및 GPU(graphic process unit)(150)로 구체화되어 구성되어 임베디드 시뮬레이션 시스템을 위한 고성능 그래픽 보드로 구성될 수 있다.
2, the storage unit 10, the
도 3은 도 2의 구성 중 FPGA(130)의 실시예를 나타내는 도면이다.3 is a diagram showing an embodiment of the
도 3과 같이, 상기 FPGA(130)는 커맨드컨트롤러(131), 플래시컨트롤러(132), 어드레스디코더(133), 데이터디코더(134), 칩컨트롤러(135)를 포함하여 구성된다.As shown in FIG. 3, the
상기 커맨드컨트롤러(131)는 CPU(140)와 12C 방식의 통신을 수행하여 CPU에게 로딩해야 하는 대용량 이미지 데이터에 대한 정보 및 신호를 받아서 사전에 플래시 드라이브 디스크(110)에서 대용량 이미지 데이터를 읽어 들여 램(20)을 구성하는 다수의 램메모리로 중 특정 램메모리에 로딩한다. 구체적으로, 상기 커맨드컨트롤러(131)는 CPU(140)로부터 로딩해야 하는 이미지 정보를 수신하면 플래시컨트롤러(132)에 해당하는 이미지 블록 정보를 전달하여 지정된 램(20) 영역에 로딩하도록 하는 명령을 전송한다.The
상기 플래시컨트롤러(132)는 대용량 이미지가 저장된 플래시 디스크 드라이브(110)에서 커맨드컨트롤러(131)로부터 수신한 이미지 블록에 대응하는 대용량 이미지를 복사하여 램(120) 내의 지정된 영역에 복사하도록 구성된다.The
상기 어드레스디코더(133)는 CPU(140)와 연결된 어드레스 버스의 라인과 FPGA에 연결될 실제 물리적 램 어드레스 버스의 라인의 관계를 해석하여 어드레스 버스 라인을 연결시킨다. 예를 들어, CPU(140)에서 0X0001 번지를 요청했을 경우, 해당하는 어드레스가 1번 램의 0X200이면 해당하는 어드레스 신호를 발생시킨다.The
상기 데이터디코더(134)는 상기 어드레스 디코더(133)와 같이 CPU(140)와 램(120)의 데이터 버스 라인의 관계를 설정한다. 즉, 지정된 램 메모리에서 발생하는 데이터 버스 라인 신호를 CPU에 전달하는 것에 의해 CPU(140)가 해당 데이터를 읽어 들일 수 있도록 한다.The
상기 칩컨트롤러(135)는 램(120) 제어에 필요한 칩선택(CS: Chip Select), 출력 활성화(OE: Output Enable) 신호를 수신하여 램 메모리들을 제어하도록 구성된다.
The
도 4는 본 발명의 임베디드 시뮬레이션 시스템을 위한 영상 처리 방법의 처리과정을 나타내는 순서도.4 is a flowchart showing a process of an image processing method for an embedded simulation system of the present invention.
도 4에 도시된 바와 같이, 본 발명의 임베디드 시뮬레이션 시스템을 위한 영상 처리 방법은 중앙처리부(40)에 의한 영상데이터 요청과정(S10), 데이터로딩과정(S20), 어드레스 버스와 데이터 버스 관계 해석 과정(S30), 어드레스 버스와 데이터 버스 연결과정(S40)을 포함하여 이루어진다.As shown in FIG. 4, the image processing method for the embedded simulation system of the present invention includes an image data request step S10, a data loading step S20, (S30), and an address bus and a data bus connection process (S40).
상기 영상데이터요청과정(S10)은 중앙처리부(40)가 시뮬레이션 영상의 구현을 위해 데이터로더부(30)로 대용량 영상 데이터를 요청하는 과정이다.The image data requesting step S10 is a process in which the
상기 데이터로딩과정(S20)은 상기 데이터로더부(30)가 상기 중앙처리부(40)의 요청에 따라, 시뮬레이션 수행을 위해 저장부(10)에 저장된 시뮬레이션 프로그램과 영상 데이터, 위치 정보 데이터, 시야 정보 데이터 등의 시뮬레이션 수행을 위한 데이터를 상기 임시저장부(20)에 로딩한다.The data loading step S20 is a step in which the data loader unit 30 loads the simulation program stored in the storage unit 10 and the image data, Data for performing simulation such as data is loaded into the
상기 어드레스 버스와 데이터 버스 관계 해석 과정(S30)은 상기 데이터로더부(30)가 상기 중앙처리부(40)가 요청하여 임시저장부(20)에 로딩된 데이터의 임시저장부(20) 내부의 위치에 대응하는 어드레스 버스 라인과 데이터 버스 라인을 획득한다.The address bus and the data bus relationship analysis process S30 may be performed such that the data loader unit 30 requests the
다음으로, 상기 어드레스 버스와 데이터 버스 연결과정(S40)은 상기 데이터로더부(30)가 임시저장부(20)에 저장된 중앙처리부(40) 요청 데이터의 저장 위치의 어드레스 버스 라인과 데이터 버스 라인을 중앙처리부(40)와 연결하여 중앙처리부(40)가 임시저장부(20)에서 요청한 영상 데이터를 신속히 읽어 들일 수 있도록 한다.Next, the address bus and data bus connection process S40 is performed by the data loader unit 30 in the address bus line and the data bus line at the storage location of the
이 후에는 상기 중앙처리부(40)는 시뮬레이션의 실행을 위한 기억, 연산 및 제어를 수행하고, 상기 그래픽처리부(50)는 3D 영상처리, 영상 정보처리, 가속화, 신호전환, 화면출력, 트랜스폼(Transform)과 라이트닝(Lighting) 등의 영상 데이터 처리를 수행하는 것에 의해 시뮬레이션에 필요한 영상 데이터를 실시간으로 처리하여 시뮬레이션을 구현할 수 있도록 한다.
After that, the
상술한 본 발명은 시뮬레이션에 필요한 영상데이터를 미리 임시저장부(20)로 로딩하는 것을 특징으로 한다. 이에 의해 시뮬레이션 실행 과정에서, 중앙처리부(40)가 시뮬레이션을 위해 필요한 영상데이터를 임시저장부(20)에서 곧바로 읽어 들일 수 있도록 한다. 이에 따라, 시뮬레이션 실행 과정에서 저장부(10)로부터 임시저장부(20)로 데이터를 로딩하는 횟수를 줄일 수 있어, 임베디드 시뮬레이션 시스템에서 저장부(10)에서 임시저장부(20)로 데이터를 로딩하는 것에 의해 발생하는 하드웨어적인 병목 현상을 최소화한다. 따라서 끊김 없는 실시간 고성능 시뮬레이션 그래픽 구현을 가능하게 한다.The present invention is characterized in that the image data necessary for the simulation is loaded into the
이러한 기술적 특징에 의해 본 발명의 임베디드 시뮬레이션 시스템은, 저장부(10)로부터 임시저장부(20)로 데이터를 로딩해야 하는 필요에 따라 발생하는 하드웨어적인 성능 병목 현상을 해소하여 고화질의 시뮬레이션 영상을 효과적으로 재생시키는 임베디드 시뮬레이션 시스템을 위한 고성능 그래픽 보드로 제공될 수도 있다.
The embedded simulation system of the present invention eliminates the hardware performance bottleneck caused by the need to load data from the storage unit 10 into the
1: 영상처리장치 10: 저장부
20: 임시저장부 30: 데이터로더부
40: 중앙처리부 50: 그래픽 처리부1: image processing apparatus 10: storage unit
20: temporary storage unit 30: data loader unit
40: central processing unit 50: graphic processing unit
Claims (9)
상기 데이터가 로딩되는 임시저장부;
중앙처리부의 요청에 따라 시뮬레이션 실행을 위한 상기 저장부에 저장된 데이터를 상기 임시저장부에 로딩하는 데이터로더부;
상기 임시저장부에 로딩된 데이터 중 시뮬레이션 프로그램을 실행하여 시뮬레이션을 수행하는 중앙처리부; 및,
상기 시뮬레이션의 수행 중 영상데이터에 대한 영상처리를 수행하는 그래픽처리부;를 포함하며,
상기 데이터로더부는,
상기 중앙처리부의 요청에 따라 상기 시뮬레이션 실행을 위해 필요한 대용량 영상 데이터를 상기 저장부에서 상기 임시저장부로 로딩하도록 구성되고,
상기 임시저장부에 저장된 영상데이터의 저장위치에 대응하는 어드레스 버스 라인과 데이터 버스 라인을 획득한 후, 상기 중앙처리부와 상기 임시저장부의 어드레스 버스 라인과 데이터 버스 라인을 연결시키도록 구성되는 것을 특징으로 하는 임베디드 시뮬레이션 시스템을 위한 영상처리 장치.
A storage unit for storing data for simulation;
A temporary storage unit in which the data is loaded;
A data loader unit for loading data stored in the storage unit for simulation execution into the temporary storage unit at the request of the central processing unit;
A central processing unit for executing a simulation program among the data loaded in the temporary storage unit to perform a simulation; And
And a graphics processor for performing image processing on the image data during the execution of the simulation,
The data loader unit,
And load large-capacity image data required for execution of the simulation from the storage unit to the temporary storage unit at the request of the central processing unit,
The address bus line and the data bus line corresponding to the storage location of the image data stored in the temporary storage unit are acquired and then the address bus line and the data bus line of the central processing unit and the temporary storage unit are connected to each other. An image processing device for an embedded simulation system.
중앙처리부와 통신을 수행하여 중앙처리부로부터 로딩 대상 데이터 정보 및 신호를 받아 미리 상기 저장부에서 상기 데이터를 상기 임시저장부로 로딩하도록 하는 명령을 출력하는 커맨드컨트롤러;
상기 커맨드컨트롤러의 로딩 명령에 따라 상기 저장부의 상기 데이터가 저장된 데이터 블록의 데이터를 복사하여 상기 임시저장부로 로딩하는 플래시컨트롤러;
상기 중앙처리부와 연결된 어드레스 버스 라인과 상기 데이터로더부에 연결된 상기 임시저장부의 물리적 어드레스 버스 라인의 관계를 해석하여 연결시켜주는 어드레스디코더;
상기 중앙처리부와 상기 임시저장부의 데이터 버스 라인의 관계를 해석하여 상기 데이터가 저장된 데이터 버스 라인을 상기 중앙처리부와 연결시키는 데이터디코더; 및
상기 임시저장부 제어에 필요한 CS(Chip Select), OE(Output Enable) 신호를 수신하여 상기 임시저장부를 제어하는 칩컨트롤러;를 포함하는 FPGA로 구성되는 것을 특징으로 하는 임베디드 시뮬레이션 시스템을 위한 영상처리 장치.
The data processing apparatus according to claim 1,
A command controller for communicating with the central processing unit to receive loading data information and signals from the central processing unit and loading the data into the temporary storage unit in advance from the storage unit;
A flash controller for copying data of a data block storing the data of the storage unit according to a loading command of the command controller and loading the data of the data block into the temporary storage unit;
An address decoder for analyzing and connecting the relationship between an address bus line connected to the central processing unit and a physical address bus line for the temporary storage unit connected to the data loader unit;
A data decoder for interpreting a relationship between data bus lines of the central processing unit and the temporary storage unit and connecting the data bus line storing the data to the central processing unit; And
And a chip controller for receiving the CS (Chip Select) and OE (Output Enable) signals required for the temporary storage unit control and controlling the temporary storage unit. The image processing apparatus for an embedded simulation system according to claim 1, .
상기 데이터로더부가 상기 중앙처리부의 시뮬레이션 데이터 요청 신호에 따라 상기 저장부의 시뮬레이션 수행을 위한 데이터를 상기 임시저장부에 로딩하는 데이터로딩과정; 및
상기 데이터로더부가 상기 데이터의 상기 임시저장부에서의 저장위치에 대응하는 어드레스 버스와 데이터 버스를 상기 중앙처리부로 연결시키는 어드레스 버스와 데이터 버스 연결과정;을 포함하여 이루어지는 것을 특징으로 하는 임베디드 시뮬레이션 시스템을 위한 영상처리 방법.
An image processing method of an embedded simulation system including a storage unit, a temporary storage unit, a data loader unit, a central processing unit, and a graphics processing unit,
A data loading step of loading data for simulating the storage unit into the temporary storage unit according to a simulation data request signal of the central processing unit; And
And an address bus and a data bus connecting the data bus to an address bus and a data bus corresponding to a storage location in the temporary storage unit of the data loader unit to the central processing unit. / RTI >
상기 데이터로딩과정 이전에 중앙처리부가 상기 시뮬레이션 수행을 위한 영상 데이터를 상기 데이터로더부로 요청하는 영상데이터요청과정;을 더 포함하여 이루어 지는 것을 특징으로 하는 임베디드 시뮬레이션 시스템을 위한 영상처리 방법.
The method of claim 6,
Wherein the central processing unit requests the image data for the simulation to be performed by the data loader unit before the data loading process.
상기 데이터로더부가 상기 임시저장부의 상기 중앙처리부 요청 데이터 저장 블록의 어드레스 버스 라인과 데이터 버스 라인을 상기 중앙처리부와 연결시키는 과정인 것을 특징으로 하는 임베디드 시뮬레이션 시스템을 위한 영상처리 방법.
7. The method of claim 6,
Wherein the data loader unit connects the address bus line and the data bus line of the central processing unit requested data storage block of the temporary storage unit to the central processing unit.
상기 데이터로더부가 상기 임시저장부로 로딩된 데이터의 어드레스 버스 정보와 데이터 버스 관계를 해석하여 상기 중앙처리부 요청 데이터에 대한 상기 임시저장부의 상기 어드레스 버스와 데이터 버스의 각 라인 정보를 획득하는 어드레스 버스와 데이터 버스 관계 해석 과정;을 더 포함하여 이루어지는 것을 특징으로 하는 임베디드 시뮬레이션 시스템을 위한 영상처리 방법.7. The method of claim 6, further comprising, prior to the process of connecting the address bus and the data bus,
The data loader unit interprets the address bus information and the data bus relationship of the data loaded into the temporary storage unit and generates an address bus for obtaining the line information of the address bus and the data bus of the temporary storage unit for the central processing unit requested data, And a bus correlation analyzing step of analyzing the image data of the embedded simulation system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140095081A KR101567313B1 (en) | 2014-07-25 | 2014-07-25 | Apparatus for processing image data for embedded simulation system and the method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140095081A KR101567313B1 (en) | 2014-07-25 | 2014-07-25 | Apparatus for processing image data for embedded simulation system and the method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101567313B1 true KR101567313B1 (en) | 2015-11-20 |
Family
ID=54844308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140095081A KR101567313B1 (en) | 2014-07-25 | 2014-07-25 | Apparatus for processing image data for embedded simulation system and the method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101567313B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902355A (en) * | 2019-01-29 | 2019-06-18 | 中国航空无线电电子研究所 | The method of load data processing unit is laid out in MCU cabinet |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002133072A (en) * | 2000-10-24 | 2002-05-10 | Toppan Printing Co Ltd | Gift layout simulation system and its package medium |
-
2014
- 2014-07-25 KR KR1020140095081A patent/KR101567313B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002133072A (en) * | 2000-10-24 | 2002-05-10 | Toppan Printing Co Ltd | Gift layout simulation system and its package medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902355A (en) * | 2019-01-29 | 2019-06-18 | 中国航空无线电电子研究所 | The method of load data processing unit is laid out in MCU cabinet |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3698294B1 (en) | Machine learning runtime library for neural network acceleration | |
CN111258744A (en) | Task processing method based on heterogeneous computation and software and hardware framework system | |
US9342859B2 (en) | GPU based parallel image processing at thin client | |
CN111459618A (en) | Intelligent GPU scheduling in virtualized environments | |
US10430246B2 (en) | Virtualized and synchronous access to hardware accelerators | |
US20190004839A1 (en) | Early virtualization context switch for virtualized accelerated processing device | |
US20210158131A1 (en) | Hierarchical partitioning of operators | |
US20150195213A1 (en) | Request distribution method and information processing apparatus | |
US20190004840A1 (en) | Register partition and protection for virtualized processing device | |
US20160110209A1 (en) | Apparatus and method for performing multi-core emulation based on multi-threading | |
JP2023519405A (en) | Method and task scheduler for scheduling hardware accelerators | |
US11175919B1 (en) | Synchronization of concurrent computation engines | |
US20220058048A1 (en) | Varying firmware for virtualized device | |
US11431872B2 (en) | Buffer management for plug-in architectures in computation graph structures | |
US10467023B2 (en) | System and method of interactive splash screen in embedded environments | |
KR102315102B1 (en) | Method, device, apparatus, and medium for booting a virtual machine | |
US10922146B1 (en) | Synchronization of concurrent computation engines | |
US8402229B1 (en) | System and method for enabling interoperability between application programming interfaces | |
KR101567313B1 (en) | Apparatus for processing image data for embedded simulation system and the method thereof | |
EP2472396A1 (en) | Computer device | |
US8539516B1 (en) | System and method for enabling interoperability between application programming interfaces | |
GB2506727A (en) | Server-rendering of graphics for remote client | |
US10261817B2 (en) | System on a chip and method for a controller supported virtual machine monitor | |
DE102021121302A1 (en) | GRAPHICS PROCESSING UNIT WITH DELEGATOR AND METHOD OF OPERATING THEREOR | |
CN112950085A (en) | Unmanned aerial vehicle cluster monitoring method, computer storage medium and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180828 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190827 Year of fee payment: 5 |