WO2017074072A1 - 렌즈 왜곡 교정 장치 및 동작 방법 - Google Patents

렌즈 왜곡 교정 장치 및 동작 방법 Download PDF

Info

Publication number
WO2017074072A1
WO2017074072A1 PCT/KR2016/012186 KR2016012186W WO2017074072A1 WO 2017074072 A1 WO2017074072 A1 WO 2017074072A1 KR 2016012186 W KR2016012186 W KR 2016012186W WO 2017074072 A1 WO2017074072 A1 WO 2017074072A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens distortion
distortion correction
cores
output
output values
Prior art date
Application number
PCT/KR2016/012186
Other languages
English (en)
French (fr)
Inventor
최한준
유정영
Original Assignee
주식회사 넥서스칩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥서스칩스 filed Critical 주식회사 넥서스칩스
Publication of WO2017074072A1 publication Critical patent/WO2017074072A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Definitions

  • LDC lens distortion correction
  • the lens distortion correction apparatus is being used in various fields because various image processing is possible by changing only the look-up table (LUT) in the structure of a general lens distortion correction (LDC) apparatus.
  • LUT look-up table
  • LDC general lens distortion correction
  • the lens distortion correction apparatus varies in the amount of bands required to read the stored pixel values according to the lookup table.
  • the most restrictive problem in utilizing the lens distortion correction apparatus is often caused by lack of band.
  • the lens distortion correction (LDC) implementation of a single scan method cannot take full advantage of the bandwidth supported by the bus. As a result, there is a limit to providing the frame rate required by the customer. As a solution to this, the method of increasing the data rate itself, such as using the double data rate (DDR) method instead of the single data rate (SDR) method, was used. It is not possible to provide the required frame rate.
  • DDR double data rate
  • SDR single data rate
  • the device is generated using only one lens distortion correction core to generate the device as shown in the structure 100 of FIG. 1, and the operation reads data through the bus whenever a pixel value required to generate an output line is needed. It works in the way it comes.
  • a cache can generally be used. In the case of a cache hit, the cache hit reads the pixel data from the cache rather than sending a read request to the bus. Conversely, in the case of a cache miss, a read request is sent to the bus to read and process pixel data from the DRAM. In this technique, processing with only one core results in more downtime during the available period of DRAM, resulting in performance degradation.
  • the lens distortion correction apparatus collects a plurality of lens distortion correction cores, and output values from the plurality of lens distortion correction cores, and based on the order of the plurality of lens distortion correction cores on the collected output values. It includes an output buffer that combines into an output line.
  • the lens distortion correcting apparatus may further include a plurality of lookup table memories corresponding to each of the plurality of lens distortion correcting cores.
  • the plurality of lens distortion correcting cores may simultaneously connect to respective lookup tables to generate pixel data corresponding to the output values.
  • the plurality of lookup table memories may store lookup table values corresponding to each lens distortion correction core.
  • the output buffer generates the output lines sequentially according to the order of the plurality of lens distortion correction cores, regardless of the collection order of the output values.
  • Each of the plurality of lens distortion correction cores according to an embodiment is assigned a bus read request port.
  • the plurality of lens distortion correction cores simultaneously output the output values
  • the output buffer sequentially outputs the simultaneously output values along the output line.
  • the plurality of lens distortion correction cores are synchronized with start and end time points according to the same start signal and end signal.
  • the plurality of lens distortion correction cores transmit an end point at which all of the plurality of lens distortion correction cores are finished.
  • a method of operating an apparatus for correcting lens distortion includes collecting output values from a plurality of lens distortion correction cores, and outputting the combined output values by combining the collected output values based on the order of the plurality of lens distortion correction cores. Generating a line.
  • the generating of the output line may include sequentially generating the output line according to the order of the plurality of lens distortion correction cores, regardless of the collection order of the output values.
  • the method of operating a lens distortion correcting apparatus may further include simultaneously outputting the output values by the plurality of lens distortion correction cores, and generating the output line may include outputting the simultaneously output values. Outputting sequentially according to the output line.
  • the method of operating an apparatus for correcting lens distortion may further include transmitting an end point at which all of the plurality of lens distortion correcting cores are terminated to the outside.
  • the band of the bus can be efficiently used by using the lens distortion correction apparatus for scanning in dual or dual or multiplex.
  • LDC lens distortion correction
  • LDC lens distortion correction
  • FIG. 3 is a diagram comparing bus access timing between a lens distortion correcting apparatus and a related art, according to an exemplary embodiment
  • FIG. 4 is a diagram comparing one frame waveform between a lens distortion correcting apparatus and a related art according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating an image of a processing result between a lens distortion correcting apparatus and a related art, according to an exemplary embodiment
  • FIG. 6 is a diagram illustrating a structure of a lens distortion correction (LDC) device according to another embodiment of the present invention.
  • LDC lens distortion correction
  • FIG. 7 is a diagram for explaining synchronization processing between respective lens distortion correction cores.
  • LDC lens distortion correction
  • Embodiments according to the inventive concept may be variously modified and have various forms, so embodiments are illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments in accordance with the concept of the present invention to specific embodiments, and includes modifications, equivalents, or substitutes included in the spirit and scope of the present invention.
  • first or second may be used to describe various components, but the components should not be limited by the terms. The terms are only for the purpose of distinguishing one component from another component, for example, without departing from the scope of the rights according to the inventive concept, the first component may be called a second component, Similarly, the second component may also be referred to as the first component.
  • Lens distortion correction (LDC) apparatus and operation method according to an embodiment of the present invention can be applied to all fields related to the field of reading the necessary pixels through the look-up table from the stored image to generate the output image.
  • LDC Lens distortion correction
  • LDC lens distortion correction
  • the apparatus 200 for correcting lens distortion may satisfy an output frame rate performance and a function of supporting various lookup tables required by a user by maximizing a band that can be supported on a bus.
  • the lens distortion correction apparatus 200 includes a plurality of lens distortion correction cores 201 and 202 and an output buffer 205.
  • the output buffer 205 collects output values from the plurality of lens distortion correction cores 201 and 202 and combines the collected output values based on the order of the plurality of lens distortion correction cores 201 and 202. You can create an output line.
  • the lens distortion correcting apparatus 200 generates an output line using the plurality of lens distortion correcting cores 201 and 202 and the output buffer 205.
  • the plurality of lens distortion correction cores 201 and 202 operate by reading data through the bus whenever pixel values are needed. In this case, the method of reading data through the bus for each pixel is inefficient and can be read by a predetermined unit.
  • the plurality of lens distortion correction cores 201 and 202 may refer to a lookup table corresponding to each lens distortion correction core in order to read data by a predetermined unit.
  • lookup tables may be stored in these lookup table memories 206 and 207.
  • the lookup table memories 206 and 207 may perform a function of a cache. For example, when using the lookup table memories 206 and 207, the plurality of lens distortion correction cores 201 and 202 read request to the bus when the required pixels are in the lookup table memories 206 and 207. Instead of sending the data, the pixel data is read from the lookup table memories 206 and 207 and processed.
  • the plurality of lens distortion correction cores 201 and 202 send a read request to the bus to read and process the pixel data from the DRAM.
  • the downtime during the available period in the DRAM is less than when using a single core, thereby improving performance.
  • the lens distortion correction apparatus 200 may generate one line by dividing the number into two or more numbers and generating the number of cores separately.
  • each core must have a lookup table memory (LUT sram) separately, and the contents of each lookup table memory (LUT sram) may be the same.
  • the lookup table memory (LUT sram) may be optimized by storing only lookup table values required by each core.
  • a read request is sent to the bus as shown by reference numerals 203 and 204, thereby making the maximum available band available on the bus. Even if two cores are used as shown in FIG. 2, there may actually be a little more room on the bus, and in this case, more cores may be processed in parallel through a dual scan method.
  • a plurality of lens distortion correction cores 201 and 202 should be able to send a request according to a cache miss on a bus, respectively.
  • the output value should be able to 'write' the output buffer 205 by dividing it.
  • each lens distortion correction core 201 and 202 is configured to simultaneously access the lookup table memories 206 and 207 for generating pixel data at positions corresponding to the output buffer 205.
  • FIG. 3 is a diagram comparing bus access timing between a lens distortion correcting apparatus and a related art, according to an exemplary embodiment
  • o_miss_req0 311 and o_miss_req1 313 are signals for generating a cache miss and sending a read request to the bus.
  • the apparatus for correcting lens distortion may efficiently use the band by scanning two or more cores by dividing one line so that all available bands may be used.
  • Reference numeral 320 denotes a timing of the lens distortion correction apparatus according to an embodiment.
  • the lens distortion correcting apparatus may send a read request to the bus through o_miss_req0 321 and o_miss_req1 322 when a cache miss occurs.
  • the lens distortion correction apparatus may draw an output line at the same time by dividing the output buffer into several, and the number of ports for sending the read request 323 to the bus also increases in comparison with the number of cores.
  • the resultant timing diagram of the dual scan method for the same line processing identified by reference numeral 320 can significantly reduce the time of rest 324 on the bus.
  • FIG. 4 is a diagram comparing one frame waveform between a lens distortion correcting apparatus and a related art according to an exemplary embodiment.
  • reference numeral 410 of FIG. 4 denotes one frame using a conventional apparatus, and it can be seen that an underflow 411 occurs in the front line of one frame.
  • Underflow occurs when the output speed is faster than the output line's generation rate. If an underflow occurs, it may be interpreted as outputting a line not yet generated. That is, when underflow occurs, previously generated line data is output instead. This causes the entire image to stretch down.
  • FIG. 5 is a diagram illustrating an image of a processing result between a lens distortion correcting apparatus and a related art, according to an exemplary embodiment
  • FIG. 5 illustrates a result image 510 according to a conventional apparatus in which underflow occurs and a resultant image 520 in a dual scan method in which no underflow occurs.
  • the resultant image 510 in which the underflow is generated appears to be waving and the middle part is also stretched down.
  • the resultant image 520 from the lens distortion correcting apparatus according to the embodiment maintains the middle portion as intended by the user, and does not cause a wavy problem.
  • FIG. 6 is a diagram illustrating a structure of a lens distortion correction (LDC) device according to another embodiment of the present invention.
  • LDC lens distortion correction
  • the lens distortion correction apparatus 600 may implement a multiple scan method using a plurality of cores and lookup table memories corresponding to the cores.
  • the lens distortion correction apparatus 600 may scan to divide one output line using a plurality of cores so as to use all available bands.
  • each of the plurality of lens distortion correction cores may be assigned a bus read request port.
  • output values generated simultaneously in a plurality of cores may be sequentially written to the output buffer.
  • the output buffer may sequentially record the output values in consideration of the order of the cores.
  • the output buffer may sequentially store the output value from the core N-1 from the output value from the core 0. .
  • FIG. 7 is a diagram for explaining synchronization processing between respective lens distortion correction cores.
  • each lens distortion correction core included in the lens distortion correction apparatus must also start and end together, a signal indicating that the lens distortion correction cores are finished after all of them are output must be output.
  • the start and end time points of the plurality of lens distortion correction cores may be synchronized according to the same start signal 701 and the end signal 702.
  • the lens distortion correction cores included in the lens distortion correction apparatus may generate output values according to the start signal 701 and output them to the outside, and terminate the generation of the output values together with the end signal 702. .
  • the plurality of lens distortion correction cores may transmit an end time point at which all of the lens distortion correction cores are all finished.
  • FIG. 8 is a view for explaining a lens distortion correction method according to an embodiment of the present invention.
  • the lens distortion correction method may collect output values from the plurality of lens distortion correction cores (step 801).
  • the lens distortion correction method may be generated by dividing a line into two or more numbers and subdividing the number of cores into pieces instead of a technique of generating one line with only one core.
  • each core must have a lookup table memory separately, and the contents of each lookup table memory can be the same.
  • This lookup table memory can also be optimized by storing only the values required by each core.
  • the lens distortion correction method may generate an output line by combining the collected output values based on the order of the plurality of lens distortion correction cores (step 802).
  • the output lines are combined based on the order of the plurality of lens distortion correction cores, the output lines may be sequentially output in the same manner as the order of the plurality of lens distortion correction cores.
  • a read request is sent to the bus at the same time, thereby making the most of the available bandwidth on the bus.
  • the actual bus may have a little more bandwidth, and in such a case, it is possible to use a limited band to the maximum by expanding more cores in parallel. Can be.
  • the lens distortion correction method may transmit an end time point at which all of the plurality of lens distortion correction cores are terminated to the outside. That is, according to the lens distortion correcting method according to an exemplary embodiment, each lens distortion correction core needs to coincide with a starting point and an ending point of the lens distortion correction core.
  • the present invention can satisfy the performance of the output frame rate and the function of supporting various lookup tables required by the user by maximizing the bandwidth supported by the bus.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments are, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable gate arrays (FPGAs).
  • ALUs arithmetic logic units
  • FPGAs field programmable gate arrays
  • PLU programmable logic unit
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

본 발명은 버스의 대역을 효율적으로 사용하여 시스템 성능을 향상시키기 위한 방안으로서, 일실시예에 따른 렌즈 왜곡 교정 장치는 복수의 렌즈 왜곡 교정 코어, 및 상기 복수의 렌즈 왜곡 교정 코어로부터의 출력 값들을 수집하고, 상기 수집된 출력 값들에 상기 복수의 렌즈 왜곡 교정 코어의 순서를 기초로 결합하여 출력 라인을 생성하는 출력 버퍼를 포함한다.

Description

렌즈 왜곡 교정 장치 및 동작 방법
버스의 대역을 효율적으로 사용하여 시스템 성능을 향상시키기 위한 기술로서, 듀얼 또는 듀얼 이상의 다중으로 스캔하는 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 장치의 구조에 관한 기술적 사상을 개시한다.
일반적인 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 장치의 구조에 룩업테이블(LUT, Look-up table)만 변경함에 따라 다양한 이미지 처리가 가능하기 때문에 렌즈 왜곡 교정 장치는 다양한 분야에서 활용되고 있다.
한편, 렌즈 왜곡 교정 장치는 룩업테이블에 따라 저장된 픽셀 값들을 읽어오는데 소요되는 대역의 양이 천차만별이다. 또한, 렌즈 왜곡 교정 장치를 활용하는데 가장 제약이 되는 문제는 대역이 부족하여 생기는 경우가 대부분이다.
현재에는, 렌즈 왜곡 교정(LDC, Lens Distortion Correction)을 단일 스캔 방식으로 구현함에 따라 버스에서 지원하는 대역을 최대 활용할 수 없다. 결국 고객이 요구하는 프레임 레이트를 제공하는데 한계가 있는데, 이에 대한 해결 방안으로 SDR(Single Data Rate) 방식 대신에 DDR(Double Data Rate) 방식을 사용하는 등 데이터 레이트 자체를 늘리는 방식을 사용했었으나 고객이 요구하는 프레임 레이트를 제공할 수는 없는 실정이다.
구체적으로, 종래에는 도 1의 구조(100)와 같이 장치를 생성하는데 하나의 렌즈 왜곡 교정 코어만을 사용하여 생성하고 그 동작은 출력 라인을 생성하는데 필요한 픽셀 값이 필요할 때마다 버스를 통해 데이터를 읽어오는 방식으로 동작한다.
하나의 픽셀마다 버스를 통해 데이터를 리드하는 방식은 일정 단위만큼씩 읽어오는 것이 바람직하나 다양한 룩업테이블에 부합되도록 필요한 픽셀 데이터를 읽어와야 하는 경우 다음 읽어야 하는 픽셀 단위를 알 수 없다. 이를 위해 일반적으로 캐시를 사용할 수 있는데, 캐시를 사용하는 경우에는 캐시 히트의 경우 버스로 리드 요청(read request)을 보내는 것이 아니라 캐시에서 픽셀 데이터를 읽어서 처리하게 된다. 반대로, 캐시 미스인 경우에 버스에 리드 요청을 보내 DRAM으로부터 픽셀 데이터를 리드하여 처리한다. 이러한 기술에는 하나의 코어만을 사용하여 처리함으로써 DRAM에서 가용한 구간 동안에 쉬는 시간이 많아지게 되고 이로 인해 성능 저하가 발생된다.
따라서, 버스에 주어지는 대역을 최대로 활용할 수 있는 기술이 필요하다.
본 발명의 목적은 듀얼 또는 듀얼 이상의 다중으로 스캔하는 렌즈 왜곡 교정 장치를 이용하여 버스의 대역을 효율적으로 사용할 수 있는 렌즈 왜곡 교정 장치 및 동작 방법을 제공하는 것이다.
일실시예에 따른 렌즈 왜곡 교정 장치는 복수의 렌즈 왜곡 교정 코어, 및 상기 복수의 렌즈 왜곡 교정 코어로부터의 출력 값들을 수집하고, 상기 수집된 출력 값들에 상기 복수의 렌즈 왜곡 교정 코어의 순서를 기초로 결합하여 출력 라인을 생성하는 출력 버퍼를 포함한다.
일실시예에 따른 렌즈 왜곡 교정 장치는 상기 복수의 렌즈 왜곡 교정 코어 각각에 대응되는 복수의 룩업테이블 메모리를 더 포함한다.
일실시예에 따른 상기 복수의 렌즈 왜곡 교정 코어는, 각각의 룩업테이블에 동시 접속하여 상기 출력 값에 상응하는 픽셀데이터를 생성한다.
일실시예에 따른 상기 복수의 룩업테이블 메모리는 각 렌즈 왜곡 교정 코어에 상응하는 룩업테이블 값을 저장한다.
일실시예에 따른 상기 출력 버퍼는, 상기 출력 값의 수집 순서와 상관없이, 상기 복수의 렌즈 왜곡 교정 코어의 순서에 따라 순차적으로 상기 출력 라인을 생성한다.
일실시예에 따른 일실시예에 따른 상기 복수의 렌즈 왜곡 교정 코어 각각은 버스 리드 요청 포트(bus read request port)가 할당된다.
일실시예에 따른 상기 복수의 렌즈 왜곡 교정 코어는 상기 출력 값들을 동시 출력하고, 상기 출력버퍼는 상기 동시 출력된 출력 값들을 상기 출력 라인에 따라 순차적으로 출력한다.
일실시예에 따른 상기 복수의 렌즈 왜곡 교정 코어는 동일한 시작 신호 및 종료 신호에 따라 시작 및 종료 시점이 동기화된다.
일실시예에 따른 상기 복수의 렌즈 왜곡 교정 코어는, 상기 복수의 렌즈 왜곡 교정 코어가 모두 종료된 종료 시점을 외부로 전달한다.
일실시예에 따른 렌즈 왜곡 교정 장치의 동작 방법은 복수의 렌즈 왜곡 교정 코어로부터의 출력 값들을 수집하는 단계, 및 상기 수집된 출력 값들에 상기 복수의 렌즈 왜곡 교정 코어의 순서를 기초로 결합하여 출력 라인을 생성하는 단계를 포함한다.
일실시예에 따른 상기 출력 라인을 생성하는 단계는, 상기 출력 값의 수집 순서와 상관없이, 상기 복수의 렌즈 왜곡 교정 코어의 순서에 따라 순차적으로 상기 출력 라인을 생성하는 단계를 포함한다.
일실시예에 따른 렌즈 왜곡 교정 장치의 동작 방법은 상기 복수의 렌즈 왜곡 교정 코어가 상기 출력 값들을 동시 출력하는 단계를 더 포함하고, 상기 출력 라인을 생성하는 단계는, 상기 동시 출력된 출력 값들을 상기 출력 라인에 따라 순차적으로 출력하는 단계를 포함한다.
일실시예에 따른 렌즈 왜곡 교정 장치의 동작 방법은 상기 복수의 렌즈 왜곡 교정 코어가 모두 종료된 종료 시점을 외부로 전달하는 단계를 더 포함한다.
본 발명의 실시예에 따르면, 듀얼 또는 듀얼 이상의 다중으로 스캔하는 렌즈 왜곡 교정 장치를 이용하여 버스의 대역을 효율적으로 사용할 수 있다.
도 1은 종래 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 장치의 구조를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 장치의 구조를 설명하는 도면이다.
도 3은 일실시예에 따른 렌즈 왜곡 교정 장치와 종래 기술 간의 버스 접근 타이밍을 비교하는 도면이다.
도 4는 일실시예에 따른 렌즈 왜곡 교정 장치와 종래 기술 간의 한 프레임 파형을 비교하는 도면이다.
도 5는 일실시예에 따른 렌즈 왜곡 교정 장치와 종래 기술 간의 처리 결과 이미지를 비교하는 도면이다.
도 6은 본 발명의 다른 일실시예에 따른 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 장치의 구조를 설명하는 도면이다.
도 7은 각 렌즈 왜곡 교정 코어들 간 동기 처리를 설명하는 도면이다.
도 8은 본 발명의 일실시예에 따른 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 방법을 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명에 따른 일실시예에 따른 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 장치 및 동작 방법은 저장된 이미지로부터 룩업테이블을 통해 필요한 픽셀을 읽어 출력 이미지를 생성하는 분야와 관련된 모든 분야에 적용될 수 있다.
도 2는 본 발명의 일실시예에 따른 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 장치(200)의 구조를 설명하는 도면이다.
일실시예에 따른 렌즈 왜곡 교정 장치(200)는 버스에서 지원 가능한 대역을 최대로 사용함으로써 사용자가 요구하는 다양한 룩업테이블의 지원이라는 기능과 출력 프레임 레이트 성능을 만족할 수 있다.
이를 위해, 렌즈 왜곡 교정 장치(200)는 복수의 렌즈 왜곡 교정 코어(201, 202)와 출력 버퍼(205)를 포함한다.
특히, 출력 버퍼(205)는 복수의 렌즈 왜곡 교정 코어(201, 202)로부터의 출력 값들을 수집하고, 수집된 출력 값들에 복수의 렌즈 왜곡 교정 코어(201, 202)의 순서를 기초로 결합하여 출력 라인을 생성할 수 있다.
구체적으로, 렌즈 왜곡 교정 장치(200)는 복수의 렌즈 왜곡 교정 코어(201, 202)와 출력 버퍼(205)를 이용하여 출력 라인을 생성한다. 예를 들어, 복수의 렌즈 왜곡 교정 코어(201, 202)는 픽셀 값이 필요할 때마다 버스를 통해 데이터를 읽어오는 방식으로 동작한다. 이때, 하나의 픽셀마다 버스를 통해 데이터를 리드하는 방식은 비효율적이므로 일정 단위만큼씩 읽어올 수 있다.
복수의 렌즈 왜곡 교정 코어(201, 202)는 일정 단위만큼씩 데이터를 리드하기 위해, 각 렌즈 왜곡 교정 코어에 해당하는 룩업테이블을 참조할 수 있다. 일례로, 룩업테이블들은 이 룩업테이블 메모리(206, 207)에 저장될 수 있다.
룩업테이블 메모리(206, 207)는 캐시의 기능을 수행할 수 있다. 예를 들어, 룩업테이블 메모리(206, 207)를 사용하는 경우, 복수의 렌즈 왜곡 교정 코어(201, 202)는 필요한 픽셀이 룩업테이블 메모리(206, 207)에 있으면 버스로 리드 요청(read request)을 보내는 것이 아니라 룩업테이블 메모리(206, 207)에서 픽셀 데이터를 읽어서 처리하게 된다.
반대로, 필요한 픽셀이 룩업테이블 메모리(206, 207)에 없는 경우 복수의 렌즈 왜곡 교정 코어(201, 202)는 버스에 리드 요청을 보내 DRAM으로부터 픽셀 데이터를 리드하여 처리한다.
본 발명에 따르면, 복수의 코어들을 사용함으로써 DRAM에서 가용한 구간 동안에 쉬는 시간이 단일 코어를 사용할 때 보다 적어지고 이로 인해 성능 향상이 가능하다.
즉, 종래 하나의 코어만으로 한 라인을 생성하던 것을 렌즈 왜곡 교정 장치(200)는 한 라인을 두 개 또는 그 이상의 개수로 나누고 나뉜 개수만큼의 코어들로 각각 맡아서 생성할 수 있다. 이를 위해서는 각 코어에서 룩업테이블 메모리(LUT sram)를 별도로 가지고 있어야 하고 각 룩업테이블 메모리(LUT sram)의 내용이 동일할 수 있다. 한편, 룩업테이블 메모리(LUT sram)은 각 코어에서 필요로 하는 룩업테이블 값들만을 저장하는 것으로 최적화될 수도 있다. 이렇게 각 코어에서 나뉜 영역을 동시에 생성한 뒤에 생성된 라인 버퍼를 읽어서 출력될 때에는 순차적으로 이어서 출력하게 된다.
각 복수의 렌즈 왜곡 교정 코어(201, 202)가 동시에 맡은 영역을 생성하기 위해서는 도면부호 203, 204와 같이 버스로 리드 요청을 함께 보내게 되며 이를 통해 버스에서 가용한 대역을 최대로 사용할 수 있다. 도 2와 같이 두 개의 코어를 사용하더라도 실제로는 버스에 조금 더 여유가 있을 수 있고 이러한 경우 듀얼 스캔 방식을 통해 더 많은 코어를 병행처리 할 수 있다.
본 발명을 구현하기 위해서는 도 2와 같이 복수의 렌즈 왜곡 교정 코어(201, 202)로 구성되어 각각 버스에 캐시 미스에 따른 요청을 보낼 수 있어야 하고 각 복수의 렌즈 왜곡 교정 코어(201, 202)의 출력값은 출력 버퍼(205)를 나누어 '쓰기' 할 수 있어야 한다. 또한 각 렌즈 왜곡 교정 코어(201, 202)는 출력 버퍼(205)에 해당되는 위치의 픽셀 데이터를 생성하기 위한 룩업테이블 메모리(206, 207)도 동시에 접근할 수 있도록 구성된다. 또한, 나뉘어서 '쓰기'된 출력 값들이 출력될 때에는 렌즈 왜곡 교정 코어(201, 202)의 순서에 부합되도록 순차적으로 리드될 수 있다.
도 3은 일실시예에 따른 렌즈 왜곡 교정 장치와 종래 기술 간의 버스 접근 타이밍을 비교하는 도면이다.
도 3의 도면부호 310에서, o_miss_req0(311)와 o_miss_req1(313)은 캐시 미스가 발생되어 버스로 리드 요청을 보내는 신호이다.
o_miss_req0(311)와 o_miss_req1(313)의 신호가 캐시 히트인 구간에서는 생성되지 않다가 캐시 미스가 발생되는 경우에만 생성됨에 따라 버스에서는 쉬는 시간이 많아지게 되고 이로 인해 대역이 비효율적으로 사용되어 결국 성능 저하가 발생한다. 종래의 경우 캐시 미스가 발생되는 경우에만 리드 요청(312, 314, 315)이 버스로 전달됨에 따라 버스에서 쉬는 시간(316)이 많아지는 즉, 가용한 대역을 효율적으로 사용하지 못하는 문제가 발생할 수 있다. 이에 일실시예에 따른 렌즈 왜곡 교정 장치는 되도록 가용한 대역을 모두 사용할 수 있도록, 2개 이상의 코어들이 하나의 라인을 나누어 그리도록 스캐닝(scanning)함으로써 대역을 효율적으로 사용할 수 있다.
도면부호 320은 일실시예에 따른 렌즈 왜곡 교정 장치의 타이밍을 나타낸다.
일실시예에 따른 렌즈 왜곡 교정 장치는 캐시 미스가 발생되는 경우에 o_miss_req0(321)와 o_miss_req1(322)를 통해 버스로 리드 요청을 보낼 수 있다.
일실시예에 따른 렌즈 왜곡 교정 장치는 출력 버퍼를 여러 개로 나누어서 출력 라인을 동시에 그릴 수 있고, 버스로 리드 요청(323)을 보내는 포트의 개수도 각 코어의 개수에 대응되도록 종래에 비해 늘어난다. 그 결과 도면부호 320로 식별되는 동일한 라인 처리에 대한 듀얼 스캔(Dual Scan) 방식의 결과 타이밍도는 버스에서의 쉬는 시간(324)이 현저하게 줄어들 수 있다.
구체적으로, 도면부호 310과 도면부호 320의 타이밍도를 비교해보면 도면부호 320에 해당하는 버스가 쉬는 시간이 훨씬 적은 것을 알 수 있다. 이로 인해 도면부호 310에 해당하는 종래의 장치에서는 19755.04ns 의 처리시간이 필요했던 것이 도면부호 320에 해당하는 일실시예에 따른 렌즈 왜곡 교정 장치에서는 듀얼 스캔 방식으로 처리함으로써 12686.24ns의 시간만이 필요하다.
본 발명에 따르면, 이러한 성능향상으로 인해 종래 언더플로우가 발생하는 문제를 해결할 수 있다.
도 4는 일실시예에 따른 렌즈 왜곡 교정 장치와 종래 기술 간의 한 프레임 파형을 비교하는 도면이다.
버스의 대역을 효율적으로 활용하지 못하는 문제로 인해, 언더플로우(underflow)가 발생할 수 있다. 그러나, 일실시예에 따른 렌즈 왜곡 교정 장치에서는 룩업테이블이 듀얼 스캔 방식으로 동작하기 때문에, 언더플로우(underflow)를 예방할 수 있다.
구체적으로, 도 4의 도면부호 410은 종래 장치를 사용하는 한 프레임을 나타내는 것으로서, 한 프레임의 앞 쪽 라인에서 언더플로우(411)가 발생되는 것을 볼 수 있다.
일실시예에 따른 렌즈 왜곡 교정 장치는 룩업테이블이 듀얼 스캔 방식으로 동작하기 때문에 언더플로우가가 발생되지 않는다.
언더플로우는 출력 라인의 생성 속도보다 출력 속도가 빠른 경우 발생하는데, 이렇게 언더플로우가 발생하면 아직 생성되지 않은 라인을 출력하는 것으로 해석될 수 있다. 즉, 언더플로우가 발생하는 경우에는 이전에 생성되었던 라인 데이터가 대신 출력된다. 이로 인해 전체 이미지는 아래로 늘어지게 된다.
도 5는 일실시예에 따른 렌즈 왜곡 교정 장치와 종래 기술 간의 처리 결과 이미지를 비교하는 도면이다.
도 5는 언더플로우가 발생하는 종래 장치에 따른 결과 이미지(510)와 언더플로우가 발생하지 않는 듀얼 스캔 방식의 결과 이미지(520)를 나타낸다.
도 5의 결과 이미지들(510, 520)을 비교하면 언더플로우가 발생된 결과 이미지(510)에는 물결치는 듯한 부분이 보이고 중간 부분도 아래로 늘어져 있는 것을 볼 수 있다. 반면에 일실시예에 따른 렌즈 왜곡 교정 장치로부터의 결과 이미지(520)는 사용자가 의도한 대로 중간 부분이 유지되면서 물결 모양의 문제도 발생되지 않는다.
도 6은 본 발명의 다른 일실시예에 따른 렌즈 왜곡 교정(LDC, Lens Distortion Correction) 장치의 구조를 설명하는 도면이다.
본 발명의 다른 일실시예에 따른 렌즈 왜곡 교정 장치(600)는 복수의 코어들과 각 코어들에 대응되는 룩업테이블 메모리들을 사용하여 다중 스캔 방식을 구현할 수 있다.
이를 위해, 일실시예에 따른 렌즈 왜곡 교정 장치(600)는 되도록 가용한 대역을 모두 사용할 수 있도록 복수개의 코어들을 이용해서 하나의 출력 라인을 나누어 그리도록 스캐닝할 수 있다. 또한, 복수의 렌즈 왜곡 교정 코어 각각은 버스 리드 요청 포트(bus read request port)가 하나씩 할당될 수 있다.
예를 들어, 복수의 코어들에서 동시에 생성된 출력 값들은 출력 버퍼에 순차적으로 기록될 수 있다. 이때, 출력 버퍼는 코어의 순서를 고려하여 출력 값들을 순차적으로 기록할 수 있다. 구체적으로, 일실시예에 따른 렌즈 왜곡 교정 장치(600)가 코어 0에서부터 코어 N-1를 이용하는 경우 출력 버퍼는 코어 0으로부터의 출력 값에서부터 코어 N-1으로부터의 출력 값을 순차적으로 저장할 수 있다.
도 7은 각 렌즈 왜곡 교정 코어들 간 동기 처리를 설명하는 도면이다.
렌즈 왜곡 교정 장치에 포함되는 각 렌즈 왜곡 교정 코어들은 함께 시작되고 끝나는 시점도 맞춰야 하므로 각 렌즈 왜곡 교정 코어들이 모두 끝난 뒤에 최종 끝났음을 나타내는 신호를 출력해야 한다.
도 7의 타이밍도(700)를 살펴보면, 복수의 렌즈 왜곡 교정 코어는 동일한 시작 신호(701) 및 종료 신호(702)에 따라 시작 및 종료 시점이 동기화될 수 있다. 예를 들어, 렌즈 왜곡 교정 장치에 포함되는 각 렌즈 왜곡 교정 코어들은 시작 신호(701)에 따라 출력 값들을 생성하여 외부로 출력하고, 종료 신호(702)와 함께 출력 값들의 생성을 종료할 수 있다.
일실시예에 따른 복수의 렌즈 왜곡 교정 코어는 복수의 렌즈 왜곡 교정 코어가 모두 종료된 종료 시점을 외부로 전달할 수 있다.
도 8은 본 발명의 일실시예에 따른 렌즈 왜곡 교정 방법을 설명하는 도면이다.
일실시예에 따른 렌즈 왜곡 교정 방법은 복수의 렌즈 왜곡 교정 코어로부터의 출력 값들을 수집할 수 있다(단계 801).
일실시예에 따른 렌즈 왜곡 교정 방법은 하나의 코어만으로 한 라인을 생성하던 기술을 대신하여, 한 라인을 두 개 또는 그 이상의 개수로 나누고 나뉜 개수만큼의 코어들로 각각 맡아서 생성할 수 있다. 이를 위해서는 각 코어들에서 룩업테이블 메모리를 별도로 가지고 있어야 하고, 각 룩업테이블 메모리의 내용은 동일할 수 있다. 이 룩업테이블 메모리도 각 코어에서 필요로 하는 값들만을 저장하는 것으로 최적화할 수도 있다. 이렇게 각 코어들에서 나뉜 영역을 동시에 생성한 뒤에 생성된 라인 버퍼를 읽어서 출력될 때에는 순차적으로 이어서 출력할 수 있다.
다음으로, 렌즈 왜곡 교정 방법은 수집된 출력 값들에 복수의 렌즈 왜곡 교정 코어의 순서를 기초로 결합하여 출력 라인을 생성할 수 있다(단계 802).
출력 라인은 복수의 렌즈 왜곡 교정 코어의 순서를 기초로 결합하기 때문에 출력될 때에는 복수의 렌즈 왜곡 교정 코어의 순서와 마찬가지로 순차적으로 이어서 출력될 수 있다.
각 코어들이 동시에 맡은 영역을 출력 라인으로 생성하기 위해서는 버스로 리드 요청을 동시에 보내게 되며, 이를 통해 버스에서 가용한 대역을 최대로 사용할 수 있다. 일실시예에 따른 렌즈 왜곡 교정 방법과 같이 두 개 이상의 코어들을 사용하더라도 실제 버스에는 대역이 조금 더 여유가 있을 수 있고, 이러한 경우 더 많은 코어를 병행 처리할 수 있도록 확장함으로써 한정된 대역을 최대로 사용할 수 있다.
일실시예에 따른 렌즈 왜곡 교정 방법은 복수의 렌즈 왜곡 교정 코어가 모두 종료된 종료 시점을 외부로 전달할 수 있다. 즉, 일실시예에 따른 렌즈 왜곡 교정 방법은 각 렌즈 왜곡 교정 코어들은 함께 시작되고 끝나는 시점을 맞춰야 하므로 각 렌즈 왜곡 교정 코어들이 모두 끝난 뒤에 최종 끝났음을 나타내는 신호를 출력할 수 있다.
결국, 본 발명을 이용하면 버스에서 지원 가능한 대역을 최대로 사용함으로써 사용자가 요구하는 다양한 룩업테이블의 지원이라는 기능과 출력 프레임 레이트의 성능을 만족할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 컴퓨팅 단말에 의해 비일실시적으로 구현되는 렌즈 왜곡 교정 장치에 있어서,
    복수의 렌즈 왜곡 교정 코어; 및
    상기 복수의 렌즈 왜곡 교정 코어로부터의 출력 값들을 수집하고, 상기 수집된 출력 값들에 상기 복수의 렌즈 왜곡 교정 코어의 순서를 기초로 결합하여 출력 라인을 생성하는 출력 버퍼
    를 포함하는 렌즈 왜곡 교정 장치.
  2. 제1항에 있어서,
    상기 복수의 렌즈 왜곡 교정 코어 각각에 대응되는 복수의 룩업테이블 메모리를 더 포함하는 렌즈 왜곡 교정 장치.
  3. 제2항에 있어서,
    상기 복수의 렌즈 왜곡 교정 코어는,
    각각의 룩업테이블에 동시 접속하여 상기 출력 값에 상응하는 픽셀데이터를 생성하는 렌즈 왜곡 교정 장치.
  4. 제2항에 있어서,
    상기 복수의 룩업테이블 메모리는 각 렌즈 왜곡 교정 코어에 상응하는 룩업테이블 값을 저장하는 렌즈 왜곡 교정 장치.
  5. 제1항에 있어서,
    상기 출력 버퍼는,
    상기 출력 값의 수집 순서와 상관없이, 상기 복수의 렌즈 왜곡 교정 코어의 순서에 따라 순차적으로 상기 출력 라인을 생성하는 렌즈 왜곡 교정 장치.
  6. 제1항에 있어서,
    상기 복수의 렌즈 왜곡 교정 코어 각각은 버스 리드 요청 포트(bus read request port)가 할당되는 렌즈 왜곡 교정 장치.
  7. 제1항에 있어서,
    상기 복수의 렌즈 왜곡 교정 코어는 상기 출력 값들을 동시 출력하고,
    상기 출력버퍼는 상기 동시 출력된 출력 값들을 상기 출력 라인에 따라 순차적으로 출력하는 렌즈 왜곡 교정 장치.
  8. 제1항에 있어서,
    상기 복수의 렌즈 왜곡 교정 코어는
    동일한 시작 신호 및 종료 신호에 따라 시작 및 종료 시점이 동기화되는 렌즈 왜곡 교정 장치.
  9. 제8항에 있어서,
    상기 복수의 렌즈 왜곡 교정 코어는,
    상기 복수의 렌즈 왜곡 교정 코어가 모두 종료된 종료 시점을 외부로 전달하는 렌즈 왜곡 교정 장치.
  10. 복수의 렌즈 왜곡 교정 코어로부터의 출력 값들을 수집하는 단계; 및
    상기 수집된 출력 값들에 상기 복수의 렌즈 왜곡 교정 코어의 순서를 기초로 결합하여 출력 라인을 생성하는 단계
    를 포함하는 렌즈 왜곡 교정 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 출력 라인을 생성하는 단계는,
    상기 출력 값의 수집 순서와 상관없이, 상기 복수의 렌즈 왜곡 교정 코어의 순서에 따라 순차적으로 상기 출력 라인을 생성하는 단계
    를 포함하는 렌즈 왜곡 교정 장치의 동작 방법.
  12. 제10항에 있어서,
    상기 복수의 렌즈 왜곡 교정 코어가 상기 출력 값들을 동시 출력하는 단계
    를 더 포함하고,
    상기 출력 라인을 생성하는 단계는, 상기 동시 출력된 출력 값들을 상기 출력 라인에 따라 순차적으로 출력하는 단계
    를 포함하는 렌즈 왜곡 교정 장치의 동작 방법.
  13. 제10항에 있어서,
    상기 복수의 렌즈 왜곡 교정 코어가 모두 종료된 종료 시점을 외부로 전달하는 단계
    를 더 포함하는 렌즈 왜곡 교정 장치의 동작 방법.
  14. 제10항 내지 제13항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  15. 기록매체에 저장되는 렌즈 왜곡 교정 장치의 동작을 위한 프로그램으로서, 상기 프로그램은 컴퓨팅 시스템에서 실행되는:
    복수의 렌즈 왜곡 교정 코어로부터의 출력 값들을 수집하는 명령어 세트; 및
    상기 수집된 출력 값들에 상기 복수의 렌즈 왜곡 교정 코어의 순서를 기초로 결합하여 출력 라인을 생성하는 명령어 세트
    를 포함하는 프로그램.
PCT/KR2016/012186 2015-10-29 2016-10-27 렌즈 왜곡 교정 장치 및 동작 방법 WO2017074072A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0150811 2015-10-29
KR1020150150811A KR101727407B1 (ko) 2015-10-29 2015-10-29 렌즈 왜곡 교정 장치 및 동작 방법

Publications (1)

Publication Number Publication Date
WO2017074072A1 true WO2017074072A1 (ko) 2017-05-04

Family

ID=58579330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/012186 WO2017074072A1 (ko) 2015-10-29 2016-10-27 렌즈 왜곡 교정 장치 및 동작 방법

Country Status (2)

Country Link
KR (1) KR101727407B1 (ko)
WO (1) WO2017074072A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102617175B1 (ko) * 2022-08-04 2023-12-27 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 그의 화면 왜곡 보정 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010101601A (ko) * 1999-01-21 2001-11-14 피터 엔. 데트킨 디지털 카메라에서 이미지 왜곡을 소프트웨어적으로보정하는 장치 및 그 방법
KR20050085150A (ko) * 2002-11-26 2005-08-29 어드밴스드 마이크로 디바이시즈, 인코포레이티드 사이클당 복수의 액세스를 지원하는 캐시 메모리를 구비한마이크로프로세서
KR101265278B1 (ko) * 2013-04-10 2013-05-16 (주)리얼허브 병렬 영상 분석 장치 및 그 방법
JP2013239120A (ja) * 2012-05-17 2013-11-28 Olympus Corp 画像処理装置
KR20140038513A (ko) * 2011-07-13 2014-03-28 아나로그 디바이시즈 인코포레이티드 광각 렌즈 이미지 보정

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428534B1 (ko) 2012-12-13 2014-08-11 한국항공대학교산학협력단 렌즈 왜곡 보정 장치 및 방법
KR20150096231A (ko) 2014-02-14 2015-08-24 울산대학교 산학협력단 렌즈 왜곡 보상 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010101601A (ko) * 1999-01-21 2001-11-14 피터 엔. 데트킨 디지털 카메라에서 이미지 왜곡을 소프트웨어적으로보정하는 장치 및 그 방법
KR20050085150A (ko) * 2002-11-26 2005-08-29 어드밴스드 마이크로 디바이시즈, 인코포레이티드 사이클당 복수의 액세스를 지원하는 캐시 메모리를 구비한마이크로프로세서
KR20140038513A (ko) * 2011-07-13 2014-03-28 아나로그 디바이시즈 인코포레이티드 광각 렌즈 이미지 보정
JP2013239120A (ja) * 2012-05-17 2013-11-28 Olympus Corp 画像処理装置
KR101265278B1 (ko) * 2013-04-10 2013-05-16 (주)리얼허브 병렬 영상 분석 장치 및 그 방법

Also Published As

Publication number Publication date
KR101727407B1 (ko) 2017-04-14

Similar Documents

Publication Publication Date Title
WO2011126190A1 (ko) 네트워크 효율성을 고려한 ＳｏＣ 기반 시스템 네트워크 프로토콜
WO2019190139A1 (ko) 합성곱 연산을 위한 장치 및 방법
JP3206458B2 (ja) Ｄｍａ転送方式
WO2021029756A1 (ko) 응용 프로그램의 스트리밍 영상 제공 장치 및 방법
US9317462B2 (en) Microcontroller peripheral data transfer redirection for resource sharing
WO2017074072A1 (ko) 렌즈 왜곡 교정 장치 및 동작 방법
WO2017122845A1 (ko) 채널별 이종 동작을 위한 멀티채널 초고해상도 영상 획득/재생 시스템 및 방법
JP2000324115A (ja) 出力バッファ型ａｔｍ交換装置および同報制御方法
US20020112242A1 (en) Multi-mode video processor
KR20070082835A (ko) 직접 메모리 액세스 제어장치 및 방법
WO2023027399A1 (en) Method and device for downloading streaming media file
US9367496B2 (en) DMA transfer device and method
WO2016099184A1 (ko) 가상화 멀티 세션 지원을 위한 서버 구조
WO2015046991A1 (ko) 멀티 디코딩 처리 방법 및 이를 수행하기 위한 멀티 디코더
WO2017034059A1 (ko) 초고해상도 영상 처리를 위한 재구성이 가능한 영상 코덱
WO2017052125A1 (ko) 비트 수를 증가시킨 sram 기반 tcam의 동작 방법 및 시스템
CN211930723U (zh) 一种视频接口电路及视频图像采集系统
WO2017034060A1 (ko) 실시간 초고해상도 영상 획득 및 프리뷰 제공이 가능한 영상 처리 시스템 및 방법
JP2005235216A (ja) ダイレクト・メモリ・アクセス制御
WO2016114532A1 (ko) 프로그램 컴파일 장치 및 프로그램 컴파일 방법
JPS63118885A (ja) 並列型画像処理プロセツサ
JP2001084171A (ja) 画像処理装置
JPS6234280A (ja) 画像処理デ−タ出力方式
JP2642087B2 (ja) 主記憶装置間データ転送処理機構
JP2014186433A (ja) 信号処理システム及び信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16860255

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16860255

Country of ref document: EP

Kind code of ref document: A1