KR20150019192A - Avm 시스템을 위한 영상 합성 장치 및 그 방법 - Google Patents

Avm 시스템을 위한 영상 합성 장치 및 그 방법 Download PDF

Info

Publication number
KR20150019192A
KR20150019192A KR20130095714A KR20130095714A KR20150019192A KR 20150019192 A KR20150019192 A KR 20150019192A KR 20130095714 A KR20130095714 A KR 20130095714A KR 20130095714 A KR20130095714 A KR 20130095714A KR 20150019192 A KR20150019192 A KR 20150019192A
Authority
KR
South Korea
Prior art keywords
image
original image
external memory
window
read
Prior art date
Application number
KR20130095714A
Other languages
English (en)
Inventor
강석태
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR20130095714A priority Critical patent/KR20150019192A/ko
Priority to CN201410161536.1A priority patent/CN104378583A/zh
Priority to US14/457,532 priority patent/US20150049196A1/en
Publication of KR20150019192A publication Critical patent/KR20150019192A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 영상 합성 장치는 차량의 전-후-좌-우 카메라로부터 촬상된 원영상 이미지를 캡쳐하는 영상 입력부, 캡쳐된 상기 원영상 이미지, 룩업테이블 및 합성영상을 저장하는 외부 메모리, M X N의 기본 픽셀 그룹을 설정하여 상기 룩업테이블에 기초하여 좌표값을 분석하고, 상기 좌표값에 따라 윈도우의 시작 좌표 및 윈도우 크기를 계산하는 원영상 윈도우 생성부, 상기 시작 좌표 및 상기 윈도우 크기에 따라 상기 외부 메모리로부터 상기 원영상 이미지를 리드하여 내부 메모리에 저장하는 내부 메모리 제어부, 상기 내부 메모리로부터 리드된 상기 원영상 이미지를 상기 좌표값에 기초하여 영상 합성을 수행하고 상기 합성 영상으로 생성하는 영상 합성 처리부 및 상기 합성 영상을 상기 외부 메모리로부터 리드하여 디스플레이 장치로 출력하는 영상 출력부를 포함한다.

Description

AVM 시스템을 위한 영상 합성 장치 및 그 방법{APPARATUS AND METHOD FOR COMPOSITION IMAGE FOR AVM SYSTEM}
본 발명은 AVM 시스템에 관한 것으로써, 보다 구체적으로는 차량의 전후좌우 4개의 영상을 하나의 영상으로 합성하는 영상 합성 장치 및 그 방법에 관한 것이다.
AVM(Around View Monitoring) 시스템은 차량의 전/후/좌/우 4개의 카메라로부터 원시 영상을 입력받아 하나의 영상으로 합성하여 디스플레이 장치에 합성된 영상을 출력한다.
AVM 시스템은 카메라로부터 입력된 원시 영상들을 외부 메모리에 저장하고, 영상 전처리 과정을 통해 생성되어 외부 메모리에 저장되어 있는 룩업테이블을 리드하여 영상 합성을 위한 원시 영상 좌표값을 추출한다. AVM 시스템은 좌표값에 기초하여 외부 메모리로부터 리드한 원시 영상 데이터를 보간 연산(Bi-Linear Interpolation)하여 출력 좌표로 다시 외부 메모리에 저장한다. 상기 과정을 전후좌우 4개의 영상 각각에 대해 수행한 후, AVM 시스템은 상기 출력 좌표에 따라 영상 합성 결과 데이터를 출력한다.
이때 AVM 시스템의 카메라는 광각 카메라로써 구 형태와 비슷한 왜곡이 존재한다. AVM 시스템은 영상합성시 백워드(Backward) 맵핑 방법 등으로 왜곡 영상을 좌-우-상-하 순서에 따라 픽셀단위로 편평하게 보정한다. 왜곡 보정 및 영상 합성 처리과정에서 필요한 원시 영상 데이터는 외부 메모리에서 리드되는데 이때 싱글 리드(Single Read) 방식이 사용된다.
그러나 싱글 리드 방식은 외부 메모리로의 접근 빈도가 높으며, 시스템에서 필요한 처리속도를 만족하기 위해서는 높은 메모리 주파수가 필요하고, 명령어 수행을 위한 부가 시간이 있어 지연 시간이 길어지는 문제가 있다.
본 발명은 영상합성시 왜곡보정 및 합성 연산과정에서 발생하는 외부메모리의 리드 방식을 변경함으로써 외부 메모리 액세스 효율이 향상된 AVM 시스템을 위한 영상 합성 장치 및 그 방법을 제공한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 영상 합성 장치는 차량의 전-후-좌-우 카메라로부터 촬상된 원영상 이미지를 캡쳐하는 영상 입력부; 캡쳐된 상기 원영상 이미지, 룩업테이블 및 합성영상을 저장하는 외부 메모리; M X N의 기본 픽셀 그룹을 설정하여 상기 룩업테이블에 기초하여 좌표값을 분석하고, 상기 좌표값에 따라 윈도우의 시작 좌표 및 윈도우 크기를 계산하는 원영상 윈도우 생성부; 상기 시작 좌표 및 상기 윈도우 크기에 따라 상기 외부 메모리로부터 상기 원영상 이미지를 리드하여 내부 메모리에 저장하는 내부 메모리 제어부; 상기 내부 메모리로부터 리드된 상기 원영상 이미지를 상기 좌표값에 기초하여 영상 합성을 수행하고 상기 합성 영상으로 생성하는 영상 합성 처리부; 및 상기 합성 영상을 상기 외부 메모리로부터 리드하여 디스플레이 장치로 출력하는 영상 출력부를 포함한다.
상기 원영상 윈도우 생성부는 상기 M X N의 기본 픽셀들을 그룹으로 묶어 픽셀 처리를 수행한다.
상기 원영상 윈도우 생성부는 상기 기본 픽셀 그룹에 기초하여 상기 윈도우 크기를 계산한다.
상기 내부 메모리 제어부는 M X N 개수만큼의 상기 좌표값을 상기 영상 합성 처리부를 전송한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 영상 합성 방법은 AVM(Around View Monitoring) 시스템을 초기화 하는 단계; 차량의 전후좌우에서 촬상하여 외부 메모리에 4개의 원영상 이미지들로 저장하는 단계; 상기 외부 메모리로부터 리드한 M X N의 기본 픽셀 그룹 및 룩업테이블에 기초하여 윈도우의 시작 좌표 및 윈도우 크기를 계산하는 단계; 상기 시작 좌표 및 상기 윈도우 크기에 상응하는 상기 원영상 이미지들을 내부 메모리에 저장하는 단계; 상기 내부 메모리로부터 리드한 상기 원영상 이미지들을 합성하여 상기 외부 메모리에 합성 영상으로 저장하는 단계; 및 상기 합성 영상을 디스플레이 장치로 출력하는 단계를 포함한다.
상기 계산하는 단계는 상기 기본 픽셀 그룹 단위를 가지는 윈도우로써, 상기 외부 메모리로부터 리드한 룩업테이블에 기초하여 좌표값을 분석하고, 상기 좌표값에 따라 상기 시작 좌표 및 상기 윈도우 크기를 계산한다.
상기 합성 영상으로 저장하는 단계는 M X N 개수만큼의 상기 좌표값을 상기 합성 영상의 좌표값으로 저장한다.
본 발명의 영상 합성 장치 및 그 방법에 따르면, 버스트 리드 방식으로 외부 메모리에 접근함으로써, 외부 메모리 접근 빈도를 낮추고 영상 처리 지연시간을 최소화하여 성능이 향상되는 효과가 있다.
도 1은 본 발명의 영상 합성 장치를 나타낸 블록도이다.
도 2는 본 발명의 영상 합성 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 기본 픽셀 그룹 단위를 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 윈도우를 이용한 백워드 맵핑을 설명하기 위한 개념도이다.
도 5는 본 발명의 실시에에 따른 외부 메모리 접근 방식을 설명하기 위한 타이밍도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 영상 합성 장치를 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 기본 픽셀 그룹 단위를 설명하기 위한 개념도이며, 도 4는 본 발명의 실시예에 따른 윈도우를 이용한 백워드 맵핑을 설명하기 위한 개념도이다.
도 1을 참조하면, 영상 합성 장치(1)는 영상 입력부(10), 원영상 윈도우 생성부(20), 내부 메모리 제어부(30), 내부 메모리(35), 영상 합성 처리부(40), 영상 출력부(50) 외부 메모리 제어부(60) 및 외부 메모리(70)를 포함한다. 도 5는 본 발명의 실시에에 따른 외부 메모리 접근 방식을 설명하기 위한 타이밍도이다.
영상 입력부(10)는 차량의 전-후-좌-우 카메라로부터 촬상된 원영상 이미지를 캡쳐한다.
원영상 윈도우 생성부(20)는 M X N의 기본 픽셀 그룹을 설정하여 상기 룩업테이블에 기초하여 좌표값을 분석하고, 상기 좌표값에 따라 윈도우의 시작 좌표 및 윈도우 크기를 계산한다.
보다 구체적으로 설명하면, 원영상 윈도우 생성부(20)는 영상 합성 처리를 위한 M X N의 기본 픽셀 그룹을 설정한다. 종래에는 픽셀 처리 순서가 이미지 전체 픽셀 어레이에 대하여 좌->우, 상->하에 대하여 처리되었으나, 본 발명은 도 3에 도시된 바와 같이 M X N 기본 픽셀 그룹에 대하여 좌->우, 상->하에 대하여 처리된다. 그 결과, 계산 복잡도가 줄어들어 영상 합성의 처리 속도가 향상된다. 이때 M, N은 1이상의 자연수이다.
원영상 윈도우 생성부(20)는 외부 메모리(70)에서 룩업테이블(Look Up Table ; LUT)을 리드하여 백워드 맵핑에 사용될 X-Y 좌표값을 추출한다. 원영상 윈도우 생성부(20)는 추출된 X-Y 좌표를 분석하여 외부메모리(70)에 저장된 윈도우의 시작 좌표 및 윈도우 크기를 계산한다. 이때 윈도우의 크기는 실시예에 따라 일정하지 않고 다양한 크기로 적용될 수 있다. 종래에는 왜곡 보정시 픽셀 대 픽셀로 백워드 맵핑을 수행하여 계산 복잡도가 높았으나, 본 발명은 도 4에 도시된 바와 같이 윈도우 단위로 백워드 맵핑을 수행하여 왜곡 보정을 수행하므로 계산 복잡도를 줄일 수 있다.
원영상 윈도우 생성부(20)는 계산된 윈도우의 시작 좌표 및 윈도우 크기를 내부 메모리 제어부에 알려준다.
내부 메모리 제어부(30)는 내부 메모리(35)에의 액세스를 제어한다. 예를 들어 윈도우의 시작 좌표 및 윈도우 크기에 따라 외부 메모리(70)로부터 원영상 이미지를 리드하여 내부 메모리에 저장한다. 또한, 내부 메모리 제어부(30)는 M X N 개수 만큼의 룩업테이블 데이터(즉, X-Y 좌표값)를 영상 합성 처리부(40)로 전송한다.
내부 메모리(35)는 영상 합성을 위해 윈도우의 시작 좌표 및 윈도우의 크기에 상응하는 원영상 이미지를 저장한다. 내부 메모리는 휘발성 메모리, 예를 들어 SRAM(Static Random Access Memory)일 수 있다.
영상 합성 처리부(40)는 M X N 개수 만큼의 룩업테이블 데이터를 이용하여 내부 메모리(35)로부터 리드된 원영상 이미지에 대하여 영상 합성을 수행하고 합성 영상을 생성한다. 그리고, 합성 영상을 외부 메모리(70)로 전송한다.
영상 출력부(50)는 합성 영상을 외부 메모리(70)로부터 리드하여 디스플레이 장치(미도시)로 출력한다.
외부 메모리 제어부(60)는 외부 메모리(70)에의 액세스를 제어한다. 외부 메모리 제어부(60)는 도 5에 도시된 버스트 리드 방식으로 외부 메모리(70)에 액세스할 수 있다. 도 5를 참조하면, T2에서 리드 명령을 수신하면, 데이터 라인을 통해 한번의 리드 명령으로 T3 내지 T8에 걸쳐 다수의 유효데이터를 수신한다. 그 결과 종래의 싱글 리드 방식에 비해 리드 명령에 대한 처리 지연 시간을 줄일 수 있고, 영상 합성시 필요한 일시적 이미지 저장을 위한 메모리 액세스 동작을 내부 메모리와 분담하게 되어, 외부 메모리 접근 빈도를 낮출 수 있다.
외부 메모리(70)는 캡쳐된 상기 원영상 이미지, 룩업테이블 및 합성영상을 저장한다. 외부 메모리(70)는 비휘발성 메모리 또는 휘발성 메모리, 예를 들어 DRAM(Dynamic Random Access Memory)일 수 있다.
도 2는 본 발명의 영상 합성 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 먼저 AVM(Around View Monitoring) 시스템은 초기화 된다(S10). 예를 들어 뷰(View) 모드 입력 처리회수를 초기화 한다. 이어서, 차량의 전후좌우에서 촬상하여 외부 메모리에 4개의 원영상 이미지들로 저장한다.
영상 합성 장치(1)는 외부 메모리로부터 M X N의 기본 픽셀 그룹 및 룩업테이블을 리드한다(S11). 룩업테이블에 기초하여 윈도우의 시작 좌표 및 윈도우 크기를 계산한다(S12).
영상 합성 장치(1)는 외부 메모리로부터 윈도우의 시작 좌표 및 상기 윈도우 크기에 상응하는 원영상 이미지들을 리드하여(S13), 내부 메모리에 저장한다(S14). 그리고, 내부 메모리로부터 리드한 원영상 이미지들을 합성하여(S15) 외부 메모리에 합성 영상의 데이터로 저장한다(S16).
이때 합성 영상 데이터가 기본 픽셀 그룹 단위인 M X N 크기인지 확인하여(S17), 합성 영상 데이터가 기본 픽셀 그룹 단위보다 작으면 처리 회수를 증가시키고(S18) S11 단계 내지 S16 단계의 영상 합성 과정을 반복한다.
전체 합성 영상이 완성되면, 디스플레이 장치로 출력한다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1 : 영상 합성 장치
10 : 영상 입력부
20 : 원영상 윈도우 생성부
30 : 내부 메모리 제어부
35 : 내부 메모리
40 : 영상 합성 처리부
50 : 영상 출력부
60 : 외부 메모리 제어부
70 : 외부 메모리

Claims (10)

  1. 차량의 전-후-좌-우 카메라로부터 촬상된 원영상 이미지를 캡쳐하는 영상 입력부;
    캡쳐된 상기 원영상 이미지, 룩업테이블 및 합성영상을 저장하는 외부 메모리;
    M X N의 기본 픽셀 그룹을 설정하여 상기 룩업테이블에 기초하여 좌표값을 분석하고, 상기 좌표값에 따라 윈도우의 시작 좌표 및 윈도우 크기를 계산하는 원영상 윈도우 생성부;
    상기 시작 좌표 및 상기 윈도우 크기에 따라 상기 외부 메모리로부터 상기 원영상 이미지를 리드하여 내부 메모리에 저장하는 내부 메모리 제어부;
    상기 내부 메모리로부터 리드된 상기 원영상 이미지를 상기 좌표값에 기초하여 영상 합성을 수행하고 상기 합성 영상으로 생성하는 영상 합성 처리부; 및
    상기 합성 영상을 상기 외부 메모리로부터 리드하여 디스플레이 장치로 출력하는 영상 출력부를 포함하는 영상 합성 장치.
  2. 제1항에 있어서, 상기 원영상 윈도우 생성부는
    상기 M X N의 기본 픽셀들을 그룹으로 묶어 픽셀 처리를 수행하는 영상 합성 장치.
  3. 제1항에 있어서, 상기 원영상 윈도우 생성부는
    상기 기본 픽셀 그룹에 기초하여 상기 윈도우 크기를 계산하는 영상 합성 장치.
  4. 제1항에 있어서, 상기 내부 메모리 제어부는
    M X N 개수만큼의 상기 좌표값을 상기 영상 합성 처리부를 전송하는 영상 합성 장치.
  5. AVM(Around View Monitoring) 시스템을 초기화 하는 단계;
    차량의 전후좌우에서 촬상하여 외부 메모리에 4개의 원영상 이미지들로 저장하는 단계;
    상기 외부 메모리로부터 리드한 M X N의 기본 픽셀 그룹 및 룩업테이블에 기초하여 윈도우의 시작 좌표 및 윈도우 크기를 계산하는 단계;
    상기 시작 좌표 및 상기 윈도우 크기에 상응하는 상기 원영상 이미지들을 내부 메모리에 저장하는 단계;
    상기 내부 메모리로부터 리드한 상기 원영상 이미지들을 합성하여 상기 외부 메모리에 합성 영상으로 저장하는 단계; 및
    상기 합성 영상을 디스플레이 장치로 출력하는 단계를 포함하는 영상 합성 방법.
  6. 제5항에 있어서,
    상기 M X N의 기본 픽셀들을 그룹으로 묶어 픽셀 처리를 수행하는 영상 합성 방법.
  7. 제5항에 있어서, 상기 계산하는 단계는
    상기 기본 픽셀 그룹 단위를 가지는 윈도우로써, 상기 외부 메모리로부터 리드한 룩업테이블에 기초하여 좌표값을 분석하고, 상기 좌표값에 따라 상기 시작 좌표 및 상기 윈도우 크기를 계산하는 영상 합성 방법.
  8. 제7항에 있어서, 상기 합성 영상으로 저장하는 단계는
    M X N 개수만큼의 상기 좌표값을 상기 합성 영상의 좌표값으로 저장하는 영상 합성 방법.
  9. 제5항에 있어서, 상기 내부 메모리는
    SRAM(Static Random Access Memory)인 영상 합성 방법.
  10. 제5항에 있어서, 상기 외부 메모리는
    비휘발성 메모리 또는 DRAM(Dynamic Random Access Memory)이고, 버스트 리드 동작(Burst Read Operation) 방식으로 액세스되는 영상 합성 방법.
KR20130095714A 2013-08-13 2013-08-13 Avm 시스템을 위한 영상 합성 장치 및 그 방법 KR20150019192A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130095714A KR20150019192A (ko) 2013-08-13 2013-08-13 Avm 시스템을 위한 영상 합성 장치 및 그 방법
CN201410161536.1A CN104378583A (zh) 2013-08-13 2014-04-22 用于avm系统的影像合成装置及其方法
US14/457,532 US20150049196A1 (en) 2013-08-13 2014-08-12 Apparatus and method for composition image for avm system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130095714A KR20150019192A (ko) 2013-08-13 2013-08-13 Avm 시스템을 위한 영상 합성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20150019192A true KR20150019192A (ko) 2015-02-25

Family

ID=52466563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130095714A KR20150019192A (ko) 2013-08-13 2013-08-13 Avm 시스템을 위한 영상 합성 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20150049196A1 (ko)
KR (1) KR20150019192A (ko)
CN (1) CN104378583A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190033322A (ko) * 2017-09-21 2019-03-29 현대자동차주식회사 영상 변환 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102268641B1 (ko) * 2014-07-10 2021-06-23 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR101859045B1 (ko) * 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
EP1902424B1 (en) * 2005-07-08 2009-11-11 Wisconsin Alumni Research Foundation Highly constrained image reconstruction method
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
US7341076B2 (en) * 2006-04-10 2008-03-11 Nv Bekaert Sa Woven fabric comprising leno weave bound metal
JP2008244981A (ja) * 2007-03-28 2008-10-09 Seiko Epson Corp 映像合成装置および映像出力装置
JP4760883B2 (ja) * 2008-09-25 2011-08-31 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
TWI417639B (zh) * 2009-12-30 2013-12-01 Ind Tech Res Inst 全周鳥瞰影像無縫接合方法與系統
WO2012075250A1 (en) * 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5755926B2 (ja) * 2011-04-04 2015-07-29 ニスカ株式会社 シート搬送装置
US20120262578A1 (en) * 2011-04-18 2012-10-18 Acard Technology Corp. Vehicular around-view driving monitor and recorder
US20140118549A1 (en) * 2012-10-31 2014-05-01 Nissan North America, Inc. Automated vehicle periphery monitoring apparatus and image displaying method
KR101572065B1 (ko) * 2014-01-03 2015-11-25 현대모비스(주) 영상 왜곡 보정 방법 및 이를 위한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190033322A (ko) * 2017-09-21 2019-03-29 현대자동차주식회사 영상 변환 시스템 및 방법

Also Published As

Publication number Publication date
CN104378583A (zh) 2015-02-25
US20150049196A1 (en) 2015-02-19

Similar Documents

Publication Publication Date Title
US9262807B2 (en) Method and system for correcting a distorted input image
US11997397B2 (en) Method, apparatus, and device for processing images, and storage medium
US9280810B2 (en) Method and system for correcting a distorted input image
TWI423659B (zh) 影像校正方法與相關影像校正系統
US8570334B2 (en) Image processing device capable of efficiently correcting image data and imaging apparatus capable of performing the same
US9554048B2 (en) In-stream rolling shutter compensation
US11593913B2 (en) Method and system for correcting a distorted input image
US9245313B2 (en) Semiconductor device, electronic apparatus, and image processing method
CN110958362A (zh) 基于分块查表的图像校正系统及其方法
JP2013146080A (ja) 小さな画像又は大きな画像を処理する小さなラインバッファを容易に用いる技術
US20210090220A1 (en) Image de-warping system
TW201839716A (zh) 環景影像的拼接方法及其系統
CN111951193B (zh) 图像的水平畸变矫正方法及水平畸变矫正装置
KR20150019192A (ko) Avm 시스템을 위한 영상 합성 장치 및 그 방법
US10846837B2 (en) Image processing apparatus, image processing method, and storage medium
WO2011121563A1 (en) Detecting saliency in an image
US7760938B1 (en) Algorithm to enhance the contrast of a monochrome image
CN110738615B (zh) 鱼眼图像校正方法、装置、系统及可存储介质
Luo et al. Improved LUT-based image warping for video cameras
JP6273881B2 (ja) 画像処理装置、画像処理方法、及びプログラム
TWI820541B (zh) 影像扭曲校正的方法
JP2017017672A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10672107B2 (en) Image processing apparatus and method of controlling the same
CN109903216B (zh) 基于fpga平台实现定位图像点阵提取系统及方法
JP2017228849A (ja) 画像処理装置、撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application