KR20130135538A - 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법 - Google Patents

용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법 Download PDF

Info

Publication number
KR20130135538A
KR20130135538A KR1020120059180A KR20120059180A KR20130135538A KR 20130135538 A KR20130135538 A KR 20130135538A KR 1020120059180 A KR1020120059180 A KR 1020120059180A KR 20120059180 A KR20120059180 A KR 20120059180A KR 20130135538 A KR20130135538 A KR 20130135538A
Authority
KR
South Korea
Prior art keywords
image
color representation
unit
camera
view mode
Prior art date
Application number
KR1020120059180A
Other languages
English (en)
Other versions
KR101376211B1 (ko
Inventor
강석태
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120059180A priority Critical patent/KR101376211B1/ko
Priority to CN2012105488489A priority patent/CN103458196A/zh
Priority to US13/853,622 priority patent/US20130322783A1/en
Publication of KR20130135538A publication Critical patent/KR20130135538A/ko
Application granted granted Critical
Publication of KR101376211B1 publication Critical patent/KR101376211B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법이 개시된다. 이 장치 및 방법은 화면 출력 화소 단위로 색 표현 정보 또는 상기 입력 영상의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블을 이용하여 영상을 합성하여 디스플레이 장치로 출력한다. 이에 따라 영상 합성 로직을 설계 변경하지 않고서도 룩업 테이블 교체만으로 뷰 모드를 자유롭게 구성할 수 있게 된다.

Description

용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법{Image composing apparatus of around view monitor system for changing view mode easily and method thereof}
본 발명은 어라운드 뷰 모니터(Around View Monitor, AVM) 시스템에 관한 것으로, 특히 어라운드 뷰 모니터 시스템에서 영상을 합성하는 기술에 관한 것이다.
AVM 시스템은 차량의 전/후/좌/우 4대의 카메라로부터 영상을 입력받아 하나의 영상으로 합성하여 디스플레이 장치로 영상을 출력하는 시스템이다. 이러한 AVM 시스템은 8개의 뷰 모드를 지원하며, 뷰 모드에 해당하는 룩업 테이블(Look Up Table, LUT)을 사용하여 영상을 합성한다. LUT 생성에 대해 간략히 설명하면 다음과 같다. 우선, 컴퓨팅 장치는 차량의 전/후/좌/우 카메라로부터 각각의 표준 영상을 획득하고, 획득한 4장의 영상을 이용하여 영상 합성 시뮬레이션을 진행한다. 그 다음, 시뮬레이션을 통해 획득한 출력 영상에 대해서 입력 영상들의 좌표 및 가중치 정보를 담은 LUT을 생성한다. LUT은 뷰 모드별로 생성되며, 각 뷰 모드의 액티브(Active) 영역에 대해서만 생성된다. 생성된 LUT은 AVM 시스템 보드의 플래시 메모리에 저장된다. 플래시 메모리에 저장된 LUT은 도 1에 도시된 바와 같이 X,Y 좌표(X좌표 정수, Y좌표 정수)와 X,Y 가중치(X좌표 소수, Y좌표 소수)가 기록된 레코드들로 구성된다. 하나의 레코드는 출력 영상에서 하나의 화소 이미지를 만들기 위해 사용된다. 하나의 화소 이미지를 생성할 때 화질 개선을 위해 한 화소당 주변 네 개의 화소 보간 연산을 수행한다. 이에 대한 개념이 도 2에 도시되어 있다. 따라서 출력 화소 하나에 대한 레코드 정보는 입력 화소(A0)에 대한 X,Y 좌표와 네 개의 화소(A0, A1, A2, A3)에 대한 가중치를 포함한다.
영상 합성 로직은 FPGA(Field Programmable Gate Array) 설계로 구현된다. FPGA는 차량 통신 정보를 통해 결정된 뷰 모드에 해당하는 LUT를 플래시 메모리에서 읽어와 출력 영상을 만들어낸다. 종래 출력 화면의 분할 구조는 도 3과 같은 1분할 구조 또는 도 4와 같은 2분할 구조로 고정되어 있다. 여기서 빗금 친 블록 영역은 실제로 영상이 표시되는 액티브(Active) 영역이며, 나머지 영역은 블랙 색상이 채워지는 백그라운드(Background) 영역이다. LUT 정보에 의해 액티브 영역의 출력 영상이 생성되고, 나머지 백그라운드 영역은 블랙 색상으로 채워진다. 1분할 구조의 출력 영상은 도 5에 예시되어 있으며, 2분할 구조의 출력 영상은 도 6과 도 7에 예시되어 있다.
이상에서 설명한 영상 합성 방식에 따르면, 뷰 모드에 따라서 출력 화면에 구성해야 할 영상의 종류가 결정되어 있어야 한다. 그리고 액티브 영역의 크기와 화면 내 위치는 변경이 불가능하다. 출력 영상은 뷰 모드에 따라서 바뀔 수 있으나, 이는 고정된 화면 분할 구조 내에서만 가능하다. 화면 분할 구조가 고정되어 있으므로, 뷰 모드 구성이 제한적이다. 그리고 도 8과 같은 경우는 좌측 카메라 영상이 화면의 우측에 출력되므로, 운전자에게 혼란을 야기할 수 있다. 따라서 뷰 모드 구조 변경이 요구된다. 그런데 종래 뷰 모드 구조를 변경하기 위해서는 FPGA의 설계 변경이 필요하다. 액티브 영역의 크기 또는 위치가 변할 경우, 그에 대응되는 LUT가 변경되어야 하며, 변경된 LUT를 읽어서 출력 영상을 생성하는 FPGA 또한 설계 변경되어야 하는 것이다. 이 같이 뷰 모드 구조에 대한 변경 사항 발생시 또는 적용 차종 변경시 LUT와 FPGA 로직이 서로 쌍을 이루어야 하므로, 버전 관리에 있어서 불편함을 초래한다.
본 발명은 영상 합성 로직 자체를 설계 변경하지 않고서도 뷰 모드 및 화면 분할 구조를 변경할 수 있는 기술적 방안을 제공함을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 어라운드 뷰 모니터 시스템용 영상 합성 장치는 다수의 카메라로부터 영상을 입력받는 영상 입력부, 화면 출력 화소 단위로 색 표현 정보 또는 상기 입력 영상의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블이 저장된 저장부, 및 상기 저장된 룩업 테이블을 이용하여 영상을 합성하는 영상 처리부를 포함한다.
상기 영상 처리부는 상기 저장된 룩업 테이블의 레코드 헤더를 분석하는 룩업 테이블 분석부, 상기 분석된 레코드의 데이터 필드에 기록된 색 표현 정보를 추출하여 출력하는 색 표현 처리부, 및 상기 분석된 레코드의 데이터 필드에 기록된 좌표 정보에 해당하는 입력 영상 데이터를 획득하여 출력하는 카메라 영상 처리부를 포함한다.
상기 색 표현 처리부는 둘 이상이며, 상기 분석 결과에 따라 해당되는 색 표현 처리부가 상기 분석된 레코드의 데이터 필드에 기록된 색 표현 정보를 추출하여 출력한다. 상기 색 표현 처리부는 블랙 영상을 생성하는 블랙 처리부, 및 차량 마스크 영상을 생성하는 차량 마스크 처리부를 포함한다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 영상 합성 방법은 화면 출력 화소 단위로 색 표현 정보 또는 다수 카메라로부터의 입력 영상에 대한 좌표 정보가 기록된 룩업 테이블을 이용하여 영상을 합성하는 단계, 및 상기 합성 영상을 디스플레이 장치로 출력하는 단계를 포함한다.
상기 합성하는 단계는 상기 룩업 테이블을 구성하는 레코드들을 순차적으로 분석하는 단계, 및 상기 분석된 레코드 헤더 값에 따라 그 데이터 필드에 기록된 색 표현 정보를 추출하여 출력하거나 좌표 정보에 해당하는 카메라 입력 영상 데이터를 획득하여 출력하는 단계를 포함한다.
본 발명은 AVM 시스템의 뷰 모드를 사용자가 원하는 형태로 자유롭게 구성할 수 있게 하는데, 특히 영상 합성 로직의 설계 변경 없이 LUT 교체만으로 화면 분할 구조의 변경을 가능하게 하는 효과를 창출한다. 이에 따라 영상 합성 로직을 재사용할 수 있게 되어, 차종의 변경이나 사용자 요구사항의 변경시에도 시스템의 동작 신뢰성을 확보할 수 있다.
도 1은 종래 AVM 시스템에서 영상 합성을 위해 사용되는 LUT 레코드 구조도.
도 2는 보간(Bi-Linear Interpolation) 연산 개념도.
도 3은 종래 출력 화면의 1분할 구조 예시도.
도 4는 종래 출력 화면의 2분할 구조 예시도.
도 5는 1분할 구조를 갖는 전방 영상 예시도.
도 6은 2분할 구조를 갖는 전방/어라운드 뷰 영상 예시도.
도 7은 2분할 구조를 갖는 전방/좌측 영상 예시도.
도 8은 본 발명의 일 실시예에 따른 룩업 테이블의 레코드 기본 구조도.
도 9은 블랙 영상 생성을 위한 레코드 구조도.
도 10는 차량 마스크 영상 생성을 위한 레코드 구조도.
도 11은 카메라 입력 영상 데이터의 X,Y 좌표 및 X,Y 가중치를 포함하는 레코드 구조도.
도 12는 본 발명의 일 실시예에 따른 AVM 시스템용 영상 합성 장치 블록도.
도 13은 출력 화소 이미지 생성 방향을 나타낸 도면.
도 14는 3분할 구조 예시도.
도 15는 4분할 구조 예시도.
도 16은 3분할 구조를 갖는 출력 영상 예시도.
도 17은 4분할 구조를 갖는 출력 영상 예시도.
도 18은 2분할 구조를 갖는 출력 영상 예시도.
도 19는 본 발명의 일 실시예에 따른 영상 합성 방법 흐름도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 8은 본 발명의 일 실시예에 따른 LUT 레코드 기본 구조를 나타내고, 도 9는 블랙 영상 생성을 위한 레코드 구조를 나타내고, 도 10은 차량 마스크 영상 생성을 위한 레코드 구조를 나타내며, 도 11은 카메라 입력 영상 데이터의 X,Y 좌표 및 X,Y 가중치를 포함하는 레코드 구조를 나타낸다.
LUT은 AVM 시스템에서 영상 합성을 위해 사용된다. LUT은 다수의 레코드로 구성된다. 하나의 레코드는 출력 영상을 구성하는 하나의 화소에 대한 것이다. 출력 영상의 화소 수가 가로 720, 세로 480개로 구성될 경우에 화소 수는 345,600개이므로, LUT의 레코드 수 또한 345,600개가 된다. 레코드의 기본 구조는 도 8에 도시된 바와 같다. 헤더(Header)는 출력 화소를 생성하기 위한 형태 또는 입력 데이터의 종류를 나타낸다. F는 입력 영상의 필드(Field) 정보를 나타낸다. 참고로 카메라 인터페이스에 사용되는 전송방식은 ITU-R BT.656 규격이 적용되며, 한 장의 영상(720×480)을 전송할 때 2개의 필드(720×240)로 나누어 사용한다. 그리고 데이터(Data) 필드는 출력 화소를 생성하기 위한 정보를 담고 있다. 데이터 필드에 기록되는 정보는 색 표현 정보 또는 카메라 입력 영상의 좌표 정보이다.
일 실시예에 있어서, 레코드는 도 9와 도 10 및 도 11에 도시된 바와 같이 세 가지 유형으로 나뉘며, 이는 헤더에 기록된 값에 따라 구분된다. 도 9와 같이 헤더 값이 ‘1’일 경우, 데이터 필드에 기록된 정보는 색 표현 정보이며, 이는 블랙 영상을 생성하기 위한 것일 수 있다. 여기서 색 표현 정보는 휘도(Y)와 색차(Cb, Cr) 정보일 수 있다. 도 10과 같이 헤더 값이 ‘2’일 경우, 데이터 필드에 기록된 정보는 색 표현 정보이며, 이는 차량 마스크(car mask) 영상을 생성하기 위한 것일 수 있다. 이 색 표현 정보 또한 휘도(Y)와 색차(Cb, Cr) 정보일 수 있다. 도 11과 같이 헤더 값이 ‘4~7’중 어느 하나일 경우, 데이터 필드에 기록된 정보는 카메라 입력 영상 데이터의 X,Y 좌표(X좌표 정수, Y좌표 정수)와 X,Y 가중치(X좌표 소수, Y좌표 소수)이다. 헤더 값 ‘4’는 제1카메라 입력 영상 데이터를 나타내고, 헤더 값 ‘5’는 제2카메라 입력 영상 데이터를 나타내고, 헤더 값 ‘6’은 제3카메라 입력 영상 데이터를 나타내며, 헤더 값 ‘7’는 제4카메라 입력 영상 데이터를 나타낸다. 그리고 제1카메라 내지 제4카메라는 차량의 전후좌우 중 서로 다른 방향을 촬영하기 위해 차량에 장착된 카메라일 수 있다.
한편, 도 9와 도 10은 사실상 동일함을 알 수 있다. 따라서 도 9와 도 10에서와 같이 헤더 값을 달리 사용하여 블랙 영상과 차량 마스크 영상을 구분하지 않고 동일한 헤더 값을 사용하여 하나의 레코드 유형으로 취급할 수 있다. 또는 블랙 영상과 차량 마스크 영상 외에 추가의 영상을 색 표현 정보로 만들고자 하는 경우, 그 추가 영상의 수만큼 레코드 유형이 추가될 수도 있다. 즉, 도 9와 도 10과 같은 레코드가 그 헤드 값만을 달리하여 추가될 수 있다는 것이다. 이 같이 사실상 데이터 필드에 기록된 데이터가 동일하다 할지라도 표현하고자 하는 영상이 상이할 때 헤더 값으로 구분해 놓으면 추후에 영상 편집 등 관리가 용이하다.
도 12는 본 발명의 일 실시예에 따른 AVM 시스템용 영상 합성 장치 블록도이다.
도시된 영상 합성 장치는 AVM ECU(Electronic Control Unit)에 구현되며, 저장부(100)와 영상 합성부(200)를 포함한다. 저장부(100)는 메모리로서, DRAM(Dynamic Random Access Memory)과 플래시 메모리를 포함하여 구성될 수 있다. 이 저장부(100)에는 상술한 LUT이 저장되는데, 뷰 모드별로 상응하는 LUT이 저장된다. 영상 합성부(200)는 FPGA(Field Programmable Gate Array) 설계로 구현되며, 영상 입력부(210)와 영상 처리부(230) 및 영상 출력부(240)를 포함한다. 영상 입력부(210)는 제1카메라로부터 영상을 입력받는 제1영상 입력부(211)와 제2카메라로부터 영상을 입력받는 제2영상 입력부(212)와 제3카메라로부터 영상을 입력받는 제3영상 입력부(213) 및 제4카메라로부터 영상을 입력받는 제4영상 입력부(214)를 포함한다. 여기서 영상 입력 채널의 수는 4개로 예시하였으나, 이는 카메라의 수에 따라 달라질 수 있다. 영상 입력부(210)는 입력된 카메라 영상들을 데이터를 쓰거나 읽는 기능을 수행하는 메모리 인터페이스 처리부(220)를 통해 저장부(100)에 저장한다.
영상 처리부(230)는 저장부(100)에 저장된 LUT을 이용하여 출력 영상을 생성한다. 영상 처리부(230)는 LUT의 최초 레코드부터 순차적으로 읽어들여 도 13에 도시된 출력 화소 이미지 생성 방향에 맞춰 순차적으로 출력 영상의 화소 이미지를 생성한다. 일 실시예에 있어서, 영상 처리부(230)는 도 12에 도시된 바와 같이 LUT 분석부(231)와 색 표현 처리부(232)와 카메라 영상 처리부(233) 및 카메라 영상 처리부(234)를 포함한다. 색 표현 처리부(232)는 하나일 수도 있으며, 둘 이상일 수 있다. 색 표현 처리부(232)가 하나일 경우, 도 9와 도 10은 하나의 레코드 유형으로 정의되며 헤더 값 또한 동일한 값이 사용된다. 색 표현 처리부(232)가 둘로 구현될 경우, 도 12에 도시된 바와 같이 색 표현 처리부(232)는 블랙 영상을 생성하는 블랙 처리부(232a)와 차량 마스크 영상을 생성하는 차량 마스크 처리부(232b)로 구현될 수 있다. 이하에서는 색 표현 처리부(232)가 둘로 구현된 경우로 가정하여 설명하며, 이하 설명을 통해 색 표현 처리부(232)가 하나인 경우는 물론 셋 이상인 경우도 동일하게 이해될 수 있을 것이다.
LUT 분석부(231)는 메모리 인터페이스 처리부(220)를 통해 저장부(100)로부터 LUT의 레코드를 순차적으로 읽어와 헤더를 분석한다. 헤더 값이 ‘1’인 경우, 블랙 처리부(232a)는 도 8과 같은 레코드의 데이터 필드에 기록된 블랙 색상 정보인 YCbCr 값을 추출하여 출력한다. 헤더 값이 ‘2’인 경우, 차량 마스크 처리부(232b)는 도 9와 같은 레코드의 데이터 필드에 기록된 차량 마스크 정보인 YCbCr 값을 추출하여 출력한다. 헤더 값이 ‘4~7’중 어느 하나인 경우, 카메라 영상 처리부(233)는 도 11과 같은 레코드의 데이터 필드에 기록된 X,Y 좌표 및 가중치를 이용하여 저장부(100)에서 해당 카메라의 영상 데이터를 획득하며, 즉 읽어오며, 보간(Bi-Linear Interpolation) 연산을 실행한 후 출력한다. 카메라 영상 처리부(234)는 LUT 분석부(231)로부터 전달된 헤더 값에 따라서 블랙 처리부(232a)의 블랙 데이터, 차량 마스크 처리부(232b)의 차량 마스크 데이터, 카메라 영상 처리부(233)의 영상 데이터 중 하나를 선택하여 영상 출력부(240)로 출력한다. 영상 출력부(240)는 입력된 데이터를 출력 포맷인 ITU-R BT.656에 맞추어 외부 디스플레이 장치로 출력한다.
이상에서와 같이, 영상 합성 장치는 LUT 레코드의 헤더 값에 따라서 블랙 영상, 차량 마스크 영상 , 카메라 영상을 구분하여 각각 처리한다. 따라서 FPGA의 설계 변경 없이 LUT 교체만으로 뷰 모드를 자유롭게 변경할 수 있으며, 3분할 구조 이상의 뷰 모드도 가능해진다. 참고로, 도 14에는 3분할 구조가 예시되어 있으며, 도 15에는 4분할 구조가 예시되어 있다. 빗금 친 블록 영역은 차량 마스크 영상과 카메라 영상이 표시되는 액티브(Active) 영역이며, 나머지 영역은 블랙 영상이 표시되는 백그라운드(Background) 영역이다. 기존과 달리, 본 발명에 따른 FPGA는 LUT를 가지고 액티브 영역뿐만 아니라 백그라운드 영역에 대해서도 영상을 생성한다. 따라서 FPGA는 설계 변경이 되지 않더라도 LUT를 이용하여 도 16에 예시된 바와 같은 3분할 구조의 출력 영상을 생성할 수 있고, 도 17에 예시된 바와 같은 4분할 구조의 출력 영상을 생성할 수 있으며, 도 18에 예시된 바와 같이 좌측 영상이 화면의 좌측에 위치하고 전방 영상이 화면의 우측에 위치하도록 출력 영상을 생성할 수도 있다.
도 19는 본 발명의 일 실시예에 따른 영상 합성 방법 흐름도이다.
우선, 사용자가 사용자 인터페이스를 통해 원하는 뷰 모드를 선택하면, 선택된 뷰 모드 정보가 차량 통신을 통해 AVM ECU로 입력된다(S100). 영상 합성부(200)는 LUT 처리 횟수를 초기화하고, 저장부(100)에 저장된 LUT들 중 결정된 뷰 모드에 대응되는 LUT 레코드들을 순차적으로 읽어온다(S150)(S200). 영상 합성부(200)는 읽어온 레코드의 헤더를 분석한다(S250). 헤더 값이 ‘1’일 경우, 영상 합성부(200)는 읽어온 레코드에 기록된 블랙 영상용 색 표현 정보인 YCbCr 값을 추출하여 출력한다(S300). 즉, 블랙 영상 화소 데이터를 출력하는 것이다. 헤더 값이 ‘2’일 경우, 영상 합성부(200)는 읽어온 레코드에 기록된 차량 마스크 영상용 색 표현 정보인 YCbCr 값을 추출하여 출력한다(S350). 즉, 차량 마스크 영상 화소 데이터를 출력하는 것이다. 헤더 값이 ‘4~7’중 어느 하나일 경우, 영상 합성부(200)는 읽어온 레코드에 기록된 카메라 정보를 추출하고, X,Y 좌표와 가중치를 추출한다(S400). 영상 합성부(200)는 추출된 카메라 정보와 X,Y 좌표 및 가중치를 가지고 저장부(100)로부터 해당 영상 데이터를 읽어오며, 잘 알려진 보간 연산(Bi-Linear Interpolation)을 수행한 후 출력한다(S450)(S500)(S550). 이후, 영상 합성부(200)는 처리 횟수가 출력 영상의 화소 수인 345,600에 도달하였는지 판단한다(S600). 도달하지 않았으면, 영상 합성부(200)는 처리 횟수를 1 증가시키고, S150으로 피드백한다(S650).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 저장부 200 : 영상 합성부
210 : 영상 입력부 211 : 제1영상 입력부
212 : 제2영상 입력부 213 : 제3영상 입력부
214 : 제4영상 입력부 220 : 메모리 인터페이스 처리부
230 : 영상 처리부 231 : LUT 분석부
232 : 색 표현 처리부 232a : 블랙 처리부
232b : 차량 마스크 처리부 233 : 카메라 영상 처리부
234 : 데이터 선택부 240 : 영상 출력부

Claims (10)

  1. 다수의 카메라로부터 영상을 입력받는 영상 입력부;
    화면 출력 화소 단위로 색 표현 정보 또는 상기 입력 영상의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블이 저장된 저장부; 및
    상기 저장된 룩업 테이블을 이용하여 영상을 합성하는 영상 처리부;
    를 포함하는 것을 특징으로 하는 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치.
  2. 제1항에 있어서, 상기 영상 처리부는 :
    상기 저장된 룩업 테이블의 레코드 헤더를 분석하는 룩업 테이블 분석부;
    상기 분석된 레코드의 데이터 필드에 기록된 색 표현 정보를 추출하여 출력하는 색 표현 처리부; 및
    상기 분석된 레코드의 데이터 필드에 기록된 좌표 정보에 해당하는 입력 영상 데이터를 획득하여 출력하는 카메라 영상 처리부;
    를 포함하는 것을 특징으로 하는 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치.
  3. 제2항에 있어서,
    상기 색 표현 처리부는 둘 이상이며, 상기 분석 결과에 따라 해당되는 색 표현 처리부가 상기 분석된 레코드의 데이터 필드에 기록된 색 표현 정보를 추출하여 출력하는 것을 특징으로 하는 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치.
  4. 제3항에 있어서, 상기 색 표현 처리부는 :
    블랙 영상을 생성하는 블랙 처리부; 및
    차량 마스크 영상을 생성하는 차량 마스크 처리부;
    를 포함하는 것을 특징으로 하는 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치.
  5. 제1항에 있어서,
    상기 색 표현 정보는 휘도와 색차 정보인 것을 특징으로 하는 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치.
  6. 제1항에 있어서,
    상기 저장부에는 뷰 모드별 룩업 테이블이 저장된 것을 특징으로 하는 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 영상 입력부와 상기 영상 처리부는 FPGA(field-programmable gate array)로 구현되는 것을 특징으로 하는 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치.
  8. 화면 출력 화소 단위로 색 표현 정보 또는 다수 카메라로부터의 입력 영상에 대한 좌표 정보가 기록된 룩업 테이블을 이용하여 영상을 합성하는 단계; 및
    상기 합성 영상을 디스플레이 장치로 출력하는 단계;
    를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터 시스템의 용이한 뷰 모드 변경을 위한 영상 합성 방법.
  9. 제8항에 있어서, 상기 합성하는 단계는 :
    상기 룩업 테이블을 구성하는 레코드들을 순차적으로 분석하는 단계; 및
    상기 분석된 레코드 헤더 값에 따라 그 데이터 필드에 기록된 색 표현 정보를 추출하여 출력하거나 좌표 정보에 해당하는 카메라 입력 영상 데이터를 획득하여 출력하는 단계;
    를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터 시스템의 용이한 뷰 모드 변경을 위한 영상 합성 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 룩업 테이블에 기록된 색 표현 정보는 블랙 영상과 차량 마스크 영상을 생성하기 위한 것임을 특징으로 하는 어라운드 뷰 모니터 시스템의 용이한 뷰 모드 변경을 위한 영상 합성 방법.
KR1020120059180A 2012-06-01 2012-06-01 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법 KR101376211B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120059180A KR101376211B1 (ko) 2012-06-01 2012-06-01 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법
CN2012105488489A CN103458196A (zh) 2012-06-01 2012-12-17 全景监控影像系统用影像合成装置及影像合成方法
US13/853,622 US20130322783A1 (en) 2012-06-01 2013-03-29 Image composing apparatus of around view monitor system for changing view mode easily and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120059180A KR101376211B1 (ko) 2012-06-01 2012-06-01 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법

Publications (2)

Publication Number Publication Date
KR20130135538A true KR20130135538A (ko) 2013-12-11
KR101376211B1 KR101376211B1 (ko) 2014-03-21

Family

ID=49670342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120059180A KR101376211B1 (ko) 2012-06-01 2012-06-01 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법

Country Status (3)

Country Link
US (1) US20130322783A1 (ko)
KR (1) KR101376211B1 (ko)
CN (1) CN103458196A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051129A (ko) * 2014-10-31 2016-05-11 현대모비스 주식회사 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
KR20190007804A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
WO2019059732A1 (ko) * 2017-09-22 2019-03-28 엘지이노텍 주식회사 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4106313A4 (en) * 2020-03-12 2023-07-19 Sony Group Corporation IMAGE PROCESSING DEVICE, METHOD AND PROGRAM

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398309A (en) * 1993-05-17 1995-03-14 Intel Corporation Method and apparatus for generating composite images using multiple local masks
US6256421B1 (en) * 1998-12-07 2001-07-03 Xerox Corporation Method and apparatus for simulating JPEG compression
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
EP1158803A3 (en) * 2000-05-24 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
US9619742B2 (en) * 2001-05-18 2017-04-11 Nxp B.V. Self-descriptive data tag
JPWO2003034738A1 (ja) * 2001-10-10 2005-02-10 松下電器産業株式会社 画像処理装置
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
US7778487B2 (en) * 2006-11-19 2010-08-17 Microsoft Corp. Region selection for image compositing
JP4844979B2 (ja) * 2007-08-30 2011-12-28 京セラ株式会社 画像処理方法と該画像処理方法を用いた撮像装置
JPWO2009141846A1 (ja) 2008-05-19 2011-09-22 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051129A (ko) * 2014-10-31 2016-05-11 현대모비스 주식회사 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
KR20190007804A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
CN110892727A (zh) * 2017-07-13 2020-03-17 三星电子株式会社 用于在网络系统中传送数据的方法和装置
CN110892727B (zh) * 2017-07-13 2022-03-04 三星电子株式会社 用于在网络系统中传送数据的方法和装置
WO2019059732A1 (ko) * 2017-09-22 2019-03-28 엘지이노텍 주식회사 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법
US11546555B2 (en) 2017-09-22 2023-01-03 Lg Innotek Co., Ltd. Around-view image control device and around-view image processing method therefor

Also Published As

Publication number Publication date
US20130322783A1 (en) 2013-12-05
KR101376211B1 (ko) 2014-03-21
CN103458196A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
US10453423B2 (en) Perceptually optimised color calibration method and system
US8290252B2 (en) Image-based backgrounds for images
US20130010012A1 (en) Methods and apparatus for color uniformity
JP2006157892A (ja) 画像処理装置及び画像処理方法
JPWO2005081187A1 (ja) 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよび集積回路装置
KR101376211B1 (ko) 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법
KR101340427B1 (ko) 영상 프로세싱을 위한 개선된 메모리 구조
JP4519925B2 (ja) 色変換回路および色変換方法
US20140333661A1 (en) Systems and methods for combining images into a file using multiple color palettes
JP4904354B2 (ja) ビデオテストパターンのための効率的なテスト生成装置
US6342882B1 (en) Image processing apparatus and method and transmission medium
US8520939B2 (en) Apparatus and method of reproducing preferred color
US8089493B2 (en) Image processing circuit, display device, and printing device
JP2007166562A (ja) 色変換装置および色変換方法、色変換プログラム、記憶媒体
US11574607B2 (en) Display device and control method of display device
Colantoni et al. Web technologies enable agile color management
US6211885B1 (en) Apparatus for outputting an image in which data of points on texture pattern are mapped to data of dots on display plane
CN112119631A (zh) 监视图像生成方法、装置、设备和系统、图像处理设备
JP2005071223A (ja) 多重画像作成装置、多重画像作成方法、多重画像作成プログラム及びプログラム記録媒体
JP2005269443A (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2002374540A (ja) クロマキーシステム、方法および装置
US20240037701A1 (en) Image processing and rendering
EP3454538A1 (en) Method for determining a transfer function adapted to be used for color grading a visual content and corresponding electronic device, system, computer readable program product and computer readable storage medium
US7468733B2 (en) Method and system for improving color reduction
JP3215156B2 (ja) カラ−画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 7