KR101809727B1 - Svm 시스템 및 그의 영상입력 및 처리방법 - Google Patents

Svm 시스템 및 그의 영상입력 및 처리방법 Download PDF

Info

Publication number
KR101809727B1
KR101809727B1 KR1020160124274A KR20160124274A KR101809727B1 KR 101809727 B1 KR101809727 B1 KR 101809727B1 KR 1020160124274 A KR1020160124274 A KR 1020160124274A KR 20160124274 A KR20160124274 A KR 20160124274A KR 101809727 B1 KR101809727 B1 KR 101809727B1
Authority
KR
South Korea
Prior art keywords
image
camera
cameras
svm
frame sync
Prior art date
Application number
KR1020160124274A
Other languages
English (en)
Inventor
김시욱
조성훈
최명재
Original Assignee
주식회사 켐트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 켐트로닉스 filed Critical 주식회사 켐트로닉스
Priority to KR1020160124274A priority Critical patent/KR101809727B1/ko
Priority to PCT/KR2016/011388 priority patent/WO2018062599A1/ko
Priority to CN201680089612.XA priority patent/CN109792475B/zh
Application granted granted Critical
Publication of KR101809727B1 publication Critical patent/KR101809727B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G06T3/0018—Fisheye, wide-angle transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
    • G06T3/047—
    • G06T3/18—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 발명의 일실시예에 따른 SVM 시스템은 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하는 영상처리 모듈을 포함하는 SVM 시스템으로서, 상기 복수의 카메라의 카메라 영상데이터는 상기 영상처리 모듈로부터 제공되는 프레임 싱크에 의해 각각 동기화되고, 상기 영상처리 모듈은 상기 복수의 카메라에서 각각 동기화되어 출력된 영상 데이터를 SVM 영상으로 합성한다.
이에 따라, 메모리를 효율적으로 사용할 수 있고, 합성영상의 접합부 오차와 조명의 오차를 없앨 수 있을 뿐만 아니라, 퀄리티가 높은 화질의 영상을 얻을 수 있고, 합성영상의 밝기와 색상의 차이가 최소가 되도록 제어할 수 있다.

Description

SVM 시스템 및 그의 영상입력 및 처리방법{Surround View Monitoring System and Image Signal Processing Method thereof}
본 발명은 SVM 시스템 및 그의 영상입력 및 처리방법에 관한 것이고, 보다 구체적으로, 하나의 영상처리기에서 생성된 프레임 싱크에 의해 복수개의 카메라의 V-sync를 동기화시키고, 동기화된 출력데이터를 통해 SVM 시스템의 영상으로 합성함에 따라 퀄리티가 높은 화질의 영상을 얻을 수 있는 SVM 시스템 및 그를 위한 영상입력방법에 관한 것이다.
일반적으로 SVM(Surround View Monitoring)시스템은 주변의 360도 모습을 한눈에 모니터링 할 수 있는 영상시스템으로서, 주변의 영상을 촬영하고 육안으로 확인하기 위해 사용된다.
또한, SVM 시스템이 차량의 주변 영상을 표시하는 장치로 구현될 경우, 자동차의 전방, 후방, 좌측 및 우측등에 각각 카메라가 설치되고, 상기 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 토대로 중복 영역이 자연스럽게 보이도록 보정 처리하여 자동차의 주변환경을 화면에 표시한다.
이에 따라 운전자는 표시된 주변환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러 또는 백 미러를 보지 않고도 편리하게 주차 또는 주행할 수 있게 된다.
또한, 상기 SVM 시스템은 서로 다른 카메라에서 촬영된 영상을 하나의 화면에 자연스럽게 표시하거나, 특히 3D 영상으로 구현하기 위해서는 전방, 후방, 좌측 및 우측 등에 각각 설치된 카메라로 부터 촬영된 영상을 입력받고, 이를 합성영상으로의 처리하여야 한다.
보다 구체적으로, SVM 시스템을 구현하기 위해 최소 4대 이상의 카메라와 카메라로 부터 촬영된 영상을 합성할 수 있는 카메라 영상 처리기기가 필요하다.
또한, 상기 카메라 영상 처리기기는 4대 이상의 카메라로부터 각각 영상을 입력받고 이를 처리하기 위한 SVM 프로세서와, 상기 4대 이상의 카메라로 부터 영상을 입력받기 위한 카메라 인터페이스가 각각 4개 이상 요구된다.
결국, 상기한 바와 같이 기술구현하기 위해서는 고가의 기기로 구현될 수밖에 없는 문제점을 지니고 있다.
한편, 동기화되지 않은 다수의 카메라의 입력 영상을 합성하기 위해서는 최소 프레임 크기 이상의 메모리가 필요하다.
예를 들어, 4개의 HD급 카메라를 사용하여 기존의 방법으로 영상을 합성하게 되면 프레임 메모리가 최소 7.4 Mbyte 이상 필요하게 된다. 즉, HD급 카메라의 경우 영상의 크기는 1280×720이고, 한 라인은 1280 픽셀이고, 한 픽셀은 YUV_422 데이터의 경우 2 Byte를 차지한다. 따라서, 한 프레임을 저장하기 위해서는 1280×720×2=1,843,200 Byte가 요구되며 4개의 카메라 영상을 모두 저장한 후 합성하기 위해서는 1,843,200 Byte × 4 = 약 7.4 Mbyte의 많은 메모리가 필요한 문제점을 지니고 있다.
국내공개특허 제2010-0113959호
본 발명의 관점은 복수의 카메라를 동기화시켜 동일 시간대의 영상이 동시에 입력됨에 따라 적은 메모리로도 복수의 카메라 영상을 합성할 수 있어 메모리를 효율적으로 사용할 수 있고, 이를 따라 합성된 영상은 카메라간 시차에 의해 발생되는 접합부 오차와 조명의 오차를 없앨 수 있는 SVM 시스템 및 그의 영상처리방법을 제공하기 위한 것이다.
또한, 본 발명의 다른 관점은 복수의 카메라를 실시간으로 제어하고, 동기화된 출력데이터를 통해 SVM 시스템의 영상으로 합성함에 따라 퀄리티가 높은 화질의 영상을 얻을 수 있는 SVM 시스템 및 그의 영상처리방법을 제공하기 위한 것이다.
또한, 본 발명의 또 다른 관점은 카메라 영상처리 모듈의 SVM 프로세서에서 생성된 프레임 싱크(Frame Sync)를 각각의 카메라에 내재된 카메라 센서의 프레임 싱크 입력으로 연결하여 카메라 영상 출력의 기준신호로 사용하여 복수의 카메라의 V-Sync를 동기화시키고, 이를 통해 출력된 영상 데이터를 이용하여 SVM 시스템의 영상으로 합성함에 따라 퀄리티가 화질의 영상을 얻을 수 있는 SVM 시스템 및 그의 영상처리방법을 제공하기 위한 것이다.
또한, 본 발명의 또 다른 관점은 복수의 카메라를 실시간으로 제어하고, 실시간으로 입력된 각각의 카메라 영상을 프레임 단위로 AE(Automatic exposure)와 AWB(Auto White Balance) 상태값으로 SVM 영상 합성 시에 밝기와 색상의 차이가 최소가 되도록 제어할 수 있는 SVM 시스템 및 그의 영상처리방법을 제공하기 위한 것이다.
본 발명의 일실시예에 따른 SVM 시스템은 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하는 영상처리 모듈을 포함하는 SVM 시스템으로서, 상기 복수의 카메라의 카메라 영상데이터는 상기 영상처리 모듈로부터 제공되는 프레임 싱크에 의해 각각 동기화되고, 상기 영상처리 모듈은 상기 복수의 카메라에서 각각 동기화되어 출력된 영상 데이터를 SVM 영상으로 합성한다.
또한, 상기 SVM 시스템의 카메라 영상처리 모듈은 상기 복수의 카메라와 각각 실시간으로 신호를 송수신하기 위한 카메라 인터페이스과, 상기 프레임 싱크에 의해 동기화된 복수의 카메라의 영상데이터를 라인버퍼를 이용하여 합성하는 라인 버퍼부와, 상기 라인 버퍼부를 통해 SVM 영상으로 합성하는 카메라 영상 합성부와, 상기 복수의 카메라의 영상을 동기화하기 위한 프레임 싱크를 생성한다.
또한, 상기 SVM 시스템에 있어서, 상기 복수의 카메라는 각각 카메라 센서, ISP(Image Signal Processing) 및 상기 카메라 영상처리 모듈과 실시간으로 신호를 송수신을 위한 카메라 인터페이스를 포함한다.
또한, 상기 SVM 시스템에 있어서, 상기 카메라 센서에는 각각 SVM 프로세서에서 생성된 프레임 싱크가 전송되고, 상기 복수의 카메라는 각각 상기 프레임 싱크에 의해 동기화되고, 동시에 영상데이터로 출력한다.
또한, 상기 SVM 시스템에 있어서, 상기 카메라 영상 합성부는 상기 복수의 카메라에 대하여 실시간으로 입력되는 각각의 카메라 영상을 프레임 단위로 AE(Automatic exposure)와 AWB(Auto White Balance) 상태의 값을 읽고, SVM 영상 합성 시에 밝기와 색상의 차이가 최소가 되도록 카메라의 ISP(Image Signal Process)의 AE와 AWB를 제어한다.
본 발명의 일실시예에 따른 SVM의 영상입력 및 처리방법은 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하는 SVM의 영상입력 및 처리방법으로서 SVM 프로세서에서 생성된 프레임 싱크를 상기 복수의 카메라에 각각 송부하는 프레임 싱크 송부단계와, 상기 프레임 싱크에 의해 각각의 카메라 영상데이터를 동기화하는 카메라 영상데이터 동기화 단계와, 상기 복수의 카메라에서 동기화되어 출력된 영상 데이터를 라인버퍼를 이용하여 합성하는 영상합성단계를 포함한다.
또한, 상기 SVM의 영상입력 및 처리방법에 있어서, 상기 프레임 싱크 송부단계는 상기 SVM 프로세서에 생성된 프레임 싱크를 카메라 영상 처리 모듈의 카메라 인터페이스와 복수의 카메라에 내재된 카메라 인터페이스를 통해 카메라 센서에 전달한다.
또한, 상기 SVM의 영상입력 및 처리방법에 있어서, 상기 복수의 카메라는 SVM 프로세서의 프레임 싱크를 각각 영상출력의 기준신호로 사용하여 V-Sync를 동시화시키고, 상기 복수의 카메라는 각각 동기화된 영상데이터를 동시에 출력한다.
또한, 상기 SVM의 영상입력 및 처리방법에 있어서, 상기 영상합성단계는 상기 SVM 영상 합성 시에 밝기와 색상의 차이가 최소가 되도록 카메라의 ISP(Image Signal Process)의 AE와 AWB를 제어하는 AE 및 AWB 제어 단계를 더 포함한다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 2015년 산업기술거점기관지원사업의 "자동차 주행안전 동력전달 핵심부품 개발사업"의 연구개발과제의 성과물로서, 본 발명에 의하면 메모리를 효율적으로 사용할 수 있고, 합성영상의 접합부 오차와 조명의 오차를 없앨 수 있을 뿐만 아니라, 퀄리티가 높은 화질의 영상을 얻을 수 있고, 합성영상의 밝기와 색상의 차이가 최소가 되도록 제어할 수 있다.
본 발명의 기술적 사상의 실시예는, 구체적으로 언급되지 않은 다양한 효과를 제공할 수 있다는 것이 충분히 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 SVM 시스템에 대한 기본개념을 개략적으로 도시한 구성도.
도 2는 도 1에 도시한 SVM 시스템에 있어서 세부기술구성을 보다 구체적으로 도시한 구성도.
도 3은 도 2에 도시한 SVM 시스템에 있어서 프레임 싱크에 동기화된 일실시예에 따른 카메라 입력영상을 개략적으로 도시한 사용상태도.
도 4는 도 2에 도시한 SVM 시스템에 있어서 프레임 싱크에 동기화되어 출력되는 일실시예에 따른 카메라 영상데이터를 개략적으로 도시한 사용상태도.
도 5는 도 2에 도시한 SVM 시스템에 있어서 일실시예에 따른 영상 합성을 위한 라인버퍼를 개략적으로 도시한 사용상태도.
도 6은 도 2에 도시한 SVM 시스템에 있어서 일실시예에 따른 라인버퍼를 이용한 합성영상을 개략적으로 도시한 사용상태도.
도 7은 도 2에 도시한 SVM 시스템에 있어서 일실시예에 따른 라인버퍼를 이용하여 합성한 실제 입력영상을 개략적으로 도시한 사용상태도.
도 8은 도 2에 도시한 SVM 시스템에 있어서 실시간으로 AE 제어된 비교영상을 개략적으로 도시한 사용상태도.
도 9는 본 발명의 일실시예에 따른 SVM 시스템의 영상입력 및 처리방법을 개략적으로 도시한 순서도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 SVM 시스템에 대한 기본개념을 개략적으로 도시한 구성도이다.
도시한 바와 같이, 상기 SVM 시스템(1000)은 카메라 모듈(1100) 및 카메라 영상처리 모듈(1200)를 포함한다. 또한, 본 발명의 일실시예에 따른 SVM 시스템은 2015년 산업기술거점기관지원사업의 "자동차 주행안전 동력전달 핵심부품 개발사업"의 연구개발과제의 성과물이다.
보다 구체적으로, 상기 카메라 모듈(1100)은 복수개의 카메라 모듈을 포함하고, 상기 카메라 모듈에서 촬상된 영상데이터를 상기 카메라 영상처리 모듈(1200)로 전송한다.
이때, 상기 복수개의 카메라는 카메라 영상처리 모듈(1200)로 부터 제공된 프레임 싱크(Frame Sync)에 의해 V-sync가 각각 동기화되고, 상기 복수의 카메라에서 동시에 영상 데이터가 출력된다. 그리고 상기 카메라 모듈(1100)에서 출력된 영상 데이터는 카메라 영상처리 모듈(1200)에 전달되고, 상기 카메라 영상처리 모듈에서 SVM 영상으로 합성된다.
이하, 도 2 내지 도 8을 참조하여 본 발명의 일실시예에 따른 SVM 시스템의 기술구성 및 유기적 결합에 따른 기술구현에 대하여 보다 자세히 기술한다.
도 2는 도 1에 도시한 SVM 시스템에 있어서 세부기술구성을 보다 구체적으로 도시한 구성도이다.
도시한 바와 같이, 상기 카메라 모듈(1100)은 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)를 포함한다. 즉, 상기 카메라 모듈(1100)은 복수의 카메라를 포함하고, 도 2는 이에 대한 일예로서 4개의 카메라를 포함하는 카메라 모듈은 도시한 것이다.
그리고 상기 카메라 영상처리 모듈(1200)은 카메라 인터페이스(1210), 카메라 영상 합성부(1220), 라인 버퍼부(1230) 및 SVM 프로세서(1240)를 포함한다.
보다 구체적으로, 상기 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)는 각각 카메라 센서, ISP(Image Signal Processing) 및 카메라 인터페이스를 포함하고, 주변영상을 촬영하기 위해 각각 촬영하는 방향이 다르게 배치될 수 있다.
또한, 상기 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)에서 각각 촬영된 영상 데이터는 상기 카메라 인터페이스와 상기 카메라 영상처리 모듈(1200)의 상기 카메라 인터페이스(1210)를 통해 상기 카메라 영상 합성부(1220)에 전달된다.
또한, 상기 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)는 상기 SVM 프로세서(1240)에서 생성된 프레임 싱크(Frame Sync)를 카메라 센서에 프레임 싱크 입력으로 연결하고, 이를 영상출력의 기준신호로 사용하여 V-Sync를 동시화시키고, 상기 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)에서 동시에 영상데이터를 출력한다.
이에 따라, 동기화된 카메라의 영상은 도 3에 일예로 도시한 바와 같이 나타나고, 도 4에 일예로 도시한 바와 같은 영상데이터로 출력된다.
즉, 상기한 바와 같이 SVM 프로세서(1240)에서 생성된 프레임 싱크를 사용하여 동기화된 경우, 상기 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)의 영상 데이터가 V-Sync와 H-Sync에 맞추어 동기화되어 입력됨에 따라 라인 버퍼 메모리를 사용하여 영상의 한 라인이 입력될 때마다 4개의 라인을 모두 합성하여 하나의 라인으로 출력하여 상기 카메라 영상처리 모듈(1200)의 카메라 인터페이스(1210)에 전달하여도 영상의 싱크가 틀어지지 않고 영상전송이 가능하게 된다.
또한, 상기 카메라 인터페이스(1210)는 상기 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)와의 양방향 통신을 구현하기 위한 것이다.
즉, SVM 프로세서(1240)는 전술한 바와 같이 프레임 싱크(Frame Sync)를 상기 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)에 전달하기 위해 각각의 카메라 상태를 항상 모니터링해야 한다. 이를 위해 상기 카메라 인터페이스(1210)는 전술한 바와 같이 상기 제1 카메라(1110), 제2 카메라(1120), 제3 카메라(1130) 및 제4 카메라(1140)의 카메라 인터페이스와 연결되어, 상기 카메라 모듈(1100)과 상기 카메라 영상 처리 모듈(1200)을 연결한다.
이에 따라 실시간으로 카메라 제어 및 모니터링을 위한 양방향 통신을 구현된다.
또한, 상기 카메라 인터페이스는 I2C(Inter-integrated Circuit)와 같은 양방향 통신모듈로 구현될 수 있다.
다음으로, 상기 라인 버퍼부(1230)는 동기화된 카메라 영상 데이터를 합성하기 위한 것으로, 상기 카메라 영상 합성부(1220)에 연결된다. 그리고 도 5에 일례로 도시한 바와 같이 구현되고, 도 6에 일례로 도시한 바와같이, 카메라의 영상은 합성된다.
이때, 상기 라인 버퍼부(1230)에는 동기화된 영상 데이터가 전송됨에 따라 라인 메모리 만으로 처리가 가능하여, 메모리 크기가 종래에 비하여 대폭 줄어들 수 있다. 즉, 라인 버퍼부의 메모리만으로 카메라 영상 합성장치를 구현할 경우 설계가 간단해지고 비용도 현저히 줄어들게 된다.
즉, 일예로서 라인 버퍼부의 메모리의 크기는 하나의 HD급 카메라의 라인 메모리가 1280×2=2560Byte 이며, 4개의 카메라 영상을 합성하기 위해서는 2560×4=10,240Byte 의 라인 메모리면 충분하다. 그리고 실제 1280×720 크기의 4개의 영상이 5120×720 하나의 영상으로 합쳐지게 된다.
즉, 실제 데이터는 한 라인만 합성하여 SVM 프로세서(1200)로 전송되며, 상기 SVM 프로세서(1200)에는 도 6과 같은 영상으로 입력된다.
도 7은 각각의 카메라에서 실제로 촬영한 영상이 라인버퍼에 의해 합성된 영상을 나타낸 것이다. 보다 구체적으로, 도 7의 (a) 내지 도 7의 (d)는 각각 제1 카메라 내지 제4 카메라를 통해 촬영된 영상을 나타낸 것이고, 도 7의 (e)는 라인버퍼에 의해 합성된 영상을 나타낸 것이다.
보다 구체적으로, 도 7의 (a) 내지 도 7의 (d)에 도시한 바와같이 각각의 카메라에서 촬영된 입력영상은 도 7의 (e)에 도시한 바와 같이 라인버퍼에 의해 합성되고 SVM 시스템의 합성영상으로 나타난다.
또한, 본 발명에 따른 SVM 시스템은 복수의 카메라에 대하여 실시간으로 입력되는 각각에 대한 카메라 영상을 프레임 단위로 AE(Automatic exposure)와 AWB(Auto White Balance) 상태의 값을 읽어서 SVM 영상 합성 시에 밝기와 색상의 차이가 최소가 되도록 카메라의 ISP(Image Signal Process)의 AE와 AWB를 제어할 수 있다.
이에 따라 도 8의 (b)에 도시한 바와 같이 실시간으로 제어된 SVM 시스템의 합성영상은 도 8의 (a)에 도시된 AE 제어되지 않은 SVM 시스템의 합성영상과 비교하여 비교하여 밝기와 색상의 차이가 최소화 됨을 확인 할 수 있다.
상기한 바와 같이 이루어짐에 따라, 본 발명의 일실시예에 따른 SVM 시스템은 합성영상의 접합부 오차와 조명의 오차를 없앨 수 있을 뿐만 아니라, 퀄리티가 높은 화질의 영상을 얻을 수 있고, 합성영상의 밝기와 색상의 차이가 최소가 되도록 제어할 수 있다.
도 9는 본 발명의 일실시예에 따른 SVM 시스템의 영상입력 및 처리방법을 개략적으로 도시한 순서도이다.
도시한 바와 같이, SVM 시스템의 영상입력 및 처리방법은 SVM 프로세서의 프레임 싱크 카메라에 송부단계(S1100), 프레임 싱크에 카메라 영상데이터 동기화 단계(S1200) 및 라인버퍼를 이용한 영상합성(S1300)를 포함한다.
보다 구체적으로, 상기 SVM 프로세서의 프레임 싱크 카메라에 송부단계(S1100)는 SVM 프로세서에서 생성된 프레임 싱크(Frame Sync)를 각각의 카메라에 내재된 카메라 센서에 프레임 싱크 입력으로 전달하는 단계이다.
이때, 상기 SVM 프로세서에서 생성된 프레임 싱크는 카메라 영상 처리 모듈의 카메라 인터페이스를 통해 복수의 카메라 각각에 내재된 카메라 인터페이스를 통해 카메라 센서에 전달될 수 있다.
다음으로 프레임 싱크에 카메라 영상데이터 동기화 단계(S1200)는 상기 SVM 프로세서의 프레임 싱크에 의해 복수의 카메라는 각각 영상출력의 기준신호로 사용하여 V-Sync를 동시화시키고, 복수의 카메라는 각각 동기화된 영상데이터를 동시에 출력한다.
다음으로, 라인버퍼를 이용한 영상합성(S1300)는 상기 각각의 카메라로 부터 출력된 영상데이터를 라인버퍼를 이용하여 SVM 시스템 영상으로 합성하는 단계이다.
또한, 본 발명의 일실시예에 따른 SVM 시스템의 영상입력 및 처리방법은 카메라의 ISP(Image Signal Process)의 AE와 AWB를 제어하는 단계를 더 포함할 수 있다. 상기 AE와 AWB의 제어 단계는 SVM 영상 합성 시에 밝기와 색상의 차이가 최소가 되도록 카메라의 ISP(Image Signal Process)의 AE와 AWB를 제어하는 단계이다.
상기한 바와 같이 이루어짐에 따라, 합성영상의 접합부 오차와 조명의 오차를 없앨 수 있을 뿐만 아니라, 퀄리티가 높은 화질의 영상을 얻을 수 있고, 합성영상의 밝기와 색상의 차이가 최소가 되도록 제어할 수 있는 SVM 영상입력 및 처리방법을 얻을 수 있다.
이상, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 일 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1000: SVM 시스템 1100: 카메라 모듈
1110: 제1 카메라 1120: 제2 카메라
1130: 제3 카메라 1140: 제4 카메라
1200: SVM 프로세서 1210: 카메라 인터페이스
1220: 카메라 영상 합성부 1230: 라인 버퍼부
1240: SVM 프로세서

Claims (9)

  1. 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하는 영상처리 모듈을 포함하는 SVM 시스템으로서,
    상기 복수의 카메라의 카메라 영상테이터는 상기 영상처리 모듈로부터 제공되는 프레임 싱크에 의해 각각 동기화되고, 상기 영상처리 모듈은 상기 복수의 카메라에서 각각 동기화되어 출력된 영상 데이터를 SVM 영상으로 합성하고,
    상기 영상처리모듈은
    상기 복수의 카메라와 각각 실시간으로 신호를 송수신하기 위한 카메라 인터페이스;
    상기 프레임 싱크에 의해 동기화된 복수의 카메라의 영상데이터를 라인버퍼를 이용하여 합성하는 라인 버퍼부;
    상기 라인 버퍼부를 통해 SVM 영상으로 합성하는 카메라 영상 합성부; 및
    상기 복수의 카메라의 영상을 동기화하기 위한 프레임 싱크를 생성하는 SVM 프로세서를 포함하고,
    상기 복수의 카메라의 카메라 영상테이터는 상기 영상처리 모듈로부터 제공되는 프레임 싱크를 상기 복수의 카메라에 내재된 카메라 센서에 프레임 싱크 입력으로 전달하여, 상기 복수의 카메라는 각각 영상출력의 기준신호로 사용하여 동기화되고, 상기 동기화된 복수의 카메라 영상데이터는 V-Sync와 H-Sync에 맞추어 동기화되고, 상기 라인 버퍼부의 메모리에 의해 하나의 라인으로 출력하고 합성하는
    SVM 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 복수의 카메라는 각각 카메라 센서, ISP(Image Signal Processing) 및 상기 영상처리 모듈과 실시간으로 신호를 송수신을 위한 카메라 인터페이스를 포함하는 SVM 시스템.
  4. 제 3항에 있어서,
    상기 카메라 센서에는 각각 SVM 프로세서에서 생성된 프레임 싱크가 전송되고, 상기 복수의 카메라는 각각 상기 프레임 싱크에 의해 동기화되고, 동시에 영상데이터를 출력하는 SVM 시스템.
  5. 제 1항에 있어서,
    상기 카메라 영상 합성부는 상기 복수의 카메라에 대하여 실시간으로 입력되는 각각의 카메라 영상을 프레임 단위로 AE(Automatic exposure)와 AWB(Auto White Balance) 상태의 값을 읽고, SVM 영상 합성 시에 밝기와 색상의 차이가 최소가 되도록 카메라의 ISP(Image Signal Process)의 AE와 AWB를 제어하는 SVM 시스템.
  6. 복수의 카메라에서 촬영된 영상을 SVM 영상으로 합성하는 SVM의 영상입력 및 처리방법으로서,
    SVM 프로세서에서 생성된 프레임 싱크를 상기 복수의 카메라에 내재된 카메라 센서에 각각 송부하는 프레임 싱크 송부단계;
    상기 프레임 싱크에 의해 각각의 카메라 영상데이터를 V-Sync와 H-Sync에 맞추어 동기화하는 카메라 영상데이터 동기화 단계; 및
    상기 복수의 카메라에서 동기화되어 출력된 영상 데이터를 라인버퍼를 이용하여 상기 라인 버퍼부의 메모리에 의해 하나의 라인으로 출력하고 합성하는 영상합성단계를 포함하는 SVM의 영상입력 및 처리방법.
  7. 제 6항에 있어서,
    상기 프레임 싱크 송부단계는
    상기 SVM 프로세서에 생성된 프레임 싱크를 영상 처리 모듈의 카메라 인터페이스와 복수의 카메라에 내재된 카메라 인터페이스를 통해 카메라 센서에 전달하는 SVM의 영상입력 및 처리방법.
  8. 삭제
  9. 제 6항에 있어서,
    상기 영상합성단계는
    상기 SVM 영상 합성 시에 밝기와 색상의 차이가 최소가 되도록 카메라의 ISP(Image Signal Process)의 AE와 AWB를 제어하는 AE 및 AWB 제어 단계를 더 포함하는 SVM의 영상입력 및 처리방법.
KR1020160124274A 2016-09-27 2016-09-27 Svm 시스템 및 그의 영상입력 및 처리방법 KR101809727B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160124274A KR101809727B1 (ko) 2016-09-27 2016-09-27 Svm 시스템 및 그의 영상입력 및 처리방법
PCT/KR2016/011388 WO2018062599A1 (ko) 2016-09-27 2016-10-12 Svm 시스템 및 그의 영상입력 및 처리방법
CN201680089612.XA CN109792475B (zh) 2016-09-27 2016-10-12 Svm系统及其图像输入和处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160124274A KR101809727B1 (ko) 2016-09-27 2016-09-27 Svm 시스템 및 그의 영상입력 및 처리방법

Publications (1)

Publication Number Publication Date
KR101809727B1 true KR101809727B1 (ko) 2017-12-15

Family

ID=60954261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160124274A KR101809727B1 (ko) 2016-09-27 2016-09-27 Svm 시스템 및 그의 영상입력 및 처리방법

Country Status (3)

Country Link
KR (1) KR101809727B1 (ko)
CN (1) CN109792475B (ko)
WO (1) WO2018062599A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949658B1 (ko) 2018-12-17 2019-02-18 진수태 Cctv 야간차량번호 인식을 위한 동기화 컨트롤러가 탑재된 조명장치
WO2021132739A1 (ko) * 2019-12-23 2021-07-01 (주)비전에스티 다채널 영상 전송 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524688A (ja) 2010-04-05 2013-06-17 クゥアルコム・インコーポレイテッド 複数の画像センサからのデータを結合すること

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910001431B1 (ko) * 1986-12-13 1991-03-05 삼성전자 주식회사 좌우 판별신호 부가회로
JP3787498B2 (ja) * 2001-02-13 2006-06-21 キヤノン株式会社 撮像装置及び撮像システム
CN101588482A (zh) * 2009-06-02 2009-11-25 石黎 一种车载虚拟全景电子系统
KR101007347B1 (ko) * 2009-06-18 2011-01-13 주식회사 세일티앤엔 전방향 영상 획득 시스템 및 방법
JP5413184B2 (ja) * 2009-12-24 2014-02-12 ソニー株式会社 カメラシステム及びカメラ制御方法
US9001227B2 (en) * 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
CN102196290A (zh) * 2011-03-23 2011-09-21 深圳创维－Rgb电子有限公司 一种3d图像的显示控制方法和系统
KR101222101B1 (ko) * 2011-06-14 2013-02-05 주식회사 에스칩스 스테레오스코픽 영상의 생성 장치
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
KR101896890B1 (ko) * 2012-10-23 2018-09-10 현대모비스 주식회사 차량 카메라 영상 동기화 방법 및 시스템
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524688A (ja) 2010-04-05 2013-06-17 クゥアルコム・インコーポレイテッド 複数の画像センサからのデータを結合すること

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949658B1 (ko) 2018-12-17 2019-02-18 진수태 Cctv 야간차량번호 인식을 위한 동기화 컨트롤러가 탑재된 조명장치
WO2021132739A1 (ko) * 2019-12-23 2021-07-01 (주)비전에스티 다채널 영상 전송 시스템 및 방법

Also Published As

Publication number Publication date
CN109792475A (zh) 2019-05-21
CN109792475B (zh) 2021-05-11
WO2018062599A1 (ko) 2018-04-05

Similar Documents

Publication Publication Date Title
CN109690628B (zh) 图像处理设备
CN110022431B (zh) 摄像装置、摄像方法、显示装置和显示方法
JP6834976B2 (ja) マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
JP2007116538A (ja) 画像表示プログラム、画像表示装置および画像表示方法
JP2007189333A (ja) 撮影システム
KR101809727B1 (ko) Svm 시스템 및 그의 영상입력 및 처리방법
KR20160134816A (ko) 촬상 장치, 화상 처리 장치, 표시 제어 장치 및 촬상 표시 장치
JP2011035638A (ja) 仮想現実空間映像制作システム
KR20070058263A (ko) 복수의 카메라를 이용한 파노라마 영상 촬영방법
JP2011205232A (ja) 撮像装置、画像表示装置および画像表示システム
JP2004312063A (ja) 撮像装置、画像表示システム及び画像表示方法
CN110996092A (zh) 一种dlp拼接屏的3d效果显示系统与方法
KR100581533B1 (ko) 스테레오 카메라의 영상 합성장치
KR102080927B1 (ko) 스테레오 영상 생성 방법 및 장치
KR101222101B1 (ko) 스테레오스코픽 영상의 생성 장치
JP6917759B2 (ja) 映像生成システム、映像信号生成装置、および表示装置
ES2308280T3 (es) Sistema de control para la proyeccion en estereo.
EP3190460A1 (en) Image capturing device on a moving body
JP6249604B2 (ja) プロジェクタ、その制御方法、及び画像投影システム
JP2006145944A (ja) 画像処理システム
TWI759136B (zh) 圖像輸出的方法、電腦程式產品、裝置及圖像產生方法
JP2009038635A (ja) カメラ及び画像表示方法
JP4725033B2 (ja) 監視カメラシステム、カメラ及び監視カメラ制御方法
JP4475750B2 (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
GRNT Written decision to grant