KR102124964B1 - 프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법 - Google Patents

프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법 Download PDF

Info

Publication number
KR102124964B1
KR102124964B1 KR1020170040277A KR20170040277A KR102124964B1 KR 102124964 B1 KR102124964 B1 KR 102124964B1 KR 1020170040277 A KR1020170040277 A KR 1020170040277A KR 20170040277 A KR20170040277 A KR 20170040277A KR 102124964 B1 KR102124964 B1 KR 102124964B1
Authority
KR
South Korea
Prior art keywords
data
synchronization
frame
image
frame information
Prior art date
Application number
KR1020170040277A
Other languages
English (en)
Other versions
KR20180056540A (ko
Inventor
여준기
김이경
석정희
전영득
조민형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/653,358 priority Critical patent/US10154225B2/en
Publication of KR20180056540A publication Critical patent/KR20180056540A/ko
Application granted granted Critical
Publication of KR102124964B1 publication Critical patent/KR102124964B1/ko

Links

Images

Classifications

    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 프레임 그래버, 영상 처리 시스템, 및 영상 처리 방법에 관한 것이다. 본 발명의 실시예에 따른 프레임 그래버는 복수의 디코더, 복수의 영상 컨트롤러, 복수의 메모리, 동기화 컨트롤러, 및 동기 메모리를 포함한다. 복수의 디코더는 복수의 영상 신호를 복호화하여 복수의 영상 데이터를 생성한다. 복수의 영상 컨트롤러는 복수의 영상 데이터에 근거하여 복수의 픽셀 데이터 및 복수의 프레임 정보 데이터를 생성한다. 복수의 메모리는 복수의 픽셀 데이터를 저장한다. 동기화 컨트롤러는 복수의 프레임 정보 데이터를 수신하고, 복수의 프레임 데이터에 근거하여 동기 데이터를 생성한다. 동기 메모리는 프레임 정보 데이터 및 동기 데이터를 저장한다. 본 발명에 따르면, 복수의 카메라에 근거한 영상들의 동기화의 정확성이 확보될 수 있다.

Description

프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법{FRAME GRABBER, IMAGE PROCESSING SYSTEM INCLUDING THE SAME, AND IMAGE PROCESSING METHOD USING THE FRAME GRABBER}
본 발명은 복수의 카메라로부터 제공되는 영상의 동기화에 관한 것으로, 좀 더 상세하게는 프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법에 관한 것이다.
프레임 그래버는 카메라 등으로부터 수신한 아날로그 영상 신호를 전자 장치가 처리할 수 있는 디지털 영상 데이터로 변환하는 장비를 의미한다. 프레임 그래버는 프레임 단위로 영상 신호를 수신하고, 수신한 영상 신호에 근거한 영상 데이터를 메모리에 저장한다.
최근, 사용자의 편의성을 확보하기 위하여 전방, 후방, 및 측방 등 주변부를 하나의 화면을 통하여 관찰할 수 있는 차량에 대한 요구가 제기되고 있다. 나아가, 주변부의 사물을 인지하여 자율 주행이 가능하도록 영상 인식 알고리즘을 이용한 스마트 카 또는 ADAS(Advanced Driver Assistance System)이 각광받고 있다. 주변부를 감지하기 위하여 복수의 카메라가 차량에 배치될 수 있다. 복수의 카메라 각각은 서로 다른 방향의 영상을 감지하고, 복수의 영상 신호를 프레임 그래버에 제공할 수 있다.
프레임 그래버가 복수의 카메라로부터 복수의 영상 신호를 수신하는 경우, 각각의 영상 신호들 또는 영상 데이터들의 동기화가 중요하다. 영상 신호들 또는 영상 데이터들의 동기화가 이루어지지 않는 경우, 영상이 왜곡되므로 영상의 안정성, 정확성이 확보되기 어렵다. 따라서, 복수의 카메라로부터 복수의 영상 신호를 수신하는 경우, 동기화 오류를 최소화하는 프레임 그래버에 대한 요구가 제기되고 있다.
본 발명은 복수의 카메라에 동기화 신호를 제공하지 않고, 복수의 카메라로부터 수신한 영상들을 효율적으로 동기화할 수 있는 프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법을 제공할 수 있다.
본 발명의 실시예에 따른 프레임 그래버는 복수의 디코더, 복수의 영상 컨트롤러, 복수의 메모리, 동기화 컨트롤러, 동기 메모리, 및 프로세서를 포함한다. 복수의 디코더는 복수의 영상 신호를 복호화하여 복수의 영상 데이터를 생성한다. 복수의 영상 컨트롤러는 복수의 영상 데이터에 근거하여 복수의 픽셀 데이터 및 복수의 프레임 정보 데이터를 생성한다. 복수의 메모리는 복수의 픽셀 데이터를 저장한다.
동기화 컨트롤러는 복수의 프레임 정보 데이터를 수신하고, 복수의 프레임 정보 데이터에 근거하여 동기 데이터를 생성한다. 동기화 컨트롤러는 프로세서에 인터럽트 신호를 제공한다. 동기화 컨트롤러는 복수의 프레임 정보 데이터를 수신하지 않는 동안 카운터 값을 증가시키는 카운터를 포함할 수 있다. 카운터는 복수의 프레임 정보 데이터를 수신하는 경우 카운터 값을 리셋할 수 있다.
동기화 컨트롤러는 복수의 프레임 정보 데이터를 수신한 시점으로부터 기준 시간 이후에 동기 데이터를 생성할 수 있다. 동기화 컨트롤러는 카운터 값이 기준 값 이상인 경우, 동기 데이터를 생성할 수 있다. 동기화 컨트롤러는 카운터 값이 기준 값 이상인 경우, 동기 정보 레지스터 값을 증가시키는 동기 정보 레지스터를 더 포함할 수 있다. 동기 메모리는 복수의 프레임 정보 데이터 및 동기 데이터를 순차적으로 저장하고, 저장된 순서로 프로세서에 복수의 프레임 데이터 정보 및 동기 메모리를 제공한다.
프로세서는 인터럽트 신호에 근거하여 동기 메모리에 저장된 복수의 프레임 정보 데이터 및 동기 데이터를 수신한다. 프로세서는 복수의 프레임 정보 데이터에 근거하여 메모리로부터 복수의 픽셀 데이터를 수신한다. 프로세서는 동기 데이터에 근거하여 복수의 픽셀 데이터를 동기화한다.
본 발명의 실시예에 따른 영상 처리 시스템은 복수의 카메라, 디코더, 영상 컨트롤러, 메모리, 동기화 컨트롤러, 동기 메모리, 및 프로세서를 포함한다. 복수의 카메라는 영상을 감지하고, 복수의 영상 신호를 생성한다. 복수의 영상 신호는 서로 다른 길이를 갖는 전송 경로를 통하여 디코더에 제공될 수 있다. 영상 처리 시스템은 복수의 카메라에 동기 신호를 제공하고 동기화 컨트롤러와 분리되는 카메라 동기 신호 생성부를 더 포함할 수 있다.
디코더는 복수의 카메라 중 어느 하나에 대응하는 영상 신호를 복호화하는 복수의 디코더를 포함할 수 있다. 영상 컨트롤러는 복수의 카메라 중 어느 하나에 대응하는 영상 데이터를 수신하여 픽셀 데이터 및 프레임 정보 데이터를 생성하는 복수의 영상 컨트롤러를 포함할 수 있다. 메모리는 복수의 카메라 중 어느 하나에 대응하는 픽셀 데이터를 저장하는 복수의 메모리를 포함할 수 있다. 프로세서는 복수의 프레임 정보 데이터에 근거하여 복수의 메모리 중 읽기 동작을 수행할 메모리를 결정할 수 있다.
본 발명의 실시예에 따른 프레임 그래버를 이용한 영상 처리 방법은 복수의 영상 데이터를 생성하는 단계, 복수의 픽셀 데이터 및 복수의 프레임 정보 데이터를 생성하는 단계, 복수의 픽셀 데이터를 저장하는 단계, 동기 데이터를 생성하는 단계, 및 복수의 픽셀 데이터를 동기화하는 단계를 포함한다.
일례로, 동기 데이터를 생성하는 단계는 동기화 컨트롤러가 복수의 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시키는 단계, 동기화 컨트롤러가 복수의 프레임 정보 데이터를 수신하는 경우, 카운터 값을 리셋하는 단계, 및 카운터 값이 기준 값 이상인 경우, 동기 데이터를 동기 메모리에 제공하는 단계를 포함할 수 있다.
일례로, 동기 데이터를 생성하는 단계는 동기화 컨트롤러가 복수의 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시키는 단계, 동기화 컨트롤러가 복수의 프레임 정보 데이터를 수신하는 경우, 카운터 값에 대응되는 카운터 정보를 포함하는 동기 데이터를 동기 메모리에 제공하는 단계, 및 카운터 값을 리셋하는 단계를 포함할 수 있다.
일례로, 동기 데이터를 생성하는 단계는 동기화 컨트롤러가 복수의 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시키는 단계, 동기화 컨트롤러가 복수의 프레임 정보 데이터를 수신하는 경우, 동기 정보 레지스터 값에 대응되는 레지스터 정보를 포함하는 동기 데이터를 생성하는 단계, 및 카운터 값이 기준 값 이상인 경우, 동기 정보 레지스터 값을 증가시키는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버의 영상 처리 방법은 픽셀 데이터와 이에 대한 식별 정보를 별도로 관리하여 영상 처리의 편의성 및 정확성을 확보할 수 있다. 또한, 본 발명의 실시예에 따르면, 프레임 그래버의 신호 수신 경로에 의한 영상 동기화 오류가 최소화될 수 있다.
도 1은 영상 처리 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 프레임 그래버의 블록도이다.
도 3은 본 발명의 실시예에 따른 프레임 그래버를 이용한 영상 처리 방법의 순서도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 동기화 컨트롤러의 구동 방법의 순서도이다.
도 6은 본 발명의 실시예에 따른 프레임 그래버의 블록도이다.
도 7은 본 발명의 실시예에 따른 동기화 컨트롤러의 구동 방법의 순서도이다.
도 8은 본 발명의 실시예에 따른 영상 처리 시스템의 블록도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.
도 1은 영상 처리 시스템의 블록도이다. 도 1을 참조하면, 영상 처리 시스템(100)은 카메라부(110) 및 프레임 그래버(120)를 포함한다. 카메라부(110)는 복수의 카메라를 포함한다. 카메라부(110)는 제1 내지 제n 카메라들(111~11n)을 포함한다. 프레임 그래버(120)는 제1 내지 제n 디코더들(131~13n), 제1 내지 제n 영상 컨트롤러들(141~14n), 제1 내지 제n 메모리(151~15n), 및 프로세서(160)를 포함한다.
카메라부(110)는 영상을 감지한다. 카메라부(110)는 감지된 영상에 근거하여 복수의 영상 신호를 생성한다. 제1 내지 제n 카메라들(111~11n)은 각각 제1 내지 제n 영상 신호들(I1~In)을 생성한다. 제1 내지 제n 영상 신호들(I1~In)은 동시에 생성될 수 있다. 예를 들어, 제1 내지 제n 카메라들(111~11n)은 동시에 서로 다른 방향의 영상을 촬영할 수 있다. 제1 내지 제n 카메라들(111~11n)이 동시에 촬영한 영상들에 근거하여 하나의 파노라마 영상이 사용자에게 표시될 수 있다.
제1 내지 제n 디코더들(131~13n)은 카메라부(110)로부터 제1 내지 제n 영상 신호들(I1~In)을 수신한다. 디코더들의 개수는 카메라부(110)에 포함된 카메라들의 개수와 동일할 수 있다. 이 경우, 디코더들은 대응되는 카메라로부터 영상 신호를 수신한다. 제1 디코더(131)는 제1 카메라(111)로부터 제1 영상 신호(I1)를 수신할 수 있고, 제2 디코더(132)는 제2 카메라(112)로부터 제2 영상 신호(I2)를 수신할 수 있다.
제1 내지 제n 디코더들(131~13n)은 제1 내지 제n 영상 신호들(I1~In)을 복호화한다. 제1 내지 제n 디코더들(131~13n)은 아날로그 신호들인 제1 내지 제n 영상 신호들(I1~In)을 디지털 신호들인 제1 내지 제n 영상 데이터들(D1~Dn)로 변환한다. 제1 내지 제n 영상 데이터들(D1~Dn)은 각각 픽셀 클럭 데이터, 픽셀 컬러 데이터, 수평 동기 신호, 및 수직 동기 신호 중 적어도 하나를 포함할 수 있다. 픽셀 클럭 데이터는 데이터가 출력되는 구간 동안 하이 레벨을 갖는 신호일 수 있다. 픽셀 컬러 데이터는 픽셀의 RGB 정보에 대응될 수 있다. 수평 동기 신호는 행 구별 신호이고, 수직 동기 신호는 프레임 구별 신호일 수 있다.
제1 내지 제n 영상 컨트롤러들(141~14n)은 제1 내지 제n 디코더들(131~13n)로부터 제1 내지 제n 영상 데이터들(D1~Dn)을 수신한다. 영상 컨트롤러들의 개수는 카메라부(110)에 포함된 카메라들의 개수와 동일할 수 있고, 디코더들의 개수와 동일할 수 있다. 이 경우, 영상 컨트롤러들은 대응되는 디코더들로부터 영상 데이터를 수신한다. 제1 영상 컨트롤러(141)는 제1 디코더(131)로부터 제1 영상 데이터(D1)를 수신할 수 있고, 제2 영상 컨트롤러(142)는 제2 디코더(132)로부터 제2 영상 데이터(D2)를 수신할 수 있다.
제1 내지 제n 영상 컨트롤러들(141~14n)은 제1 내지 제n 영상 데이터들(D1~Dn)에 근거하여 제1 내지 제n 픽셀 데이터들(P1~Pn)을 생성한다. 제1 내지 제n 영상 컨트롤러들(141~14n)은 제1 내지 제n 영상 데이터들(D1~Dn)에 포함된 수직 동기 신호 및 수평 동기 신호를 분석하여 제1 내지 제n 픽셀 데이터들(P1~Pn)을 생성할 수 있다. 제1 내지 제n 픽셀 데이터들(P1~Pn)은 하나의 프레임에 대응하는 영상을 표시하기 위하여 표시 장치(미도시)에 인가되는 데이터들일 수 있다.
제1 내지 제n 영상 컨트롤러들(141~14n)은 제1 내지 제n 픽셀 데이터들(P1~Pn)을 제1 내지 제n 메모리들(151~15n)에 제공한다. 제1 내지 제n 메모리들(151~15n)이 제1 내지 제n 픽셀 데이터들(P1~Pn)을 저장한 경우, 제1 내지 제n 영상 컨트롤러들(141~14n)은 제1 내지 제n 인터럽트 신호들(IR1~IRn)을 프로세서(160)에 제공한다. 프로세서(160)는 제1 내지 제n 인터럽트 신호들(IR1~IRn)을 수신한 경우, 제1 내지 제n 메모리들(151~15n)에 저장된 제1 내지 제n 픽셀 데이터들(P1~Pn)을 읽는다.
제1 내지 제n 픽셀 데이터들(P1~Pn)은 동시에 생성된 제1 내지 제n 영상 신호들(I1~In)에 근거하여 생성된다. 제1 내지 제n 인터럽트 신호들(IR1~IRn)이 동시에 프로세서(160)에 인가되는 경우, 프로세서(160)는 동시에 제1 내지 제n 픽셀 데이터들(P1~Pn)이 하나의 동일한 프레임에 대응하는 데이터임을 인식하기 용이하다. 제1 내지 제n 픽셀 데이터들(P1~Pn)이 서로 다른 타이밍에 프로세서(160)로 제공되는 경우, 영상 동기화가 수행되기 어렵다.
제1 내지 제n 메모리들(151~15n)은 제1 내지 제n 영상 컨트롤러들(141~14n)로부터 수신한 제1 내지 제n 픽셀 데이터들(P1~Pn)을 저장한다. 메모리들의 개수는 카메라부(110)에 포함된 카메라들의 개수, 디코더들의 개수, 및 영상 컨트롤러들의 개수와 동일할 수 있다. 이 경우, 메모리들은 대응되는 영상 컨트롤러로부터 픽셀 데이터를 수신한다. 제1 메모리(151)는 제1 영상 컨트롤러(141)로부터 제1 픽셀 데이터(P1)를 수신한다. 제2 메모리(152)는 제2 영상 컨트롤러(142)로부터 제2 픽셀 데이터(P2)를 수신한다.
제1 내지 제n 메모리들(151~15n)은 하나의 프레임에 대응하는 픽셀 데이터를 저장할 수 있다. 예를 들어, 제1 내지 제n 메모리들(151~15n)은 DRAM (Dynamic RAM), SRAM (Static RAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), 및 RRAM (Resistive RAM) 중 어느 하나를 포함할 수 있다. 프로세서(160)가 제1 내지 제n 인터럽트 신호(IR1~IRn)를 수신한 경우, 제1 내지 제n 메모리들(151~15n)은 제1 내지 제n 픽셀 데이터들(P1'~Pn')을 프로세서(160)에 제공할 수 있다.
프로세서(160)는 제1 내지 제n 인터럽트 신호들(IR1~IRn)에 근거하여 제1 내지 제n 픽셀 데이터들(P1'~Pn')을 제1 내지 제n 메모리들(151~15n)로부터 수신한다. 예를 들어, 프로세서(160)가 제1 인터럽트 신호(IR1)를 수신한 경우, 프로세서(160)는 제1 메모리(151)에 저장된 제1 픽셀 데이터(P1')에 대한 읽기 동작을 수행한다. 프로세서(160)가 제2 인터럽트 신호(IR2)를 수신한 경우, 프로세서(160)는 제2 메모리(152)에 저장된 제2 픽셀 데이터(P2')에 대한 읽기 동작을 수행한다.
도 1의 프로세서(160)는 제1 내지 제n 영상 컨트롤러들(141~14n) 각각으로부터 복수의 인터럽트 신호를 수신하므로, 동일한 시점에 제1 내지 제n 픽셀 데이터들(P1'~Pn')을 수신하기 어렵다. 또한, 제1 내지 제n 카메라들(111~11n)에 대응하는 영상 신호들 각각은 서로 다른 구성 요소들을 경유하여 처리된다. 따라서 각각의 데이터 전송 경로에 따른 지연 또는 오류에 의한 차이가 발생한다.
도 2는 본 발명의 일 실시예에 따른 프레임 그래버의 블록도이다. 도 2를 참조하면, 프레임 그래버(200)는 디코더(210), 영상 컨트롤러(220), 메모리(230), 동기화 컨트롤러(240), 동기 메모리(250), 및 프로세서(260)를 포함한다. 디코더(210)는 제1 내지 제n 디코더들(211~21n)을 포함한다. 영상 컨트롤러(1220)는 제1 내지 제n 영상 컨트롤러들(221~22n)을 포함한다. 메모리(230)는 제1 내지 제n 메모리들(231~23n)을 포함한다.
디코더(210)는 제1 내지 제n 영상 신호들(I1~In)을 수신한다. 제1 내지 제n 디코더들(211~21n)은 제1 내지 제n 영상 신호들(I1~In)을 복호화하여 디지털 신호들인 제1 내지 제n 영상 데이터들(D1~Dn)을 생성한다. 제1 내지 제n 디코더들(211~21n)은 도 1의 제1 내지 제n 디코더들(131~13n)과 동일하다.
영상 컨트롤러(220)는 제1 내지 제n 영상 데이터들(D1~Dn)을 수신한다. 제1 내지 제n 영상 컨트롤러들(221~22n)은 제1 내지 제n 영상 데이터들(D1~Dn)은 도 1과 같이, 픽셀 클럭 데이터, 픽셀 컬러 데이터, 수평 동기 신호, 및 수직 동기 신호 중 적어도 하나를 포함할 수 있다. 제1 내지 제n 영상 컨트롤러들(221~22n)은 수평 동기 신호 및 수직 동기 신호를 분석하여 제1 내지 제n 픽셀 데이터들(P1~Pn)을 생성할 수 있다.
영상 컨트롤러(220)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 생성한다. 예를 들어, 제1 영상 컨트롤러(221)는 제1 프레임 정보 데이터(FI1)를 생성하고, 제2 영상 컨트롤러(222)는 제2 프레임 정보 데이터(FI2)를 생성한다. 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)은 제1 내지 제n 영상 데이터들(D1~Dn)에 근거하여 생성될 수 있다. 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)은 제1 내지 제n 픽셀 데이터들(P1~Pn)에 대한 식별 정보를 포함한다. 예를 들어, 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)은 카메라의 식별 정보, 메모리의 어드레스 정보, 픽셀 데이터의 크기 정보, 또는 픽셀 데이터의 표시 영역 정보를 포함할 수 있다.
카메라의 식별 정보는 해당 픽셀 데이터를 생성하기 위한 영상 신호를 제공한 카메라에 대한 정보일 수 있다. 예를 들어, 제1 내지 제n 영상 컨트롤러들(221~22n)에 대응되는 제1 내지 제n 카메라들 각각은 할당된 고유 ID를 가질 수 있고, 카메라의 식별 정보는 할당된 고유 ID 정보일 수 있다. 메모리의 어드레스 정보는 해당 픽셀 데이터가 저장되는 메모리의 위치 정보에 대응될 수 있다. 픽셀 데이터의 크기 정보는 해당 픽셀 데이터의 데이터 량에 대응되는 정보일 수 있다. 픽셀 데이터의 표시 영역 정보는 해당 픽셀 데이터에 근거하여 표시 장치(미도시)가 영상을 표시하는 경우, 픽셀 데이터에 근거한 영상이 표시되는 영역에 관한 정보일 수 있다.
메모리(230)는 제1 내지 제n 픽셀 데이터들(P1~Pn)을 수신한다. 제1 내지 제n 메모리들(231~23n)은 제1 내지 제n 픽셀 데이터들(P1~Pn)을 저장한다. 프로세서(260)가 인터럽트 신호(IR)를 수신한 경우, 제1 내지 제n 메모리들(231~23n)은 제1 내지 제n 픽셀 데이터들(P1'~Pn')을 프로세서(260)에 제공할 수 있다. 제1 내지 제n 메모리들(231~23n)은 도 1의 제1 내지 제n 메모리들(151~15n)과 동일하다.
동기화 컨트롤러(240)는 영상 컨트롤러(220)로부터 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 수신한다. 동기화 컨트롤러(240)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)에 근거하여 동기 데이터(SD)를 생성한다. 동기화 컨트롤러(240)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 포함하는 프레임 정보 데이터(FI) 및 동기 데이터(SD)를 동기 메모리(250)에 제공한다.
제1 내지 제n 프레임 정보 데이터들(FI1~FIn)은 서로 다른 시점에 동기화 컨트롤러(240)에 입력될 수 있다. 이상적인 경우, 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)은 동시에 생성된 제1 내지 제n 영상 신호들(I1~In)에 근거하여 생성되므로, 동시에 동기화 컨트롤러(240)에 입력된다. 다만, 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)이 생성되는 경로 및 동기화 컨트롤러(240)에 제공되는 경로는 서로 다르다. 따라서, 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)이 동기화 컨트롤러(240)에 제공되는 시간은 서로 다를 수 있다.
제1 내지 제n 프레임 정보 데이터들(FI1~FIn)은 프레임 단위로 동기화 컨트롤러(240)에 제공된다. 예를 들어, 영상 컨트롤러(220)는 제1 프레임에 대한 픽셀 데이터들을 메모리(230)에 제공하고, 제1 프레임에 대한 프레임 정보 데이터들을 동기화 컨트롤러(240)에 제공한다. 이 후, 영상 컨트롤러(220)는 제1 프레임의 다음 프레임인 제2 프레임에 대한 픽셀 데이터들을 메모리(230)에 제공하고, 제2 프레임에 대한 프레임 정보 데이터들을 동기화 컨트롤러(240)에 제공한다. 제1 프레임에 대한 영상 신호들의 생성 시점과 제2 프레임에 대한 영상 신호들의 생성 시점 간의 차이는 설정된 프레임 레이트에 의존한다. 제1 내지 제n 프레임 정보 데이터들(FI1~FIn) 사이의 입력 시점 차이는 제1 프레임과 제2 프레임 사이의 시점 차이보다 작다. 제1 내지 제n 영상 신호들(I1~In)을 생성하는 카메라들은 물리적으로 동기화되고, 신호 전달 경로에 의한 시간 지연은 프레임들 사이의 시점 차이보다 클 정도로 영향을 미치지 않기 때문이다.
동기화 컨트롤러(240)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 수신하고 기준 시간 이후에 동기 데이터(SD)를 생성할 수 있다. 이 경우, 기준 시간은 동기화 컨트롤러(240)가 마지막 프레임 정보 데이터를 수신한 시점과 동기 데이터(SD)를 생성한 시점 사이의 차이로 정의될 수 있다. 다만, 이에 제한되지 않고, 기준 시간은 다양한 방식으로 정의될 수 있다. 예를 들어, 기준 시간은 동기화 컨트롤러(240)가 마지막 프레임 정보 데이터를 동기 메모리(250)에 제공한 시점과 동기 데이터(SD)를 생성한 시점 사이의 차이로 정의될 수 있다. 또는, 기준 시간은 동기화 컨트롤러(240)가 마지막 프레임 정보 데이터를 동기 메모리(250)에 제공한 시점과 동기 데이터(SD)를 동기 메모리(250)에 제공한 시점 사이의 차이로 정의될 수 있다.
기준 시간은 기설정된 값일 수 있다. 기준 시간은 제1 내지 제n 프레임 정보 데이터들(FI1~FIn) 사이의 예상 입력 시점 차이 및 프레임 레이트를 고려하여 결정된 값일 수 있다. 예를 들어, 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)이 동기화 컨트롤러(240)에 제공되는 시점들을 순차적으로 나열할 때, 기준 시간은 인접한 시점들의 차이 중 최대값보다 클 수 있다. 또한, 기준 시간은 제1 프레임에 대한 프레임 정보 데이터들 중 최후에 동기화 컨트롤러(240)에 제공되는 시점과 제2 프레임에 대한 프레임 정보 데이터들 중 최초에 동기화 컨트롤러(240)에 제공되는 시점의 차이값보다 작을 수 있다.
동기화 컨트롤러(240)는 카운터(242)를 포함할 수 있다. 카운터(242)는 카운터 값을 생성한다. 카운터(242)는 동기화 컨트롤러(240)가 프레임 정보 데이터를 수신하는 경우, 카운터 값을 리셋한다. 카운터(242)는 동기화 컨트롤러(240)가 프레임 정보 데이터를 수신하지 않는 동안 카운터 값을 증가시킨다. 카운터 값이 기준 값 이상인 경우, 동기화 컨트롤러(240)는 동기 데이터(SD)를 생성할 수 있다. 기준 값은 기준 시간에 대응될 수 있다. 즉, 카운터(242)는 기준 시간 동안 카운터 값을 증가시킨다. 기준 시간 동안 증가된 카운터 값은 기준 값과 같을 수 있다.
동기 데이터(SD)는 제1 내지 제n 픽셀 데이터(P1~Pn)를 동기화하기 위한 신호이다. 동기 데이터(SD)는 기준 시간 이후에 생성되어 동기 메모리(250)에 제공될 수 있다. 이 경우, 프로세서(260)는 동기 데이터(SD) 이후에 수신한 데이터가 다음 프레임과 관련된 데이터임을 인식할 수 있다. 즉, 동기 데이터(SD)에 근거하여 이전 프레임과 다음 프레임이 서로 구별될 수 있다. 이에 대한 구체적인 내용은 도 4의 순서도로 설명된다.
이와 달리, 동기 데이터(SD)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)과 함께 동기 메모리(250)에 제공될 수 있다. 이 경우, 동기 데이터(SD)는 프레임 정보 데이터를 수신할 때의 카운터 값에 대응되는 카운터 정보를 포함할 수 있다. 카운터 값은 해당 프레임 정보 데이터가 제공되는 시점과 이전 프레임 정보 데이터가 제공되는 시점 사이의 시간에 근거하여 생성될 수 있다. 프로세서(260)는 프레임 정보 데이터와 함께 제공되는 카운터 정보를 이용하여 해당 프레임에 관련된 데이터인지 여부를 판단할 수 있다. 예를 들어, 카운터 정보로부터 추출된 카운터 값이 기준 값 이상인 경우, 그 이전에 수신된 프레임 정보 데이터들은 이전 프레임과 관련된 데이터일 수 있다. 이 경우에도, 동기 데이터(SD)에 근거하여 이전 프레임과 다음 프레임이 서로 구별될 수 있다. 이에 대한 구체적인 내용은 도 5의 순서도로 설명된다.
동기화 컨트롤러(240)는 인터럽트 신호(IR)를 생성한다. 도 1의 인터럽트 신호들과 달리, 인터럽트 신호(IR)는 하나의 동기화 컨트롤러(1240)에서 생성된다. 따라서, 인터럽트 신호들의 수신 시점 차이에 따라 제1 내지 제n 픽셀 데이터들(P1~Pn)이 동기화되지 않는 문제가 발생하지 않는다. 인터럽트 신호(IR)는 프로세서(260)에 제공된다. 동기 메모리(250)가 프레임 정보 데이터(FI) 및 동기 데이터(SD)를 저장하고, 제1 내지 제n 메모리(231~23n)가 제1 내지 제n 픽셀 데이터들(P1~Pn)을 저장한 경우, 동기화 컨트롤러(240)는 프로세서(260)에 인터럽트 신호(IR)를 제공한다.
동기 메모리(250)는 동기화 컨트롤러(240)로부터 프레임 정보 데이터(FI) 및 동기 데이터(SD)를 수신한다. 동기 메모리(250)는 프레임 정보 데이터(FI) 및 동기 데이터(SD)를 저장한다. 프레임 정보 데이터(FI)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 포함한다. 동기 메모리(250)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)이 동기화 컨트롤러(240)에 제공되는 순서로 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 저장한다.
동기화 컨트롤러(240)가 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 수신한 후 동기 데이터(SD)를 생성하는 경우, 동기 메모리(250)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 저장한 후 동기 데이터(SD)를 저장한다. 동기화 컨트롤러(240)가 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)과 함께 카운터 정보들을 생성하는 경우, 동기 메모리(250)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)이 저장되는 순서와 같이 해당 카운터 정보들을 순서대로 저장한다.
동기 메모리(250)는 선입선처리(First-In First-Out, FIFO)회로를 포함할 수 있다. 동기 메모리(250)는 수신된 순서대로 데이터들을 저장한다. 동기 메모리(250)는 저장한 순서대로 데이터들을 출력한다. 즉, 동기 메모리(250)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn) 및 동기 데이터(SD)가 저장된 순서대로 프로세서(260)에 출력한다. 동기 메모리(250)는 프레임 정보 데이터들이 동시에 수신되는 경우, 기 정의된 우선 순위에 따라 프레임 정보 데이터들을 순차적으로 저장할 수 있다.
프로세서(260)는 제1 내지 제n 픽셀 데이터들(P1'~Pn')의 영상 처리를 수행한다. 프로세서(260)는 인터럽트 신호(IR)를 수신한다. 프로세서(260)는 인터럽트 신호(IR)에 근거하여 동기 메모리(250)에 저장된 프레임 정보 데이터(FI') 및 동기 데이터(SD')의 읽기 동작을 수행한다. 프로세서(260)는 동기 메모리(250)의 데이터 출력 순서에 따라 프레임 정보 데이터(FI') 및 동기 데이터(SD')를 읽는다.
프로세서(260)는 프레임 정보 데이터(FI')에 포함된 카메라의 식별 정보, 메모리의 어드레스 정보, 픽셀 데이터의 크기 정보, 및 픽셀 데이터의 표시 영역 정보에 근거하여 해당 메모리로부터 픽셀 데이터를 수신하고 픽셀 데이터에 대한 영상 처리를 수행한다. 예를 들어, 프로세서(260)는 제1 프레임 정보 데이터(FI1)에 포함된 제1 카메라의 ID 정보, 제1 메모리(231)의 어드레스 정보, 및 제1 픽셀 데이터(P1)의 크기 정보에 근거하여 제1 메모리(231)로부터 제1 픽셀 데이터(P1')를 수신한다. 프로세서(260)는 픽셀 데이터의 표시 영역 정보에 근거하여 제1 픽셀 데이터(P1')를 표시 장치(미도시)에 제공할 때의 배치 순서를 결정할 수 있다.
프로세서(260)는 동기 데이터(SD')에 근거하여 제1 내지 제n 픽셀 데이터들(P1~Pn)의 동기화를 수행한다. 프로세서(260)는 프레임 정보 데이터(FI')에 근거하여 제1 내지 제n 픽셀 데이터들(P1~Pn)을 수신하고, 수신한 픽셀 데이터들이 하나의 프레임에 대응하는지 확인한다. 프로세서(260)는 동기 데이터(SD')에 근거하여 수신한 픽셀 데이터들에 대응되는 프레임을 결정할 수 있다.
프레임 그래버(200)는 제1 내지 제n 픽셀 데이터들(P1~Pn)을 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)과 구별하여 처리하고, 서로 다른 메모리에 저장한다. 프레임 그래버(200)는 동기화 컨트롤러(240) 및 동기 메모리(250)를 이용하여 제1 내지 제n 픽셀 데이터들(P1~Pn)에 대한 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 통합적으로 관리한다. 따라서, 프레임 그래버(200)는 복수의 카메라들에 의하여 서로 다른 영상 신호들을 용이하고 정확하게 동기화할 수 있다.
프레임 그래버(200)는 별도로 복수의 카메라에 동기화 신호를 제공하지 않는다. 프레임 그래버(200)는 내부로 수신된 영상 신호들에 근거한 프레임 정보 데이터들을 이용하여 영상 동기화를 수행한다. 따라서, 카메라부에 동기화 신호를 제공하는 경로 자체에 의한 신호 지연 또는 오류가 발생하지 않는다. 또한, 복수의 카메라들에 신호를 전달하기 위한 통신 선로 등이 요구되지 않는다.
도 3은 본 발명의 실시예에 따른 프레임 그래버를 이용한 영상 처리 방법의 순서도이다. 도 3을 참조하면, 영상 처리 방법은 도 2의 프레임 그래버(200)에서 수행되거나 후술될 도 6의 프레임 그래버(300)에서 수행될 수 있다. 설명의 편의상, 도 3의 영상 처리 방법은 도 2의 프레임 그래버(200)에서 수행되는 것으로 후술한다. 프레임 그래버(200)는 복수의 카메라로부터 복수의 영상 신호를 수신한다. 복수의 카메라가 영상을 감지한 시점은 동일할 수 있다. 다만, 프레임 그래버(200)가 복수의 카메라로부터 영상 신호를 수신하는 전송 경로의 차이에 따라, 프레임 그래버는 복수의 영상 신호를 서로 다른 시점에 수신할 수 있다.
S100 단계에서, 프레임 그래버(200)는 복수의 영상 데이터를 생성한다. 프레임 그래버(200)는 복수의 카메라로부터 수신된 복수의 영상 신호에 근거하여 복수의 영상 데이터를 생성한다. S100 단계는 디코더(210)에서 수행될 수 있다. 디코더(210)는 복수의 영상 신호를 복호화하여 복수의 영상 데이터를 생성한다. 디코더(210)는 복수의 디코더를 포함하고, 각각의 디코더는 서로 다른 카메라로부터 수신한 영상 신호를 복호화할 수 있다.
S200 단계에서, 프레임 그래버(200)는 복수의 픽셀 데이터 및 복수의 프레임 정보 데이터(FI)를 생성한다. 프레임 그래버(200)는 복수의 영상 데이터에 근거하여 복수의 픽셀 데이터 및 복수의 프레임 정보 데이터(FI)를 생성한다. S200 단계는 영상 컨트롤러(220)에서 수행될 수 있다. 영상 컨트롤러(220)는 복수의 영상 컨트롤러를 포함할 수 있다. 각각의 영상 컨트롤러는 서로 다른 카메라에 기초하여 생성된 영상 데이터를 수신한다. 각각의 영상 컨트롤러는 영상 데이터에 근거하여 해당 카메라에 대한 픽셀 데이터 및 프레임 정보 데이터를 생성한다.
S300 단계에서, 프레임 그래버(200)는 복수의 픽셀 데이터를 저장한다. S300 단계는 메모리(230)에서 수행될 수 있다. 메모리(230)는 복수의 메모리를 포함할 수 있다. 각각의 메모리는 서로 다른 카메라에 기초하여 생성된 픽셀 데이터를 저장한다. 복수의 메모리에 픽셀 데이터가 저장되는 시점은 서로 다를 수 있다.
S400 단계에서, 프레임 그래버(200)는 동기 데이터(SD)를 생성한다. 프레임 그래버(200)는 복수의 프레임 정보 데이터에 근거하여 동기 데이터(SD)를 생성한다. S400 단계는 동기화 컨트롤러(240)에서 수행될 수 있다. 동기화 컨트롤러(240)는 복수의 프레임 정보 데이터를 수신한다. 동기화 컨트롤러(240)는 하나의 프레임에 대응하는 모든 프레임 정보 데이터들을 수신한 경우 동기 데이터(SD)를 동기 메모리(250)에 제공한다. 동기 메모리(250)는 복수의 프레임 정보 데이터(FI) 및 동기 데이터(SD)를 저장한다. 동기 메모리(250)는 복수의 프레임 정보 데이터(FI) 및 동기 데이터(SD)를 수신한 순서로 프로세서(260)에 복수의 프레임 정보 데이터(FI') 및 동기 데이터(SD')를 프로세서(260)에 제공한다.
S500 단계에서, 프레임 그래버(200)는 복수의 픽셀 데이터를 동기화한다. S500 단계는 프로세서(260)에서 수행될 수 있다. 프로세서(260)는 복수의 프레임 정보 데이터(FI')에 근거하여 복수의 픽셀 데이터를 메모리(230)로부터 수신한다. 프로세서(260)는 동기 데이터(SD')에 근거하여 복수의 픽셀 데이터를 동기화한다.
도 4는 본 발명의 일 실시예에 따른 동기화 컨트롤러의 구동 방법의 순서도이다. 도 4는 도 3에서 동기 데이터를 생성하는 S400 단계의 일 실시예에 대한 순서도이다. 도 4를 참조하면, 동기화 컨트롤러의 구동 방법은 도 2의 동기화 컨트롤러(240)에서 수행된다. 또한, 동기화 컨트롤러의 구동 방법은 도 2의 카운터(242)를 이용하여 수행될 수 있다. 도 4의 시작 단계에서, 카운터(242)는 리셋된 것으로 가정한다.
S411 단계에서, 동기화 컨트롤러(240)는 카운터 값을 증가시킨다. 프레임 정보 데이터(FI)가 영상 컨트롤러(220)로부터 입력되지 않는 경우, 동기화 컨트롤러(240)는 카운터 값을 증가시킨다. S411 단계는 카운터(242)에서 수행될 수 있다. 예를 들어, 카운터 값이 0인 경우, 카운터(242)는 카운터 값을 1로 증가시킬 수 있다. 카운터 값의 증가 속도는 기설정될 수 있다.
S412 단계에서, 동기화 컨트롤러(240)는 카운터 값과 기준 값을 비교한다. 기준 값은 기설정된 값일 수 있다. 기준 값은 이전 프레임에 대응되는 프레임 정보 데이터와 다음 프레임에 대응되는 프레임 정보 데이터를 구분하기 위하여 설정된다. 예를 들어, 기준 값은 동기화 컨트롤러(240)가 이전 프레임의 최후 프레임 정보 데이터를 수신한 시점과 다음 프레임의 최초 프레임 정보 데이터를 수신한 시점 사이의 시간 동안 카운터 값의 변화량보다 작은 값을 갖는다.
S412 단계에서, 카운터 값이 기준 값보다 작은 경우, S414 단계가 진행된다. 카운터 값이 기준 값보다 작은 경우, 현재 마지막으로 수신된 프레임 정보 데이터가 해당 프레임에 대한 마지막 프레임 정보 데이터로 판단되기 이르다는 의미로 해석될 수 있다. 따라서, 카운터 값이 기준 값보다 작은 경우, 동기화 컨트롤러(240)는 동기 데이터(SD)를 생성하지 않는다. 카운터 값이 기준 값 이상인 경우, S413 단계가 진행된다. 카운터 값이 기준 값 이상인 경우, 현재 마지막으로 수신된 프레임 정보 데이터는 해당 프레임에 대한 마지막 프레임 정보 데이터로 결정된다. 즉, 카운터 값이 기준 값에 도달할 정도의 시간은 이전 프레임에서 다음 프레임으로 넘어가기 위한 시간 간격으로 판단된다.
S413 단계에서, 동기화 컨트롤러(240)는 동기 데이터(SD)를 생성하고, 동기 데이터(SD)를 동기 메모리(250)에 제공한다. S412 단계에서 카운터 값이 기준 값 이상인 경우, 해당 프레임에 대한 프레임 정보 데이터들을 모두 수신한 것으로 결정된다. 동기화 컨트롤러(240)는 해당 프레임에 대한 프레임 정보 데이터들이 모두 동기 메모리(250)에 제공된 이후에 동기 데이터(SD)를 동기 메모리(250)에 제공한다.
S414 단계에서, 동기화 컨트롤러(240)는 프레임 정보 데이터(FI)를 수신한다. S413 단계 이후에, 프레임 정보 데이터(FI)를 수신하는 경우, 동기화 컨트롤러(240)는 다음 프레임에 대한 프레임 정보 데이터를 수신하는 것으로 이해될 것이다. S412 단계 이후에, 프레임 정보 데이터(FI)를 수신하는 경우, 동기화 컨트롤러(240)는 해당 프레임에 대한 프레임 정보 데이터를 수신하는 것으로 이해될 것이다.
S414 단계에서, 동기화 컨트롤러(240)가 프레임 정보 데이터(FI)를 수신하지 못한 경우, S411 단계가 진행된다. 즉, 동기화 컨트롤러(240)는 카운터 값을 증가시킨다. 동기화 컨트롤러(240)는 프레임 정보 데이터(FI)를 수신할 때까지 S411 내지 S414 단계를 수행하면서 카운터 값을 증가시킨다. 동기화 컨트롤러(240)가 프레임 정보 데이터(FI)를 수신한 경우, S415 단계가 진행된다.
S415 단계에서, 동기화 컨트롤러(240)는 프레임 정보 데이터(FI)를 동기 메모리(250)에 제공한다. S416 단계에서, 동기화 컨트롤러(240)는 카운터 값을 리셋한다. S416 단계는 카운터(242)에서 수행될 수 있다. 카운터(242)는 카운터 값을 리셋한 후에, 다음 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시킬 수 있다. 즉, S416 단계가 수행된 후에, S411 단계가 진행될 수 있다. S411 내지 S416 단계를 반복하면, 동기화 컨트롤러(240)는 프레임 정보 데이터(FI)를 수신한 순서대로 동기 메모리(250)에 제공할 수 있다. 또한, 이전 프레임에 대응되는 프레임 정보 데이터들과 다음 프레임에 대응되는 프레임 정보 데이터들 사이에, 동기 데이터(SD)가 동기 메모리(250)에 제공될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 동기화 컨트롤러의 구동 방법의 순서도이다. 구체적으로, 도 5는 도 3에서 동기 데이터를 생성하는 S400 단계의 다른 실시예에 대한 순서도이다. 도 5를 참조하면, 동기화 컨트롤러의 구동 방법은 도 2의 동기화 컨트롤러(240)에서 수행된다. 또한, 동기화 컨트롤러의 구동 방법은 도 2의 카운터(242)를 이용하여 수행될 수 있다. S421 단계에서, 동기화 컨트롤러(240)는 카운터 값을 증가시킨다. 프레임 정보 데이터가 영상 컨트롤러(220)로부터 입력되지 않는 경우, 동기화 컨트롤러(240)는 카운터 값을 증가시킨다. S421 단계는 카운터(242)에서 수행될 수 있다.
S422 단계에서, 동기화 컨트롤러(240)는 프레임 정보 데이터(FI)를 수신한다. 동기화 컨트롤러(240)가 프레임 정보 데이터를 수신하지 못한 경우, S421 단계가 진행된다. 즉, 동기화 컨트롤러(240)는 프레임 정보 데이터(FI)를 수신할 때까지 S421 단계 및 S422 단계를 반복하면서 카운터 값을 증가시킨다. 동기화 컨트롤러(240)가 프레임 정보 데이터(FI)를 수신한 경우, S423 단계가 수행된다.
S423 단계에서, 동기화 컨트롤러(240)는 프레임 정보 데이터(FI)를 동기 메모리(250)에 제공한다. 또한, 동기화 컨트롤러(240)는 카운터 정보를 동기 메모리(250)에 제공한다. 카운터 정보는 카운터 값에 대응된다. 도 5의 동기화 컨트롤러(240)의 구동 방법과 달리, S423 단계에서 동기화 컨트롤러(240)는 하나의 프레임 정보 데이터와 그에 대응하는 카운터 정보를 동기 메모리(250)에 제공한다.
프로세서(260)는 프레임 정보 데이터에 대응하는 카운터 정보를 분석하여 영상 동기화를 수행할 수 있다. 예를 들어, 프레임 정보 데이터에 대응하는 카운터 정보에 포함된 카운터 값이 기준 값 이상인 경우, 동기화 컨트롤러(240)가 기준 시간을 경과하도록 다음 프레임 정보 데이터를 수신하지 못했다는 의미로 해석된다. 따라서, 기준 값 이상의 카운터 값을 갖는 프레임 정보 데이터 다음에 수신된 프레임 정보 데이터는 다음 프레임에 대응하는 데이터이다. 따라서, 이전 프레임과 다음 프레임이 용이하게 구별될 수 있다.
S424 단계에서, 동기화 컨트롤러(240) 또는 카운터(242)는 카운터 값을 리셋한다. 동기화 컨트롤러(240) 또는 카운터(242)는 카운터 값을 리셋한 후에, 다음 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시킬 수 있다. 즉, S424 단계가 수행된 후에, S421 단계가 수행될 수 있다. S421 내지 S424 단계를 반복하면, 동기화 컨트롤러(240)는 프레임 정보 데이터(FI)를 수신한 순서대로 동기 메모리(250)에 제공할 수 있다.
도 6은 본 발명의 다른 실시예에 다른 프레임 그래버의 블록도이다. 도 6을 참조하면, 프레임 그래버(300)는 디코더(310), 영상 컨트롤러(320), 메모리(330), 동기화 컨트롤러(340), 동기 메모리(350), 및 프로세서(360)를 포함한다. 프레임 그래버(300)는 제1 내지 제n 영상 신호들(I1~In)을 수신할 수 있다.
디코더(310)는 제1 내지 제n 디코더들(311~31n)을 포함한다. 영상 컨트롤러(320)는 제1 내지 제n 영상 컨트롤러들(321~32n)을 포함한다. 메모리(330)는 제1 내지 제n 메모리들(331~33n)을 포함한다. 디코더(310), 영상 컨트롤러(320), 및 메모리(330)는 도 2의 디코더(210), 영상 컨트롤러(220), 및 메모리(230)와 동일한 구성을 갖고, 동일한 기능을 수행한다.
동기화 컨트롤러(340)는 영상 컨트롤러(320)로부터 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 수신한다. 동기화 컨트롤러(340)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)에 근거하여 레지스터 정보(RI)를 생성한다. 레지스터 정보(RI)는 도 4의 동기 데이터(SD)의 일종으로 이해될 수 있다. 동기화 컨트롤러(340)는 제1 내지 제n 프레임 정보 데이터들(FI1~FIn)을 포함하는 프레임 정보 데이터(FI) 및 레지스터 정보(RI)를 동기 메모리(350)에 제공한다. 이 경우, 동기화 컨트롤러(340)는 인터럽트 신호(IR)를 프로세서(360)에 제공한다.
동기화 컨트롤러(340)는 카운터(342) 및 동기 정보 레지스터(344)를 포함한다. 카운터(342)는 카운터 값을 생성한다. 카운터(342)는 동기화 컨트롤러(340)가 프레임 정보 데이터(FI)를 수신하는 경우, 카운터 값을 리셋한다. 카운터(342)는 동기화 컨트롤러(340)가 프레임 정보 데이터(FI)를 수신하지 않는 동안 카운터 값을 증가시킨다. 카운터 값이 기준 값 이상인 경우, 동기화 컨트롤러(340)는 동기 정보 레지스터 값을 증가시킨다.
동기 정보 레지스터(344)는 동기 정보 레지스터 값을 생성한다. 동기 정보 레지스터(344)는 카운터 값이 기준 값 이상인 경우, 동기 정보 레지스터 값을 증가시킨다. 즉, 동기 정보 레지스터(344)는 이전 프레임에서 다음 프레임으로 넘어가는 과정에서 동기 정보 레지스터 값을 증가시킬 수 있다. 동기 정보 레지스터(344)는 하나의 프레임에 대응하는 프레임 정보 데이터(FI)가 모두 동기 메모리(350)에 저장될 때, 동기 정보 레지스터 값을 증가시킬 수 있다. 동기 정보 레지스터(344)는 동기 정보 레지스터 값을 1 증가시킬 수 있다. 예를 들어, 동기 정보 레지스터 값이 이전 프레임에서 1인 경우, 동기 정보 레지스터 값은 다음 프레임에서 2가 된다. 프레임 그래버(300)의 동작이 종료되거나, 프레임 그래버(300)의 동작이 시작되는 경우, 동기 정보 레지스터(344)는 동기 정보 레지스터 값을 리셋할 수 있다.
동기화 컨트롤러(340)는 프레임 정보 데이터(FI)를 동기 메모리(350)에 제공할 때, 레지스터 정보(RI)를 동기 메모리(350)에 제공한다. 레지스터 정보(RI)는 동기화 컨트롤러(340)가 프레임 정보 데이터(FI)를 수신할 때의 동기 정보 레지스터 값에 대응된다. 예를 들어, 동기화 컨트롤러(340)가 제1 영상 컨트롤러(321)로부터 제1 프레임 정보 데이터(FI1)를 수신하는 경우, 동기 정보 레지스터(344)에 저장된 동기 정보 레지스터 값에 근거하여 제1 레지스터 정보가 생성된다. 동기화 컨트롤러(340)는 제1 프레임 정보 데이터(FI1) 및 제1 레지스터 정보를 동기 메모리(350)에 제공한다. 동기화 컨트롤러(340)가 제2 영상 컨트롤러(322)로부터 제2 프레임 정보 데이터(FI2)를 수신하는 경우, 제2 레지스터 정보가 생성된다. 제1 프레임 정보 데이터(FI1) 및 제2 프레임 정보 데이터(FI2)가 동일한 프레임에 대한 픽셀 데이터에 대응하는 경우, 제1 레지스터 정보 및 제2 레지스터 정보는 동일하다.
동기 메모리(350)는 동기화 컨트롤러(340)로부터 프레임 정보 데이터(FI) 및 레지스터 정보(RI)를 수신한다. 동기 메모리(350)는 프레임 정보 데이터(FI) 및 레지스터 정보(RI)를 저장한다. 동기 메모리(350)는 선입선처리(First-In First-Out, FIFO)회로를 포함할 수 있다. 동기 메모리(350)는 수신된 순서대로 데이터들을 저장한다. 동기 메모리(350)는 저장한 순서대로 데이터들을 출력한다.
프로세서(360)는 제1 내지 제n 픽셀 데이터들(P1'~Pn')의 영상 처리를 수행한다. 프로세서(360)는 인터럽트 신호(IR)에 근거하여 동기 메모리(350)에 저장된 프레임 정보 데이터(FI') 및 레지스터 정보(RI')의 읽기 동작을 수행한다. 프로세서(360)는 동기 메모리(350)의 데이터 출력 순서에 따라 프레임 정보 데이터(FI') 및 레지스터 정보(RI')를 읽는다. 프로세서(360)는 프레임 정보 데이터(FI')에 근거하여 해당 메모리로부터 픽셀 데이터를 수신하고 픽셀 데이터에 대한 영상 처리를 수행한다.
프로세서(360)는 레지스터 정보(RI')에 근거하여 제1 내지 제n 픽셀 데이터들(P1~Pn)의 동기화를 수행한다. 동일한 프레임에 근거하여 생성된 레지스터 정보들은 동일한 동기 정보 레지스터 값을 갖는다. 서로 다른 프레임에 대한 영상 신호들에 근거하여 생성된 레지스터 정보들은 서로 다른 동기 정보 레지스터 값을 갖는다. 따라서, 프로세서(360)는 레지스터 정보(RI')를 이용하여 수신한 픽셀 데이터들에 대응되는 프레임을 결정할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 동기화 컨트롤러의 구동 방법의 순서도이다. 도 7은 도 3에서 동기 데이터를 생성하는 S400 단계의 실시예에 대한 순서도이다. 도 7을 참조하면, 동기화 컨트롤러의 구동 방법은 도 6의 동기화 컨트롤러(340)에서 수행된다. 또한, 동기화 컨트롤러의 구동 방법은 도 6의 카운터(342) 및 동기 정보 레지스터(344)를 이용하여 수행될 수 있다.
S431 단계에서, 동기화 컨트롤러(340)는 동기 정보 레지스터 값을 리셋한다. S431 단계는 동기 정보 레지스터(344)에서 수행될 수 있다. S431 단계에서, 프레임 그래버(300)의 동작이 개시된다. 즉, 프레임 그래버(300)는 카메라부로부터 영상 신호들을 수신하기 시작할 수 있다. S432 단계에서, 동기화 컨트롤러(340)는 카운터 값을 증가시킨다. S432 단계는 카운터(342)에서 수행될 수 있다. 프레임 정보 데이터(FI)가 영상 컨트롤러(320)로부터 입력되지 않는 경우, 동기화 컨트롤러(340)는 카운터 값을 증가시킨다.
S433 단계에서, 동기화 컨트롤러(340)는 카운터 값과 기준 값을 비교한다. 기준 값은 이전 프레임과 다음 프레임을 구별하기 위하여 기설정된 값일 수 있다. 카운터 값이 기준 값보다 작은 경우, S435 단계가 진행된다. 동기화 컨트롤러(340)는 카운터 값이 기준 값보다 작은 시점에서 수신한 프레임 정보 데이터를 현재 프레임에 대응되는 데이터로 판단한다. 따라서, 동기 정보 레지스터 값이 증가하지 않는다. 카운터 값이 기준 값 이상인 경우, S434 단계가 진행된다. S434 단계에서, 동기화 컨트롤러(340)는 이후 수신한 프레임 정보 데이터를 다음 프레임에 대응되는 데이터로 판단한다. 따라서, 동기화 컨트롤러(340)는 동기 정보 레지스터 값을 1 증가시킨다. S434 단계는 동기 정보 레지스터(344)에서 수행될 수 있다.
S435 단계에서, 동기화 컨트롤러(340)는 프레임 정보 데이터(FI)를 수신한다. S434 단계 이후에, 프레임 정보 데이터(FI)를 수신하는 경우, 동기화 컨트롤러(340)는 다음 프레임에 대한 프레임 정보 데이터를 수신하는 것으로 이해될 것이다. S433 단계 이후에, 프레임 정보 데이터(FI)를 수신하는 경우, 동기화 컨트롤러(340)는 해당 프레임에 대한 프레임 정보 데이터를 수신하는 것으로 이해될 것이다.
S435 단계에서, 동기화 컨트롤러(340)가 프레임 정보 데이터를 수신하지 못한 경우, S432 단계가 진행된다. 즉, 동기화 컨트롤러(340)는 카운터 값을 증가시킨다. 동기화 컨트롤러(340)는 프레임 정보 데이터(FI)를 수신할 때까지 S432 내지 S435 단계를 수행하면서 카운터 값을 증가시킨다. 동기화 컨트롤러(2240)가 프레임 정보 데이터(FI)를 수신한 경우, S436 단계가 진행된다.
S436 단계에서, 동기화 컨트롤러(340)는 프레임 정보 데이터(FI)를 동기 메모리(350)에 제공한다. 또한, 동기화 컨트롤러(340)는 레지스터 정보(RI)를 동기 메모리(350)에 제공한다. 레지스터 정보(RI)는 동기 정보 레지스터 값에 대응된다. 동기화 컨트롤러(340)는 하나의 프레임 정보 데이터와 그에 대응하는 레지스터 정보(RI)를 동기 메모리(350)에 제공한다.
S437 단계에서, 동기화 컨트롤러(340) 또는 카운터(342)는 카운터 값을 리셋한다. 동기화 컨트롤러(340) 또는 카운터(342)는 카운터 값을 리셋한 후에, 다음 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시킬 수 있다. 즉, S437 단계가 수행된 후에, S432 단계가 수행될 수 있다. S432 내지 S437 단계를 반복하면, 동기화 컨트롤러(340)는 프레임 정보 데이터(FI)를 수신한 순서대로 동기 메모리(350)에 제공할 수 있다.
도 8은 본 발명의 실시예에 따른 영상 처리 시스템의 블록도이다. 도 8을 참조하면, 영상 처리 시스템(1000)은 카메라부(1100) 및 프레임 그래버(1200)를 포함한다. 카메라부(1100)는 제1 내지 제n 카메라들(1101~110n) 및 카메라 동기 신호 생성부(1110)를 포함한다. 카메라부(1100)에 포함된 카메라의 개수는 제한되지 않는다. 예를 들어, 영상 처리 시스템(1000)의 이용 분야, 이용 양태, 카메라의 시야각, 요구되는 영상의 감지 범위, 또는 카메라들 사이의 간격 등을 고려하여 카메라의 개수가 결정될 수 있다.
제1 내지 제n 카메라들(1101~110n)은 영상 처리 시스템(1000)이 이용되는 전자 장치에 배치된다. 제1 내지 제n 카메라들(1101~110n)은 전자 장치의 서로 다른 위치에 배치될 수 있다. 제1 내지 제n 카메라들(1101~110n)은 전자 장치에 서로 이격되어 배치될 수 있다. 따라서, 제1 내지 제n 카메라들(1101~110n)은 서로 다른 영상을 촬영할 수 있고, 서로 다른 방향의 영상을 감지할 수 있다. 예를 들어, 영상 처리 시스템(1000)이 자동차에 이용되는 경우, 제1 카메라(1101)는 자동차의 전방에 배치되어, 전방의 영상을 촬영할 수 있다. 제2 카메라(1102)는 자동차의 측방에 배치되어, 측방의 영상을 촬영할 수 있다. 또한, 제n 카메라(110n)는 자동차의 후방에 배치되어, 후방의 영상을 촬영할 수 있다.
제1 내지 제n 카메라들(1101~110n)은 제1 내지 제n 영상 신호들(I1~In)을 프레임 그래버(1200)에 제공한다. 예를 들어, 제1 영상 신호(I1)는 자동차 전방의 영상에 대응될 수 있고, 제2 영상 신호(I2)는 자동차 측방의 영상에 대응될 수 있다. 제1 내지 제n 영상 신호들(I1~In)은 동일한 시점에 촬영된 영상에 근거하여 생성될 수 있다. 즉, 전자 장치는 제1 내지 제n 영상 신호들(I1~In)에 근거하여 동일한 시점에 촬영된 자동차의 전방, 후방, 및 측방을 인지할 수 있다. 예를 들어, 자동차의 자율 주행 시, 자동차는 제1 내지 제n 영상 신호들(I1~In)에 근거하여 전방, 후방, 및 측방의 사물들을 인지할 수 있다. 이 때, 제1 내지 제n 영상 신호들(I1~In)이 하나의 프레임 또는 시점에 대응하는 영상 신호로 인지되지 않는 경우, 실제 사물들의 위치와 인지되는 사물들의 위치가 상이하다. 따라서, 자동차의 자율 주행 기능이 수행되기 어렵다.
제1 내지 제n 카메라들(1101~110n)은 서로 다른 위치에 배치되므로, 제1 영상 신호(I1), 제2 영상 신호(I2), 및 제n 영상 신호(In)의 전송 경로는 서로 다른 길이를 가질 수 있다. 제1 영상 신호(I1)의 전송 경로는 제1 카메라(1101)와 프레임 그래버(1200) 사이의 거리와 관련된다. 제2 영상 신호(I2)의 전송 경로는 제2 카메라(1102)와 프레임 그래버(1200) 사이의 거리와 관련된다. 제1 카메라(1101)와 프레임 그래버(1200) 사이의 거리, 제2 카메라(1102)와 프레임 그래버(1200), 및 제n 카메라(110n)와 프레임 그래버(1200) 사이의 거리는 모두 상이할 수 있다. 전송 경로가 서로 다른 경우, 그 차이에 따른 전송 지연이 발생할 수 있다. 예를 들어, 제1 카메라(1101)와 프레임 그래버(1200) 사이의 거리가 제2 카메라(1102)와 프레임 그래버(1200) 사이의 거리보다 긴 경우, 제1 영상 신호(I1)가 제2 영상 신호(I2)보다 늦게 프레임 그래버(1200)에 제공될 수 있다.
카메라 동기 신호 생성부(1110)는 카메라 동기 신호(Sync)를 생성한다. 카메라 동기 신호 생성부(1110)는 제1 내지 제n 카메라들(1101~110n)에 카메라 동기 신호(Sync)를 제공한다. 제1 내지 제n 카메라들(1101~110n)은 카메라 동기 신호(Sync)를 수신할 때, 영상을 촬영한다. 제1 내지 제n 카메라들(1101~110n)은 카메라 동기 신호(Sync)를 수신할 때, 제1 내지 제n 영상 신호들(I1~In)을 생성한다. 따라서, 제1 내지 제n 카메라들(1101~110n)은 하나의 프레임에 대응하는 영상 신호들을 프레임 그래버(1200)에 전달할 수 있다.
카메라 동기 신호 생성부(1110)는 프레임 그래버(1200)와 별도의 구성요소로 분리될 수 있다. 카메라 동기 신호 생성부(1110)는 복수의 카메라들이 하나의 프레임에 대응되는 영상 신호들을 생성하도록 카메라 동기 신호(Sync)를 제공한다. 따라서, 카메라 동기 신호 생성부(1110)는 프레임 그래버(1200)로의 영상 신호들의 전송 경로 또는 프레임 그래버(1200) 내부의 데이터 전송 경로에 따른 영상 동기화 과정과 무관한 구성 요소일 수 있다.
프레임 그래버(1200)는 도 2의 프레임 그래버(200)일 수 있다. 또는, 프레임 그래버(1200)는 도 6의 프레임 그래버(600)일 수 있다. 프레임 그래버(1200)는 동시에 생성된 제1 내지 제n 영상 신호들(I1~In)을 서로 다른 시점에 수신할 수 있다. 예를 들어, 자동차와 같은 전자 장치는 제1 내지 제n 카메라들(1101~110n) 사이의 거리 차이가 비교적 크다. 따라서, 제1 내지 제n 영상 신호들(I1~In)의 전송 경로 차이는 소형 전자 장치에 비하여 크다. 프레임 그래버(1200)는 서로 다른 시점에 수신된 제1 내지 제n 영상 신호들(I1~In)에 대한 식별 정보를 별도로 관리한다. 또한, 프레임 그래버(1200)는 제1 내지 제n 영상 신호들(I1~1n)에 근거하여 생성된 제1 내지 제n 픽셀 데이터들(P1~Pn)의 저장 시점이 상이한 경우에도, 제1 내지 제n 픽셀 데이터들(P1~Pn)의 동기화를 수행할 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100, 1000: 영상 처리 시스템 110, 1100: 카메라부
120, 200, 300: 프레임 그래버 210, 310: 디코더
220, 320: 영상 컨트롤러 230, 330: 메모리
240, 340: 동기화 컨트롤러 250, 350: 동기 메모리
260, 360: 프로세서

Claims (18)

  1. 복수의 영상 신호를 복호화하여 복수의 영상 데이터를 생성하는 복수의 디코더;
    상기 복수의 영상 데이터에 근거하여 복수의 픽셀 데이터 및 상기 복수의 픽셀 데이터에 대한 식별 정보를 포함하는 복수의 프레임 정보 데이터를 생성하는 복수의 영상 컨트롤러;
    상기 복수의 영상 컨트롤러로부터 상기 복수의 픽셀 데이터를 수신하고, 상기 복수의 픽셀 데이터를 저장하는 복수의 메모리;
    상기 복수의 프레임 정보 데이터를 수신하고, 상기 복수의 프레임 정보 데이터에 근거하여 상기 복수의 픽셀 데이터를 동기화하기 위한 동기 데이터를 생성하는 동기화 컨트롤러; 및
    상기 복수의 프레임 정보 데이터 및 상기 동기 데이터를 저장하는 동기 메모리를 포함하되,
    상기 동기화 컨트롤러는, 상기 복수의 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시키는 카운터를 포함하고 상기 카운터 값에 기초하여 상기 동기 데이터를 생성하는 프레임 그래버.
  2. 제1 항에 있어서,
    상기 복수의 프레임 정보 데이터에 근거하여 상기 메모리로부터 상기 복수의 픽셀 데이터를 수신하고, 상기 동기 데이터에 근거하여 상기 복수의 픽셀 데이터를 동기화하는 프로세서를 더 포함하는 프레임 그래버.
  3. 제2 항에 있어서,
    상기 동기화 컨트롤러는,
    상기 프로세서에 인터럽트 신호를 제공하고,
    상기 프로세서는,
    상기 인터럽트 신호에 근거하여 상기 동기 메모리에 저장된 상기 복수의 프레임 정보 데이터 및 상기 동기 데이터를 수신하는 프레임 그래버.
  4. 제2 항에 있어서,
    상기 동기 메모리는,
    상기 동기화 컨트롤러로부터 상기 복수의 프레임 정보 데이터 및 상기 동기 메모리를 순차적으로 저장하고, 상기 복수의 프레임 정보 데이터 및 상기 동기 메모리를 저장된 순서로 상기 프로세서에 제공하는 프레임 그래버.
  5. 제4 항에 있어서,
    상기 동기화 컨트롤러는,
    상기 복수의 프레임 정보 데이터를 수신한 시점으로부터 기준 시간 이후에 동기 데이터를 생성하는 프레임 그래버.
  6. 제4 항에 있어서,
    상기 동기화 컨트롤러는,
    상기 카운터 값이 기준 값 이상인 경우, 상기 동기 데이터를 생성하는 프레임 그래버.
  7. 제4 항에 있어서,
    상기 동기화 컨트롤러는,
    상기 카운터 값이 기준 값 이상인 경우, 동기 정보 레지스터 값을 증가시키는 동기 정보 레지스터를 더 포함하는 프레임 그래버.
  8. 영상을 감지하고, 복수의 영상 신호를 동시에 생성하는 복수의 카메라;
    상기 복수의 영상 신호를 복호화하여 복수의 영상 데이터를 생성하는 디코더;
    상기 복수의 영상 데이터에 근거하여 복수의 픽셀 데이터 및 상기 복수의 픽셀 데이터에 대한 식별 정보를 포함하는 복수의 프레임 정보 데이터를 생성하는 영상 컨트롤러;
    상기 복수의 픽셀 데이터를 저장하는 메모리;
    상기 복수의 프레임 정보 데이터에 근거하여 동기 데이터를 생성하는 동기화 컨트롤러;
    상기 복수의 프레임 정보 데이터 및 상기 동기 데이터를 저장하는 동기 메모리; 및
    상기 복수의 프레임 정보 데이터에 근거하여 상기 복수의 픽셀 데이터를 수신하고, 상기 동기 데이터에 근거하여 상기 픽셀 데이터를 동기화하는 프로세서를 포함하되,
    상기 동기화 컨트롤러는, 상기 복수의 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시키는 카운터를 포함하고 상기 카운터 값에 기초하여 상기 동기 데이터를 생성하는 영상 처리 시스템.
  9. 제8 항에 있어서,
    상기 복수의 영상 신호는 서로 다른 길이를 갖는 전송 경로를 통하여 상기 디코더에 제공되는 영상 처리 시스템.
  10. 제8 항에 있어서,
    상기 복수의 카메라에 카메라 동기 신호를 제공하고 상기 동기화 컨트롤러와 분리되는 카메라 동기 신호 생성부를 더 포함하는 영상 처리 시스템.
  11. 제8 항에 있어서,
    상기 디코더는,
    상기 복수의 카메라 중 어느 하나에 대응하는 영상 신호를 복호화하는 복수의 디코더를 포함하고,
    상기 영상 컨트롤러는,
    상기 복수의 카메라 중 어느 하나에 대응하는 영상 데이터를 수신하여 픽셀 데이터 및 프레임 정보 데이터를 생성하는 복수의 영상 컨트롤러를 포함하고,
    상기 메모리는,
    상기 복수의 카메라 중 어느 하나에 대응하는 픽셀 데이터를 저장하는 복수의 메모리를 포함하는 영상 처리 시스템.
  12. 제11 항에 있어서,
    상기 영상 데이터는,
    픽셀 클럭 데이터, 픽셀 컬러 데이터, 수평 동기 신호, 및 수직 동기 신호 중 적어도 하나를 포함하는 영상 처리 시스템.
  13. 제11 항에 있어서,
    상기 프로세서는,
    상기 복수의 프레임 정보 데이터에 근거하여 상기 복수의 메모리 중 읽기 동작을 수행할 메모리를 결정하는 영상 처리 시스템.
  14. 제13 항에 있어서,
    상기 식별 정보는,
    읽기 동작을 수행할 상기 메모리에 대응되는 카메라의 식별 정보, 상기 메모리의 어드레스 정보, 상기 메모리에 저장된 픽셀 데이터의 크기 정보, 및 상기 픽셀 데이터의 표시 영역 정보 중 적어도 하나를 포함하는 영상 처리 시스템.
  15. 프레임 그래버가 복수의 카메라로부터 수신한 복수의 영상 신호에 근거하여 복수의 영상 데이터를 생성하는 단계;
    상기 프레임 그래버가 상기 복수의 영상 데이터에 근거하여 복수의 픽셀 데이터 및 상기 복수의 픽셀 데이터에 대한 식별 정보를 포함하는 복수의 프레임 정보 데이터를 생성하는 단계;
    상기 프레임 그래버가 상기 복수의 픽셀 데이터를 저장하는 단계;
    상기 프레임 그래버가 상기 복수의 프레임 정보 데이터에 근거하여 동기 데이터를 생성하는 단계; 및
    프로세서가 상기 복수의 프레임 정보 데이터에 근거하여 상기 복수의 픽셀 데이터를 수신하고, 상기 동기 데이터에 근거하여 상기 복수의 픽셀 데이터를 동기화하는 단계를 포함하되,
    상기 동기 데이터를 생성하는 단계는,
    동기화 컨트롤러가 상기 복수의 프레임 정보 데이터를 수신할 때까지 카운터 값을 증가시키는 단계; 및
    상기 카운터 값에 기초하여 상기 동기 데이터를 생성하는 단계를 포함하는 영상 처리 방법.
  16. 제15 항에 있어서,
    상기 동기 데이터를 생성하는 단계는,
    상기 동기화 컨트롤러가 상기 복수의 프레임 정보 데이터를 수신하는 경우, 카운터 값을 리셋하는 단계; 및
    상기 카운터 값이 기준 값 이상인 경우, 상기 동기 데이터를 동기 메모리에 제공하는 단계를 더 포함하는 영상 처리 방법.
  17. 제15 항에 있어서,
    상기 동기 데이터를 생성하는 단계는,
    상기 동기화 컨트롤러가 상기 복수의 프레임 정보 데이터를 수신하는 경우, 상기 카운터 값에 대응되는 카운터 정보를 포함하는 상기 동기 데이터를 동기 메모리에 제공하는 단계; 및
    상기 카운터 값을 리셋하는 단계를 더 포함하는 영상 처리 방법.
  18. 제15 항에 있어서,
    상기 동기 데이터를 생성하는 단계는,
    상기 동기화 컨트롤러가 상기 복수의 프레임 정보 데이터를 수신하는 경우, 동기 정보 레지스터 값에 대응되는 레지스터 정보를 포함하는 상기 동기 데이터를 생성하는 단계; 및
    상기 카운터 값이 기준 값 이상인 경우, 상기 동기 정보 레지스터 값을 증가시키는 단계를 더 포함하는 영상 처리 방법.
KR1020170040277A 2016-11-18 2017-03-29 프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법 KR102124964B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/653,358 US10154225B2 (en) 2016-11-18 2017-07-18 Frame grabber, image processing system including the same, and image processing method using the frame grabber

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160154415 2016-11-18
KR1020160154415 2016-11-18

Publications (2)

Publication Number Publication Date
KR20180056540A KR20180056540A (ko) 2018-05-29
KR102124964B1 true KR102124964B1 (ko) 2020-06-23

Family

ID=62452998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170040277A KR102124964B1 (ko) 2016-11-18 2017-03-29 프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR102124964B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005497A1 (ko) * 2022-06-30 2024-01-04 엘지이노텍 주식회사 테스트 장치 및 이를 포함하는 테스트 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020067602A1 (ko) * 2018-09-27 2020-04-02 (주)에이텍티앤 멀티카메라를 이용한 차량 안전시스템
KR102591663B1 (ko) * 2018-11-27 2023-10-20 한국전자통신연구원 영상 처리를 위한 전자 장치 및 영상 처리 방법
KR102176447B1 (ko) 2019-05-31 2020-11-09 주식회사 로하연구소 디스플레이포트 표준 기반 ＰＣＩｅ ＦＰＧＡ 프레임 그래버

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052137A1 (en) * 2009-09-01 2011-03-03 Sony Corporation And Sony Electronics Inc. System and method for effectively utilizing a recorder device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052137A1 (en) * 2009-09-01 2011-03-03 Sony Corporation And Sony Electronics Inc. System and method for effectively utilizing a recorder device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005497A1 (ko) * 2022-06-30 2024-01-04 엘지이노텍 주식회사 테스트 장치 및 이를 포함하는 테스트 시스템

Also Published As

Publication number Publication date
KR20180056540A (ko) 2018-05-29

Similar Documents

Publication Publication Date Title
KR102124964B1 (ko) 프레임 그래버, 이를 포함하는 영상 처리 시스템, 및 프레임 그래버를 이용한 영상 처리 방법
JP6079031B2 (ja) 撮像装置
US9811751B2 (en) Image pickup apparatus with boundary identifier for areas of interest
EP3506623B1 (en) Image processing apparatus and method
JP2007219082A (ja) 複合現実感表示システム
JP2012165144A5 (ko)
US9225907B2 (en) Image capturing apparatus and method for controlling the same
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US11032477B2 (en) Motion stabilized image sensor, camera module and apparatus comprising same
JP4529841B2 (ja) 画像同期化装置
WO2018076354A1 (zh) 图像数据的帧同步方法、图像信号处理装置及终端
JP5369873B2 (ja) 判定プログラムおよびキャリブレーション装置
JP2013038454A (ja) 画像処理装置および方法、並びにプログラム
US10148934B2 (en) Image process apparatus and image process method
TWI533701B (zh) 用於產生子母畫面（ｐｉｐ）影像之設備及方法
US20140313381A1 (en) Image pickup apparatus
US10154225B2 (en) Frame grabber, image processing system including the same, and image processing method using the frame grabber
KR101081934B1 (ko) 영상합성장치 및 그 파노라마 영상 생성방법
JPWO2015141185A1 (ja) 撮像制御装置、撮像制御方法およびプログラム
US10021366B2 (en) Image process apparatus
US20110249089A1 (en) Video signal processing device, display device, display method and program product
US20150062362A1 (en) Image processing system and related method
EP3197144B1 (en) Image pickup device, image processing device, and image pickup and display device
KR101515404B1 (ko) 가상 카메라의 제어 장치 및 방법
US20130002811A1 (en) Three-dimensional imaging method using single-lens image-capture apparatus and three-dimensional image enhancement method based on two-dimensional images

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant