KR101670446B1 - 카메라 영상 실시간 처리 장치 및 그 방법 - Google Patents

카메라 영상 실시간 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101670446B1
KR101670446B1 KR1020160094666A KR20160094666A KR101670446B1 KR 101670446 B1 KR101670446 B1 KR 101670446B1 KR 1020160094666 A KR1020160094666 A KR 1020160094666A KR 20160094666 A KR20160094666 A KR 20160094666A KR 101670446 B1 KR101670446 B1 KR 101670446B1
Authority
KR
South Korea
Prior art keywords
signal
synchronizing signal
image
frame
vertical
Prior art date
Application number
KR1020160094666A
Other languages
English (en)
Inventor
최규태
김경석
Original Assignee
(주)큐브이미징시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)큐브이미징시스템즈 filed Critical (주)큐브이미징시스템즈
Priority to KR1020160094666A priority Critical patent/KR101670446B1/ko
Application granted granted Critical
Publication of KR101670446B1 publication Critical patent/KR101670446B1/ko

Links

Images

Classifications

    • H04N5/23203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이미지 센서로부터 수신한 영상의 프레임에 관련된 수직동기신호(VSYNC)와 별개로 제2수직동기신호(VSYNC)를 하나 이상 추가하여 상기 이미지 센서에서 수신한 하나의 프레임을 복수 개의 프레임으로 나누어 이미지 신호처리부로 전송하되, 상기 제2수직동기신호(VSYNC)는 수평동기신호(HSYNC)가 로우 레벨인 구간에 추가되는 것을 특징으로 하는 카메라 영상 실시간 처리 장치에 관한 것이다.
본 발명에 의하면, 영상 프레임의 전송 지연(delay)을 최소화 하여 실시간 영상 처리 시스템에 적용할 수 있으며, 기존의 카메라 모듈을 구성하는 부품이나 칩(Chip) 등의 변화없이 본 발명의 카메라 영상 실시간 처리 장치를 구성하는 모듈만 끼워 넣으면 영상 프레임의 실시간 처리가 가능하다.

Description

카메라 영상 실시간 처리 장치 및 그 방법{CAMERA IMAGE REAL TIME PROCESSING APPARATUS AND METHOD THEREOF}
본 발명은 카메라 영상 처리에 관한 것으로, 더욱 상세하게는 이미지 센서에서 수신한 영상 데이터를 호스트(Host)로 전송 시 전송 지연(delay)을 최소화 하는 카메라 영상 실시간 처리 장치 및 그 방법에 관한 것이다.
최근, 디지털 통신의 발전과 멀티미디어 응용 분야의 확산으로 인해 디지털 영상 처리 기술의 필요성이 더욱 증대되고 있다. 2010년대 들어 보급이 늘어난 차량용 블랙박스를 비롯해 액션캠, 드론(무인기) 촬영장치 등 영상 녹화장치가 다양하게 증가하면서 영상의 실시간 전송에 대한 관심 및 요청이 더욱 커지고 있는 실정이다.
도 1은 종래의 이미지 신호처리부(200)가 영상 데이터를 처리하는 방식을 나타낸다.
도 1을 참고하면, 이미지 센서(100)에서 영상 데이터를 전송 시 호스트(300)와 인터페이스(이더넷(Ethernet), USB 등)를 컨트롤하는 이미지 신호처리부(200)에서 이미지 센서(100)로부터 입력 받은 영상 데이터를 처리하기 위해 1프레임(frame) 이상의 전송 지연(delay)이 발생하게 된다.
도 1에서 이미지 신호처리부(200)는 AP(Application Processor), DSP(Digital signal Processor), Microprocessor, ISP(Image signal Processor) 등이 해당될 수 있다.
종래의 일반적인 이미지 신호처리부(200)는 이미지 센서(100)로부터 입력된 영상 데이터를 센서 버퍼(210)에 저장하기 시작하여 1프레임을 모두 받은 후 내부의 시스템 메모리(220)에 옮긴 다음 호스트(300)로 전송하게 된다. 따라서 최소 1프레임 + 시스템 메모리(220)로의 복사 시간 후에 호스트(300)로 전송을 시작한다.
예를 들어, 이미지 센서(100)가 30프레임으로 동작한다면 (33ms + α)의 최소 지연시간 후 호스트(300)로 전송이 시작된다. 이미지 센서(100)가 15프레임으로 동작한다면 (66ms + α)의 최소 지연시간 후 호스트(300)로 전송이 시작된다.
또한, 메모리 복사 시간 α는 영상 크기(해상도)가 커질수록 증가할 것이다. 예를 들어, HD급 이미지 센서가 10ms 라면, Full-HD급 이미지 센서는 20ms 이상의 시간이 필요할 것이다.
결론적으로, 종래의 시스템은 호스트(300)로 영상 데이터를 전송 시 1프레임 이상의 전송 지연(delay)을 필요로 하고, 이는 실시간 영상 처리에 많은 제약을 주고 있다.
등록특허 제10-1607295호
본 발명은 상기와 같은 문제점을 개선하기 위하여 발명된 것으로, 이미지 센서에서 수신한 영상 데이터에 별도의 수직동기신호(VSYNC)를 하나 이상 추가하여 프레임을 복수 개로 나누어 전송함으로써, 호스트(Host)로 전송 시 전송 지연(delay)을 최소화 할 수 있는 카메라 영상 실시간 처리 장치 및 그 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명은 이미지 센서로부터 수신한 영상의 프레임에 관련된 수직동기신호(VSYNC)와 별개로 제2수직동기신호(VSYNC)를 하나 이상 추가하여 상기 이미지 센서에서 수신한 하나의 프레임을 복수 개의 프레임으로 나누어 이미지 신호처리부로 전송하되, 상기 제2수직동기신호(VSYNC)는 수평동기신호(HSYNC)가 로우 레벨인 구간에 추가된다.
상기 이미지 센서로부터 영상의 프레임에 관련된 영상신호, 수직동기신호 및 수평동기신호를 수신하는 신호수신부; 상기 신호수신부에서 수신한 영상의 프레임에 관련된 신호 외에 제2수직동기신호를 추가로 발생시키는 수직동기신호 추가발생부; 상기 제2수직동기신호는 하나의 프레임 내의 수평동기신호가 로우 레벨인 구간에서 하나 이상 발생하되, 일정 간격마다 발생하도록 상기 수직동기신호 추가발생부를 제어하는 제어부; 및 상기 제어부에 의해 제2수직동기신호가 추가된 영상의 프레임에 관련된 신호를 상기 이미지 신호처리부로 전송하는 신호전송부를 포함할 수 있다.
하나의 프레임을 나누고자 하는 개수를 설정하는 프레임 분할부를 더 포함하고, 상기 제어부는 프레임 분할부에서 설정된 개수에 따라 상기 제2수직동기신호를 하나 이상 발생시켜 이미지 센서에서 수신한 프레임을 분할할 수 있다.
상기 제어부는 수평동기신호의 로우 레벨 구간이 상기 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 수평동기신호의 로우 레벨 구간이 지연된 만큼 수직동기신호의 하이 레벨 구간을 줄여서 출력할 수 있다.
상기 제어부는 수직동기신호의 하이 레벨 구간이 끝나는 시점은 변화가 없도록 출력할 수 있다.
상기 제어부는 수평동기신호의 로우 레벨 구간이 상기 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 제2수직동기신호가 발생하지 않는 구간에 해당하는 수평동기신호의 하나 이상의 로우 레벨 구간을 줄여서 출력할 수 있다.
상기 제어부는 수평동기신호의 로우 레벨 구간의 조정이 수직동기신호의 발생에 영향을 미치지 않도록 할 수 있다.
한편, 상기와 같은 목적을 달성하기 위하여, 본 발명은 (a) 이미지 센서로부터 영상의 프레임에 관련된 영상신호, 수직동기신호 및 수평동기신호를 수신하는 단계; (b) 수신한 영상의 프레임에 관련된 신호 외에 제2수직동기신호를 추가로 발생시키되, 하나의 프레임 내의 수평동기신호가 로우 레벨인 구간에서 일정 간격으로 하나 이상 발생시키는 단계; 및 (c) 상기 제2수직동기신호가 추가된 영상의 프레임에 관련된 신호를 이미지 신호처리부로 전송하는 단계를 포함한다.
상기 (b)단계는 하나의 프레임을 나누고자 하는 기 설정된 개수에 따라 상기 제2수직동기신호를 하나 이상 발생시켜 이미지 센서에서 수신한 프레임을 분할할 수 있다.
상기 (b)단계는 수평동기신호의 로우 레벨 구간이 상기 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 수평동기신호의 로우 레벨 구간이 지연된 만큼 수직동기신호의 하이 레벨 구간을 줄여서 출력할 수 있다.
상기 (b)단계는 수직동기신호의 하이 레벨 구간이 끝나는 시점은 변화가 없도록 출력할 수 있다.
상기 (b)단계는 수평동기신호의 로우 레벨 구간이 상기 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 제2수직동기신호가 발생하지 않는 구간에 해당하는 수평동기신호의 하나 이상의 로우 레벨 구간을 줄여서 출력할 수 있다.
상기 (b)단계는 수평동기신호의 로우 레벨 구간의 조정이 수직동기신호의 발생에 영향을 미치지 않도록 할 수 있다.
상기와 같은 구성의 본 발명에 따르면, 다음과 같은 효과를 도모할 수 있다.
우선, 본 발명은 영상 프레임의 전송 지연(delay)을 최소화 하여 실시간 영상 처리 시스템에 적용할 수 있다. 즉, 실시간 처리가 중요한 고속도로 감시카메라, 차량의 블랙박스나 기타 실시간으로 감시하며 제어해야 하는 시스템에 유용하게 적용할 수 있다.
또한, 간단한 로직(Logic)으로 구현이 가능하여 저가의 FPGA(Field Programmable Gate Array)나 프로그램 가능한 로직 칩(Logic Chip)으로 구현이 가능하고, 간단히 ASIC(Application Specific Integrated Circuit)에 적용할 수 있다.
더욱 편리한 것은, 기존의 카메라 모듈을 구성하는 부품이나 칩(Chip) 등의 변화없이 본 발명의 카메라 영상 실시간 처리 장치를 구성하는 모듈만 끼워 넣으면 영상 프레임의 실시간 처리가 가능하다.
또한, 영상 프레임을 여러 개로 나누어 전송해도 시스템의 전체적인 클럭(Clock) 속도는 동일하게 사용할 수 있다.
도 1은 종래의 이미지 신호처리부가 영상 데이터를 처리하는 방식을 나타낸다.
도 2(a)는 종래의 카메라 모듈의 구성을 나타낸다.
도 2(b)는 본 발명의 일 실시 예에 따른 카메라 영상 실시간 처리장치가 포함된 카메라 모듈의 구성을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 카메라 영상 실시간 처리장치의 블록도를 나타낸다.
도 4(a)는 종래의 시스템 동기신호를 나타낸다.
도 4(b)는 본 발명의 일 실시 예에 따라 도 4(a)의 시스템 동기신호에 복수 개의 수직동기신호(VSYNC)가 추가된 시스템 동기신호를 나타낸다.
도 5(a)는 종래의 시스템 동기신호의 다른 예를 나타낸다.
도 5(b)는 본 발명의 다른 실시 예에 따라 도 5(a)의 시스템 동기신호에 복수 개의 수직동기신호(VSYNC)가 추가된 시스템 동기신호를 나타낸다.
도 6(a)는 종래의 시스템 동기신호의 또 다른 예를 나타낸다.
도 6(b)는 본 발명의 또 다른 실시 예에 따라 도 6(a)의 시스템 동기신호에 복수 개의 수직동기신호(VSYNC)가 추가된 시스템 동기신호를 나타낸다.
도 7은 본 발명의 또 다른 실시 예에 따른 카메라 영상 실시간 처리방법의 순서도를 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시 예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.
본 명세서에서 본 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
따라서, 몇몇 실시 예에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하고, 본 명세서에서 사용된(언급된) 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함하며, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참고로 본 발명의 바람직한 실시 예에 대하여 설명한다.
도 1 내지 도 6을 참고하면, 본 발명인 카메라 영상 실시간 처리 장치(400)는 이미지 센서(100)로부터 수신한 영상의 프레임에 관련된 수직동기신호(VSYNC)와 별개로 제2수직동기신호(VSYNC)를 하나 이상 추가하여 이미지 센서(100)에서 수신한 하나의 프레임을 복수 개의 프레임으로 나누어 이미지 신호처리부(200)로 전송한다. 이때 제2수직동기신호(VSYNC)는 수평동기신호(HSYNC)가 로우 레벨(Low Level)인 구간에 추가하여 전송한다.
도 2(a) 및 도 2(b)에서 보는 바와 같이, 종래의 카메라 모듈(500)과 본 발명에 따른 카메라 모듈(600)은 이미지 센서(100)와 이미지 신호처리부(200)의 구성과 동일하며, 다만 그 사이에 본 발명에 따른 카메라 영상 실시간 처리 장치(400)를 포함하는지 여부가 중요한 차이를 결정하는 것이다. 즉, 종래의 카메라 모듈(500)은 이미지 센서(100)로부터 입력되는 영상 프레임은 바로 이미지 신호처리부(200)로 전달되는 방식이었다.
여기서 이미지 신호처리부(200)는 AP(Application Processor), DSP(Digital signal Processor), Microprocessor, ISP(Image signal Processor) 등이 해당될 수 있다.
호스트(300)는 카메라 모듈(500, 600)의 외부에 존재하며, 이미지 신호처리부(200)에서 입력된 영상 프레임을 가공(예를 들어, 인코딩, 디코딩, 스케일링 등)하는 기능을 담당한다. 예를 들어, JPEG, BMP 등과 같이 미리 지정된 인코딩 방식에 따라 입력된 데이터를 인코딩 할 수 있다. 또한 인코딩된 이미지 데이터를 다시 디코딩 시킬 수 있으며, 이때 디코딩된 이미지는 디스플레이(미도시)에 표시될 수 있다.
상기의 내용을 종합하면, 본 발명의 핵심은 카메라 모듈(600)에 본 발명에 따른 카메라 영상 실시간 처리 장치(400)를 추가함으로써 이미지 센서(100)에서 수신한 영상의 프레임을 두 개 이상으로 나누어서 이미지 신호처리부(200)에 전송하는 것이다.
즉, 이미지 신호처리부(200)는 카메라 영상 실시간 처리 장치(400)에서 새롭게 생성된 영상 프레임을 받아서 호스트(300)에 전송한다. 하나의 영상 프레임을 복수 개로 나누어 전송하면, 전송 지연(delay)을 최소화 하면서 호스트(300)에 실시간으로 전송할 수 있게 되는 것이다.
도 3을 참고하여 카메라 영상 실시간 처리 장치(400)를 구체적으로 설명한다.
카메라 영상 실시간 처리 장치(400)는 신호수신부(410), 수직동기신호 추가발생부(420), 제어부(430) 및 신호전송부(440)를 포함하며, 프레임 분할부(450)를 더 포함할 수 있다. 물론, 프레임 분할부(450)를 별도로 구분하지 않고 제어부(430)에 포함할 수도 있다.
신호수신부(410)는 이미지 센서(100)로부터 영상의 프레임에 관련된 영상신호, 수직동기신호(VSYNC) 및 수평동기신호(HSYNC)를 수신한다.
수직동기신호 추가발생부(420)는 신호수신부(410)에서 수신한 영상의 프레임에 관련된 신호(영상신호, 수직동기신호, 수평동기신호) 외에 제2수직동기신호(VSYNC)를 추가로 발생시킨다.
제어부(430)는 신호수신부(410)에서 수신한 하나의 프레임(frame) 내의 수평동기신호가 로우 레벨인 구간에서 제2수직동기신호가 하나 이상 발생하도록 하되, 일정 간격마다 발생하도록 수직동기신호 추가발생부(420)를 제어한다.
신호전송부(440)는 제어부(430)에 의해 제2수직동기신호가 추가된 영상의 프레임에 관련된 신호를 이미지 신호처리부(200)로 전송한다. 즉, 신호전송부(440)가 전송하는 신호에는 신호수신부(410)에서 수신한 영상신호, 수직동기신호 및 수평동기신호 외에 제2수직동기신호가 추가되어 출력되는 것이다.
프레임 분할부(450)는 하나의 프레임을 나누고자 하는 개수를 설정한다. 물론, 제품의 생산 시에 하나의 프레임을 몇 개로 나눌 것인지 미리 설정해 놓을 수 있으며, 이와 별개로 외부 입력 또는 스위치 조작 등을 통해서 개수 설정을 변경할 수도 있다.
제어부(430)는 프레임 분할부(450)에서 설정된 개수에 따라 제2수직동기신호를 하나 이상 발생시켜 이미지 센서(100)에서 수신한 프레임을 복수 개로 분할한다. 예를 들어, 설정된 개수가 5개 라면, 하나의 프레임을 5개로 분할한다는 의미이며, 이를 위해서 제어부(430)는 제2수직동기신호를 4개 발생시키게 된다.
도 4(a)는 이미지 센서(100)로부터 수신하는 종래의 시스템 동기신호를 나타낸다. 수직동기신호(VSYNC)에 의해서 하나의 프레임(프레임0)이 구분된다.
도 4(b)는 본 발명에 따라서 종래의 시스템 동기신호에 복수 개의 제2수직동기신호(VSYNC)가 추가된 예를 보여주고 있다. 도 4(b)의 실시 예에서는 제2수직동기신호가 4개가 추가된 경우를 나타내고 있으나, 반드시 이에 한정되는 것은 아니다. 프레임 분할부(450)에서 프레임 분할 개수로 5가 설정된 경우 제2수직동기신호가 4개 추가될 것이다.
신호수신부(410)가 도 4(a)의 파형과 같은 프레임을 입력 받으면, 수직동기신호 추가발생부(420)가 여기에 제2수직동기신호(VSYNC)를 일정 간격으로 4개 추가하여 5개의 프레임으로 나눈다. 즉, 하나의 프레임을 다섯 개의 프레임으로 나누어서 이미지 신호처리부(200)로 출력한다. 이때 제어부(430)는 수평동기신호가 로우 레벨인 구간에서 제2수직동기신호가 추가되도록 제어한다.
도 4(b)에서 ①_1, ②_1, ③_1, ④_1, ⑤_1은 카메라 영상 실시간 처리 장치(400)에서 새롭게 생성한 프레임을 이미지 신호처리부(200)의 센서 버퍼(210)에서 받은 후 시스템 메모리(220)에 복사하는 시간을 의미한다.
①_2, ②_2, ③_2, ④_2, ⑤_2는 시스템 메모리(220)로 복사 후 이미지 신호처리부(200)에서 호스트(300)로 데이터를 전송하는 시간이다.
센서 버퍼(210)에 프레임0_0을 저장하고(①), ①_1 시간에 센서 버퍼(210)에 저장된 프레임0_0을 시스템 메모리(220)에 복사하며, ①_2 시간에 시스템 메모리(220)에 복사된 프레임0_0을 호스트(300)로 전송한다.
센서 버퍼(210)에 저장된 프레임0_0을 시스템 메모리(220)로 복사하고, 복사된 프레임0_0을 호스트(300)로 전송하는 작업이 이루어짐과 동시에 센서 버퍼(210)에 프레임0_1을 저장한다(②). 그럼 다음 ②_1 시간에 센서 버퍼(210)에 저장된 프레임0_1을 시스템 메모리(220)에 복사하며, ②_2 시간에 시스템 메모리(220)에 복사된 프레임0_1을 호스트(300)로 전송한다.
센서 버퍼(210)에 저장된 프레임0_1을 시스템 메모리(220)로 복사하고, 복사된 프레임0_1을 호스트(300)로 전송하는 작업이 이루어짐과 동시에 센서 버퍼(210)에 프레임0_2를 저장한다(③). 그럼 다음 ③_1 시간에 센서 버퍼(210)에 저장된 프레임0_2를 시스템 메모리(220)에 복사하며, ③_2 시간에 시스템 메모리(220)에 복사된 프레임0_2를 호스트(300)로 전송한다. 프레임0_3 및 프레임0_4의 센서 버퍼(210)에 저장, 시스템 메모리(220)에 복사 및 호스트(300)로의 전송도 상기에서 설명한 방식과 동일하게 동작한다.
결국, 도 4(a)의 종래 방식에 의하면 센서 버퍼(210)가 프레임0을 모두 받은 후 시스템 메모리(220)에 복사 및 호스트(300)로 전송이 이루어 지고 있으나, 도 4(b)의 본 발명의 방식에 의하면 다섯 개로 분할된 각각의 프레임(프레임0_0~프레임0_4)을 더욱 짧은 시간 단위로 시스템 메모리(220)에 복사 및 호스트(300)로 전송을 하는 것이다.
이렇게 다섯 개의 프레임으로 분할하여 출력하면 30frame의 센서 데이터를 이미지 신호처리부(200)는 150frame으로 입력 받게 되고, ①_1 시간 이후 이미지 신호처리부(200)는 호스트(300)로 데이터를 전송하기 시작하므로 센서의 한 프레임이 끝나기 전에 호스트(300)로 데이터 전송이 시작되어 전송 지연(delay)을 최소화 할 수 있다.
상기의 실시 예와는 달리 시스템에 따라서 수평동기신호(HSYNC)의 로우 레벨 구간이 짧아 상기의 방식으로는 수직동기신호(VSYNC)를 추가할 수 없는 경우가 있다.
도 5를 참고하면, 일반적으로는 수직동기신호 하이 레벨 구간은 수평동기신호에 비해 상대적으로 매우 길어, 수평동기신호를 지연시키고 수직동기신호 하이 레벨 구간을 줄여서 출력할 수 있다.
제어부(430)는 수평동기신호의 로우 레벨 구간이 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고(⑧, ⑨), 수평동기신호의 로우 레벨 구간이 지연(⑧, ⑨)된 만큼 수직동기신호의 하이 레벨 구간을 줄여서 출력한다(⑥). 수직동기신호의 하이 레벨 구간이 줄어들면, 줄어든 타이밍 구간에서 수평동기신호가 출력되도록 한다(⑩).
제어부(430)는 수직동기신호의 하이 레벨 구간이 끝나는 시점은 변화가 없도록 출력한다(⑦).
도 6을 참고하면, 도 5의 경우와 다르게 수직동기신호의 하이 레벨 구간이 짧은 경우이다. 이 경우는 수평동기신호를 지연시켜야 하는 부분은 지연시키고 짧게 줄여야 하는 부분은 줄임으로써 문제를 해결할 수 있다.
제어부(430)는 수평동기신호의 로우 레벨 구간이 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고(⑪, ⑬), 제2수직동기신호가 발생하지 않는 구간에 해당하는 수평동기신호의 하나 이상의 로우 레벨 구간을 줄여서 출력되도록 한다(⑫).
제어부(430)는 수평동기신호의 로우 레벨 구간의 조정이 수직동기신호의 발생에 영향을 미치지 않도록 제어한다(⑮). 다시 말해서, 이미지 센서(100)에서 수신한 프레임이 끝나는 시간과 카메라 영상 실시간 처리 장치(400)에서 생성된 프레임이 끝나는 시간이 동일하도록 제어한다(⑮).
이상에서 검토한 바와 같이 하나의 프레임을 최소 2개 이상의 프레임으로 나누어 전송할 수 있다. 프레임을 많이 나누면 나눌수록 전송 지연 시간이 줄어드나, 이미지 신호처리부(200)에서 빠른 프레임 rate를 처리해야 하는 부담이 있다. 따라서 시스템을 고려하여 적정하게 프레임을 나누어 전송하는 것이 바람직하다.
도 7을 참고하여, 본 발명의 또 다른 실시 예인 카메라 영상 실시간 처리 방법을 설명한다.
먼저, 카메라 영상 실시간 처리 장치(400)는 이미지 센서(100)로부터 영상의 프레임에 관련된 영상신호, 수직동기신호 및 수평동기신호를 수신한다((a)단계, S710).
다음으로 카메라 영상 실시간 처리 장치(400)는 수신한 영상의 프레임에 관련된 신호 외에 제2수직동기신호를 추가로 발생시키되, 하나의 프레임 내의 수평동기신호가 로우 레벨인 구간에서 일정 간격으로 하나 이상 발생시킨다((b)단계, S720).
구체적으로는, 하나의 프레임을 나누고자 하는 기 설정된 개수에 따라 제2수직동기신호를 하나 이상 발생시켜 이미지 센서(100)에서 수신한 프레임을 분할한다.
카메라 영상 실시간 처리 장치(400)는 수평동기신호의 로우 레벨 구간이 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 수평동기신호의 로우 레벨 구간이 지연된 만큼 수직동기신호의 하이 레벨 구간을 줄여서 출력하며, 수직동기신호의 하이 레벨 구간이 끝나는 시점은 변화가 없도록 출력 제어한다.
이와는 다른 방법으로, 카메라 영상 실시간 처리 장치(400)는 수평동기신호의 로우 레벨 구간이 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 제2수직동기신호가 발생하지 않는 구간에 해당하는 수평동기신호의 하나 이상의 로우 레벨 구간을 줄여서 출력하며, 수평동기신호의 로우 레벨 구간의 조정이 수직동기신호의 발생에 영향을 미치지 않도록 제어한다.
마지막으로 카메라 영상 실시간 처리 장치(400)는 제2수직동기신호가 추가된 영상의 프레임에 관련된 신호를 이미지 신호처리부(200)로 전송한다((c)단계, S730).
그 밖에 구체적인 설명은 도 1 내지 도 6을 참조하여 자세하게 설명하였으므로 생략한다.
이상과 같이 본 발명은 영상 프레임의 전송 지연(delay)을 최소화 하여 실시간 영상 처리 시스템에 적용할 수 있으며, 기존의 카메라 모듈을 구성하는 부품이나 칩(Chip) 등의 변화없이 본 발명의 카메라 영상 실시간 처리 장치를 구성하는 모듈만 끼워 넣으면 영상 프레임의 실시간 처리가 가능하다.
그리고, 본 발명의 기본적인 기술적 사상의 범주 내에서 당해 업계 통상의 지식을 가진 자에게 있어서는 다른 많은 변형 및 응용 또한 가능함은 물론이다.
100...이미지 센서
200...이미지 신호처리부
220...시스템 메모리
230...이더넷 제어부
300...호스트
400...카메라 영상 실시간 처리 장치
410...신호수신부
420...수직동기신호 추가발생부
430...제어부
440...신호전송부
450...프레임 분할부
500, 600...카메라 모듈

Claims (13)

  1. 이미지 센서로부터 수신한 영상의 프레임에 관련된 수직동기신호(VSYNC)와 별개로 제2수직동기신호(VSYNC)를 하나 이상 추가하여 상기 이미지 센서에서 수신한 하나의 프레임을 복수 개의 프레임으로 나누어 이미지 신호처리부로 전송하되, 상기 제2수직동기신호(VSYNC)는 수평동기신호(HSYNC)가 로우 레벨인 구간에 추가되는 카메라 영상 실시간 처리 장치로서,
    상기 이미지 센서로부터 영상의 프레임에 관련된 영상신호, 수직동기신호 및 수평동기신호를 수신하는 신호수신부;
    상기 신호수신부에서 수신한 영상의 프레임에 관련된 신호 외에 제2수직동기신호를 추가로 발생시키는 수직동기신호 추가발생부;
    상기 제2수직동기신호는 하나의 프레임 내의 수평동기신호가 로우 레벨인 구간에서 하나 이상 발생하되, 일정 간격마다 발생하도록 상기 수직동기신호 추가발생부를 제어하는 제어부; 및
    상기 제어부에 의해 제2수직동기신호가 추가된 영상의 프레임에 관련된 신호를 상기 이미지 신호처리부로 전송하는 신호전송부를 포함하되,
    상기 제어부는 수평동기신호의 로우 레벨 구간이 상기 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 수평동기신호의 로우 레벨 구간이 지연된 만큼 수직동기신호의 하이 레벨 구간을 줄여서 출력하는 것을 특징으로 하는 카메라 영상 실시간 처리 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    하나의 프레임을 나누고자 하는 개수를 설정하는 프레임 분할부를 더 포함하고,
    상기 제어부는 프레임 분할부에서 설정된 개수에 따라 상기 제2수직동기신호를 하나 이상 발생시켜 이미지 센서에서 수신한 프레임을 분할하는 것을 특징으로 하는 카메라 영상 실시간 처리 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 제어부는 수직동기신호의 하이 레벨 구간이 끝나는 시점은 변화가 없도록 출력하는 것을 특징으로 하는 카메라 영상 실시간 처리 장치.
  6. 이미지 센서로부터 수신한 영상의 프레임에 관련된 수직동기신호(VSYNC)와 별개로 제2수직동기신호(VSYNC)를 하나 이상 추가하여 상기 이미지 센서에서 수신한 하나의 프레임을 복수 개의 프레임으로 나누어 이미지 신호처리부로 전송하되, 상기 제2수직동기신호(VSYNC)는 수평동기신호(HSYNC)가 로우 레벨인 구간에 추가되는 카메라 영상 실시간 처리 장치로서,
    상기 이미지 센서로부터 영상의 프레임에 관련된 영상신호, 수직동기신호 및 수평동기신호를 수신하는 신호수신부;
    상기 신호수신부에서 수신한 영상의 프레임에 관련된 신호 외에 제2수직동기신호를 추가로 발생시키는 수직동기신호 추가발생부;
    상기 제2수직동기신호는 하나의 프레임 내의 수평동기신호가 로우 레벨인 구간에서 하나 이상 발생하되, 일정 간격마다 발생하도록 상기 수직동기신호 추가발생부를 제어하는 제어부; 및
    상기 제어부에 의해 제2수직동기신호가 추가된 영상의 프레임에 관련된 신호를 상기 이미지 신호처리부로 전송하는 신호전송부를 포함하되,
    상기 제어부는 수평동기신호의 로우 레벨 구간이 상기 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 제2수직동기신호가 발생하지 않는 구간에 해당하는 수평동기신호의 하나 이상의 로우 레벨 구간을 줄여서 출력하는 것을 특징으로 하는 카메라 영상 실시간 처리 장치.
  7. 청구항 6에 있어서,
    상기 제어부는 수평동기신호의 로우 레벨 구간의 조정이 수직동기신호의 발생에 영향을 미치지 않도록 하는 것을 특징으로 하는 카메라 영상 실시간 처리 장치.
  8. (a) 이미지 센서로부터 영상의 프레임에 관련된 영상신호, 수직동기신호 및 수평동기신호를 수신하는 단계;
    (b) 수신한 영상의 프레임에 관련된 신호 외에 제2수직동기신호를 추가로 발생시키되, 하나의 프레임 내의 수평동기신호가 로우 레벨인 구간에서 일정 간격으로 하나 이상 발생시키는 단계; 및
    (c) 상기 제2수직동기신호가 추가된 영상의 프레임에 관련된 신호를 이미지 신호처리부로 전송하는 단계를 포함하되,
    상기 (b)단계는 수평동기신호의 로우 레벨 구간이 상기 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 수평동기신호의 로우 레벨 구간이 지연된 만큼 수직동기신호의 하이 레벨 구간을 줄여서 출력하는 것을 특징으로 하는 카메라 영상 실시간 처리 방법.
  9. 청구항 8에 있어서,
    상기 (b)단계는 하나의 프레임을 나누고자 하는 기 설정된 개수에 따라 상기 제2수직동기신호를 하나 이상 발생시켜 이미지 센서에서 수신한 프레임을 분할하는 것을 특징으로 하는 카메라 영상 실시간 처리 방법.
  10. 삭제
  11. 청구항 8에 있어서,
    상기 (b)단계는 수직동기신호의 하이 레벨 구간이 끝나는 시점은 변화가 없도록 출력하는 것을 특징으로 하는 카메라 영상 실시간 처리 방법.
  12. (a) 이미지 센서로부터 영상의 프레임에 관련된 영상신호, 수직동기신호 및 수평동기신호를 수신하는 단계;
    (b) 수신한 영상의 프레임에 관련된 신호 외에 제2수직동기신호를 추가로 발생시키되, 하나의 프레임 내의 수평동기신호가 로우 레벨인 구간에서 일정 간격으로 하나 이상 발생시키는 단계; 및
    (c) 상기 제2수직동기신호가 추가된 영상의 프레임에 관련된 신호를 이미지 신호처리부로 전송하는 단계를 포함하되,
    상기 (b)단계는 수평동기신호의 로우 레벨 구간이 상기 제2수직동기신호 발생폭과 같거나 제2수직동기신호 발생폭보다 짧은 경우, 제2수직동기신호를 발생시키고자 하는 구간에 해당하는 수평동기신호의 로우 레벨 구간이 일정 시간만큼 더 길어지도록 지연시키고, 제2수직동기신호가 발생하지 않는 구간에 해당하는 수평동기신호의 하나 이상의 로우 레벨 구간을 줄여서 출력하는 것을 특징으로 하는 카메라 영상 실시간 처리 방법.
  13. 청구항 12에 있어서,
    상기 (b)단계는 수평동기신호의 로우 레벨 구간의 조정이 수직동기신호의 발생에 영향을 미치지 않도록 하는 것을 특징으로 하는 카메라 영상 실시간 처리 방법.
KR1020160094666A 2016-07-26 2016-07-26 카메라 영상 실시간 처리 장치 및 그 방법 KR101670446B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160094666A KR101670446B1 (ko) 2016-07-26 2016-07-26 카메라 영상 실시간 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160094666A KR101670446B1 (ko) 2016-07-26 2016-07-26 카메라 영상 실시간 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101670446B1 true KR101670446B1 (ko) 2016-10-28

Family

ID=57244515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160094666A KR101670446B1 (ko) 2016-07-26 2016-07-26 카메라 영상 실시간 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101670446B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324568A (zh) * 2018-03-29 2019-10-11 北京深鉴智能科技有限公司 一种网络视频监控装置
KR20200000434A (ko) * 2018-06-22 2020-01-02 재단법인 실감교류인체감응솔루션연구단 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법
CN112738426A (zh) * 2020-12-16 2021-04-30 陕西电器研究所 一种多路传感数据、图像混合采编调制装置
CN113301220A (zh) * 2021-04-27 2021-08-24 上海欧菲智能车联科技有限公司 一种车载摄像头与车灯的同步方法及fpga芯片
CN113642345A (zh) * 2020-05-11 2021-11-12 北京君正集成电路股份有限公司 一种针对二维码设备提高有效数据传输速率的方法
CN115834793A (zh) * 2023-02-16 2023-03-21 深圳曦华科技有限公司 视频模式下的图像数据传输控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136720A (ja) * 2003-10-30 2005-05-26 Hamamatsu Photonics Kk 撮像装置、画像取得装置、及び撮像システム
KR20050051491A (ko) * 2003-11-27 2005-06-01 엘지전자 주식회사 카메라 라인-락에서의 동기신호 위상 변이장치
KR20050058943A (ko) * 2003-12-13 2005-06-17 엘지전자 주식회사 휴대단말기의 고해상도 영상신호 저장장치 및 방법
KR100651543B1 (ko) * 2005-06-15 2006-11-29 삼성전자주식회사 동영상 화면의 왜곡을 감소시키는 휴대 단말기
KR101607295B1 (ko) 2009-07-31 2016-04-11 엘지전자 주식회사 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136720A (ja) * 2003-10-30 2005-05-26 Hamamatsu Photonics Kk 撮像装置、画像取得装置、及び撮像システム
KR20050051491A (ko) * 2003-11-27 2005-06-01 엘지전자 주식회사 카메라 라인-락에서의 동기신호 위상 변이장치
KR20050058943A (ko) * 2003-12-13 2005-06-17 엘지전자 주식회사 휴대단말기의 고해상도 영상신호 저장장치 및 방법
KR100651543B1 (ko) * 2005-06-15 2006-11-29 삼성전자주식회사 동영상 화면의 왜곡을 감소시키는 휴대 단말기
KR101607295B1 (ko) 2009-07-31 2016-04-11 엘지전자 주식회사 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324568A (zh) * 2018-03-29 2019-10-11 北京深鉴智能科技有限公司 一种网络视频监控装置
CN110324568B (zh) * 2018-03-29 2021-07-09 赛灵思电子科技(北京)有限公司 一种网络视频监控装置
KR20200000434A (ko) * 2018-06-22 2020-01-02 재단법인 실감교류인체감응솔루션연구단 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법
KR102179549B1 (ko) 2018-06-22 2020-11-17 재단법인 실감교류인체감응솔루션연구단 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법
CN113642345A (zh) * 2020-05-11 2021-11-12 北京君正集成电路股份有限公司 一种针对二维码设备提高有效数据传输速率的方法
CN113642345B (zh) * 2020-05-11 2023-12-08 北京君正集成电路股份有限公司 一种针对二维码设备提高有效数据传输速率的方法
CN112738426A (zh) * 2020-12-16 2021-04-30 陕西电器研究所 一种多路传感数据、图像混合采编调制装置
CN113301220A (zh) * 2021-04-27 2021-08-24 上海欧菲智能车联科技有限公司 一种车载摄像头与车灯的同步方法及fpga芯片
CN113301220B (zh) * 2021-04-27 2024-01-05 上海欧菲智能车联科技有限公司 一种车载摄像头与车灯的同步方法及fpga芯片
CN115834793A (zh) * 2023-02-16 2023-03-21 深圳曦华科技有限公司 视频模式下的图像数据传输控制方法

Similar Documents

Publication Publication Date Title
KR101670446B1 (ko) 카메라 영상 실시간 처리 장치 및 그 방법
US10972637B2 (en) Systems and methods for synchronizing sensor capture
US10033989B2 (en) Synchronization controller for multi-sensor camera device and related synchronization method
US20150220472A1 (en) Increasing throughput on multi-wire and multi-lane interfaces
KR102459917B1 (ko) 이미지 신호 프로세서와 이를 포함하는 장치들
US20160182890A1 (en) Method and apparatus for bus sharing by multiple imaging sensors
US7084914B2 (en) Variable pixel clock electronic shutter control
KR102344545B1 (ko) 영상처리장치 및 그 제어방법
CN105657403B (zh) 基于fpga的结构光投影和图像采集的同步系统
KR102179549B1 (ko) 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법
US9258543B2 (en) Method and device for generating three-dimensional image
JP6370152B2 (ja) １つの制御装置と少なくとも１つの周辺装置とを同期させるための方法及び設備
KR20180085953A (ko) 멀티 채널 초고해상도 영상 데이터의 동시 획득 시 채널 간 동기를 위한 하드웨어 장치
US20060256122A1 (en) Method and apparatus for streaming data from multiple devices over a single data bus
US10057524B2 (en) Image capturing apparatus
CN107197190B (zh) 一种视频时钟的生成方法及装置
KR101917224B1 (ko) 영상데이터 전송장치
US9088750B2 (en) Apparatus and method for generating picture-in-picture (PIP) image
TWI520577B (zh) 立體影像輸出裝置與相關的立體影像輸出方法
CN105376550A (zh) 影像同步方法及其系统
JP7414733B2 (ja) 受信装置および送信装置
KR20120113843A (ko) 복수의 센서 데이터 입력 방법 및 장치
US10504409B2 (en) Display synchronization
US20110199456A1 (en) Apparatus for image reproduction and method therefor
KR20240069379A (ko) 아날로그 영상 신호 송수신 방법 및 그 방법을 수행하는 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191024

Year of fee payment: 4