KR100680256B1 - Apparatus for image processing of stereo camera having wide dynamic range - Google Patents
Apparatus for image processing of stereo camera having wide dynamic range Download PDFInfo
- Publication number
- KR100680256B1 KR100680256B1 KR1020050102350A KR20050102350A KR100680256B1 KR 100680256 B1 KR100680256 B1 KR 100680256B1 KR 1020050102350 A KR1020050102350 A KR 1020050102350A KR 20050102350 A KR20050102350 A KR 20050102350A KR 100680256 B1 KR100680256 B1 KR 100680256B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image signal
- signal processor
- dynamic range
- stereo
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/14—Use of low voltage differential signaling [LVDS] for display data communication
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
- H01L2924/10—Details of semiconductor or other solid state devices to be connected
- H01L2924/11—Device type
- H01L2924/14—Integrated circuits
- H01L2924/143—Digital devices
- H01L2924/1434—Memory
- H01L2924/1435—Random access memory [RAM]
- H01L2924/1436—Dynamic random-access memory [DRAM]
- H01L2924/14361—Synchronous dynamic random access memory [SDRAM]
Abstract
Description
도 1은 본 발명에 따라 동시성을 구현하기 위한 스테레오 카메라 영상처리장치의 블록 구성도이다.1 is a block diagram of a stereo camera image processing apparatus for implementing concurrency according to the present invention.
도 2는 본 발명에 따라 고속 동작을 구현하기 위한 스테레오 카메라 영상처리장치의 또 다른 블록 구성도이다.2 is another block diagram of a stereo camera image processing apparatus for implementing high speed operation according to the present invention.
도 3은 본 발명에 따라 높은 독립성을 구현하기 위한 스테레오 카메라 영상처리장치의 또 다른 블록 구성도이다.3 is another block diagram of a stereo camera image processing apparatus for implementing high independence according to the present invention.
도 4는 본 발명에 따라 확장성 보장을 위한 스테레오 카메라 영상처리장치의 또 다른 블록 구성도이다.4 is another block diagram of a stereo camera image processing apparatus for ensuring scalability according to the present invention.
본 발명은 넓은 생동폭을 갖는 스테레오 카메라 영상처리장치에 관한 것이다. 보다 상세하게는 한 대의 마스터 카메라가 슬레이브 카메라에게 영상의 노출 개시시점, 노출량, 생동폭 확장을 위한 파라미터, 전송 개시시점 등을 제어하여 좌우 스테레오 영상의 균일성을 확보할 수 있게 함으로써 다수의 카메라가 피사체에 대해 안정된 넓은 생동폭을 갖는 영상신호들을 획득하는 장치에 관한 것이다.The present invention relates to a stereo camera image processing apparatus having a wide dynamic range. More specifically, a single master camera controls the slave camera to start the exposure of the image, the amount of exposure, parameters for expanding the dynamic width, and the start of the transmission to ensure uniformity of left and right stereo images. The present invention relates to an apparatus for acquiring image signals having a wide dynamic range stable to a subject.
인간의 눈이 120dB 이상의 넓은 생동폭을 갖는 것을 고려할 때 기존의 일반적인 스테레오 영상신호 처리장치(카메라)는 일반적으로 60dB ~ 70dB 정도의 생동폭을 갖는 센서를 사용하여 제작되기 때문에 그 사용범위가 제한적일 수 밖에 없다. Considering that the human eye has a wide dynamic range of 120 dB or more, the conventional stereo video signal processing apparatus (camera) is limited to the use range because it is generally manufactured using a sensor having a dynamic range of about 60 dB to 70 dB. There is nothing else.
현재 광역의 생동폭을 지향하는 카메라가 상용화되어 출시되고 있으나, 이들은 모두 단일 카메라만을 고려하고 있어서 넓은 생동폭을 갖는 영상을 스테레오로 취득하기 위해서는 이들 간의 여러 정보의 교환 및 동기화 작업이 필요하게 된다. 이러한 교환 정보의 내용으로는 영상 취득을 위한 동기화된 영상 취득 시작신호, 노출시간, 영상 합성을 위한 영상 통계정보를 비롯한 공유되는 파라미터, 전송 개시 동기화 신호 등이 있다. Currently, cameras aiming for wide dynamic range have been commercialized and released, but all of them are considering only a single camera, and thus, in order to acquire a wide dynamic range in stereo, it is necessary to exchange and synchronize various information between them. The contents of the exchange information include a synchronized image acquisition start signal for image acquisition, exposure time, shared parameters including image statistical information for image synthesis, a transmission start synchronization signal, and the like.
따라서 생동폭이 큰 스테레오 카메라의 설계를 위해서는 기존의 단안 카메라와는 다른 구조의 카메라 설계 기법이 요구된다. Therefore, in order to design a stereo camera with a large dynamic range, a camera design technique having a structure different from that of a conventional monocular camera is required.
이와 관련된 종래의 기술을 살펴보면, 출원번호: 10-2000-0030726(출원일: 2000년06월05일), 발명의 명칭: 넓은 다이내믹레인지의 영상 신호를 생성하는 텔레비전 신호처리장치와 그 신호처리장치를 가지는 텔레비전 카메라 및 텔레비전 신호처리방법이 제시되어 있다. Looking at the related art, the application number: 10-2000-0030726 (application date: June 05, 2000), the title of the invention: a television signal processing apparatus for generating a video signal of a wide dynamic range and a signal processing apparatus Eggplants have been proposed for television cameras and television signal processing methods.
상기와 같은 종래의 기술은 단안 카메라 중심의 다이나믹 레인지의 확대 방법에 그 기술적 특징이 있으나, 본 발명에서는 스테레오로 확장할 수 있는 장치 설계방법이 제시된다. 즉, 본 발명에서는 넓은 다이나믹 레인지를 갖는 카메라이면서 단독으로 사용 가능하고, 두 대의 동일 카메라를 연결하여 스테레오 형태의 넓은 다이나믹 레인지 카메라를 구성 가능하도록 하는 장치를 구현하는데 있다. The prior art as described above has a technical feature in the method of expanding the dynamic range centered on a monocular camera, but the present invention provides a device design method that can be extended to stereo. That is, the present invention is to implement a device that can be used as a camera having a wide dynamic range and can be used alone, to configure a wide dynamic range camera of a stereo type by connecting two identical cameras.
또한, 종래의 공지된 기술로서 "K. Yamada, T. Nakano, and S. Yamamoto, A vision sensor having an expanded dynamic range for autonomous vehicles, IEEE Trans. on vehicular technology, vol. 47, no. 1, pp.332-341, 1998 " 논문이 제시되어 있다.In addition, conventionally known techniques such as "K. Yamada, T. Nakano, and S. Yamamoto, A vision sensor having an expanded dynamic range for autonomous vehicles, IEEE Trans.on vehicular technology, vol. 47, no. 1, pp .332-341, 1998 "paper is presented.
상기의 종래 기술에서는 개인이 서로 다른 이중 셔터링 방식에 의한 영상 합성 및 그에 따른 생동폭 확대방법을 제시하고 있다. 즉, 광량 크기에 따른 구간 설정 및 그에 따른 합성방법의 다른 함수를 적용하는 기존의 기술은 단안 카메라 중심의 다이나믹 레인지의 확대 방법을 기술적 특징으로 하나, 본 발명에서는 단안 및 스테레오로 확장할 수 있는 장치 설계 방법을 구현하는 기술로서 기술적 차별성이 존재한다. In the above-described prior art, an individual image synthesis using a double shuttering method and a method for expanding the dynamic width thereof are proposed. That is, the existing technology that applies the other function of the section setting according to the amount of light and the synthesis method according to the light amount as a technical feature of the method of expanding the dynamic range centered on the monocular camera, but in the present invention can be extended to monocular and stereo There is a technical difference as a technique for implementing a design method.
이에, 본 발명은 상기한 문제점을 해결하기 위한 것으로서 본 발명의 목적은 한 대의 마스터 카메라가 슬레이브 카메라에게 영상의 노출 개시시점, 노출량, 생동폭 확장을 위한 파라미터, 전송 개시시점 등을 제어하여 좌우 스테레오 영상의 균일성을 확보할 수 있게 함으로써 다수의 카메라가 피사체에 대해 안정된 넓은 생동폭을 갖는 영상신호들을 획득할 수 있는 스테레오 카메라 영상처리장치를 제공하는데 있다. Accordingly, an object of the present invention is to solve the above problems, and an object of the present invention is to control a start point of exposure of an image, an amount of exposure, a parameter for expanding dynamic range, and a start point of transmission to a slave camera by controlling a left and right stereo. The present invention provides a stereo camera image processing apparatus in which a plurality of cameras can acquire image signals having a wide live width that is stable for a subject by ensuring image uniformity.
상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로서 본 발명은 As the technical idea for achieving the above object of the present invention
마스터(Master) 장치를 구비하며, 피사체의 영상을 생성하기 위한 제 1영상신호처리부와;A first image signal processor having a master device, the first image signal processor generating an image of a subject;
슬레이브(Slave) 장치를 구비하며, 상기 제 1영상신호처리부와 함께 스테레오 영상을 구성하는 제 2영상신호처리부; 및A second image signal processor including a slave device, the second image signal processor constituting a stereo image together with the first image signal processor; And
상기 제 1영상신호처리부와 제 2영상신호처리부 간에 영상촬영 시점, 노출 시간 정보와 취득된 영상정보를 교환하고 공유하기 위한 고속전용 직렬통신 인터페이스가 연결되어 있는 것을 특징으로 하는 스테레오 카메라 영상신호 처리장치를 제공한다.And a high speed dedicated serial communication interface for exchanging and sharing image capturing time, exposure time information and acquired image information between the first image signal processor and the second image signal processor. To provide.
이하, 본 발명의 실시 예에 대한 구성 및 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of the embodiment of the present invention will be described in detail.
도 1은 본 발명에 따라 동시성을 구현하기 위한 스테레오 카메라 영상처리장치의 블록 구성도이다.1 is a block diagram of a stereo camera image processing apparatus for implementing concurrency according to the present invention.
도 1을 살펴보면, 피사체 화상의 장노광 혹은 단노광 영상신호를 처리하기 위한 제 1영상신호처리장치(10)에는 영상 생성을 제어하기 위한 제 1신호발생기(11)와 상기 발생된 영상 제어 신호를 전송하는 제 1신호전송회로(12)를 구비하는 마스터(Master) 장치(15)가 연결되고, 피사체 화상의 장노광 혹은 단노광 영상 신호를 생성하기 위한 또 다른 제 2영상신호처리장치(20)에는 영상 생성을 제어하는 제 2신호발생기(21)와 상기 제어 신호를 수신하는 제 2신호전송회로(22)를 구비하는 슬레이브(Slave) 장치(25)가 연결되어 있다.Referring to FIG. 1, the first image
이 때, 상기 제 1신호전송회로(12)와 제 2신호전송회로(22)간에는 정보의 공유(영상촬영 시점, 노출 시간 정보와 취득된 영상정보)를 위한 고속의 전용 직렬통신 인터페이스가 연결되어 있다. 즉 각 장치들이 피사체 화상에 대한 정보를 얻기 위해서 마스터 장치(15)에서 각 슬레이브 장치(25)로 영상신호 생성을 위한 신호들을 제공하도록 한다.At this time, a high-speed dedicated serial communication interface is connected between the first
상기에서와 같이 본 발명의 스테레오 영상 카메라장치는 마스터 장치(15)와 슬레이브 장치(25)로 구성된다. 스테레오 영상 카메라장치로 사용하는 경우 마스터장치(15)가 영상 송출을 비롯한 제반 제어를 담당하게 하며, 두 카메라간의 영상 정보의 전달은 고속의 전용 직렬통신으로 구현하였다. 또한, 스테레오 영상 카메라 장치를 독립적으로 사용하는 경우 각 카메라가 개별로 동작할 수 있는 유연성과 모듈화 처리가 가능하다.As described above, the stereo image camera device of the present invention is composed of a
도 2는 본 발명에 따라 고속 동작을 구현하기 위한 스테레오 카메라 영상처리장치의 또 다른 블록 구성도이다.2 is another block diagram of a stereo camera image processing apparatus for implementing high speed operation according to the present invention.
도 2를 살펴보면, 영상신호 처리장치(10)와 SDRAM으로 구성되는 영상신호 저장장치(30)간에는 고휘도(밝은 영상)와 저휘도(어두운 영상)를 합성하여 전송하기 위한 합성회로(41), 저장장치 제어기(42) 및 전송회로(43)를 구비한다.Referring to FIG. 2, a
즉, 도 2에서와 같이, 스테레오 영상카메라 장치 내부회로의 고속 동작을 보장해 주기 위해서 내부 메모리는 넓은 데이터 대역폭과 고속의 메모리가 필요하게 된다. 이러한 고속 동작을 보장해주기 위해서 데이터 대역폭(bandwidth)이 32비트(bit)인 고속의 SDRAM(Synchronous DRAM) 메모리를 채택하였다.That is, as shown in Figure 2, in order to ensure the high speed operation of the internal circuit of the stereo video camera device, the internal memory requires a wide data bandwidth and a high speed memory. In order to guarantee such high-speed operation, a high-speed SDRAM (Synchronous DRAM) memory having a data bandwidth of 32 bits is adopted.
이러한 고속의 메모리를 이용해서 각 세부 동작의 구성요소를 동시적으로 수행하게 된다. 이때, 도 2의 가장 큰 특징은 넓은 대역폭을 가지는 고속 메모리를 이용해서 영상의 합성 및 합성 영상의 전송을 전송회로(43)의 최대속도로 전송이 가능하도록 각 세부 동작이 동시에 수행되도록 하였다. This high speed memory is used to simultaneously perform the components of each detailed operation. At this time, the biggest feature of FIG. 2 is that each detailed operation is simultaneously performed to enable the synthesis of the image and the transmission of the synthesized image at the maximum speed of the
그리고 각 장치들의 영상을 고속으로 송/수신하기 위해서는 고속의 직렬 인터페이스를 사용한다. 사용할 수 있는 고속의 인터페이스로는 LVDS(Low Voltage Differential Signaling)가 있다. And high speed serial interface is used to transmit / receive video of each device at high speed. A high speed interface that can be used is Low Voltage Differential Signaling (LVDS).
상기의 LVDS는 고속 데이터의 전송을 위한 범용 인터페이스 표준으로서 송신기와 수신기의 전기적 특성만을 정의한다. LVDS는 저 전압 신호를 사용하기 때문에 빠른 비트속도, 저 전력, 양호한 노이즈 성능 등을 비롯해 많은 장점을 가지고 있다. LVDS 인터페이스를 이용하여 영상정보를 전송하기 위해서 자체적으로 LVDS 프로토콜(protocol)을 생성한다. 이 방법은 LVDS 2쌍을 이용해서 1쌍은 데이터 라인으로 다른 1쌍은 클럭 라인으로 구성하여 데이터를 보내도록 한다.The LVDS is a universal interface standard for high-speed data transmission and defines only electrical characteristics of a transmitter and a receiver. LVDS uses a low voltage signal, which has many advantages including fast bit rate, low power, and good noise performance. In order to transmit image information using the LVDS interface, an LVDS protocol is generated. This method uses two pairs of LVDS to send data by configuring one pair as data lines and one pair as clock lines.
도 3은 본 발명에 따라 높은 독립성을 구현하기 위한 스테레오 카메라 영상처리장치의 또 다른 블록 구성도이다. 3 is another block diagram of a stereo camera image processing apparatus for implementing high independence according to the present invention.
도 3을 살펴보면, 제어장치(50)에는 I2C 제어기(51a,51b)와 레지스터(52a,52b)가 각각 연결되어 있다. 3, I 2 C controllers 51a and 51b and registers 52a and 52b are connected to
즉, 본 발명에서 카메라의 독립성과 유연성을 구현하기 위해 각 영상카메라 장치들은 마스터 장치, 슬레이브 장치로 선택하여 동작할 수 있다. 각 카메라 장치 들의 하드웨어 구조는 동일하도록 구성하고 내부 프로그램으로 선택할 수 있는 파라미터(parameter)를 제공하여 장치의 기능을 선택한다. 장치 내부에 I2C 제어기(controller)(51a,51b)를 제작하고 I2C 인터페이스로 동작 하는 레지스터(52a,52b)를 생성해 장치의 기능을 선택하는 레지스터(52a,52b)에 파라미터를 전송하게 된다.That is, in order to realize the independence and flexibility of the camera in the present invention, each video camera device may be selected and operated as a master device or a slave device. The hardware structure of each camera device is configured to be the same and the function of the device is selected by providing parameters that can be selected by an internal program. Creates I 2
도 4는 본 발명에 따라 확장성 보장을 위한 스테레오 카메라 영상처리장치의 또 다른 블록 구성도이다. 4 is another block diagram of a stereo camera image processing apparatus for ensuring scalability according to the present invention.
도 4를 살펴보면, 영상신호를 취득하기 위한 영상신호 취득장치와, 영상처리를 위한 연상처리장치 및 전원을 제공하는 전원제공장치로 구성되어 있다. 4, an image signal acquisition device for acquiring an image signal, an associative processing device for image processing, and a power supply device for providing power are provided.
즉, 도 4에서와 같이 장치들의 확장성을 높이기 위해서는 각 장치들을 모듈화해서 각 장치들을 조립하여 하나의 완성된 장치를 구성하도록 하였다. 이런 방법으로 향후 새로운 장치의 확장이 필요할 때 그 장치를 추가로 조립함으로써 새로운 장치로 만들 수 있도록 하였다. That is, in order to increase the expandability of the devices as shown in FIG. 4, each device is modularized to assemble each device to form one completed device. In this way, when a new device needs to be expanded in the future, the device can be further assembled to make a new device.
이상에서와 같이 본 발명에 의한 스테레오 카메라 영상신호 처리장치에 따르면, 넓은 생동폭과 균일한 영상 취득환경을 보장하는 영상정보를 스테레오로 취득할 수 있으며, 두 카메라간의 정보교환을 효율적인 방법으로 구현할 수 있다. 그와 더불어 카메라 사용의 유연성과 스테레오 비전 시스템 구성을 용이하게 실현할 수 있다.As described above, according to the stereo camera image signal processing apparatus according to the present invention, it is possible to acquire the image information to ensure a wide live width and a uniform image acquisition environment in stereo, and to exchange information between the two cameras in an efficient manner. have. In addition, the flexibility of using the camera and the configuration of the stereo vision system can be easily realized.
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050102350A KR100680256B1 (en) | 2005-10-28 | 2005-10-28 | Apparatus for image processing of stereo camera having wide dynamic range |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050102350A KR100680256B1 (en) | 2005-10-28 | 2005-10-28 | Apparatus for image processing of stereo camera having wide dynamic range |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100680256B1 true KR100680256B1 (en) | 2007-02-07 |
Family
ID=38105749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050102350A KR100680256B1 (en) | 2005-10-28 | 2005-10-28 | Apparatus for image processing of stereo camera having wide dynamic range |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100680256B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9210322B2 (en) | 2010-12-27 | 2015-12-08 | Dolby Laboratories Licensing Corporation | 3D cameras for HDR |
-
2005
- 2005-10-28 KR KR1020050102350A patent/KR100680256B1/en not_active IP Right Cessation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9210322B2 (en) | 2010-12-27 | 2015-12-08 | Dolby Laboratories Licensing Corporation | 3D cameras for HDR |
US9420200B2 (en) | 2010-12-27 | 2016-08-16 | Dolby Laboratories Licensing Corporation | 3D cameras for HDR |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11240404B2 (en) | Systems and methods for synchronizing sensor capture | |
US10958820B2 (en) | Intelligent interface for interchangeable sensors | |
JP5512683B2 (en) | Method and apparatus for generating and transmitting synchronized video data | |
US7112774B2 (en) | CMOS stereo imaging system and method | |
US10951804B2 (en) | Photographing synchronization method and apparatus | |
KR20130101578A (en) | Method and apparatus for 3d capture syncronization | |
JP7028857B2 (en) | Image sensor and control system | |
JP2015154482A (en) | Controller for in-vehicle ethernet and control method thereof | |
US10277793B2 (en) | Handling operational settings in a digital imaging system | |
CN112153278A (en) | Data transmission system based on SPI | |
CN113923432B (en) | Video reading method and device, electronic equipment and storage medium | |
KR100680256B1 (en) | Apparatus for image processing of stereo camera having wide dynamic range | |
CN106851183A (en) | Multi-channel video processing system and method based on FPGA | |
US11711157B2 (en) | Full-duplex communication link using TDM | |
JPWO2017169756A1 (en) | Electronic device, driving method, and slave element | |
WO2019099991A1 (en) | Multi-camera synchronization through receiver hub back channel | |
KR101222101B1 (en) | Apparatus for generating stereoscopic images | |
CN102487444A (en) | Stereo imaging system using complementary metal oxide semiconductor (CMOS) image sensor | |
CN112312069B (en) | Video processing method, device, system and equipment | |
CN116521114B (en) | Image processing module, device and system | |
CN114143513B (en) | Multi-dimensional feature acquisition device and image acquisition method | |
CN117579877A (en) | Startup animation synchronization method and device and double-SoC cabin system | |
EP4184913A1 (en) | Fusion apparatus for multiple data transmission channels, and electronic device | |
CN201893879U (en) | Complementary metal oxide semiconductor (CMOS) image sensor and stereoscopic imaging system employing same | |
KR101794521B1 (en) | Tree-dimention video display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130201 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140128 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150527 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |