KR102080927B1 - Method and Apparatus for Generating Stereo Image - Google Patents

Method and Apparatus for Generating Stereo Image Download PDF

Info

Publication number
KR102080927B1
KR102080927B1 KR1020180066774A KR20180066774A KR102080927B1 KR 102080927 B1 KR102080927 B1 KR 102080927B1 KR 1020180066774 A KR1020180066774 A KR 1020180066774A KR 20180066774 A KR20180066774 A KR 20180066774A KR 102080927 B1 KR102080927 B1 KR 102080927B1
Authority
KR
South Korea
Prior art keywords
image
image sensor
sensor
generating
stereo
Prior art date
Application number
KR1020180066774A
Other languages
Korean (ko)
Other versions
KR20190140237A (en
Inventor
정우연
Original Assignee
주식회사 이브이랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이브이랩 filed Critical 주식회사 이브이랩
Priority to KR1020180066774A priority Critical patent/KR102080927B1/en
Publication of KR20190140237A publication Critical patent/KR20190140237A/en
Application granted granted Critical
Publication of KR102080927B1 publication Critical patent/KR102080927B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Abstract

스테레오 영상 생성 방법 및 장치를 개시한다. 본 발명은 적어도 하나의 통신라인을 공유하는 듀얼 이미지 센서를 이용하여 스테레오 영상을 생성하는 방법 및 장치에 관한 것이다.Disclosed are a method and apparatus for generating a stereo image. The present invention relates to a method and an apparatus for generating a stereo image using a dual image sensor sharing at least one communication line.

Description

스테레오 영상 생성 방법 및 장치{Method and Apparatus for Generating Stereo Image}Method and apparatus for generating stereo image {Method and Apparatus for Generating Stereo Image}

본 발명은 효율적인 통신이 가능한 동종 이미지 센서를 이용하여 스테레오 영상을 생성하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for generating a stereo image using a homogeneous image sensor capable of efficient communication.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the embodiments of the present invention and do not constitute a prior art.

영상 기술의 발달로 인해 스테레오 영상을 활용할 수 있는 기술분야가 늘어남에 따라 영상 품질을 높이기 위한 연구가 꾸준히 진행되고 있다. 여기서, 스테레오 영상은 적어도 두 개의 이미지 센서로 촬영된 영상데이터를 결합한 하나의 영상을 의미한다. Due to the development of the image technology, the field of technology that can use the stereo image is increasing, and the research to improve the image quality is steadily being conducted. Here, the stereo image means one image combining image data captured by at least two image sensors.

일반적으로, 듀얼 이미지 센서를 사용하는 경우 I2C(Inter Integrated Circuit) 통신 규약에 따라 프로세서(제어부)와 데이터 통신을 수행할 수 있다. I2C 통신 방식은 시리얼 버스(Serial Bus)로 연결된 복수의 디바이스들과 고유 ID를 이용하여 통신을 수행하는 방식이다. In general, when a dual image sensor is used, data communication with a processor (control unit) may be performed according to I2C (Inter Integrated Circuit) communication protocol. The I2C communication method is a method of performing communication using a unique ID with a plurality of devices connected by a serial bus.

하지만, I2C 통신 방식에서는 시리얼 버스에 연결된 디바이스가 서로 다른 고유 ID를 갖는 이종 기기일 경우에 통신 라인을 공유할 수 있다. 따라서, 두 개의 동일한 이미지 센서를 이용하여 영상을 동시에 받아야 하는 경우에는 도 1에 도시된 바와 같이 별도의 통신라인을 이용하거나, 트리거 방식을 통해 양쪽 이미지 센서 각각에 영상을 요청하여 받아야만 한다. 다만, 이러한 경우에는 두 개의 이미지 센서 각각의 세팅 및 별도의 통신라인으로 인해 영상데이터의 시간차가 발생하여 영상품질이 저하되는 문제점이 발생한다. However, in the I2C communication method, communication lines can be shared when the devices connected to the serial bus are heterogeneous devices having different unique IDs. Therefore, when images are to be simultaneously received using two identical image sensors, as shown in FIG. 1, the images must be requested to each of the image sensors by using a separate communication line or a trigger method. However, in this case, a time difference of the image data occurs due to the setting of each of the two image sensors and a separate communication line, thereby causing a problem of deterioration of the image quality.

본 발명은 적어도 하나의 통신라인을 공유하는 듀얼 이미지 센서를 이용하여 스테레오 영상을 생성하는 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a method and apparatus for generating a stereo image using a dual image sensor sharing at least one communication line.

본 발명의 일 측면에 의하면, 스테레오 영상 생성장치는 식별 ID 정보를 갖으며, 특정 영역에 대한 좌안 이미지를 촬영하여 제1 영상데이터를 생성하는 제1 이미지 센서; 식별 ID 정보를 갖으며, 상기 특정 영역에 대한 우안 이미지를 촬영하여 제2 영상데이터를 생성하는 제2 이미지 센서; 및 상기 제1 이미지 센서 및 상기 제2 이미지 센서와 연결된 통신 라인을 통해 상기 제1 영상데이터 및 상기 제2 영상데이터를 획득하고, 상기 제1 영상데이터 및 상기 제2 영상데이터를 이용하여 스테레오 영상을 생성하는 제어모듈을 포함할 수 있다. According to an aspect of the present invention, a stereo image generating apparatus includes a first image sensor having identification ID information and generating first image data by capturing a left eye image of a specific area; A second image sensor having identification ID information and generating second image data by capturing a right eye image of the specific area; And acquiring the first image data and the second image data through a communication line connected to the first image sensor and the second image sensor, and stereo image using the first image data and the second image data. It may include a control module to generate.

또한, 본 발명의 다른 측면에 의하면, 스테레오 영상 생성방법은 식별 ID 정보를 갖는 제1 이미지 센서에서 특정 영역에 대한 좌안 이미지를 촬영하여 제1 영상데이터를 생성하는 제1 생성 단계; 식별 ID 정보를 갖는 제2 이미지 센서에서 상기 특정 영역에 대한 우안 이미지를 촬영하여 제2 영상데이터를 생성하는 제2 생성 단계; 제어모듈에서 상기 제1 이미지 센서 및 상기 제2 이미지 센서와 연결된 통신 라인을 통해 상기 제1 영상데이터 및 상기 제2 영상데이터를 획득하는 획득 단계; 및 상기 제어모듈에서 상기 제1 영상데이터 및 상기 제2 영상데이터 각각의 픽셀라인을 이용하여 스테레오 영상을 생성하는 영상 생성 단계를 포함할 수 있다.According to another aspect of the present invention, a stereo image generating method includes: a first generating step of photographing a left eye image of a specific area in a first image sensor having identification ID information to generate first image data; A second generation step of generating second image data by photographing a right eye image of the specific region in a second image sensor having identification ID information; An acquiring step of acquiring the first image data and the second image data through a communication line connected to the first image sensor and the second image sensor in a control module; And generating, by the control module, a stereo image by using the pixel lines of the first image data and the second image data.

이상에서 설명한 바와 같이, 본 발명은 적어도 하나의 통신라인을 공유하는 두 개의 동종 이미지 센서를 이용하여 영상 품질의 저하가 없는 스테레오 영상을 생성할 수 있는 효과가 있다. As described above, the present invention has an effect of generating a stereo image without deterioration of image quality by using two homogeneous image sensors sharing at least one communication line.

도 1은 종래의 스테레오 영상 생성장치를 개략적으로 나타낸 도면이다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 스테레오 영상 생성장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 스테레오 영상을 생성하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따른 스테레오 영상을 생성하는 동작을 설명기 위한 예시도이다. 1 is a view schematically showing a conventional stereo image generating apparatus.
2A and 2B are block diagrams schematically illustrating an apparatus for generating stereo images according to an embodiment of the present invention.
3 is a flowchart illustrating a method of generating a stereo image according to an exemplary embodiment of the present invention.
4 is an exemplary diagram for describing an operation of generating a stereo image according to an exemplary embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다. 이하에서는 도면들을 참조하여 본 발명에서 제안하는 스테레오 영상 생성 방법 및 장치에 대해 자세하게 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, preferred embodiments of the present invention will be described below, but the technical spirit of the present invention is not limited thereto, but may be variously modified and modified by those skilled in the art. Hereinafter, a stereo image generating method and apparatus proposed by the present invention will be described in detail with reference to the accompanying drawings.

도 2a 및 도 2b는 본 발명의 실시예에 따른 스테레오 영상 생성장치를 개략적으로 나타낸 블록 구성도이다. 2A and 2B are block diagrams schematically illustrating an apparatus for generating stereo images according to an embodiment of the present invention.

스테레오 영상 생성장치(200)는 스테레오 영상을 활용하여 동작하는 다양한 기기 내에 하드웨어 또는 소프트웨어 형태로 구현될 수 있다. 예를 들어, 스테레오 영상 생성장치(200)는 로봇 청소기, 블랙박스, 영상 기반 위치 추적기, 자율주행 영상기기 등과 같은 스테레오 영상을 활용할 수 있는 기기의 전체 또는 일부 구성요소로 포함될 수 있다. The stereo image generating apparatus 200 may be implemented in a hardware or software form in various devices operating by using stereo images. For example, the stereo image generating apparatus 200 may be included as all or some components of a device capable of utilizing stereo images such as a robot cleaner, a black box, an image-based location tracker, an autonomous driving video device, and the like.

도 2a는 본 발명의 일 실시예에 따른 스테레오 영상 생성장치(200)를 도시한다. 본 발명의 일 실시예에 따른 스테레오 영상 생성장치(200)는 제1 이미지 센서(210), 제2 이미지 센서(220) 및 제어모듈(230)을 포함한다. 2A illustrates a stereo image generating apparatus 200 according to an embodiment of the present invention. The stereo image generating apparatus 200 according to an embodiment of the present invention includes a first image sensor 210, a second image sensor 220, and a control module 230.

제1 이미지 센서(210)는 특정 영역 또는 피사체에 대한 영상(장면)을 촬영하여 전기적인 영상신호로 변환한 제1 영상데이터를 생성한다. 제1 이미지 센서(210)는 영상 처리를 위한 소정의 분해능을 갖으며, 제어모듈(230)과의 통신을 위한 식별 ID 정보를 갖는다. 여기서, 식별 ID 정보는 이미지 센서 제작 시 부여되는 정보를 의미하고, 동일한 센서의 경우 동일한 식별 ID 정보를 갖는다. 제1 이미지 센서(210)는 좌안 이미지를 촬영하기 위한 센서일 수 있으나 반드시 이에 한정되는 것은 아니며, 제2 이미지 센서(220)와 상이한 방향에서 영상을 촬영한다면 우안 이미지를 촬영할 수도 있다. The first image sensor 210 generates first image data obtained by capturing an image (scene) of a specific region or a subject and converting the image to an electrical image signal. The first image sensor 210 has a predetermined resolution for image processing and has identification ID information for communication with the control module 230. Here, the identification ID information refers to information provided when the image sensor is manufactured, and the same ID has the same identification ID information. The first image sensor 210 may be a sensor for capturing a left eye image, but is not limited thereto. If the first image sensor 210 captures an image from a direction different from that of the second image sensor 220, the first image sensor 210 may capture a right eye image.

제2 이미지 센서(220)는 특정 영역 또는 피사체에 대한 영상(장면)을 촬영하여 전기적인 영상신호로 변환한 제2 영상데이터를 생성한다. 본 발명에 따른 제2 이미지 센서(220)는 제1 이미지 센서(210)와 동일한 분해능을 갖으며, 제어모듈(230)과의 통신을 위한 식별 ID 정보도 제1 이미지 센서(210)와 동일한 식별 ID 정보를 갖는다. 즉, 제2 이미지 센서(220)는 제1 이미지 센서(210)와 동일한 종류의 이미지 센서일 수 있다. 제2 이미지 센서(220)는 우안 이미지를 촬영하기 위한 센서일 수 있으나 반드시 이에 한정되는 것은 아니며, 제1 이미지 센서(210)와 상이한 방향에서 영상을 촬영한다면 좌안 이미지를 촬영할 수도 있다. The second image sensor 220 generates second image data obtained by capturing an image (scene) of a specific region or a subject and converting the image to an electrical image signal. The second image sensor 220 according to the present invention has the same resolution as the first image sensor 210, and the identification ID information for the communication with the control module 230 is also the same as the first image sensor 210. It has ID information. That is, the second image sensor 220 may be an image sensor of the same type as the first image sensor 210. The second image sensor 220 may be a sensor for capturing a right eye image, but is not limited thereto. If the second image sensor 220 captures an image in a direction different from that of the first image sensor 210, the second image sensor 220 may capture a left eye image.

제1 이미지 센서(210) 및 제2 이미지 센서(220)는 CMOS(Complementary Metal Oxide Semiconductor), CCD(Charge Coupled Device) 등과 같은 이미지 센서일 수 있나 반드시 이에 한정되는 것은 아니며, 특정 영역 또는 피사체에 대한 영상데이터를 생성할 수 있다면 다양한 형태의 센서로 구현될 수 있다. The first image sensor 210 and the second image sensor 220 may be image sensors such as a complementary metal oxide semiconductor (CMOS), a charge coupled device (CCD), and the like, but are not limited thereto. If the image data can be generated, it can be implemented by various types of sensors.

제1 이미지 센서(210) 및 제2 이미지 센서(220)는 하나의 장면을 캡쳐한 영상프레임에 대한 각각의 영상데이터를 생성한다. 각각의 영상데이터는 영상프레임의 전체 픽셀에 대해 생성된 데이터를 포함할 수 있으나, 일부 픽셀에 대한 데이터만을 포함할 수도 있다. 예를 들어, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 영상프레임에서 가로 라인에 포함된 복수의 픽셀을 기준단위로 영상데이터를 생성할 수 있다. 즉, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 가로로 정렬된 복수의 픽셀을 포함하는 픽셀라인 별로 영상데이터를 생성할 수 있다. The first image sensor 210 and the second image sensor 220 generate respective image data for the image frame in which one scene is captured. Each image data may include data generated for all pixels of the image frame, but may include only data for some pixels. For example, the first image sensor 210 and the second image sensor 220 may generate image data based on a plurality of pixels included in horizontal lines in an image frame. That is, the first image sensor 210 and the second image sensor 220 may generate image data for each pixel line including a plurality of pixels horizontally aligned.

제1 이미지 센서(210) 및 제2 이미지 센서(220)는 통신 라인을 이용하여 제어모듈(230)과 각종 데이터를 송수신한다. 여기서, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 하나의 통신 라인일 수 있으나 반드시 이에 한정되는 것은 아니며, 적어도 하나의 통신 라인일 수 있다.
본 실시예에서 제1 이미지 센서(210), 제2 이미지 센서(220) 및 제어모듈(230) 간의 통신 라인은 설정 제어신호를 송수신하기 위한 제1 통신라인 및 영상데이터를 송수신하기 위한 제2 통신라인으로 구성될 수 있다. 예를 들어, 통신 라인은 이미지 데이터 라인(Data), 픽셀 클럭 라인(PIXCLK), 수직동기신호 라인(V-Sync), 수평동기신호 라인(H-Sync) 등의 복수의 신호라인으로 구성될 수도 있다. The first image sensor 210 and the second image sensor 220 transmit and receive various data with the control module 230 using a communication line. Here, the first image sensor 210 and the second image sensor 220 may be one communication line, but are not limited thereto, and may be at least one communication line.
In this embodiment, the communication line between the first image sensor 210, the second image sensor 220, and the control module 230 is a first communication line for transmitting and receiving a setting control signal and a second communication for transmitting and receiving image data. It can consist of lines. For example, the communication line may include a plurality of signal lines such as an image data line (Data), a pixel clock line (PIXCLK), a vertical synchronous signal line (V-Sync), and a horizontal synchronous signal line (H-Sync). have.

또한, 제1 이미지 센서(210), 제2 이미지 센서(220) 및 제어모듈(230) 간의 통신 라인은 I2C(Inter Integrated Circuit) 통신방식을 기반으로 동작하는 경우, SDATA 및 SCLOCK과 같이 양방향성을 갖는 두 개의 통신라인으로 구성될 수 있다. In addition, when the communication line between the first image sensor 210, the second image sensor 220, and the control module 230 is operated based on an inter integrated circuit (I2C) communication method, bidirectional communication such as S DATA and S CLOCK is performed. It can be composed of two communication lines having.

제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각은 스테레오 영상 생성장치(200)의 초기 구동시, 통신 라인을 통해 제어모듈(230)로부터 설정 제어신호를 수신한다. 여기서, 설정 제어신호는 시간 동기화를 위한 싱크 설정정보, 픽셀클락(Pixel Clock) 등의 동기화 신호뿐만 아니라, 콘트라스트(Contrast), 노출(Exposure), 밝기(Brightness), 감마 보정(Gamma correction), 게인(Gain), 프레임 레이트(Frame rate), 화이트 밸런스(WB: White Balance), 에지 향상(Edge enhancement), 플리커(Flicker) 등의 센서 설정 신호를 포함할 수 있다. Each of the first image sensor 210 and the second image sensor 220 receives a setting control signal from the control module 230 through a communication line when the stereo image generating apparatus 200 is initially driven. Here, the setting control signal is not only a synchronization setting information for time synchronization, a synchronization signal such as a pixel clock, but also contrast, exposure, brightness, gamma correction, and gain. And a sensor setting signal such as a gain, a frame rate, a white balance, an edge enhancement, a flicker, and the like.

제1 이미지 센서(210) 및 제2 이미지 센서(220)는 수신된 설정 제어신호에 근거하여 동기화 및 센서 설정에 대한 초기 설정을 수행한다. 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 각각은 초기 설정 이후 생성된 영상데이터의 전체 또는 일부를 제어모듈(230)로 전송한다. 여기서, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 영상프레임의 전체에 대한 영상데이터를 제어모듈(230)로 전송할 수 있으나 반드시 이에 한정되는 것은 아니며, 소정의 픽셀라인에 대한 영상데이터를 제어모듈(230)로 전송할 수도 있다. The first image sensor 210 and the second image sensor 220 perform initial setting for synchronization and sensor setting based on the received setting control signal. Each of the first image sensor 210 and the second image sensor 220 transmits all or a part of the image data generated after the initial setting to the control module 230. Here, the first image sensor 210 and the second image sensor 220 may transmit the image data of the entire image frame to the control module 230, but is not necessarily limited thereto, the image for a predetermined pixel line Data may be transmitted to the control module 230.

본 발명의 일 실시예에 따른 제어모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220)와 연동하여 스테레오 영상 생성장치(200)의 전반적인 동작을 제어한다. 또한, 제어모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로부터 제1 영상데이터 및 제2 영상데이터를 획득하고, 각각의 영상데이터의 전체 또는 일부를 이용하여 스테레오 영상을 생성한다. 여기서, 제어모듈(230)은 제1 영상데이터 및 제2 영상데이터를 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각과 연결된 별도의 통신 라인을 이용하여 획득할 수 있다. 제어모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220)와 설정을 위해 통신할 때 동일한 통신 라인을 공유하여 사용할 수 있다. 본 실시예에 따른 제어모듈(230)은 센서 제어부(232) 및 스테레오 영상 생성부(234)를 포함한다. The control module 230 according to an embodiment of the present invention controls the overall operation of the stereo image generating apparatus 200 in cooperation with the first image sensor 210 and the second image sensor 220. In addition, the control module 230 obtains the first image data and the second image data from each of the first image sensor 210 and the second image sensor 220, and uses stereo in whole or in part of each image data. Create an image. Here, the control module 230 may acquire the first image data and the second image data by using a separate communication line connected to each of the first image sensor 210 and the second image sensor 220. The control module 230 may share and use the same communication line when communicating with the first image sensor 210 and the second image sensor 220 for setting. The control module 230 according to the present embodiment includes a sensor controller 232 and a stereo image generator 234.

센서 제어부(232)는 제1 이미지 센서(210) 및 제2 이미지 센서(220)에 대한 동작을 제어하기 위한 설정 제어신호를 생성하고, 생성된 설정 제어신호를 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로 전송한다. 센서 제어부(232)는 동일한 통신 라인을 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220)로 설정 제어신호를 전송한다. The sensor controller 232 generates a setting control signal for controlling operations on the first image sensor 210 and the second image sensor 220, and generates the generated setting control signal by using the first image sensor 210 and the first image sensor 210. 2 to each of the image sensor 220. The sensor controller 232 transmits a setting control signal to the first image sensor 210 and the second image sensor 220 through the same communication line.

동종 센서인 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 동일한 식별 ID 정보를 갖으며, 센서 제어부(232)는 동일한 식별 ID 정보를 이용하여 동일한 통신 라인을 통해 설정 제어신호를 전송함에 따라 응답신호의 충돌이 발생할 수 있으나 센서의 설정값 제어를 위한 신호임에 따라 응답신호의 충돌은 무시하고 설정 제어신호를 전송한다. The first image sensor 210 and the second image sensor 220, which are the same type of sensors, have the same identification ID information, and the sensor controller 232 transmits a setting control signal through the same communication line using the same identification ID information. As a result, a collision of the response signal may occur, but as the signal is for controlling the set value of the sensor, the collision of the response signal is ignored and the setting control signal is transmitted.

센서 제어부(232)는 제1 이미지 센서(210) 및 제2 이미지 센서(220) 간의 시간 동기화를 위한 싱크 설정정보, 픽셀클락(Pixel Clock) 등의 동기화 신호를 포함하는 설정 제어신호를 전송할 수 있다. The sensor controller 232 may transmit a setting control signal including a synchronization signal such as sync setting information and a pixel clock for time synchronization between the first image sensor 210 and the second image sensor 220. .

또한, 센서 제어부(232)는 콘트라스트(Contrast), 노출(Exposure), 밝기(Brightness), 감마 보정(Gamma correction), 게인(Gain), 프레임 레이트(Frame rate), 화이트 밸런스(WB: White Balance), 에지 향상(Edge enhancement), 플리커(Flicker) 등의 센서 설정에 대한 설정값을 포함하는 설정 제어신호를 제1 이미지 센서(210) 및 제2 이미지 센서(220)로 전송할 수 있다. In addition, the sensor controller 232 includes contrast, exposure, brightness, gamma correction, gain, frame rate, and white balance (WB). A setting control signal including setting values for sensor settings such as edge enhancement and flicker may be transmitted to the first image sensor 210 and the second image sensor 220.

센서 제어부(232)는 사용자의 조작에 따라 센서 설정에 대한 설정값을 입력받거나 기 설정된 센서 모드에 대응되도록 기 저장된 설정값을 포함하는 설정 제어신호를 생성할 수 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 센서 제어부(232)는 제1 이미지 센서(210)의 설정값을 획득하고, 획득한 설정값과 동일하게 제2 이미지 센서(220)를 설정하기 위한 설정 제어신호를 생성할 수도 있다. 즉, 센서 제어부(232)는 제1 이미지 센서(210)의 설정값을 기반으로 제2 이미지 센서(220)를 설정값을 생성할 수 있다. The sensor controller 232 may receive a setting value for sensor setting according to a user's operation or generate a setting control signal including a preset setting value to correspond to a preset sensor mode, but is not limited thereto. For example, the sensor controller 232 may acquire a setting value of the first image sensor 210 and generate a setting control signal for setting the second image sensor 220 in the same manner as the obtained setting value. . That is, the sensor controller 232 may generate a setting value of the second image sensor 220 based on the setting value of the first image sensor 210.

본 발명의 일 실시예에 따른 스테레오 영상 생성부(234)는 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로부터 획득한 영상데이터를 이용하여 스테레오 영상을 생성한다. 스테레오 영상 생성부(234)는 제1 이미지 센서(210)로부터 생성된 제1 영상데이터와 제2 이미지 센서(220)로부터 생성된 제2 영상데이터의 전체 또는 일부를 결합하여 스테레오 영상을 생성한다. The stereo image generator 234 according to an embodiment of the present invention generates a stereo image by using image data obtained from each of the first image sensor 210 and the second image sensor 220. The stereo image generator 234 generates a stereo image by combining all or part of the first image data generated from the first image sensor 210 and the second image data generated from the second image sensor 220.

스테레오 영상 생성부(234)는 제1 이미지 센서(210)와의 통신 라인에 구비된 제2 스위치(214)와 제2 이미지 센서(220)와의 통신 라인에 구비된 제4 스위치(214)를 이용하여 제1 영상데이터 및 제2 영상데이터를 순차적으로 획득할 수 있다. 여기서, 제1 영상데이터 및 제2 영상데이터는 시간 동기화된 영상데이터를 의미하며, 영상프레임 전체에 대한 데이터일 수 있으나 영상프레임 중 일부 픽셀라인에 대한 데이터일 수도 있다. The stereo image generator 234 uses the second switch 214 provided on the communication line with the first image sensor 210 and the fourth switch 214 provided on the communication line with the second image sensor 220. The first image data and the second image data may be sequentially obtained. Here, the first image data and the second image data may be time synchronized image data. The first image data and the second image data may be data for the entire image frame, but may also be data for some pixel lines of the image frame.

본 발명의 일 실시예에 따른 스테레오 영상 생성부(234)는 제1 영상데이터에서 일부 영상라인을 추출하고, 제2 영상데이터에서 일부 영상라인을 추출한 후 추출된 영상라인들을 결합하여 하나의 스테레오 영상을 생성할 수 있다. 여기서, 제1 영상데이터에서 추출된 영상 라인과 제2 영상데이터에서 추출된 영상 라인을 상이한 라인인 것이 바람직하다. 예를 들어, 스테레오 영상 생성부(234)는 제1 영상데이터에서 1, 3, 5 및 7 번째 픽셀라인을 추출하고, 제2 영상데이터에서 2, 4, 6 및 8 번째 픽셀라인을 추출한 후 추출된 픽셀라인들을 결합하여 1 내지 8 번째 픽셀라인을 포함하는 스테레오 영상을 생성할 수 있다. The stereo image generating unit 234 according to an embodiment of the present invention extracts some image lines from the first image data, extracts some image lines from the second image data, and combines the extracted image lines into one stereo image. Can be generated. The image line extracted from the first image data and the image line extracted from the second image data may be different lines. For example, the stereo image generator 234 extracts the first, third, fifth and seventh pixel lines from the first image data, and extracts the second, fourth, sixth and eighth pixel lines from the second image data. The combined pixel lines may be combined to generate a stereo image including the 1 st to 8 th pixel lines.

도 2b는 본 발명의 다른 실시예에 따른 스테레오 영상 생성장치(200)를 도시한다. 도 2b에서는 도 2b에 기재된 스테레오 영상 생성장치(200)와 중복되는 내용의 기재를 생략하고, 상이한 부분을 위주로 설명하도록 한다. 2B illustrates a stereo image generating apparatus 200 according to another embodiment of the present invention. In FIG. 2B, descriptions of contents overlapping with the stereo image generating apparatus 200 of FIG. 2B will be omitted, and description will be given based on different parts.

본 발명의 다른 실시예에 따른 스테레오 영상 생성장치(200)는 제1 이미지 센서(210) 및 제2 이미지 센서(220)와 제어모듈(230) 사이에 멀티플렉서(Multiplexer, 240)를 추가로 구비한다. The stereo image generating apparatus 200 according to another embodiment of the present invention further includes a multiplexer 240 between the first image sensor 210 and the second image sensor 220 and the control module 230. .

스테레오 영상 생성부(234)는 멀티플렉서(240)를 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각의 영상데이터를 픽셀라인 단위로 획득하고, 획득된 픽셀라인을 결합하여 스테레오 영상을 생성한다. 예를 들어, 스테레오 영상 생성부(234)는 멀티플렉서(240)의 스위칭 동작을 통해 제1 이미지 센서(210)로부터 1 번째 픽셀라인을 획득하고, 추가 스위칭 동작을 통해 제2 이미지 센서(220)로부터 2 번째 픽셀라인을 획득한다. 이후 스테레오 영상 생성부(234)는 멀티플렉서(240)의 스위칭 동작의 반복을 통해 제1 이미지 센서(210)의 3 번째 픽셀라인, 제2 이미지 센서(220)로부터 4 번째 픽셀라인, 제1 이미지 센서(210)의 5 번째 픽셀라인, 제2 이미지 센서(220)로부터 6 번째 픽셀라인, 제1 이미지 센서(210)의 7 번째 픽셀라인, 제2 이미지 센서(220)로부터 8 번째 픽셀라인 순으로 픽셀라인 단위의 영상데이터를 획득하여 스테레오 영상을 생성한다.The stereo image generator 234 acquires image data of each of the first image sensor 210 and the second image sensor 220 through a multiplexer 240 in pixel line units, and combines the obtained pixel lines in a stereo image. Create For example, the stereo image generator 234 obtains the first pixel line from the first image sensor 210 through the switching operation of the multiplexer 240, and from the second image sensor 220 through the additional switching operation. Obtain the second pixel line. Thereafter, the stereo image generator 234 repeats the switching operation of the multiplexer 240, and thus, the third pixel line of the first image sensor 210, the fourth pixel line from the second image sensor 220, and the first image sensor. The fifth pixel line of 210, the sixth pixel line from the second image sensor 220, the seventh pixel line of the first image sensor 210, and the eighth pixel line from the second image sensor 220. Stereo image is generated by acquiring line data.

도 2b에서 멀티플렉서(240)는 픽셀라인 단위의 영상데이터를 순차적으로 획득하기 위한 동작을 수행하는 별도의 모듈인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 제어모듈(230) 또는 스테레오 영상 생성부(234) 내에 포함된 모듈로 구현될 수 있다. In FIG. 2B, the multiplexer 240 is described as a separate module that performs an operation for sequentially acquiring image data in pixel line units, but is not necessarily limited thereto. The control module 230 or the stereo image generating unit ( It may be implemented as a module included in 234.

도 3은 본 발명의 실시예에 따른 스테레오 영상을 생성하는 방법을 설명하기 위한 순서도이다. 3 is a flowchart illustrating a method of generating a stereo image according to an exemplary embodiment of the present invention.

제어 모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로 설정 제어신호를 전송한다(S310). 제어 모듈(230)은 동일한 통신 라인을 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220)로 설정 제어신호를 전송한다. 여기서, 설정 제어신호는 시간 동기화를 위한 동기화 신호, 센서 설정 신호 등을 포함할 수 있다. 제어 모듈(230)은 스테레오 영상 생성장치(200)의 초기 구동 시에만 설정 제어신호를 동일한 통신 라인을 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220)로 전송하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. The control module 230 transmits a setting control signal to each of the first image sensor 210 and the second image sensor 220 (S310). The control module 230 transmits a setting control signal to the first image sensor 210 and the second image sensor 220 through the same communication line. Here, the setting control signal may include a synchronization signal for time synchronization, a sensor setting signal, and the like. The control module 230 preferably transmits the setting control signal to the first image sensor 210 and the second image sensor 220 through the same communication line only when the stereo image generating apparatus 200 is initially driven. It is not limited.

제1 이미지 센서(210) 및 제2 이미지 센서(220)는 설정 제어신호에 따라 특정 특정 영역 또는 피사체에 대한 영상(장면)을 촬영하기 위해 센서를 설정한다(S320). 여기서, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 설정 제어신호에 따라 동시에 제어될 수 있다. The first image sensor 210 and the second image sensor 220 set a sensor to capture an image (scene) of a specific specific area or a subject according to a setting control signal (S320). Here, the first image sensor 210 and the second image sensor 220 may be simultaneously controlled according to the setting control signal.

제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각은 영상(장면)을 촬영한 영상데이터를 생성한다(S330). 각각의 영상데이터는 영상프레임의 전체 픽셀에 대해 생성된 데이터를 포함할 수 있으나, 일부 픽셀에 대한 데이터만을 포함할 수도 있다. Each of the first image sensor 210 and the second image sensor 220 generates image data photographing an image (scene) (S330). Each image data may include data generated for all pixels of the image frame, but may include only data for some pixels.

제어 모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로부터 픽셀라인 단위로 영상데이터를 획득하고(S340), 복수의 픽셀라인을 결합하여 스테레오 영상 생성한다(S350).The control module 230 obtains image data in units of pixel lines from each of the first image sensor 210 and the second image sensor 220 (S340), and generates a stereo image by combining a plurality of pixel lines (S350). .

제어 모듈(230)은 제1 이미지 센서(210)와의 통신 라인에 구비된 제2 스위치(214)와 제2 이미지 센서(220)와의 통신 라인에 구비된 제4 스위치(214)를 이용하여 제1 영상데이터 및 제2 영상데이터를 순차적으로 획득할 수 있다. 여기서, 제1 영상데이터 및 제2 영상데이터는 시간 동기화된 영상데이터를 의미하며, 영상프레임 전체에 대한 데이터일 수 있으나 영상프레임 중 일부 픽셀라인에 대한 데이터일 수도 있다. The control module 230 uses the second switch 214 provided in the communication line with the first image sensor 210 and the fourth switch 214 provided in the communication line with the second image sensor 220. Image data and second image data may be sequentially obtained. Here, the first image data and the second image data may be time synchronized image data. The first image data and the second image data may be data for the entire image frame, but may also be data for some pixel lines of the image frame.

한편, 제1 이미지 센서(210) 및 제2 이미지 센서(220)와 제어 모듈(230) 사이의 통신 라인에 멀티플렉서(240)가 존재하는 경우, 제어 모듈(230)은 멀티플렉서(240)를 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각의 영상데이터를 픽셀라인 단위로 획득할 수 있다. 제어 모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220)에서 생성된 복수의 픽셀라인을 번갈아 가며 획득하고, 획득된 복수의 픽셀라인을 결합하여 스테레오 영상을 생성한다. On the other hand, when the multiplexer 240 is present in the communication line between the first image sensor 210 and the second image sensor 220 and the control module 230, the control module 230 is configured to control the multiplexer 240. Image data of each of the first image sensor 210 and the second image sensor 220 may be acquired in pixel line units. The control module 230 alternately acquires a plurality of pixel lines generated by the first image sensor 210 and the second image sensor 220, and combines the obtained plurality of pixel lines to generate a stereo image.

도 3에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 3, the steps are described as being sequentially executed, but are not necessarily limited thereto. In other words, since the steps described in FIG. 3 may be applied by changing or executing one or more steps in parallel, FIG. 3 is not limited to the time series order.

도 3에 기재된 본 실시예에 따른 스테레오 영상 생성방법은 애플리케이션(또는 프로그램)으로 구현되고 단말장치(또는 컴퓨터)로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 스테레오 영상 생성방법을 구현하기 위한 애플리케이션(또는 프로그램)이 기록되고 단말장치(또는 컴퓨터)가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치 또는 매체를 포함한다.The stereo image generating method according to the present embodiment described in FIG. 3 may be implemented as an application (or a program) and recorded on a recording medium readable by a terminal device (or a computer). An application (or program) for implementing the stereo image generating method according to the present embodiment is recorded and a recording medium readable by a terminal device (or computer) is any kind of recording device in which data that can be read by a computing system is stored. Or media.

도 4는 본 발명의 실시예에 따른 스테레오 영상을 생성하는 동작을 설명기 위한 예시도이다. 4 is an exemplary diagram for describing an operation of generating a stereo image according to an exemplary embodiment of the present invention.

도 4를 참조하면, 스테레오 영상 생성장치(200)는 좌안 이미지 센서 및 우안 이미지 센서를 이용하여 스테레오 영상을 생성한다. Referring to FIG. 4, the stereo image generating apparatus 200 generates a stereo image by using a left eye image sensor and a right eye image sensor.

스테레오 영상 생성장치(200)는 좌안 이미지 센서의 좌안 이미지 프레임(510)과 우안 이미지 센서의 우안 이미지 프레임(520) 각각의 픽셀라인을 이용하여 스테레오 영상(530)을 생성한다. The stereo image generating apparatus 200 generates a stereo image 530 by using pixel lines of each of the left eye image frame 510 of the left eye image sensor and the right eye image frame 520 of the right eye image sensor.

스테레오 영상 생성장치(200)는 멀티플렉서(240)의 스위칭 동작을 통해 하나의 통신 라인을 공유하는 좌안 이미지 센서 및 우안 이미지 센서 각각으로부터 영상데이터를 획득한다. 도 4에 도시된 바와 같이, 스테레오 영상 생성장치(200)는 멀티플렉서(240)의 스위칭 동작에 따라 좌안 이미지 센서로부터 1 번째 픽셀라인(512)을 획득하고, 추가 스위칭 동작을 통해 우안 이미지 센서로부터 2 번째 픽셀라인(522)을 획득한다. 이후 스테레오 영상 생성장치(200)는 멀티플렉서(240)의 스위칭 동작의 반복을 통해 좌안 이미지 센서의 3 번째 픽셀라인(514), 우안 이미지 센서로부터 4 번째 픽셀라인(524), 좌안 이미지 센서의 5 번째 픽셀라인(516), 우안 이미지 센서로부터 6 번째 픽셀라인(526) 순으로 픽셀라인 단위의 영상데이터를 획득하여 6 개의 픽셀라인을 갖는 스테레오 영상(530)을 생성한다.The stereo image generating apparatus 200 obtains image data from each of the left eye image sensor and the right eye image sensor sharing one communication line through a switching operation of the multiplexer 240. As shown in FIG. 4, the stereo image generating apparatus 200 acquires the first pixel line 512 from the left eye image sensor according to the switching operation of the multiplexer 240, and then, from the right eye image sensor through the additional switching operation, 2. The second pixel line 522 is obtained. Thereafter, the stereo image generating apparatus 200 repeats the switching operation of the multiplexer 240 to perform the third pixel line 514 of the left eye image sensor, the fourth pixel line 524 from the right eye image sensor, and the fifth image of the left eye image sensor. The pixel line 516 and the right eye image sensor obtain the image data in the pixel line unit in order of the sixth pixel line 526 to generate a stereo image 530 having six pixel lines.

본 발명의 실시예에 따른 스테레오 영상 생성장치(200)는 하나의 통신 라인을 공유하는 좌안 이미지 센서 및 우안 이미지 센서 각각으로부터 동일한 시간의 영상프레임에 대해 좌안/우안의 픽셀라인을 순차적으로 획득하여 스테레오 영상(530)을 생성함에 따라 싱크 차이로 인해 스테레오 영상의 품질이 저하되는 것을 방지할 수 있다. The stereo image generating apparatus 200 according to an exemplary embodiment of the present invention sequentially acquires a left and right eye pixel lines for an image frame of the same time from each of a left eye image sensor and a right eye image sensor that share one communication line, and thereby stereo. As the image 530 is generated, the quality of the stereo image may be prevented from being degraded due to the sync difference.

이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the embodiments of the present invention, and those skilled in the art to which the embodiments of the present invention pertain various modifications without departing from the essential characteristics of the embodiments of the present invention. Modifications may be possible. Therefore, the embodiments of the present invention are not intended to limit the technical spirit of the embodiments of the present invention, but to describe, and the scope of the technical spirit of the embodiments of the present invention is not limited by these embodiments. The protection scope of the embodiments of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the embodiments of the present invention.

200: 스테레오 영상 생성장치
210: 제1 이미지 센서 220: 제2 이미지 센서
230: 제어모듈 232: 센서 제어부
234: 스테레오 영상 생성부 240: 멀티플렉서200: stereo image generating device
210: first image sensor 220: second image sensor
230: control module 232: sensor control unit
234: Stereo image generator 240: Multiplexer

Claims (15)

스테레오 영상을 생성하는 장치에 있어서,
식별 ID 정보를 가지며, 특정 영역에 대한 좌안 이미지를 촬영하여 제1 영상데이터를 생성하는 제1 이미지 센서;
식별 ID 정보를 가지며, 상기 특정 영역에 대한 우안 이미지를 촬영하여 제2 영상데이터를 생성하는 제2 이미지 센서; 및
상기 제1 이미지 센서 및 상기 제2 이미지 센서와 연결된 통신 라인을 통해 상기 제1 영상데이터 및 상기 제2 영상데이터를 획득하고, 상기 제1 영상데이터 및 상기 제2 영상데이터를 이용하여 스테레오 영상을 생성하는 제어모듈을 포함하되,
상기 제어모듈은, 상기 제1 이미지 센서 및 상기 제2 이미지 센서와 적어도 하나의 통신 라인을 공유하되, 상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각에 대한 동작을 제어하기 위한 설정 제어신호를 생성하고, 상기 설정 제어신호를 상기 적어도 하나의 통신 라인을 통해 전송하는 센서 제어부; 및 상기 제1 영상데이터 및 상기 제2 영상데이터 각각의 일부 데이터를 이용하여 상기 스테레오 영상을 생성하는 스테레오 영상 생성부를 포함하며,
상기 센서 제어부는, 상기 제1 이미지 센서의 설정값을 획득하고, 상기 설정값과 동일하게 상기 제2 이미지 센서를 설정하기 위한 상기 설정 제어신호를 생성하여 상기 제2 이미지 센서로 전송하며,
상기 제1 이미지 센서 및 상기 제2 이미지 센서와 상기 제어모듈 사이에 멀티플렉서(Multiplexer)를 추가로 포함하고, 상기 스테레오 영상 생성부는 상기 멀티플렉서의 동작에 따라 상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각으로부터 번갈아 가며 픽셀라인 단위의 영상 데이터를 획득하여 상기 스테레오 영상을 생성하는 것을 특징으로 하는 스테레오 영상 생성장치.In the device for generating a stereo image,
A first image sensor having identification ID information and generating first image data by capturing a left eye image of a specific area;
A second image sensor having identification ID information and generating second image data by capturing a right eye image of the specific area; And
Acquire the first image data and the second image data through a communication line connected to the first image sensor and the second image sensor, and generate a stereo image using the first image data and the second image data. Including a control module,
The control module may share at least one communication line with the first image sensor and the second image sensor, and generate a setting control signal for controlling an operation of each of the first image sensor and the second image sensor. A sensor controller configured to transmit the setting control signal through the at least one communication line; And a stereo image generator configured to generate the stereo image using partial data of each of the first image data and the second image data.
The sensor controller acquires a setting value of the first image sensor, generates the setting control signal for setting the second image sensor in the same manner as the setting value, and transmits the setting control signal to the second image sensor.
The apparatus may further include a multiplexer between the first image sensor, the second image sensor, and the control module, wherein the stereo image generator is configured to respectively operate the first image sensor and the second image sensor according to the operation of the multiplexer. And generating the stereo image by alternately acquiring image data in units of pixel lines. 삭제delete 제1항에 있어서,
상기 스테레오 영상 생성부는,
상기 제1 영상데이터에서 추출된 제1 픽셀라인 정보와 상기 제2 영상데이터에서 추출된 제2 픽셀라인 정보를 이용하여 상기 스테레오 영상을 생성하되,
상기 제2 픽셀라인 정보는 상기 제1 픽셀라인 정보와 상이한 픽셀라인을 포함하는 것을 특징으로 하는 스테레오 영상 생성장치.The method of claim 1,
The stereo image generator,
The stereo image is generated using first pixel line information extracted from the first image data and second pixel line information extracted from the second image data.
And the second pixel line information includes a pixel line different from the first pixel line information. 제3항에 있어서,
상기 스테레오 영상 생성부는,
짝수 라인 및 홀수 라인 중 하나에 대한 복수의 픽셀 라인을 포함하는 제1 픽셀라인 정보와 상기 제1 픽셀라인과 상이한 홀수 라인 및 짝수 라인 중 하나에 대한 복수의 픽셀 라인을 포함하는 상기 제2 픽셀라인 정보를 결합하여 상기 스테레오 영상을 생성하는 것을 특징으로 하는 스테레오 영상 생성장치.The method of claim 3,
The stereo image generator,
First pixel line information including a plurality of pixel lines for one of even lines and odd lines, and second pixel line including a plurality of pixel lines for one of odd lines and even lines different from the first pixel line And generating the stereo image by combining the information. 제3항에 있어서,
상기 제1 이미지 센서 및 상기 제어모듈 사이에 구비된 제1 스위치; 및
상기 제2 이미지 센서 및 상기 제어모듈 사이에 구비된 제2 스위치를 추가로 포함하며,
상기 스테레오 영상 생성부는 상기 제1 스위치 및 상기 제2 스위치의 스위칭 동작을 통해 상기 제1 픽셀라인 정보 및 상기 제2 픽셀라인 정보를 획득하는 것을 특징으로 하는 스테레오 영상 생성장치.The method of claim 3,
A first switch provided between the first image sensor and the control module; And
Further comprising a second switch provided between the second image sensor and the control module,
And the stereo image generator obtains the first pixel line information and the second pixel line information through a switching operation of the first switch and the second switch. 삭제delete 삭제delete 제1항에 있어서,
상기 스테레오 영상 생성부는,
상기 설정 제어신호에 의해 시간 동기화 처리되어 동일 시간에 촬영된 상기 제1 영상데이터 및 상기 제2 영상데이터를 이용하여 상기 스테레오 영상을 생성하는 것을 특징으로 하는 스테레오 영상 생성장치.The method of claim 1,
The stereo image generator,
And generating the stereo image by using the first image data and the second image data captured at the same time by time synchronization processing by the setting control signal. 제1항에 있어서,
상기 센서 제어부는,
상기 제1 이미지 센서 및 상기 제2 이미지 센서 간의 시간 동기화를 위해 싱크 설정정보, 픽셀클락(Pixel Clock) 중 적어도 하나의 동기화 신호를 포함하는 설정 제어신호를 상기 적어도 하나의 통신 라인을 통해 전송하는 것을 특징으로 하는 스테레오 영상 생성장치.The method of claim 1,
The sensor control unit,
Transmitting a setting control signal including at least one synchronization signal of sync setting information and a pixel clock through the at least one communication line for time synchronization between the first image sensor and the second image sensor; Stereo image generating device characterized in that. 제1항에 있어서,
상기 센서 제어부는,
상기 제1 이미지 센서 및 상기 제2 이미지 센서 간의 센서 설정을 제어하기 위해 콘트라스트(Contrast), 노출(Exposure), 밝기(Brightness), 감마 보정(Gamma correction), 게인(Gain), 프레임 레이트(Frame rate), 화이트 밸런스(WB: White Balance), 에지 향상(Edge enhancement), 플리커(Flicker) 중 적어도 하나 이상의 설정값을 포함하는 설정 제어신호를 상기 적어도 하나의 통신 라인을 통해 전송하는 것을 특징으로 하는 스테레오 영상 생성장치.The method of claim 1,
The sensor control unit,
Contrast, Exposure, Brightness, Gamma correction, Gain, Frame rate to control sensor settings between the first and second image sensors Stereo, characterized in that for transmitting a configuration control signal including at least one setting value of at least one of white balance (WB: White enhancement), edge enhancement, flickering through the at least one communication line Image generator. 스테레오 영상을 생성하는 방법에 있어서,
식별 ID 정보를 갖는 제1 이미지 센서에서 특정 영역에 대한 좌안 이미지를 촬영하여 제1 영상데이터를 생성하는 제1 생성 단계;
식별 ID 정보를 갖는 제2 이미지 센서에서 상기 특정 영역에 대한 우안 이미지를 촬영하여 제2 영상데이터를 생성하는 제2 생성 단계;
제어모듈에서 상기 제1 이미지 센서 및 상기 제2 이미지 센서와 연결된 통신 라인을 통해 상기 제1 영상데이터 및 상기 제2 영상데이터를 획득하는 획득 단계; 및
상기 제어모듈에서 상기 제1 영상데이터 및 상기 제2 영상데이터 각각의 픽셀라인을 이용하여 스테레오 영상을 생성하는 영상 생성 단계를 포함하되,
상기 제1 이미지 센서 및 상기 제2 이미지 센서와 적어도 하나의 통신 라인을 공유하는 상기 제어모듈에서 상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각에 대한 동작을 제어하기 위한 설정 제어신호를 생성하고, 상기 설정 제어신호를 상기 적어도 하나의 통신 라인을 통해 상기 제1 이미지 센서 및 상기 제2 이미지 센서로 전송하는 단계를 추가로 포함하며,
상기 전송하는 단계는, 상기 제1 이미지 센서의 설정값을 획득하고, 상기 설정값과 동일하게 상기 제2 이미지 센서를 설정하기 위한 상기 설정 제어신호를 생성하여 상기 제2 이미지 센서로 전송하며,
상기 영상 생성 단계는, 상기 제1 이미지 센서 및 상기 제2 이미지 센서와 상기 제어모듈 사이에 구비된 멀티플렉서(Multiplexer)의 동작에 따라 상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각으로부터 번갈아 가며 픽셀라인 단위의 영상 데이터를 획득하여 상기 스테레오 영상을 생성하는 것을 특징으로 하는 스테레오 영상 생성방법.In the method for generating a stereo image,
Generating a first image data by capturing a left eye image of a specific area in a first image sensor having identification ID information;
A second generating step of generating second image data by photographing a right eye image of the specific area in a second image sensor having identification ID information;
An acquiring step of acquiring the first image data and the second image data through a communication line connected to the first image sensor and the second image sensor in a control module; And
The image generating step of generating a stereo image by using the pixel line of each of the first image data and the second image data in the control module,
Generating a setting control signal for controlling an operation of each of the first image sensor and the second image sensor in the control module sharing at least one communication line with the first image sensor and the second image sensor; Transmitting the setting control signal to the first image sensor and the second image sensor through the at least one communication line,
The transmitting may include obtaining a setting value of the first image sensor, generating the setting control signal for setting the second image sensor in the same manner as the setting value, and transmitting the setting control signal to the second image sensor.
The generating of the image may include alternating pixel lines from the first image sensor and the second image sensor according to an operation of a multiplexer provided between the first image sensor, the second image sensor, and the control module. And generating the stereo image by acquiring the unit image data. 삭제delete 제11항에 있어서,
상기 획득 단계는,
상기 설정 제어신호에 따라 시간 동기화 처리되어 동일 시간에 촬영된 상기 제1 영상데이터 및 상기 제2 영상데이터를 획득하는 것을 특징으로 하는 스테레오 영상 생성방법.
The method of claim 11,
The obtaining step,
And generating the first image data and the second image data captured at the same time by processing time synchronization according to the setting control signal.
삭제delete 삭제delete
KR1020180066774A 2018-06-11 2018-06-11 Method and Apparatus for Generating Stereo Image KR102080927B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180066774A KR102080927B1 (en) 2018-06-11 2018-06-11 Method and Apparatus for Generating Stereo Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180066774A KR102080927B1 (en) 2018-06-11 2018-06-11 Method and Apparatus for Generating Stereo Image

Publications (2)

Publication Number Publication Date
KR20190140237A KR20190140237A (en) 2019-12-19
KR102080927B1 true KR102080927B1 (en) 2020-02-24

Family

ID=69056203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180066774A KR102080927B1 (en) 2018-06-11 2018-06-11 Method and Apparatus for Generating Stereo Image

Country Status (1)

Country Link
KR (1) KR102080927B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103111B (en) * 2022-06-14 2023-10-13 希姆通信息技术（上海）有限公司 Method for realizing camera compatibility

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459753B1 (en) * 2007-08-31 2014-11-13 엘지이노텍 주식회사 Dual camera module of one board type
KR101222101B1 (en) * 2011-06-14 2013-02-05 주식회사 에스칩스 Apparatus for generating stereoscopic images
KR101882263B1 (en) * 2011-12-12 2018-07-26 엘지전자 주식회사 Mobile terminal and method for controlling thereof

Also Published As

Publication number Publication date
KR20190140237A (en) 2019-12-19

Similar Documents

Publication Publication Date Title
US10455180B2 (en) Electronic apparatus and method for conditionally providing image processing by an external apparatus
JP7185434B2 (en) Electronic device for capturing images using multiple cameras and image processing method using the same
JP4424088B2 (en) Imaging device
JP2011216948A (en) Camera system, video processing apparatus, and camera apparatus
US8929452B2 (en) Image processing apparatus, image capturing apparatus, and computer program
JP2013214952A (en) Imaging device
CN106657788A (en) Image processing method for electronic device and electronic device
JP2013165485A (en) Image processing apparatus, image capturing apparatus, and computer program
WO2017086348A1 (en) Multi-camera system, method for controlling multi-camera system, and camera
US9154728B2 (en) Image processing apparatus, image capturing apparatus, and program
JP5970748B2 (en) Moving image photographing system and synchronization control method
KR101514910B1 (en) Video processing apparatus, video processing system, and video processing method
US9584746B2 (en) Image processing device and imaging method for obtaining a high resolution image and efficient speed for a feedback control signal
KR20150084807A (en) Method and device for capturing and constructing a stream of panoramic or stereoscopic images
TW201834447A (en) Image sensor and control system
CN110366740B (en) Image processing apparatus and image pickup apparatus
CN103581539B (en) Signal processing apparatus and method
JP2013165488A (en) Image processing apparatus, image capturing apparatus, and program
KR102080927B1 (en) Method and Apparatus for Generating Stereo Image
US9263001B2 (en) Display control device
JP2015211302A (en) Imaging apparatus and imaging system
US10397462B2 (en) Imaging control apparatus and imaging apparatus for synchronous shooting
CN109309784B (en) Mobile terminal
KR101539544B1 (en) Method and apparatus for exchanging protocol
JP2010056768A (en) Photographing system, and photographing device and operation device constituting the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant