KR20190140237A - 스테레오 영상 생성 방법 및 장치 - Google Patents

스테레오 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR20190140237A
KR20190140237A KR1020180066774A KR20180066774A KR20190140237A KR 20190140237 A KR20190140237 A KR 20190140237A KR 1020180066774 A KR1020180066774 A KR 1020180066774A KR 20180066774 A KR20180066774 A KR 20180066774A KR 20190140237 A KR20190140237 A KR 20190140237A
Authority
KR
South Korea
Prior art keywords
image
image sensor
generating
sensor
stereo
Prior art date
Application number
KR1020180066774A
Other languages
English (en)
Other versions
KR102080927B1 (ko
Inventor
정우연
Original Assignee
주식회사 이브이랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이브이랩 filed Critical 주식회사 이브이랩
Priority to KR1020180066774A priority Critical patent/KR102080927B1/ko
Publication of KR20190140237A publication Critical patent/KR20190140237A/ko
Application granted granted Critical
Publication of KR102080927B1 publication Critical patent/KR102080927B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오 영상 생성 방법 및 장치를 개시한다. 본 발명은 적어도 하나의 통신라인을 공유하는 듀얼 이미지 센서를 이용하여 스테레오 영상을 생성하는 방법 및 장치에 관한 것이다.

Description

스테레오 영상 생성 방법 및 장치{Method and Apparatus for Generating Stereo Image}
본 발명은 효율적인 통신이 가능한 동종 이미지 센서를 이용하여 스테레오 영상을 생성하는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
영상 기술의 발달로 인해 스테레오 영상을 활용할 수 있는 기술분야가 늘어남에 따라 영상 품질을 높이기 위한 연구가 꾸준히 진행되고 있다. 여기서, 스테레오 영상은 적어도 두 개의 이미지 센서로 촬영된 영상 데이터를 결합한 하나의 영상을 의미한다.
일반적으로, 듀얼 이미지 센서를 사용하는 경우 I2C(Inter Integrated Circuit) 통신 규약에 따라 프로세서(제어부)와 데이터 통신을 수행할 수 있다. I2C 통신 방식은 시리얼 버스(Serial Bus)로 연결된 복수의 디바이스들과 고유 ID를 이용하여 통신을 수행하는 방식이다.
하지만, I2C 통신 방식에서는 시리얼 버스에 연결된 디바이스가 서로 다른 고유 ID를 갖는 이종 기기일 경우에 통신 라인을 공유할 수 있다. 따라서, 두 개의 동일한 이미지 센서를 이용하여 영상을 동시에 받아야 하는 경우에는 도 1에 도시된 바와 같이 별도의 통신라인을 이용하거나, 트리거 방식을 통해 양쪽 이미지 센서 각각에 영상을 요청하여 받아야만 한다. 다만, 이러한 경우에는 두 개의 이미지 센서 각각의 세팅 및 별도의 통신라인으로 인해 영상 데이터의 시간차가 발생하여 영상품질이 저하되는 문제점이 발생한다.
본 발명은 적어도 하나의 통신라인을 공유하는 듀얼 이미지 센서를 이용하여 스테레오 영상을 생성하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 측면에 의하면, 스테레오 영상 생성장치는 식별 ID를 갖으며, 특정 영역에 대한 좌안 영상을 촬영하여 제1 영상 데이터를 생성하는 제1 이미지 센서; 상기 식별 ID와 동일한 ID를 갖으며, 상기 특정 영역에 대한 우안 영상을 촬영하여 제2 영상 데이터를 생성하는 제2 이미지 센서; 및 상기 제1 이미지 센서 및 상기 제2 이미지 센서와 적어도 하나의 통신 라인을 공유하며, 상기 적어도 하나의 통신 라인을 통해 획득한 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 이용하여 스테레오 영상을 생성하는 제어모듈을 포함할 수 있다.
또한, 본 발명의 다른 측면에 의하면, 스테레오 영상 생성방법은 식별 ID를 갖는 제1 이미지 센서에서 특정 영역에 대한 좌안 영상을 촬영하여 제1 영상 데이터를 생성하는 제1 생성 단계; 상기 식별 ID와 동일한 ID를 갖는 제2 이미지 센서에서 상기 특정 영역에 대한 우안 영상을 촬영하여 제2 영상 데이터를 생성하는 제2 생성 단계; 상기 제1 이미지 센서 및 상기 제2 이미지 센서와 적어도 하나의 통신 라인을 공유하는 제어모듈에서 상기 적어도 하나의 통신 라인을 통해 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 획득하는 획득 단계; 및 제어모듈에서 상기 제1 영상 데이터 및 상기 제2 영상 데이터 각각의 픽셀라인을 이용하여 스테레오 영상을 생성하는 영상 생성 단계를 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명은 적어도 하나의 통신라인을 공유하는 두 개의 동종 이미지 센서를 이용하여 영상 품질의 저하가 없는 스테레오 영상을 생성할 수 있는 효과가 있다.
도 1은 종래의 스테레오 영상 생성장치를 개략적으로 나타낸 도면이다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 스테레오 영상 생성장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 스테레오 영상을 생성하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따른 스테레오 영상을 생성하는 동작을 설명기 위한 예시도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다. 이하에서는 도면들을 참조하여 본 발명에서 제안하는 스테레오 영상 생성 방법 및 장치에 대해 자세하게 설명하기로 한다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 스테레오 영상 생성장치를 개략적으로 나타낸 블록 구성도이다.
스테레오 영상 생성장치(200)는 스테레오 영상을 활용하여 동작하는 다양한 기기 내에 하드웨어 또는 소프트웨어 형태로 구현될 수 있다. 예를 들어, 스테레오 영상 생성장치(200)는 로봇 청소기, 블랙박스, 영상 기반 위치 추적기, 자율주행 영상기기 등과 같은 스테레오 영상을 활용할 수 있는 기기의 전체 또는 일부 구성요소로 포함될 수 있다.
도 2a는 본 발명의 일 실시예에 따른 스테레오 영상 생성장치(200)를 도시한다. 본 발명의 일 실시예에 따른 스테레오 영상 생성장치(200)는 제1 이미지 센서(210), 제2 이미지 센서(220) 및 제어모듈(230)을 포함한다.
제1 이미지 센서(210)는 특정 영역 또는 피사체에 대한 영상(장면)을 촬영하여 전기적인 영상신호로 변환한 제1 영상 데이터를 생성한다. 제1 이미지 센서(210)는 영상 처리를 위한 소정의 분해능을 갖으며, 제어모듈(230)과의 통신을 위한 ID 정보를 갖는다. 여기서, ID 정보는 이미지 센서 제작 시 부여되는 정보를 의미하고, 동일한 센서의 경우 동일한 ID 정보를 갖는다. 제1 이미지 센서(210)는 좌안 영상을 촬영하기 위한 센서일 수 있으나 반드시 이에 한정되는 것은 아니며, 제2 이미지 센서(220)와 상이한 방향에서 영상을 촬영한다면 우안 영상을 촬영할 수도 있다.
제2 이미지 센서(220)는 특정 영역 또는 피사체에 대한 영상(장면)을 촬영하여 전기적인 영상신호로 변환한 제2 영상 데이터를 생성한다. 본 발명에 따른 제2 이미지 센서(220)는 제1 이미지 센서(210)와 동일한 분해능을 갖으며, 제어모듈(230)과의 통신을 위한 ID 정보도 제1 이미지 센서(210)와 동일한 ID 정보를 갖는다. 즉, 제2 이미지 센서(220)는 제1 이미지 센서(210)와 동일한 종류의 이미지 센서일 수 있다. 제2 이미지 센서(220)는 우안 영상을 촬영하기 위한 센서일 수 있으나 반드시 이에 한정되는 것은 아니며, 제1 이미지 센서(210)와 상이한 방향에서 영상을 촬영한다면 좌안 영상을 촬영할 수도 있다.
제1 이미지 센서(210) 및 제2 이미지 센서(220)는 CMOS(Complementary Metal Oxide Semiconductor), CCD(Charge Coupled Device) 등과 같은 이미지 센서일 수 있나 반드시 이에 한정되는 것은 아니며, 특정 영역 또는 피사체에 대한 영상 데이터를 생성할 수 있다면 다양한 형태의 센서로 구현될 수 있다.
제1 이미지 센서(210) 및 제2 이미지 센서(220)는 하나의 장면을 캡쳐한 영상 프레임에 대한 각각의 영상 데이터를 생성한다. 각각의 영상 데이터는 영상 프레임의 전체 픽셀에 대해 생성된 데이터를 포함할 수 있으나, 일부 픽셀에 대한 데이터만을 포함할 수도 있다. 예를 들어, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 영상 프레임에서 가로 라인에 포함된 복수의 픽셀을 기준단위로 영상 데이터를 생성할 수 있다. 즉, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 가로로 정렬된 복수의 픽셀을 포함하는 픽셀라인 별로 영상 데이터를 생성할 수 있다.
제1 이미지 센서(210) 및 제2 이미지 센서(220)는 적어도 하나의 통신 라인을 이용하여 제어모듈(230)와 각종 데이터를 송수신한다. 본 실시예에서 제1 이미지 센서(210), 제2 이미지 센서(220) 및 제어모듈(230) 간의 통신 라인은 설정 제어신호를 송수신하기 위한 제1 통신라인 및 영상 데이터를 송수신하기 위한 제2 통신라인으로 구성될 수 있으나 반드시 이에 한정되는 것은 아니며, 이미지 데이터 라인(Data), 픽셀 클럭 라인(PIXCLK), 수직동기신호 라인(V-Sync), 수평동기신호 라인(H-Sync) 등의 복수의 신호라인으로 구성될 수도 있다.
또한, 제1 이미지 센서(210), 제2 이미지 센서(220) 및 제어모듈(230) 간의 통신 라인은 I2C(Inter Integrated Circuit) 통신방식을 기반으로 동작하는 경우, SDATA 및 SCLOCK과 같이 양방향성을 갖는 두 개의 통신라인으로 구성될 수 있다.
제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각은 스테레오 영상 생성장치(200)의 초기 구동시, 통신 라인을 통해 제어모듈(230)로부터 설정 제어신호를 수신한다. 여기서, 설정 제어신호는 시간 동기화를 위한 싱크 설정정보, 픽셀클락(Pixel Clock) 등의 동기화 신호뿐만 아니라, 콘트라스트(Contrast), 노출(Exposure), 밝기(Brightness), 감마 보정(Gamma correction), 게인(Gain), 프레임 레이트(Frame rate), 화이트 밸런스(WB: White Balance), 에지 향상(Edge enhancement), 플리커(Flicker) 등의 센서 설정 신호를 포함할 수 있다.
제1 이미지 센서(210) 및 제2 이미지 센서(220)는 수신된 설정 제어신호에 근거하여 동기화 및 센서 설정에 대한 초기 설정을 수행한다. 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 각각은 초기 설정 이후 생성된 영상 데이터의 전체 또는 일부를 제어모듈(230)로 전송한다. 여기서, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 영상 프레임의 전체에 대한 영상 데이터를 제어모듈(230)로 전송할 수 있으나 반드시 이에 한정되는 것은 아니며, 소정의 픽셀라인에 대한 영상 데이터를 제어모듈(230)로 전송할 수도 있다.
본 발명의 일 실시예에 따른 제어모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220)와 연동하여 스테레오 영상 생성장치(200)의 전반적인 동작을 제어한다. 또한, 제어모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로부터 제1 영상 데이터 및 제2 영상 데이터를 획득하고, 각각의 영상 데이터의 전체 또는 일부를 이용하여 스테레오 영상을 생성한다. 여기서, 제어모듈(230)은 제1 영상 데이터 및 제2 영상 데이터를 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각과 연결된 별도의 통신 라인을 이용하여 획득할 수 있다. 제어모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220)와 설정을 위해 통신할 때 동일한 통신 라인을 공유하여 사용할 수 있다. 본 실시예에 따른 제어모듈(230)은 센서 제어부(232) 및 스테레오 영상 생성부(234)를 포함한다.
센서 제어부(232)는 제1 이미지 센서(210) 및 제2 이미지 센서(220)에 대한 동작을 제어하기 위한 설정 제어신호를 생성하고, 생성된 설정 제어신호를 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로 전송한다. 센서 제어부(232)는 동일한 통신 라인을 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220)로 설정 제어신호를 전송한다.
동종 센서인 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 동일한 ID를 갖으며, 센서 제어부(232)는 동일한 ID를 이용하여 동일한 통신 라인을 통해 설정 제어신호를 전송함에 따라 응답신호의 충돌이 발생할 수 있으나 센서의 설정값 제어를 위한 신호임에 따라 응답신호의 충돌은 무시하고 설정 제어신호를 전송한다.
센서 제어부(232)는 제1 이미지 센서(210) 및 제2 이미지 센서(220) 간의 시간 동기화를 위한 싱크 설정정보, 픽셀클락(Pixel Clock) 등의 동기화 신호를 포함하는 설정 제어신호를 전송할 수 있다.
또한, 센서 제어부(232)는 콘트라스트(Contrast), 노출(Exposure), 밝기(Brightness), 감마 보정(Gamma correction), 게인(Gain), 프레임 레이트(Frame rate), 화이트 밸런스(WB: White Balance), 에지 향상(Edge enhancement), 플리커(Flicker) 등의 센서 설정에 대한 설정값을 포함하는 설정 제어신호를 제1 이미지 센서(210) 및 제2 이미지 센서(220)로 전송할 수 있다.
센서 제어부(232)는 사용자의 조작에 따라 센서 설정에 대한 설정값을 입력받거나 기 설정된 센서 모드에 대응되도록 기 저장된 설정값을 포함하는 설정 제어신호를 생성할 수 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 센서 제어부(232)는 제1 이미지 센서(210)의 설정값을 획득하고, 획득한 설정값과 동일하게 제2 이미지 센서(220)를 설정하기 위한 설정 제어신호를 생성할 수도 있다. 즉, 센서 제어부(232)는 제1 이미지 센서(210)의 설정값을 기반으로 제2 이미지 센서(220)를 설정값을 생성할 수 있다.
본 발명의 일 실시예에 따른 스테레오 영상 생성부(234)는 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로부터 획득한 영상 데이터를 이용하여 스테레오 영상을 생성한다. 스테레오 영상 생성부(234)는 제1 이미지 센서(210)로부터 생성된 제1 영상 데이터와 제2 이미지 센서(220)로부터 생성된 제2 영상 데이터의 전체 또는 일부를 결합하여 스테레오 영상을 생성한다.
스테레오 영상 생성부(234)는 제1 이미지 센서(210)와의 통신 라인에 구비된 제2 스위치(214)와 제2 이미지 센서(220)와의 통신 라인에 구비된 제4 스위치(214)를 이용하여 제1 영상 데이터 및 제2 영상 데이터를 순차적으로 획득할 수 있다. 여기서, 제1 영상 데이터 및 제2 영상 데이터는 시간 동기화된 영상 데이터를 의미하며, 영상 프레임 전체에 대한 데이터일 수 있으나 영상 프레임 중 일부 픽셀라인에 대한 데이터일 수도 있다.
본 발명의 일 실시예에 따른 스테레오 영상 생성부(234)는 제1 영상 데이터에서 일부 영상라인을 추출하고, 제2 영상 데이터에서 일부 영상라인을 추출한 후 추출된 영상라인들을 결합하여 하나의 스테레오 영상을 생성할 수 있다. 여기서, 제1 영상 데이터에서 추출된 영상 라인과 제2 영상 데이터에서 추출된 영상 라인을 상이한 라인인 것이 바람직하다. 예를 들어, 스테레오 영상 생성부(234)는 제1 영상 데이터에서 1, 3, 5 및 7 번째 픽셀라인을 추출하고, 제2 영상 데이터에서 2, 4, 6 및 8 번째 픽셀라인을 추출한 후 추출된 픽셀라인들을 결합하여 1 내지 8 번째 픽셀라인을 포함하는 스테레오 영상을 생성할 수 있다.
도 2b는 본 발명의 다른 실시예에 따른 스테레오 영상 생성장치(200)를 도시한다. 도 2b에서는 도 2b에 기재된 스테레오 영상 생성장치(200)와 중복되는 내용의 기재를 생략하고, 상이한 부분을 위주로 설명하도록 한다.
본 발명의 다른 실시예에 따른 스테레오 영상 생성장치(200)는 제1 이미지 센서(210) 및 제2 이미지 센서(220)와 제어모듈(230) 사이에 멀티플렉서(Multiplexer, 240)를 추가로 구비한다.
스테레오 영상 생성부(234)는 멀티플렉서(240)를 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각의 영상 데이터를 픽셀라인 단위로 획득하고, 획득된 픽셀라인을 결합하여 스테레오 영상을 생성한다. 예를 들어, 스테레오 영상 생성부(234)는 멀티플렉서(240)의 스위칭 동작을 통해 제1 이미지 센서(210)로부터 1 번째 픽셀라인을 획득하고, 추가 스위칭 동작을 통해 제2 이미지 센서(220)로부터 2 번째 픽셀라인을 획득한다. 이후 스테레오 영상 생성부(234)는 멀티플렉서(240)의 스위칭 동작의 반복을 통해 제1 이미지 센서(210)의 3 번째 픽셀라인, 제2 이미지 센서(220)로부터 4 번째 픽셀라인, 제1 이미지 센서(210)의 5 번째 픽셀라인, 제2 이미지 센서(220)로부터 6 번째 픽셀라인, 제1 이미지 센서(210)의 7 번째 픽셀라인, 제2 이미지 센서(220)로부터 8 번째 픽셀라인 순으로 픽셀라인 단위의 영상 데이터를 획득하여 스테레오 영상을 생성한다.
도 2b에서 멀티플렉서(240)는 픽셀라인 단위의 영상 데이터를 순차적으로 획득하기 위한 동작을 수행하는 별도의 모듈인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 제어모듈(230) 또는 스테레오 영상 생성부(234) 내에 포함된 모듈로 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 스테레오 영상을 생성하는 방법을 설명하기 위한 순서도이다.
제어 모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로 설정 제어신호를 전송한다(S310). 제어 모듈(230)은 동일한 통신 라인을 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220)로 설정 제어신호를 전송한다. 여기서, 설정 제어신호는 시간 동기화를 위한 동기화 신호, 센서 설정 신호 등을 포함할 수 있다. 제어 모듈(230)은 스테레오 영상 생성장치(200)의 초기 구동 시에만 설정 제어신호를 동일한 통신 라인을 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220)로 전송하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
제1 이미지 센서(210) 및 제2 이미지 센서(220)는 설정 제어신호에 따라 특정 특정 영역 또는 피사체에 대한 영상(장면)을 촬영하기 위해 센서를 설정한다(S320). 여기서, 제1 이미지 센서(210) 및 제2 이미지 센서(220)는 설정 제어신호에 따라 동시에 제어될 수 있다.
제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각은 영상(장면)을 촬영한 영상 데이터를 생성한다(S330). 각각의 영상 데이터는 영상 프레임의 전체 픽셀에 대해 생성된 데이터를 포함할 수 있으나, 일부 픽셀에 대한 데이터만을 포함할 수도 있다.
제어 모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각으로부터 픽셀라인 단위로 영상 데이터를 획득하고(S340), 복수의 픽셀라인을 결합하여 스테레오 영상 생성한다(S350).
제어 모듈(230)은 제1 이미지 센서(210)와의 통신 라인에 구비된 제2 스위치(214)와 제2 이미지 센서(220)와의 통신 라인에 구비된 제4 스위치(214)를 이용하여 제1 영상 데이터 및 제2 영상 데이터를 순차적으로 획득할 수 있다. 여기서, 제1 영상 데이터 및 제2 영상 데이터는 시간 동기화된 영상 데이터를 의미하며, 영상 프레임 전체에 대한 데이터일 수 있으나 영상 프레임 중 일부 픽셀라인에 대한 데이터일 수도 있다.
한편, 제1 이미지 센서(210) 및 제2 이미지 센서(220)와 제어 모듈(230) 사이의 통신 라인에 멀티플렉서(240)가 존재하는 경우, 제어 모듈(230)은 멀티플렉서(240)를 통해 제1 이미지 센서(210) 및 제2 이미지 센서(220) 각각의 영상 데이터를 픽셀라인 단위로 획득할 수 있다. 제어 모듈(230)은 제1 이미지 센서(210) 및 제2 이미지 센서(220)에서 생성된 복수의 픽셀라인을 번갈아 가며 획득하고, 획득된 복수의 픽셀라인을 결합하여 스테레오 영상을 생성한다.
도 3에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 3에 기재된 본 실시예에 따른 스테레오 영상 생성방법은 애플리케이션(또는 프로그램)으로 구현되고 단말장치(또는 컴퓨터)로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 스테레오 영상 생성방법을 구현하기 위한 애플리케이션(또는 프로그램)이 기록되고 단말장치(또는 컴퓨터)가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치 또는 매체를 포함한다.
도 4는 본 발명의 실시예에 따른 스테레오 영상을 생성하는 동작을 설명기 위한 예시도이다.
도 4를 참조하면, 스테레오 영상 생성장치(200)는 좌안 이미지 센서 및 우안 이미지 센서를 이용하여 스테레오 영상을 생성한다.
스테레오 영상 생성장치(200)는 좌안 이미지 센서의 좌안 영상 프레임(510)과 우안 이미지 센서의 우안 영상 프레임(520) 각각의 픽셀라인을 이용하여 스테레오 영상(530)을 생성한다.
스테레오 영상 생성장치(200)는 멀티플렉서(240)의 스위칭 동작을 통해 하나의 통신 라인을 공유하는 좌안 이미지 센서 및 우안 이미지 센서 각각으로부터 영상 데이터를 획득한다. 도 4에 도시된 바와 같이, 스테레오 영상 생성장치(200)는 멀티플렉서(240)의 스위칭 동작에 따라 좌안 이미지 센서로부터 1 번째 픽셀라인(512)을 획득하고, 추가 스위칭 동작을 통해 우안 이미지 센서로부터 2 번째 픽셀라인(522)을 획득한다. 이후 스테레오 영상 생성장치(200)는 멀티플렉서(240)의 스위칭 동작의 반복을 통해 좌안 이미지 센서의 3 번째 픽셀라인(514), 우안 이미지 센서로부터 4 번째 픽셀라인(524), 좌안 이미지 센서의 5 번째 픽셀라인(516), 우안 이미지 센서로부터 6 번째 픽셀라인(526) 순으로 픽셀라인 단위의 영상 데이터를 획득하여 6 개의 픽셀라인을 갖는 스테레오 영상(530)을 생성한다.
본 발명의 실시예에 따른 스테레오 영상 생성장치(200)는 하나의 통신 라인을 공유하는 좌안 이미지 센서 및 우안 이미지 센서 각각으로부터 동일한 시간의 영상 프레임에 대해 좌안/우안의 픽셀라인을 순차적으로 획득하여 스테레오 영상(530)을 생성함에 따라 싱크 차이로 인해 스테레오 영상의 품질이 저하되는 것을 방지할 수 있다.
이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 스테레오 영상 생성장치
210: 제1 이미지 센서 220: 제2 이미지 센서
230: 제어모듈 232: 센서 제어부
234: 스테레오 영상 생성부 240: 멀티플렉서

Claims (15)

  1. 식별 ID를 갖으며, 특정 영역에 대한 좌안 영상을 촬영하여 제1 영상 데이터를 생성하는 제1 이미지 센서;
    상기 식별 ID와 동일한 ID를 갖으며, 상기 특정 영역에 대한 우안 영상을 촬영하여 제2 영상 데이터를 생성하는 제2 이미지 센서; 및
    상기 제1 이미지 센서 및 상기 제2 이미지 센서와 적어도 하나의 통신 라인을 공유하며, 상기 적어도 하나의 통신 라인을 통해 획득한 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 이용하여 스테레오 영상을 생성하는 제어모듈
    을 포함하는 것을 특징으로 하는 스테레오 영상 생성장치.
  2. 제1항에 있어서,
    상기 제어모듈은,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각에 대한 동작을 제어하기 위한 설정 제어신호를 생성하고, 상기 설정 제어신호를 상기 적어도 하나의 통신 라인을 통해 전송하는 센서 제어부; 및
    상기 제1 영상 데이터 및 상기 제2 영상 데이터 각각의 전체 또는 일부 데이터를 이용하여 상기 스테레오 영상을 생성하는 스테레오 영상 생성부
    을 포함하는 것을 특징으로 하는 스테레오 영상 생성장치.
  3. 제2항에 있어서,
    상기 스테레오 영상 생성부는,
    상기 제1 영상 데이터에서 추출된 제1 픽셀라인 정보와 상기 제2 영상 데이터에서 추출된 제2 픽셀라인 정보를 이용하여 상기 스테레오 영상을 생성하되,
    상기 제2 픽셀라인 정보는 상기 제1 픽셀라인 정보와 상이한 픽셀라인을 포함하는 것을 특징으로 하는 스테레오 영상 생성장치.
  4. 제3항에 있어서,
    상기 스테레오 영상 생성부는,
    짝수 라인 및 홀수 라인 중 하나에 대한 복수의 픽셀 라인을 포함하는 제1 픽셀라인 정보와 상기 제1 픽셀라인과 상이한 홀수 라인 및 짝수 라인 중 하나에 대한 복수의 픽셀 라인을 포함하는 상기 제2 픽셀라인 정보를 결합하여 상기 스테레오 영상을 생성하는 것을 특징으로 하는 스테레오 영상 생성장치.
  5. 제3항에 있어서,
    상기 제1 이미지 센서 및 상기 제어모듈 사이에 구비된 제1 스위치; 및
    상기 제2 이미지 센서 및 상기 제어모듈 사이에 구비된 제2 스위치를 추가로 포함하며,
    상기 스테레오 영상 생성부는 상기 제1 스위치 및 상기 제2 스위치의 스위칭 동작을 통해 상기 제1 픽셀라인 정보 및 상기 제2 픽셀라인 정보를 획득하는 것을 특징으로 하는 스테레오 영상 생성장치.
  6. 제3항에 있어서,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서와 상기 제어모듈 사이에 멀티플렉서(Multiplexer)를 추가로 포함하며,
    상기 스테레오 영상 생성부는 상기 멀티플렉서의 동작에 따라 픽셀라인 단위로 상기 제1 픽셀라인 정보 및 상기 제2 픽셀라인 정보를 획득하는 것을 특징으로 하는 스테레오 영상 생성장치.
  7. 제6항에 있어서,
    상기 스테레오 영상 생성부는,
    상기 제1 픽셀라인 정보 및 상기 제2 픽셀라인 정보 각각의 일부 픽셀라인을 번갈아 가며 순차적으로 획득하는 것을 특징으로 하는 스테레오 영상 생성장치.
  8. 제2항에 있어서,
    상기 스테레오 영상 생성부는,
    상기 설정 제어신호에 의해 시간 동기화 처리되어 동일 시간에 촬영된 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 이용하여 상기 스테레오 영상을 생성하는 것을 특징으로 하는 스테레오 영상 생성장치.
  9. 제2항에 있어서,
    상기 센서 제어부는,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 간의 시간 동기화를 위해 싱크 설정정보, 픽셀클락(Pixel Clock) 중 적어도 하나의 동기화 신호를 포함하는 설정 제어신호를 상기 적어도 하나의 통신 라인을 통해 전송하는 것을 특징으로 하는 스테레오 영상 생성장치.
  10. 제2항에 있어서,
    상기 센서 제어부는,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 간의 센서 설정을 제어하기 위해 콘트라스트(Contrast), 노출(Exposure), 밝기(Brightness), 감마 보정(Gamma correction), 게인(Gain), 프레임 레이트(Frame rate), 화이트 밸런스(WB: White Balance), 에지 향상(Edge enhancement), 플리커(Flicker) 중 적어도 하나 이상의 설정값을 포함하는 설정 제어신호를 상기 적어도 하나의 통신 라인을 통해 전송하는 것을 특징으로 하는 스테레오 영상 생성장치.
  11. 스테레오 영상을 생성하는 방법에 있어서,
    식별 ID를 갖는 제1 이미지 센서에서 특정 영역에 대한 좌안 영상을 촬영하여 제1 영상 데이터를 생성하는 제1 생성 단계;
    상기 식별 ID와 동일한 ID를 갖는 제2 이미지 센서에서 상기 특정 영역에 대한 우안 영상을 촬영하여 제2 영상 데이터를 생성하는 제2 생성 단계;
    상기 제1 이미지 센서 및 상기 제2 이미지 센서와 적어도 하나의 통신 라인을 공유하는 제어모듈에서 상기 적어도 하나의 통신 라인을 통해 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 획득하는 획득 단계; 및
    제어모듈에서 상기 제1 영상 데이터 및 상기 제2 영상 데이터 각각의 픽셀라인을 이용하여 스테레오 영상을 생성하는 영상 생성 단계
    를 포함하는 것을 특징으로 하는 스테레오 영상 생성방법.
  12. 제11항에 있어서,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서 각각에 대한 동작을 제어하기 위한 설정 제어신호를 생성하고, 상기 설정 제어신호를 상기 적어도 하나의 통신 라인을 통해 상기 제1 이미지 센서 및 상기 제2 이미지 센서로 전송하는 단계
    를 추가로 포함하는 것을 특징으로 하는 스테레오 영상 생성방법.
  13. 제12항에 있어서,
    상기 획득 단계는,
    상기 설정 제어신호에 따라 시간 동기화 처리되어 동일 시간에 촬영된 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 획득하는 것을 특징으로 하는 스테레오 영상 생성방법.
  14. 제13항에 있어서,
    상기 영상 생성 단계는,
    상기 제1 이미지 센서 및 상기 제2 이미지 센서와 상기 제어모듈 사이에 구비된 멀티플렉서(Multiplexer)의 동작에 따라 상기 제1 영상 데이터 및 상기 제2 영상 데이터 각각에서 픽셀라인 단위로 획득한 제1 픽셀라인 정보 및 제2 픽셀라인 정보를 이용하여 상기 스테레오 영상을 생성하는 것을 특징으로 하는 스테레오 영상 생성방법.
  15. 제14항에 있어서,
    상기 획득 단계는,
    상기 멀티플렉서의 동작에 따라 상기 제1 픽셀라인 정보 및 상기 제2 픽셀라인 정보 각각의 일부 픽셀라인을 번갈아 가며 순차적으로 획득하는 것을 특징으로 하는 스테레오 영상 생성방법.
KR1020180066774A 2018-06-11 2018-06-11 스테레오 영상 생성 방법 및 장치 KR102080927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180066774A KR102080927B1 (ko) 2018-06-11 2018-06-11 스테레오 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180066774A KR102080927B1 (ko) 2018-06-11 2018-06-11 스테레오 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190140237A true KR20190140237A (ko) 2019-12-19
KR102080927B1 KR102080927B1 (ko) 2020-02-24

Family

ID=69056203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180066774A KR102080927B1 (ko) 2018-06-11 2018-06-11 스테레오 영상 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102080927B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103111A (zh) * 2022-06-14 2022-09-23 希姆通信息技术（上海）有限公司 实现相机兼容的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090022672A (ko) * 2007-08-31 2009-03-04 엘지이노텍 주식회사 원 보드타입의 듀얼 카메라모듈
KR20120138183A (ko) * 2011-06-14 2012-12-24 주식회사 에스칩스 스테레오스코픽 영상의 생성 장치
KR20130066294A (ko) * 2011-12-12 2013-06-20 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090022672A (ko) * 2007-08-31 2009-03-04 엘지이노텍 주식회사 원 보드타입의 듀얼 카메라모듈
KR20120138183A (ko) * 2011-06-14 2012-12-24 주식회사 에스칩스 스테레오스코픽 영상의 생성 장치
KR20130066294A (ko) * 2011-12-12 2013-06-20 엘지전자 주식회사 이동 단말기 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103111A (zh) * 2022-06-14 2022-09-23 希姆通信息技术（上海）有限公司 实现相机兼容的方法
CN115103111B (zh) * 2022-06-14 2023-10-13 希姆通信息技术（上海）有限公司 实现相机兼容的方法

Also Published As

Publication number Publication date
KR102080927B1 (ko) 2020-02-24

Similar Documents

Publication Publication Date Title
US8890971B2 (en) Image processing apparatus, image capturing apparatus, and computer program
JP2011216948A (ja) カメラシステム、映像処理装置及びカメラ装置
JP4424088B2 (ja) 撮像装置
EP3402179B1 (en) Image-capturing system, image-capturing method, and program
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
JP5970748B2 (ja) 動画像撮影システム及び同期制御方法
JP2009094726A (ja) 画像記録装置及び画像記録方法
WO2017086348A1 (ja) マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ
US9154728B2 (en) Image processing apparatus, image capturing apparatus, and program
US20130176487A1 (en) Image processing apparatus, image capturing apparatus, and computer program
US10778881B2 (en) Video signal processing device, video signal processing method, and camera device
KR101514910B1 (ko) 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법
US20180241941A1 (en) Image processing apparatus, image processing method, and image pickup apparatus
KR20150084807A (ko) 파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 구성하기 위한 방법 및 장치
US9584746B2 (en) Image processing device and imaging method for obtaining a high resolution image and efficient speed for a feedback control signal
TW201834447A (zh) 圖像感測器及控制系統
WO2015146006A1 (ja) 撮像装置及び撮像制御方法
US8570404B2 (en) Communication device
CN103581539B (zh) 信号处理装置和方法
KR102080927B1 (ko) 스테레오 영상 생성 방법 및 장치
US9263001B2 (en) Display control device
JP2015211302A (ja) 撮像装置、撮像システム
JP2005260736A (ja) デジタルカメラ及び画像信号生成方法
CN109309784B (zh) 移动终端
KR101809727B1 (ko) Svm 시스템 및 그의 영상입력 및 처리방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant