KR20200000434A - 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법 - Google Patents

스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법 Download PDF

Info

Publication number
KR20200000434A
KR20200000434A KR1020197001705A KR20197001705A KR20200000434A KR 20200000434 A KR20200000434 A KR 20200000434A KR 1020197001705 A KR1020197001705 A KR 1020197001705A KR 20197001705 A KR20197001705 A KR 20197001705A KR 20200000434 A KR20200000434 A KR 20200000434A
Authority
KR
South Korea
Prior art keywords
synchronization signal
period
image sensor
horizontal
signal
Prior art date
Application number
KR1020197001705A
Other languages
English (en)
Other versions
KR102179549B1 (ko
Inventor
이주성
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Publication of KR20200000434A publication Critical patent/KR20200000434A/ko
Application granted granted Critical
Publication of KR102179549B1 publication Critical patent/KR102179549B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법이 개시된다. 본 발명의 일 실시예에 따른 스테레오 카메라의 동기화 장치는 제1 이미지 센서의 동기신호 주기를 모니터링하여, 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync) 주기의 최대 오차 값을 산출하는 동기신호 모니터링 모듈, 상기 최대 오차값에 기초하여 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 포치(porch)를 조절하는 동기신호 적응모듈을 포함한다.

Description

스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법
본 발명은 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법에 관한 것으로, 특히 스테레오 카메라의 제1 이미지 센서에서 출력되는 동기신호의 주기를 모니터링하고, 그 모니터링 결과에 기초하여 제2 이미지 센서 또는 디스플레이 장치의 동기신호를 실시간으로 보상하는 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법에 관한 것이다.
IT 기술의 고도화에 수반하여, 카메라는 전통적인 필름 카메라에서 디지털 카메라로 진화하였고, 최근에는 3차원적 거리 또는 깊이(depth)를 검출할 수 있는 스테레오 카메라(stereo camera)가 개발되기에 이르렀다.
스테레오 카메라는 복수의 카메라 모듈을 구비하고, 이들로부터 촬영되는 이미지 데이터를 합성하여 깊이감이 있는 이미지를 사용자에게 제공할 수 있다.
이러한 스테레오 카메라는 로봇, VR/AR 등 다양한 3D Vision 응용분야에서 사용되고 있다. 또한, 최근 mobile vision 응용분야에서 고해상도/고속 스테레오 카메라에 대한 수요가 증가하고 있고, 이에 따라 낮은 하드웨어 복잡도를 갖는 ISP(image signal processor)의 VLSI(Very Large-Scale Integration) 구현이 필수적이다.
스테레오 카메라의 ISP는 색 보간(demosaicing), 스테레오 이미지 동기화 등으로 구성된다. 구체적으로 스테레오 카메라는 도 1과 같이 구성된다.
도 1을 참조하면, 종래의 스테레오 카메라는 제1 및 제2 이미지 센서(10a, 10b), 제1 및 제2 디모자이킹부(22a, 22b), 제1 및 제2 이미지 향상부(24a, 24b), 동기화부(28), 오프칩 메모리(26), 스테레오 이미지 전송부(30)를 포함한다.
제1 이미지 센서 및 제2 이미지 센서(10a, 10b)를 이용해 영상을 캡처하면 온전한 컬러 이미지가 아닌 Bayer Image를 출력한다. 이러한 베이어 이미지를 RGB Image(컬러 이미지)로 변환하기 위해서는 demosaicing filtering이 요구된다.
이에, 제1 및 제2 디모자이킹부(22a, 22b)는 제1 및 제2 이미지 센서(10a, 10b)로부터 원시 Bayer RGB(Red, Green 및 Blue) 이미지를 수신하고, 그 베이어 이미지를 RGB 이미지로 변환한다. 제1 및 제2 RGB 이미지는 제1 및 제2 이미지 향상부(24a, 24b)에 입력되어 선명도 등의 이미지 질이 향상된다. 이후, 동기화부(28)는 오프 칩 메모리(26)를 이용하여 제2 이미지 센서(10b) 및 디스플레이 장치(미도시)와 제1 이미지 센서(10a)간의 동기화를 수행하고, 결과적인 스테레오 이미지를 스테레오 이미지 전송부(예컨대, USB 3.0 PHY)(30)를 사용하여 사용자 어플리케이션을 실행하는 PC(40)로 전송한다.
이러한 스테레오 카메라는 두 개의 이미지 센서로부터 각각 이미지를 입력 받아 3D 이미지를 생성한다. 두 개의 다른 이미지 센서에서 각각 영상을 입력받기 때문에, 두 이미지의 캡처링 타이밍을 동기화해야 하고, 스테레오 이미지를 사용하는 application에서 두 장의 이미지를 동시에 받을 수 있도록, 이미지 송신 타이밍 또한 동기화 해 주는 것이 필요하다.
스테레오 이미지의 동기를 맞추기 위해 종래에는 도 1과 같이 SDRAM 같은 off-chip을 이용해 한 side의 영상이 먼저 입력되게 되면, off-chip memory에 buffering 하여, 동기화한 후에 출력하였다.
그러나, off-chip memory의 비용이 상당히 비싸고, band-width가 좁기 때문에 고속 카메라에는 사용할 수 없는 문제점이 있다.
이에, 스테레오 카메라에서 외부 메모리를 이용하지 않고 이미지 센서간 동기를 맞출 수 있는 기술 개발이 요구되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 스테레오 카메라에서 외부 메모리를 이용하지 않고 이미지 센서간 동기를 맞출 수 있는 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 스테레오 카메라의 동기화 장치는 제1 이미지 센서의 동기신호 주기를 모니터링하여, 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync) 주기의 최대 오차 값을 산출하는 동기신호 모니터링 모듈, 상기 최대 오차값에 기초하여 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 포치(porch)를 조절하는 동기신호 적응모듈을 포함한다.
바람직하게는, 상기 동기신호 모니터링 모듈은, 상기 제1 이미지 센서로부터 출력되는 동기신호에서 수직 동기신호의 주기를 체크하는 수직동기 체크부, 상기 체크된 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync)의 주기를 측정하는 수평동기 주기 카운터, 상기 수직 동기신호(Vsync) 1주기 동안 측정된 수평 동기신호(Hsync) 주기의 최대 오차값을 산출하는 최대 오차 산출부를 포함할 수 있다.
바람직하게는, 상기 동기신호 적응모듈은, 상기 수평 동기신호의 프론트 포치 및 백 포치를 상기 최대 오차값에 따라 조절하는 수평동기 포치 조절부, 상기 프론트 포치 및 백 포치의 조절에 의해 액티브 구간이 변경된 수평 동기 신호를 생성하는 수평동기 신호 생성부, 상기 수평 동기신호가 갖는 주기성에 따라 '1'에서 '0'으로 토글(toggle)될 경우, 싱크 구간이면 '0'을 유지하고, 프론트 포치 구간, 액티브 구간 및 백포치 구간이면 '1'을 유지하여 수직동기 신호를 재생성한 후, 상기 제2 이미지 센서 또는 디스플레이 장치로 전송하는 수직 동기신호 생성부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 스테레오 카메라의 동기화 방법은, 스테레오 카메라의 동기화 장치와 제1 이미지 센서와 제2 이미지 센서를 동기화하는 방법에 있어서, 상기 제1 이미지 센서의 동기신호 주기를 모니터링하여, 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync) 주기의 최대 오차 값을 산출하는 단계, 상기 최대 오차값에 기초하여 상기 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 포치(porch)를 조절하는 단계를 포함한다.
바람직하게는, 상기 최대 오차값을 산출하는 단계는, 상기 제1 이미지 센서로부터 출력되는 동기신호에서 수직 동기신호의 주기를 체크하는 단계, 상기 체크된 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync)의 주기를 측정하는 단계, 상기 수직 동기신호(Vsync) 1주기 동안 측정된 수평 동기신호(Hsync) 주기의 최대 오차값을 산출하는 단계를 포함할 수 있다.
바람직하게는, 상기 수평 동기신호의 포치(porch)를 조절하는 단계는, 상기 수평 동기신호의 프론트 포치 및 백 포치를 상기 최대 오차값에 따라 조절하는 단계, 상기 프론트 포치 및 백 포치의 조절에 의해 액티브 구간이 변경된 수평 동기 신호를 생성하는 단계, 상기 수평 동기신호가 갖는 주기성에 따라 '1'에서 '0'으로 토글(toggle)될 경우, 싱크 구간이면 '0'을 유지하고, 프론트 포치 구간, 액티브 구간 및 백포치 구간이면 '1'을 유지하여 수직 동기신호를 재생성하는 단계, 상기 재생성된 수직 동기신호를 상기 제2 이미지 센서 또는 디스플레이 장치로 전송하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 스테레오 카메라는 이미지와 동기신호를 출력하는 제1 이미지 센서, 상기 제1 이미지 센서에서 출력되는 동기신호의 주기를 모니터링하고, 그 모니터링 결과에 기초하여 제2 이미지 센서 또는 디스플레이 장치의 동기신호를 실시간으로 보상하는 동기화 장치, 상기 동기화 장치에서 보상된 동기신호를 입력받아 상기 제1 이미지 센서와 동기화하여 이미지를 출력하는 제2 이미지 센서, 상기 제1 및 제2 이미지 센서에서 출력되는 이미지를 입체 영상으로 생성하는 영상 처리부를 포함한다
바람직하게는, 상기 동기화 장치는, 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync) 주기의 최대 오차 값을 산출하는 동기신호 모니터링 모듈, 상기 최대 오차값에 기초하여 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 포치(porch)를 조절하는 동기신호 적응모듈을 포함할 수 있다.
바람직하게는, 상기 동기신호 모니터링 모듈은, 상기 제1 이미지 센서로부터 출력되는 동기신호에서 수직 동기신호의 주기를 체크하는 수직동기 체크부, 상기 체크된 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync)의 주기를 측정하는 수평동기 주기 카운터, 상기 수직 동기신호(Vsync) 1주기 동안 측정된 수평 동기신호(Hsync) 주기의 최대 오차값을 산출하는 최대 오차 산출부를 포함할 수 있다.
바람직하게는, 상기 동기신호 적응모듈은, 상기 수평 동기신호의 프론트 포치 및 백 포치를 상기 최대 오차값에 따라 조절하는 수평동기 포치 조절부, 상기 프론트 포치 및 백 포치의 조절에 의해 액티브 구간이 변경된 수평 동기 신호를 생성하는 수평동기 신호 생성부, 상기 수평 동기신호가 갖는 주기성에 따라 '1'에서 '0'으로 토글(toggle)될 경우, 싱크 구간이면 '0'을 유지하고, 프론트 포치 구간, 액티브 구간 및 백포치 구간이면 '1'을 유지하여 수직동기 신호를 재생성한 후, 상기 제2 이미지 센서 또는 디스플레이 장치로 전송하는 수직 동기신호 생성부를 포함할 수 있다.
본 발명에 따르면, 마스터 이미지 센서의 동기 신호의 변화주기를 모니터링 한 후 슬레이브 이미지 센서와 디스플레이 장치의 동기 신호주기를 실시간으로 보상함으로써, 외부 메모리를 사용하지 않고, 이로 인해 하드웨어 복잡성을 줄이는 동시에 동기화 정확도를 보장할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 스테레오 카메라를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라의 동기화 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 카메라를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 동기화 장치가 제1 이미지 센서와 제2 이미지 센서를 동기화하는 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라의 동기화 장치를 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 스테레오 카메라의 동기화 장치(200)는 동기신호 모니터링 모듈(210), 동기신호 적응모듈(220)을 포함한다.
이러한 동기화 장치(200)는 제1 이미지 센서 동기신호의 변화 주기를 모니터링하고, 그 모니터링 결과에 기초하여 제2 이미지 센서와 디스플레이 장치의 동기신호 주기를 실시간으로 보상하여 제1 및 제2 이미지 센서와 디스플레이 장치를 동기화시킨다. 이때, 제1 이미지 센서는 마스터 이미지 센서로, 동기신호를 출력하고, 제2 이미지 센서는 슬레이브 이미지 센서로, 동기화 장치(200)에서 동기신호의 주기가 보상된 동기신호를 입력받아 제1 이미지 센서와 동기화를 수행한다.
동기신호 모니터링 모듈(210)은 제1 이미지 센서의 동기신호 주기를 모니터링하여 수직동기신호(Vsync)의 1주기 동안 수평동기신호(Hsync) 주기의 최대 오차 값을 산출한다. 이때, 수직동기신호(VSync)는 이미지가 바뀌었을 때 토글되는 신호로 이미지 단위 신호일 수 있고, 수평동기신호는 이미지에서 수평 라인이 바뀔때마다 토글되는 신호로, 라인 단위 신호일 수 있다.
동기신호 모니터링 모듈(210)은 수직 동기신호 체크부(212), 수평 동기신호 주기 카운터(214), 최대오차 산출부(216)를 포함한다.
수직 동기신호 체크부(212)는 제1 이미지 센서로부터 출력되는 동기신호에서 수직동기신호의 주기를 체크한다. 수직동기신호(VSync)는 프레임(이미지)가 바뀌었을 때 토글되는 프레임(이미지) 단위의 신호이므로, 수직동기신호 체크부(212)는 각 프레임마다 수직동기신호의 주기를 확인할 수 있다. 이때, 제1 이미지 센서에서 출력되는 동기신호의 주기는 픽셀 카운터에 대한 기준값을 설정하는데 사용될 수 있다.
수평 동기신호 주기 카운터(214)는 수직동기신호(Vsync)의 1주기 동안 수평동기신호(Hsync)의 주기를 측정한다. 수평동기신호는 프레임(이미지)에서 수평 라인이 바뀔때마다 토글되는 라인 단위의 신호이고, 수평동기신호의 주기는 현재 라인 위치에서 픽셀들을 카운트(count)한 값으로 정의할 수 있다.
따라서, 수평 동기신호 주기 카운터(214)는 한 프레임에 포함된 각 라인의 픽셀들을 각각 카운트하고, 각 라인의 픽셀 카운트 값을 수평 동기신호 주기로 할 수 있다.
최대 오차 산출부(216)는 수직 동기신호의 1주기 동안 측정된 수평 동기신호 주기의 최대 오차값을 산출한다. 하나의 프레임은 복수개의 라인으로 구성되고, 각 라인의 픽셀 카운트 값은 다를 수 있다. 따라서, 최대 오차 산출부(216)는 수직 동기신호 1주기동안 측정된 각 수평 동기신호의 픽셀 카운트 값을 기 설정된 기준값과 각각 비교하고, 기준값과 가장 차이가 큰 최대 오차값(최대 변화량)을 산출한다.
예를 들어, 제1 이미지 센서의 해상도를 1920×1200, 초당 캡처 수를 54 frame 으로 설정했을 때, 수평 동기신호 주기가 pixel counter 로 2200 만큼 카운트 되야한다. 이때, 2200의 픽셀 카운트 값이 기준값일 수 있다. 그리고, 1프레임동안 측정된 픽셀 카운트 값이 2190, 2193, 2185, 2189인 경우, 최대 오차 산출부(216)는 기준값인 2200과 각 픽셀 카운트 값을 비교하여, 최대 오차값 15(2200-2185 = 15)를 산출할 수 있다.
동기신호 적응모듈(220)은 동기신호 모니터링모듈(210)에서 산출된 최대 오차값에 기초하여 제2 이미지 센서 또는 디스플레이 장치로 전송할 동기신호의 펄스를 조절한다.
일반적인 이미지 센서, 예컨대 CMOS 이미지 센서에는 수평 포치(horizontal blank)를 조절할 수 있는 기능을 포함하고 있다. 그러므로 포치 세팅 값을 데이터가 출력되는 구간인 액티브 구간에서 변경하면 다음에 오는 데이터가 없는 포치 구간의 길이가 바로 변경될 수 있다. 이러한 점을 이용하여 데이터의 시작 타이밍을 조절할 수 있다. 액티브 구간은 이미지 센서에서 이미지 데이터가 처리되는 펄스 구간을 의미하고, 포치 시간은 이미지 센서에서 이미지 데이터가 처리되지 않는 펄스 구간을 의미한다.
따라서, 동기신호 적응모듈(220)은 제1 이미지 센서의 수평 동기신호에 대하여 포치 시간을 조절하여 펄스를 조절할 수 있다. 이때, 포치 시간은 이미지 센서에서 이미지 데이터가 처리되지 않는 펄스 구간을 의미한다. 예컨대, 제1 이미지 센서의 수평 동기신호의 포치 시간을 산출된 최대 오차만큼 늘리거나 줄임으로써 펄스를 조절할 수 있다.
이러한 동기신호 적응모듈(220)은 수평 동기신호 포치 조절부(222), 수평 동기신호 생성부(224), 수직 동기신호 생성부(226)를 포함한다.
수평 동기신호 포치 조절부(222)는 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 프론트 포치(front porch) 및 백 포치(back porch)를 최대 오차값을 이용하여 조절한다. 예를 들어, 최대 오차 값이 10인 경우, 수평 동기신호 포치 조절부(222)는 front/back porch에서 각각 5 만큼 감소시켜 active pixel 구간을 생성한다.
수평 동기신호 생성부(224)는 프론트/백 포치의 조절에 의해 액티브 구간이 변경된 수평동기 신호를 생성한다.
수직동기 신호 생성부(226)는 수직동기 신호를 생성한다. 이때, 수직 동기신호는 제1 이미지 센서에서 출력된 수직 동기신호와 동일할 수 있다. 구체적으로, 수직 동기 신호는 수평 동기 신호의 묶음으로 구성되어 있고, 수평 동기 신호는 주기성을 갖는다. 따라서, 수평 동기신호가 주기성에 따라 '1'에서 '0'으로 토글(toggle)될 경우(즉, 한 주기가 지났을 때 또는 한 라인이 지났을 때), 수직동기 신호 생성부(226)는 싱크 구간이면 '0'을 유지하고, 이후 pront porch 구간, active pixel 구간 및 back porch 구간이면 '1'을 유지하여 수직동기 신호를 재생성한다.
예를 들면, full-HD (1920×1080) 이미지의 경우, 1920만큼의 픽셀이 1080 라인이 있는 이미지를 나타낸다. Standard 에 명시된 Full-HD 이미지의 front/back porch 및 sync 구간을 모두 포함한 크기는 (2200×1125) 인데, 수직 동기 관점에서 active pixel: 1080, front porch: 4, back porch: 36, sync: 5 일 수 있다. 이 경우 수평 동기신호가 5 만큼 toggle 되었을때, 수직 동기신호는 그 sync 구간동안 '0'을 유지하고, 이후 pront porch, active pixel, back porch 구간 동안에 '1'을 유지하는 것으로 신호가 구성되며, 수직동기 신호 생성부(226)는 이와 같은 방법으로 수직 동기 신호를 재생성할 수 있다.
상술한 바와 같이 구성된 동기화 장치(200)는 각 수직 동기신호(Vsync) 기간 동안 제1 이미지 센서의 수평 동기신호(Hsync) 최대 변화를 모니터링하고, 그 최대변화에 기초하여 제2 이미지 센서 및 디스플레이 장치로 전송할 수평 동기신호의 프론트 및 백 포치를 조절한다.
이러한 스테레오 카메라의 동기화 장치(200)는 실시간 동기 신호 모니터링 및 보상을 적용하여 하드웨어 복잡성을 최소화할 수 있으며, 보장된 동기화 정확도를 달성할 수 있다.
아래 표 1은 본 발명에 따른 동기화 장치를 FPGA를 이용하여 실제 VLSI 구현 시 요구되는 hardware complexity 를 분석한 결과다.
Conventional[10] Proposed Adaptive Synchronization
Logic Element 7,829 1,323
Registers 4,465 763
Memory(Bits) 13,976 4,096
본 발명에 따른 센서간/출력 장치간 동기화 알고리즘을 VLSI 구현 시 적용하면, FPGA 관점에서, 83%의 logic elements 절감, 82%의 registers 절감 효과를 볼 수 있다.
도 3은 본 발명의 일 실시예에 따른 스테레오 카메라를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 스테레오 카메라(300)는 제1 및 제2 이미지 센서(310a, 310b), 제1 및 제2 디코딩 장치(320a, 320b), 제1 및 제2 디모자이킹 장치(330a, 330b), 동기화 장치(340). 제1 및 제2 인터페이스부(350a, 350b)를 포함한다.
제1 및 제2 이미지 센서(310a, 310b)는 외부로부터 수신되는 빛에 기반하여 전기적 신호를 생성하고, 전기적 신호에 기반하여 디지털 이미지 데이터(예: Bayer 이미지 데이터)를 획득할 수 있다. 일 실시 예에 따르면, 제1 이미지 센서(310a)는 피사체의 제1 이미지 데이터를 획득할 수 있다. 제2 이미지 센서(310b)는 피사체의 제1 이미지와 시차를 가지는 제2 이미지 데이터를 획득할 수 있다.
이하에서는 설명의 편의를 위해 제1 이미지 센서(310a)는 마스터로 동작하고, 제2 이미지 센서(310b)는 슬레이브로 동작한다고 가정하여 설명하기로 한다.
제1 이미지 센서(310a)는 제1 이미지 데이터와 동기신호를 출력한다. 이때, 제1 이미지 데이터는 베이어 이미지일 수 있다.
제1 디코딩 장치(320a)는 제1 이미지 센서(310a)로부터 순수한 액티브 raw 베이어 픽셀 데이터를 획득한다. 이러한 제1 디코딩 장치(320a)는 sub-LVDS DDR to SDR 모듈, 임베디드 동기신호 디코더 모듈, 클럭 도메인 크로싱 모듈을 포함한다.
sub-LVDS DDR to SDR 모듈은 더블-에지 트리거 데이터를 싱글-에지 트리거 데이터로 변환한다.
임베디드 동기신호 디코더 모듈은 액티브 픽셀 데이터를 추출하고, 이는 임베디드 싱크 코드와 수평 동기신호/수직동기신호 신호를 기반으로 한다.
클럭 도메인 크로싱 모듈은 이중 포트 SRAM을 사용하여 2 픽셀 데이터를 단일 에지 트리거 데이터로 변환한다.
이러한 구조의 제1 디코딩 장치(320a)는 제1 이미지 센서(310a)에서 출력되는 베이어 패턴의 이미지 데이터와 동기신호를 획득하고, 베이어 패턴의 이미지 데이터는 제1 디모자이킹 장치(330a)로 전송하고, 동기신호는 동기화 장치(340)로 전송한다.
제1 디모자이킹 장치(330a)는 Bayer 이미지를 RGB 이미지로 변환한다. 즉, 제1 디모자이킹 장치(330a)는 홀수 라인과 짝수 라인간에 중복되는 컨볼루션 커널을 공유하여, 각 픽셀별로 R, G, B 값을 산출하고, 산출된 RGB 값을 이용하여 베이어 이미지를 RGB 이미지로 변환한다. 이때, 제1 디모자이킹 장치(330a)는 라인간에 중복되는 컨볼루션 커널을 공유하기 위해, 베이어 이미지의 수직 라인을 카운트하고, 그 카운트한 값에 기초하여 컨볼루션 커널을 선택한다. 그런 후, 제1 디모자이킹 장치(330a)는 해당 라인의 각 픽셀에 선택된 컨볼루션 커널을 컨볼루션하여 각 픽셀별 RGB 값을 산출하고, 산출된 RGB 값을 이용하여 베이어 이미지를 RGB 이미지로 변환한다.
동기화 장치(340)는 제1 이미지 센서 동기신호의 변화 주기를 모니터링하고, 그 모니터링 결과에 기초하여 제2 이미지 센서(310b)와 디스플레이 장치의 동기신호 주기를 실시간으로 보상하여 제1 및 제2 이미지 센서(310a, 310b)와 디스플레이 장치를 동기화시킨다
동기화 장치(340)는 동기신호 모니터링모듈(342), 동기신호 적응모듈(344)로 구성될 수 있다.
동기신호 모니터링모듈(342)은 제1 이미지 센서(310a)의 동기신호 주기를 모니터링하여 수직동기신호(Vsync)의 1주기 동안 수평동기신호(Hsync) 주기의 최대 오차 값을 산출한다. 이때, 수직동기신호(VSync)는 이미지가 바뀌었을 때 토글되는 신호로 이미지 단위 신호일 수 있고, 수평동기신호는 이미지에서 수평 라인이 바뀔때마다 토글되는 신호로, 라인 단위 신호일 수 있다.
동기신호 적응모듈(344)은 동기신호 모니터링부(342)에서 산출된 최대 오차값에 기초하여 제2 이미지 센서(320a) 또는 디스플레이 장치로 전송할 동기신호의 펄스를 조절한다.
이러한 동기화 장치(340)에 의해 제1 이미지 센서(910a)와 제2 이미지 센서(320a)가 동기화되면, 제2 이미지 센서(320a)가 컬러 이미지를 생성하는데 필요한 약간의 대기 시간 동안 제1 이미지 센서(310a)의 디모자이킹 결과가 FIFO(First Out, FIFO) 버퍼(미도시)에 저장된다. 제2 이미지 센서(320a)로부터 출력되는 베이어 이미지를 RGB 이미지로 변환하기 위한 제2 디코딩 장치(320b) 및 제2 디모자이킹 장치(330b)는 제1 디코딩 장치(320a) 및 제1 디모자이킹 장치(330a)의 동작과 동일하므로 그 설명은 생략하기로 한다.
또한, 제1 디코딩 장치(320a) 및 제1 디모자이킹 장치(330a)는 영상 처리부(미도시)로 포함시키고, 영상 처리부가 제1 및 제2 이미지 센서(910a, 910b)에서 출력되는 이미지를 입체 영상으로 생성한다고 할 수도 있다. 입체 영상을 생성하는 방법은 종래의 방법을 이용하므로, 그 상세한 설명은 생략하기로 한다.
최종적으로, 동기화된 제1 및 제2 이미지 데이터는 동기 신호 적응모듈(344) 및 제1 및 제2 인터페이스부(예컨대, HDMI TX 디바이스)(350a, 350b)를 사용하여 연속적으로 생성된다.
상술한 스테레오 카메라(300)는 이미지 센서와 HDMI TX 디바이스 외에도 모든 구성이 FPGA로 구현되어있어 하나의 칩 구현이 가능하다.
도 4는 본 발명의 일 실시예에 따른 동기화 장치가 제1 이미지 센서와 제2 이미지 센서를 동기화하는 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 동기화 장치는 제1 이미지 센서로부터 출력되는 동기신호에서 수직동기신호의 주기를 체크한다(S410).
그런 후, 동기화 장치는 수직동기신호(Vsync)의 1주기 동안 수평동기신호(Hsync)의 주기를 측정한다(S420). 즉, 동기화 장치는 현재 라인에서 픽셀들을 카운트(count)하고, 각 라인의 픽셀 카운트 값을 수평 동기신호 주기로 할 수 있다.
단계 S420이 수행되면, 동기화 장치는 수직 동기신호의 1주기 동안 측정된 수평 동기신호 주기의 최대 오차값을 산출한다(S430). 즉, 동기화 장치는 수직 동기신호 1주기동안 측정된 각 수평 동기신호의 픽셀 카운트 값을 기 설정된 기준값과 각각 비교하고, 기준값과 가장 차이가 큰 최대 오차값(최대 변화량)을 산출한다.
단계 S430이 수행되면, 동기화 장치는 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 프론트 포치(front porch) 및 백 포치(back porch)를 최대 오차값을 이용하여 조절하여(S440), 제2 이미지 센서 또는 디스플레이 장치로 전송할 동기신호를 생성한다(S450). 동기화 장치는 생성된 동기신호를 제2 이미지 센서 또는 디스플레이 장치로 전송하여, 제1 이미지 센서와의 동기화를 수행할 수 있다.
한편, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 제1 이미지 센서의 동기신호 주기를 모니터링하여, 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync) 주기의 최대 오차 값을 산출하는 동기신호 모니터링 모듈; 및
    상기 최대 오차값에 기초하여 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 포치(porch)를 조절하는 동기신호 적응모듈
    을 포함하는 스테레오 카메라의 동기화 장치.
  2. 제1항에 있어서,
    상기 동기신호 모니터링 모듈은,
    상기 제1 이미지 센서로부터 출력되는 동기신호에서 수직 동기신호의 주기를 체크하는 수직동기 체크부;
    상기 체크된 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync)의 주기를 측정하는 수평동기 주기 카운터; 및
    상기 수직 동기신호(Vsync) 1주기 동안 측정된 수평 동기신호(Hsync) 주기의 최대 오차값을 산출하는 최대 오차 산출부를 포함하는 것을 특징으로 하는 스테레오 카메라의 동기화 장치.
  3. 제1항에 있어서,
    상기 동기신호 적응모듈은,
    상기 수평 동기신호의 프론트 포치 및 백 포치를 상기 최대 오차값에 따라 조절하는 수평동기 포치 조절부;
    상기 프론트 포치 및 백 포치의 조절에 의해 액티브 구간이 변경된 수평 동기 신호를 생성하는 수평동기 신호 생성부; 및
    상기 수평 동기신호가 갖는 주기성에 따라 '1'에서 '0'으로 토글(toggle)될 경우, 싱크 구간이면 '0'을 유지하고, 프론트 포치 구간, 액티브 구간 및 백포치 구간이면 '1'을 유지하여 수직동기 신호를 재생성한 후, 상기 제2 이미지 센서 또는 디스플레이 장치로 전송하는 수직 동기신호 생성부를 포함하는 것을 특징으로 하는 스테레오 카메라의 동기화 장치.
  4. 스테레오 카메라의 동기화 장치와 제1 이미지 센서와 제2 이미지 센서를 동기화하는 방법에 있어서,
    상기 제1 이미지 센서의 동기신호 주기를 모니터링하여, 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync) 주기의 최대 오차 값을 산출하는 단계; 및
    상기 최대 오차값에 기초하여 상기 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 포치(porch)를 조절하는 단계
    를 포함하는 스테레오 카메라의 동기화 방법.
  5. 제4항에 있어서,
    상기 최대 오차값을 산출하는 단계는,
    상기 제1 이미지 센서로부터 출력되는 동기신호에서 수직 동기신호의 주기를 체크하는 단계;
    상기 체크된 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync)의 주기를 측정하는 단계; 및
    상기 수직 동기신호(Vsync) 1주기 동안 측정된 수평 동기신호(Hsync) 주기의 최대 오차값을 산출하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 동기화 방법.
  6. 제4항에 있어서,
    상기 수평 동기신호의 포치(porch)를 조절하는 단계는,
    상기 수평 동기신호의 프론트 포치 및 백 포치를 상기 최대 오차값에 따라 조절하는 단계;
    상기 프론트 포치 및 백 포치의 조절에 의해 액티브 구간이 변경된 수평 동기 신호를 생성하는 단계;
    상기 수평 동기신호가 갖는 주기성에 따라 '1'에서 '0'으로 토글(toggle)될 경우, 싱크 구간이면 '0'을 유지하고, 프론트 포치 구간, 액티브 구간 및 백포치 구간이면 '1'을 유지하여 수직 동기신호를 재생성하는 단계; 및
    상기 재생성된 수직 동기신호를 상기 제2 이미지 센서 또는 디스플레이 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 동기화 방법.
  7. 이미지와 동기신호를 출력하는 제1 이미지 센서;
    상기 제1 이미지 센서에서 출력되는 동기신호의 주기를 모니터링하고, 그 모니터링 결과에 기초하여 제2 이미지 센서 또는 디스플레이 장치의 동기신호를 실시간으로 보상하는 동기화 장치;
    상기 동기화 장치에서 보상된 동기신호를 입력받아 상기 제1 이미지 센서와 동기화하여 이미지를 출력하는 제2 이미지 센서; 및
    상기 제1 및 제2 이미지 센서에서 출력되는 이미지를 입체 영상으로 생성하는 영상 처리부
    를 포함하는 스테레오 카메라.
  8. 제7항에 있어서,
    상기 동기화 장치는,
    수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync) 주기의 최대 오차 값을 산출하는 동기신호 모니터링 모듈; 및
    상기 최대 오차값에 기초하여 제2 이미지 센서 또는 디스플레이 장치로 전송할 수평 동기신호의 포치(porch)를 조절하는 동기신호 적응모듈을 포함하는 것을 특징으로 하는 스테레오 카메라.
  9. 제8항에 있어서,
    상기 동기신호 모니터링 모듈은,
    상기 제1 이미지 센서로부터 출력되는 동기신호에서 수직 동기신호의 주기를 체크하는 수직동기 체크부;
    상기 체크된 수직 동기신호(Vsync)의 1주기 동안 수평 동기신호(Hsync)의 주기를 측정하는 수평동기 주기 카운터; 및
    상기 수직 동기신호(Vsync) 1주기 동안 측정된 수평 동기신호(Hsync) 주기의 최대 오차값을 산출하는 최대 오차 산출부를 포함하는 것을 특징으로 하는 스테레오 카메라.
  10. 제8항에 있어서,
    상기 동기신호 적응모듈은,
    상기 수평 동기신호의 프론트 포치 및 백 포치를 상기 최대 오차값에 따라 조절하는 수평동기 포치 조절부;
    상기 프론트 포치 및 백 포치의 조절에 의해 액티브 구간이 변경된 수평 동기 신호를 생성하는 수평동기 신호 생성부; 및
    상기 수평 동기신호가 갖는 주기성에 따라 '1'에서 '0'으로 토글(toggle)될 경우, 싱크 구간이면 '0'을 유지하고, 프론트 포치 구간, 액티브 구간 및 백포치 구간이면 '1'을 유지하여 수직동기 신호를 재생성한 후, 상기 제2 이미지 센서 또는 디스플레이 장치로 전송하는 수직 동기신호 생성부를 포함하는 것을 특징으로 하는 스테레오 카메라.
KR1020197001705A 2018-06-22 2018-12-03 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법 KR102179549B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180072060 2018-06-22
KR20180072060 2018-06-22
PCT/KR2018/015161 WO2019245118A1 (ko) 2018-06-22 2018-12-03 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법

Publications (2)

Publication Number Publication Date
KR20200000434A true KR20200000434A (ko) 2020-01-02
KR102179549B1 KR102179549B1 (ko) 2020-11-17

Family

ID=68983027

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197001704A KR102170447B1 (ko) 2018-06-22 2018-12-03 디모자이킹 장치 및 그 방법, 이를 적용한 스테레오 카메라
KR1020197001705A KR102179549B1 (ko) 2018-06-22 2018-12-03 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197001704A KR102170447B1 (ko) 2018-06-22 2018-12-03 디모자이킹 장치 및 그 방법, 이를 적용한 스테레오 카메라

Country Status (2)

Country Link
KR (2) KR102170447B1 (ko)
WO (2) WO2019245117A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244581B1 (ko) * 2020-09-16 2021-04-26 (주) 캔랩 복수의 카메라들을 부팅하는 방법 및 차량 단말

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210097448A (ko) * 2020-01-30 2021-08-09 삼성전자주식회사 영상 데이터 처리 방법 및 영상 데이터 처리 방법을 수행하는 센서 장치
WO2022099534A1 (en) * 2020-11-12 2022-05-19 Qualcomm Incorporated Automatic update for transmitting a command to a display panel

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130044976A (ko) * 2011-10-25 2013-05-03 삼성전기주식회사 스테레오카메라의 동기화 장치, 스테레오카메라 및 스테레오카메라의 동기화 방법
US20130229497A1 (en) * 2010-11-05 2013-09-05 Transvideo Method and device for monitoring phase shifting between stereoscopic cameras
JP2015019118A (ja) * 2011-11-08 2015-01-29 株式会社ニコン 撮像装置、撮像システムおよび撮像装置の制御プログラム
US9122443B1 (en) * 2008-05-01 2015-09-01 Rockwell Collins, Inc. System and method for synchronizing multiple video streams
KR101670446B1 (ko) * 2016-07-26 2016-10-28 (주)큐브이미징시스템즈 카메라 영상 실시간 처리 장치 및 그 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816197B2 (en) * 2001-03-21 2004-11-09 Hewlett-Packard Development Company, L.P. Bilateral filtering in a demosaicing process
KR101316179B1 (ko) * 2007-02-05 2013-10-08 엘지이노텍 주식회사 듀얼 카메라
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US9521398B1 (en) * 2011-04-03 2016-12-13 Gopro, Inc. Modular configurable camera system
KR102410016B1 (ko) * 2015-12-16 2022-06-16 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122443B1 (en) * 2008-05-01 2015-09-01 Rockwell Collins, Inc. System and method for synchronizing multiple video streams
US20130229497A1 (en) * 2010-11-05 2013-09-05 Transvideo Method and device for monitoring phase shifting between stereoscopic cameras
KR20130044976A (ko) * 2011-10-25 2013-05-03 삼성전기주식회사 스테레오카메라의 동기화 장치, 스테레오카메라 및 스테레오카메라의 동기화 방법
JP2015019118A (ja) * 2011-11-08 2015-01-29 株式会社ニコン 撮像装置、撮像システムおよび撮像装置の制御プログラム
KR101670446B1 (ko) * 2016-07-26 2016-10-28 (주)큐브이미징시스템즈 카메라 영상 실시간 처리 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244581B1 (ko) * 2020-09-16 2021-04-26 (주) 캔랩 복수의 카메라들을 부팅하는 방법 및 차량 단말

Also Published As

Publication number Publication date
WO2019245117A1 (ko) 2019-12-26
KR102179549B1 (ko) 2020-11-17
KR20200000433A (ko) 2020-01-02
WO2019245118A1 (ko) 2019-12-26
KR102170447B1 (ko) 2020-10-28

Similar Documents

Publication Publication Date Title
KR102179549B1 (ko) 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법
US10033989B2 (en) Synchronization controller for multi-sensor camera device and related synchronization method
US20030227460A1 (en) System and method for sychronizing video data streams
CN103460242A (zh) 信息处理装置、信息处理方法、以及位置信息的数据结构
CN104506888B (zh) 时钟同步装置、方法和系统
TW201428675A (zh) 影像產生系統與影像產生方法
KR20130099403A (ko) 이미지 프로세싱 방법 및 이를 이용한 이미지 프로세싱 유닛
TWI451751B (zh) 立體影像擷取裝置以及其控制晶片
TWI524735B (zh) 三維影像產生方法及裝置
US11606480B2 (en) Method and system for automatically synchronizing audio-video inputs in a multi-camera environment
KR20130117693A (ko) 입체 영상 시스템에서 좌우영상 프레임간 동기를 보정하기 위한 방법 및 장치 및 재생 장치 및 방법
US20150116459A1 (en) Sensing device and signal processing method thereof
KR101917224B1 (ko) 영상데이터 전송장치
US10771765B2 (en) Information processing apparatus, information processing system, information processing method, and storage medium for embedding time stamped information in an image
KR101948309B1 (ko) 초다시점 영상 표시 시스템 및 그 방법
JP5863356B2 (ja) ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム
KR101481797B1 (ko) 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치
CN105376550A (zh) 影像同步方法及其系统
KR101830768B1 (ko) 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치
Lee et al. High-Speed CMOS Color Stereo Camera with Low Complexity VLSI Implementation for Real-Time 3D Vision Applications
TWI539229B (zh) 影像同步方法及其系統
CN102300107A (zh) 影像转换装置以及影像信号的转换方法
US20120236116A1 (en) Decoder, projection device, and image processing method
US20110199456A1 (en) Apparatus for image reproduction and method therefor
KR101120557B1 (ko) 입체 영상 동기화 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant