KR20230009031A - Ocl 기반의 카메라 시스템 및 그 동작 방법 - Google Patents

Ocl 기반의 카메라 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR20230009031A
KR20230009031A KR1020210089588A KR20210089588A KR20230009031A KR 20230009031 A KR20230009031 A KR 20230009031A KR 1020210089588 A KR1020210089588 A KR 1020210089588A KR 20210089588 A KR20210089588 A KR 20210089588A KR 20230009031 A KR20230009031 A KR 20230009031A
Authority
KR
South Korea
Prior art keywords
parallax
distance
disparity
calculating
pixels
Prior art date
Application number
KR1020210089588A
Other languages
English (en)
Inventor
경종민
Original Assignee
주식회사 덱셀리온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 덱셀리온 filed Critical 주식회사 덱셀리온
Priority to KR1020210089588A priority Critical patent/KR20230009031A/ko
Publication of KR20230009031A publication Critical patent/KR20230009031A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

OCL(On chip lens) 기반의 카메라 시스템 및 그 동작 방법이 개시된다. 일 실시예에 따르면, 카메라 시스템은, 적어도 하나의 픽셀 블록-상기 적어도 하나의 픽셀 블록은 복수의 픽셀들로 구성되고, 복수의 픽셀들 각각은 복수의 서브 픽셀들로 구성됨-을 포함하는 이미지 센서; 및 상기 복수의 픽셀들 중 어느 하나의 픽셀에 포함되는 상기 복수의 서브 픽셀들에서 각각 획득하는 이미지들 사이의 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부를 포함할 수 있다.

Description

OCL 기반의 카메라 시스템 및 그 동작 방법{CAMERA SYSTEM BASED ON OCL AND OPERATION METHOD THEREOF}
아래의 설명은 카메라 시스템 및 그 동작 방법에 관한 것으로, 보다 상세하게는 OCL(On chip lens) 기반의 카메라 시스템에 대한 기술이다.
최근 동일한 컬러 필터를 사용하는 복수의 픽셀들이 픽셀 그룹을 구성하고 픽셀 그룹들이 픽셀 블록에 포함되는 QBC(Quad bayer coding) 및 복수의 픽셀들이 픽셀 블록을 구성하는 가운데 복수의 픽셀들 각각에 마이크로 렌즈를 공유하는 복수의 서브 픽셀들이 포함되는 OCL(On chip lens) 구조의 이미지 센서가 제안되었다.
이 중 OCL 기반의 이미지 센서는 일반적인 베이어(Bayer) 기반의 이미지 센서와 비교하여 PDAF(Phase detection auto focus), QE(Quantum efficiency), HDR(High dynamic range) 및 해상도(Resolution)가 우수하며, 집적화를 통해 소형화가 가능한 장점을 갖는다.
그러나 OCL 기반의 카메라 시스템이 피사체까지의 거리를 산출하는 기술은 제안되지 않고 있다.
이에, 아래의 실시예들은 OCL 기반의 카메라 시스템에서의 거리 산출 기술을 제안하고자 한다.
일 실시예들은 PDAF, QE, HDR 및 해상도가 우수하며 집적화를 통해 소형화가 가능한, OCL 기반의 카메라 시스템에서의 거리 산출 기술을 제안한다.
특히, 일 실시예들은 특정 컬러 채널 및 패턴에 대한 의존성을 없애고, 서브 픽셀들에서의 수평 시차, 수직 시차 및 대각 시차 각각의 신뢰도를 반영하여 거리를 산출하는 카메라 시스템 및 그 동작 방법을 제안한다.
다만, 본 발명이 해결하고자 하는 기술적 과제들은 상기 과제로 한정되는 것이 아니며, 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있다.
일 실시예에 따르면, 카메라 시스템은, 적어도 하나의 픽셀 블록-상기 적어도 하나의 픽셀 블록은 복수의 픽셀들로 구성되고, 복수의 픽셀들 각각은 복수의 서브 픽셀들로 구성됨-을 포함하는 이미지 센서; 및 상기 복수의 픽셀들 중 어느 하나의 픽셀에 포함되는 상기 복수의 서브 픽셀들에서 각각 획득하는 이미지들 사이의 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부를 포함할 수 있다.
일 측면에 따르면, 상기 거리 산출부는, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 가중치들이 각각 적용된 결과 값을 이용하여 상기 거리를 산출하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 각각 적용되는 상기 가중치들은, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차 각각의 신뢰도에 기초하여 결정되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 거리 산출부는, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술합 또는 산술평균을 연산한 결과 값을 이용하여 상기 거리를 산출하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 거리 산출부는, 상기 거리를 산출하기 위한 시차 요구 특성에 기초하여, 상기 산술합 또는 상기 산술평균을 선택적으로 연산하고, 상기 선택적으로 연산된 결과 값을 이용하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 거리 산출부는, 상기 거리를 산출하기 위한 시차의 동적 범위(Dynamic range)를 증가시키고자, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술합을 연산한 결과 값을 이용하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 거리 산출부는, 상기 거리를 산출하기 위한 시차의 SNR(Signal-noise-ratio)을 감소시키고자, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술평균을 연산한 결과 값을 이용하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 복수의 픽셀들 각각에 포함되는 상기 복수의 서브 픽셀들은, 상기 복수의 픽셀들 각각에 대응하는 마이크로 렌즈를 공유하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 적어도 하나의 픽셀 블록-상기 적어도 하나의 픽셀 블록은 복수의 픽셀들로 구성되고, 복수의 픽셀들 각각은 복수의 서브 픽셀들로 구성됨-을 포함하는 이미지 센서; 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법은, 상기 복수의 픽셀들 중 어느 하나의 픽셀에 포함되는 상기 복수의 서브 픽셀들에서, 이미지들을 각각 획득하는 단계; 및 상기 거리 산출부에서, 상기 이미지들 사이의 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 산출하는 단계는, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 가중치들이 각각 적용된 결과 값을 이용하여 상기 거리를 산출하는 단계인 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 각각 적용되는 상기 가중치들은, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차 각각의 신뢰도에 기초하여 결정되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 산출하는 단계는, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술합 또는 산술평균을 연산한 결과 값을 이용하여 상기 거리를 산출하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 산술합 또는 상기 산술평균을 연산한 결과 값을 이용하여 상기 거리를 산출하는 단계는, 상기 거리를 산출하기 위한 시차 요구 특성에 기초하여, 상기 산술합 또는 상기 산술평균을 선택적으로 연산하고, 상기 선택적으로 연산된 결과 값을 이용하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 이용하는 단계는, 상기 거리를 산출하기 위한 시차의 동적 범위(Dynamic range)를 증가시키고자, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술합을 연산한 결과 값을 이용하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 이용하는 단계는, 상기 거리를 산출하기 위한 시차의 SNR(Signal-noise-ratio)을 감소시키고자, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술평균을 연산한 결과 값을 이용하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시예들은 PDAF, QE, HDR 및 해상도가 우수하며 집적화를 통해 소형화가 가능한, OCL 기반의 카메라 시스템에서의 거리 산출 기술을 제안할 수 있다.
특히, 일 실시예들은 특정 컬러 채널 및 패턴에 대한 의존성을 없애고, 서브 픽셀들에서의 수평 시차, 수직 시차 및 대각 시차 각각의 신뢰도를 반영하여 거리를 산출하는 카메라 시스템 및 그 동작 방법을 제안할 수 있다.
다만, 본 발명의 효과는 상기 효과들로 한정되는 것이 아니며, 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있다.
도 1은 일 실시예에 따른 카메라 시스템에 포함되는 이미지 센서를 도시한 평면도이다.
도 2는 일 실시예에 따른 카메라 시스템에서 픽셀 내 서브 픽셀들 사이의 시차를 설명하기 위해 픽셀을 도시한 단면도이다.
도 3은 일 실시예에 따른 카메라 시스템이 거리를 산출하는 과정에서 이용하는 서브 픽셀들에서의 수평 시차, 수직 시차 및 대각 시차를 설명하기 위해 이미지 센서를 도시한 평면도이다.
도 4는 일 실시예에 따른 카메라 시스템을 나타낸 블록도이다.
도 5는 일 실시예에 따른 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 6은 일 실시예에 따른 카메라 시스템이 거리를 산출하는 과정에서 이용하는 서브 픽셀들에서의 수평 시차, 수직 시차 및 대각 시차 각각의 신뢰도를 설명하기 위한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(Terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 예컨대, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 또한, 본 명세서에서 제1, 제2 등의 용어가 다양한 영역, 방향, 형상 등을 기술하기 위해서 사용되었지만, 이들 영역, 방향, 형상이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 소정 영역, 방향 또는 형상을 다른 영역, 방향 또는 형상과 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시예에서 제1 부분으로 언급된 부분이 다른 실시예에서는 제2 부분으로 언급될 수도 있다.
또한, 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 제시된 각각의 실시예 범주에서 개별 구성요소의 위치, 배치, 또는 구성은 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.
깊이가 적용된 3차원 이미지를 획득하기 위해서는, 2차원 이미지에 포함되는 픽셀들 각각의 깊이가 산출되어야 한다. 이 때, 2차원 이미지에 포함되는 픽셀들 각각의 깊이를 산출하는 종래의 방식으로는 촬영 대상이 되는 피사체(오브젝트)에 레이저를 조사하고 그 빛이 돌아오는 시간을 측정하는 TOF(time of flight) 방식, 두 개 이상의 카메라 시스템들에서 각각 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 스테레오(depth from stereo) 방식, 단일 카메라 시스템에서 단일 광학계에 형성된 복수의 애퍼처들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 방식(애퍼처를 이용한 시차 차이 방식), 단일 카메라 시스템에서 단일 광학계에 형성된 복수의 애퍼처들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 블러 변화를 이용하여 깊이를 산출하는 방식 등이 있다.
이에, 아래에서는 PDAF, QE, HDR 및 해상도가 우수하며 집적화를 통해 소형화가 가능한, OCL 기반의 카메라 시스템에서의 거리 산출 기술을 개시된다.
도 1은 일 실시예에 따른 카메라 시스템에 포함되는 이미지 센서를 도시한 평면도이고, 도 2는 일 실시예에 따른 카메라 시스템에서 픽셀 내 서브 픽셀들 사이의 시차를 설명하기 위해 픽셀을 도시한 단면도이며, 도 3은 일 실시예에 따른 카메라 시스템이 거리를 산출하는 과정에서 이용하는 서브 픽셀들에서의 수평 시차, 수직 시차 및 대각 시차를 설명하기 위해 이미지 센서를 도시한 평면도이다.
도 1 내지 3을 참조하면, 일 실시예에 따른 카메라 시스템에 포함되는 이미지 센서(100)는 적어도 하나의 픽셀 블록(110)을 포함할 수 있다. 적어도 하나의 픽셀 블록(110)은 복수의 컬러 필터들이 각각 배치되는 복수의 픽셀들(111, 112, 113, 114)로 구성되며, 복수의 픽셀들(111, 112, 113, 114) 각각은 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4)로 구성될 수 있다.
여기서, 복수의 픽셀들(111, 112, 113, 114) 각각에 포함되는 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4)은, 각각이 광 다이오드를 포함한 채 복수의 픽셀들(111, 112, 113, 114) 각각에 대응하는 마이크로 렌즈(111-5)를 공유할 수 있다. 즉, 각각의 광 다이오드를 포함하는 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4)의 상부에는 픽셀(111)에 대응하는 마이크로 렌즈(111-5)가 배치될 수 있다.
이와 같은 구조의 이미지 센서(100)에서 픽셀(111) 내 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4) 사이에는 시차(Disparity)가 존재한다. 일례로, 픽셀(111) 내 좌측에 위치하는 제1 서브 픽셀(111-1)에 입사되는 광 신호는 카메라 시스템의 단일 광학계(210) 상 제1 영역(211)을 통과한 것이며, 픽셀(111) 내 우측에 위치하는 제2 서브 픽셀(111-2)에 입사되는 광 신호는 카메라 시스템의 단일 광학계(210) 상 제2 영역(212)을 통과한 것이다. 따라서, 단일 광학계(210) 상 서로 상이한 영역들(211, 212)을 통과한 광 신호가 서브 픽셀들(111-1, 111-2)로 각각 입사되기 때문에, 픽셀(111) 내 수평 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-2)이 각각 획득하는 이미지들 사이에는 수평 시차(Horizontal disparity; dh1)(310)가 존재하게 된다.
마찬가지로, 픽셀(111) 내 수직 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-3)이 각각 획득하는 이미지들 사이에는 수직 시차(Vertical disparity, dv1)(320)가 존재하게 되며, 픽셀(111) 내 대각 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-4)이 각각 획득하는 이미지들 사이에는 대각 시차(Diagonal disparity, dd1)(330)가 존재하게 된다.
이처럼 픽셀(111) 내 4개의 서브 픽셀들(111-1, 111-2, 111-3, 111-4)(2*2 OCL 구조)이 각각 획득하는 4개의 이미지들 사이에는 2개의 수평 시차(dh1 310, dh2 311), 2개의 수직 시차(dv1 320, dv2 321) 및 2개의 대각 시차(dd1 330, dd2 331)가 존재하게 되는 바, 이하 설명되는 카메라 시스템에 포함되는 거리 산출부는 서브 픽셀들(111-1, 111-2, 111-3, 111-4)이 각각 획득하는 이미지들 사이의 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차를 이용하여 이미지 센서(100)와 피사체 사이의 거리를 산출함을 특징으로 한다.
아래에서는 일 실시예에 따른 카메라 시스템의 거리 산출 동작에 대한 상세한 설명이 기재된다.
도 4는 일 실시예에 따른 카메라 시스템을 나타낸 블록도이고, 도 5는 일 실시예에 따른 카메라 시스템의 동작 방법을 나타낸 플로우 차트이며, 도 6은 일 실시예에 따른 카메라 시스템이 거리를 산출하는 과정에서 이용하는 서브 픽셀들에서의 수평 시차, 수직 시차 및 대각 시차 각각의 신뢰도를 설명하기 위한 도면이다.
도 4 내지 5를 참조하면, 일 실시예에 따른 카메라 시스템(400)은 이미지 센서(410) 및 거리 산출부(420)를 포함할 수 있다. 이 때, 카메라 시스템(400)은 설명된 구성요소들 이외에도 전술된 단일 광학계(210), 픽셀들(111, 112, 113, 114) 각각의 마이크로 렌즈(111-5) 아래 위치하는 컬러 필터(미도시) 등을 더 포함하도록 구성될 수 있다. 즉, 도면에 도시된 카메라 시스템(400)에는 설명의 편의를 위해 다른 구성요소들이 배제되어 있을 뿐이다.
이미지 센서(410)는 도 1에 도시된 바와 같이 복수의 픽셀들(111, 112, 113, 114)로 구성되는 적어도 하나의 픽셀 블록(110)을 포함할 수 있다. 복수의 픽셀들(111, 112, 113, 114) 각각은 OCL 구조가 적용된 픽셀로서, 픽셀의 마이크로 렌즈(111-5)를 공유하는 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4)로 구성될 수 있다.
거리 산출부(420)는 적어도 하나의 프로세서와 같은 구성요소로서, 후술되는 이미지 센서(100)와 피사체 사이의 거리를 산출하는 동작을 나타내는 프로그램, 코드 또는 명령을 수행할 수 있다.
이상 설명된 구조의 카메라 시스템(400)은 단계들(S510 내지 S520)을 포함하는 거리 산출 동작 방법을 수행하여 깊이 맵을 구성할 수 있다.
단계(S510)에서 복수의 픽셀들(111, 112, 113, 114) 중 어느 하나의 픽셀(111)에 포함되는 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4)은, 이미지들을 각각 획득할 수 있다. 예를 들어, 제1 서브 픽셀(111-1)이 제1 이미지를 획득하고, 제2 서브 픽셀(111-2)이 제2 이미지를 획득하며, 제3 서브 픽셀(111-3)이 제3 이미지를 획득하고, 제4 서브 픽셀(111-4)이 제4 이미지를 획득할 수 있다.
여기서, 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4)이 각각 이미지들을 획득하는 것은, 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4) 각각으로 광 신호가 입사됨에 응답하여 동시에 이루어질 수 있다. 이를 위하여, 이미지 센서(410)는, 픽셀(111) 내 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4) 각각에서의 신호 처리가 병렬로 처리되도록 구성될 수 있다.
이하, 거리 산출 동작 방법에서 이미지들을 각각 획득하는 서브 픽셀들(111-1, 111-2, 111-3, 111-4)을 포함하는 픽셀로 제1 픽셀(111)이 이용되는 것으로 설명되나, 이에 제한되거나 한정되지 않고 복수의 픽셀들(111, 112, 113, 114) 중 임의의 픽셀이 이용될 수 있다. 이처럼 거리 산출에 이용할 이미지들을 획득하는 서브 픽셀들(111-1, 111-2, 111-3, 111-4)이 포함되는 픽셀이 임의로 결정될 수 있기 때문에(예컨대, R 픽셀, G 픽셀 또는 B 픽셀 중 임의의 하나의 픽셀로 결정될 수 있음), 일 실시예에 따른 거리 산출 동작 방법은 특정 컬러 채널 및 패턴에 대한 의존성을 없앨 수 있다.
이에, 단계(S520)에서 거리 산출부(420)는, 단계(S510)에서 획득된 이미지들(어느 하나의 픽셀에 포함되는 복수의 서브 픽셀들(111-1, 111-2, 111-3, 111-4)이 각각 획득한 이미지들) 사이의 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차를 이용하여 이미지 센서(410)와 피사체 사이의 거리를 산출할 수 있다.
특히, 단계(S520)에서 거리 산출부(420)는, 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차에 가중치들이 각각 적용된 결과 값을 이용하여 거리를 산출함을 특징으로 한다.
예를 들어, 거리 산출부(420)는 픽셀(111) 내 수평 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-2)이 각각 획득하는 이미지들 사이의 수평 시차(dh1)(또는 서브 픽셀들(111-3, 111-4)이 각각 획득하는 이미지들 사이의 수평 시차(dh2))에 수평 시차 가중치(wh)를 적용하고, 픽셀(111) 내 수직 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-3)이 각각 획득하는 이미지들 사이의 수직 시차(Vertical disparity, dv1)(또는 서브 픽셀들(111-2, 111-4)이 각각 획득하는 이미지들 사이의 수직 시차(dv2))에 수직 시차 가중치(wv)를 적용하며, 픽셀(111) 내 대각 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-4)이 각각 획득하는 이미지들 사이의 대각 시차(Diagonal disparity, dd1)(또는 서브 픽셀들(111-2, 111-3)이 각각 획득하는 이미지들 사이의 대각 시차(dd2))에 대각 시차 가중치(wd)를 적용한 결과 값을 이용하여 거리를 산출할 수 있다.
더 구체적인 예를 들면, 거리 산출부(420)는 아래의 식 1과 같이 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차에 가중치들이 각각 적용된 산술합을 연산한 결과 값(df)을 이용하여 거리를 산출할 수 있다.
<식 1>
df=wh(dh1)+wv(dv1)+wd(dd1)
결과 값(df)의 시차를 이용하여 거리를 산출하는 계산 방식은, 기존의 시차 기반 거리 산출 계산 방식과 동일하므로 이에 대한 상세한 설명이 생략된다.
그러나 이에 제한되거나 한정되지 않고, 거리 산출부(420)는 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차에 가중치들이 각각 적용된 산술평균을 연산한 결과 값을 이용하여 거리를 산출할 수 있다.
이 때, 거리 산출부(420)가 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차에 가중치들이 각각 적용된 산술합을 연산한 결과 값을 이용하거나 산술평균을 연산한 결과 값을 이용하는 것은, 거리를 산출하기 위한 시차 요구 특성에 기초하여 선택적으로 이루어질 수 있다. 즉, 거리 산출부(420)는 거리를 산출하기 위한 시차 요구 특성에 기초하여 산술합 또는 산술평균을 선택적으로 연산하고 선택적으로 연산된 결과 값을 이용할 수 있다. 예컨대, 거리를 산출하기 위한 시차의 동적 범위(Dynamic range)를 증가시키고자 한다면, 거리 산출부(420)는 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차에 가중치들이 각각 적용된 산술합을 연산한 결과 값을 이용할 수 있다. 반면, 거리를 산출하기 위한 시차의 SNR(Signal-noise-ratio)을 감소시키고자 한다면, 거리 산출부(420)는 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차에 가중치들이 각각 적용된 산술평균을 연산한 결과 값을 이용할 수 있다.
다른 예를 들면, 거리 산출부(420)는 픽셀(111) 내 수평 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-2)이 각각 획득하는 이미지들 사이의 수평 시차(dh1) 및 서브 픽셀들(111-3, 111-4)이 각각 획득하는 이미지들 사이의 수평 시차(dh2) 각각에 수평 시차 가중치(wh)를 적용하고, 픽셀(111) 내 수직 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-3)이 각각 획득하는 이미지들 사이의 수직 시차(Vertical disparity, dv1) 및 서브 픽셀들(111-2, 111-4)이 각각 획득하는 이미지들 사이의 수직 시차(dv2) 각각에 수직 시차 가중치(wv)를 적용하며, 픽셀(111) 내 대각 방향으로 인접하여 위치하는 서브 픽셀들(111-1, 111-4)이 각각 획득하는 이미지들 사이의 대각 시차(Diagonal disparity, dd1) 및 서브 픽셀들(111-2, 111-3)이 각각 획득하는 이미지들 사이의 대각 시차(dd2) 각각에 대각 시차 가중치(wd)를 적용한 결과 값을 이용하여 거리를 산출할 수 있다.
더 구체적인 예를 들면, 거리 산출부(420)는 아래의 식 2와 같이 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차에 가중치들이 각각 적용된 산술합을 연산한 결과 값(df)을 이용하여 거리를 산출할 수 있다.
<식 2>
df=wh(dh1+dh2)+wv(dv1+dv2)+wd(dd1+dd2)
설명된 거리 산출부(420)의 거리 산출 동작에서 이용되는 가중치들(적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차에 각각 적용되는 가중치들; 수평 시차 가중치, 수직 시차 가중치 및 대각 시차 가중치)은, 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차 각각의 신뢰도에 기초하여 결정될 수 있다. 이와 관련하여 도 6을 참조하면, 수평 시차(dh1, dh2)의 신뢰도가 (a)의 그래프와 같이 낮고 수직 시차(dv1, dv2)의 신뢰도가 (b)의 그래프와 같이 높다면, 거리 산출부(420)는 수평 시차(dh1, dh2)의 가중치(wh)를 수직 시차(dv1, dv2)의 가중치(wv)보다 낮게 결정할 수 있다. 이에, 거리 산출부(420)는 신뢰도가 높은 시차의 가중치를 높게 결정하고 신뢰도가 낮은 시차의 가중치를 낮게 결정함으로써, 전술된 바와 같이 시차의 신뢰도를 반영하여 거리를 산출할 수 있어, 거리 산출 정확도를 개선할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 적어도 하나의 픽셀 블록-상기 적어도 하나의 픽셀 블록은 복수의 픽셀들로 구성되고, 복수의 픽셀들 각각은 복수의 서브 픽셀들로 구성됨-을 포함하는 이미지 센서; 및
    상기 복수의 픽셀들 중 어느 하나의 픽셀에 포함되는 상기 복수의 서브 픽셀들에서 각각 획득하는 이미지들 사이의 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 거리 산출부
    를 포함하는 카메라 시스템.
  2. 제1항에 있어서,
    상기 거리 산출부는,
    상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 가중치들이 각각 적용된 결과 값을 이용하여 상기 거리를 산출하는 것을 특징으로 하는 카메라 시스템.
  3. 제2항에 있어서,
    상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 각각 적용되는 상기 가중치들은,
    상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차 각각의 신뢰도에 기초하여 결정되는 것을 특징으로 하는 카메라 시스템.
  4. 제2항에 있어서,
    상기 거리 산출부는,
    상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술합 또는 산술평균을 연산한 결과 값을 이용하여 상기 거리를 산출하는 것을 특징으로 하는 카메라 시스템.
  5. 제4항에 있어서,
    상기 거리 산출부는,
    상기 거리를 산출하기 위한 시차 요구 특성에 기초하여, 상기 산술합 또는 상기 산술평균을 선택적으로 연산하고, 상기 선택적으로 연산된 결과 값을 이용하는 것을 특징으로 하는 카메라 시스템.
  6. 제5항에 있어서,
    상기 거리 산출부는,
    상기 거리를 산출하기 위한 시차의 동적 범위(Dynamic range)를 증가시키고자, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술합을 연산한 결과 값을 이용하는 것을 특징으로 하는 카메라 시스템.
  7. 제5항에 있어서,
    상기 거리 산출부는,
    상기 거리를 산출하기 위한 시차의 SNR(Signal-noise-ratio)을 감소시키고자, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술평균을 연산한 결과 값을 이용하는 것을 특징으로 하는 카메라 시스템.
  8. 제1항에 있어서,
    상기 복수의 픽셀들 각각에 포함되는 상기 복수의 서브 픽셀들은,
    상기 복수의 픽셀들 각각에 대응하는 마이크로 렌즈를 공유하는 것을 특징으로 하는 카메라 시스템.
  9. 적어도 하나의 픽셀 블록-상기 적어도 하나의 픽셀 블록은 복수의 픽셀들로 구성되고, 복수의 픽셀들 각각은 복수의 서브 픽셀들로 구성됨-을 포함하는 이미지 센서; 및 거리 산출부를 포함하는 카메라 시스템의 동작 방법에 있어서,
    상기 복수의 픽셀들 중 어느 하나의 픽셀에 포함되는 상기 복수의 서브 픽셀들에서, 이미지들을 각각 획득하는 단계; 및
    상기 거리 산출부에서, 상기 이미지들 사이의 적어도 하나의 수평 시차, 적어도 하나의 수직 시차 및 적어도 하나의 대각 시차를 이용하여 상기 이미지 센서와 피사체 사이의 거리를 산출하는 단계
    를 포함하는 카메라 시스템의 동작 방법.
  10. 제9항에 있어서,
    상기 산출하는 단계는,
    상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 가중치들이 각각 적용된 결과 값을 이용하여 상기 거리를 산출하는 단계인 것을 특징으로 하는 카메라 시스템의 동작 방법.
  11. 제10항에 있어서,
    상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 각각 적용되는 상기 가중치들은,
    상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차 각각의 신뢰도에 기초하여 결정되는 것을 특징으로 하는 카메라 시스템의 동작 방법.
  12. 제10항에 있어서,
    상기 산출하는 단계는,
    상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술합 또는 산술평균을 연산한 결과 값을 이용하여 상기 거리를 산출하는 단계
    를 포함하는 것을 특징으로 하는 카메라 시스템의 동작 방법.
  13. 제12항에 있어서,
    상기 산술합 또는 상기 산술평균을 연산한 결과 값을 이용하여 상기 거리를 산출하는 단계는,
    상기 거리를 산출하기 위한 시차 요구 특성에 기초하여, 상기 산술합 또는 상기 산술평균을 선택적으로 연산하고, 상기 선택적으로 연산된 결과 값을 이용하는 단계
    를 포함하는 것을 특징으로 하는 카메라 시스템의 동작 방법.
  14. 제13항에 있어서,
    상기 이용하는 단계는,
    상기 거리를 산출하기 위한 시차의 동적 범위(Dynamic range)를 증가시키고자, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술합을 연산한 결과 값을 이용하는 단계
    를 포함하는 것을 특징으로 하는 카메라 시스템의 동작 방법.
  15. 제13항에 있어서,
    상기 이용하는 단계는,
    상기 거리를 산출하기 위한 시차의 SNR(Signal-noise-ratio)을 감소시키고자, 상기 적어도 하나의 수평 시차, 상기 적어도 하나의 수직 시차 및 상기 적어도 하나의 대각 시차에 상기 가중치들이 각각 적용된 산술평균을 연산한 결과 값을 이용하는 단계
    를 포함하는 것을 특징으로 하는 카메라 시스템의 동작 방법.
KR1020210089588A 2021-07-08 2021-07-08 Ocl 기반의 카메라 시스템 및 그 동작 방법 KR20230009031A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210089588A KR20230009031A (ko) 2021-07-08 2021-07-08 Ocl 기반의 카메라 시스템 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210089588A KR20230009031A (ko) 2021-07-08 2021-07-08 Ocl 기반의 카메라 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20230009031A true KR20230009031A (ko) 2023-01-17

Family

ID=85111180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210089588A KR20230009031A (ko) 2021-07-08 2021-07-08 Ocl 기반의 카메라 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR20230009031A (ko)

Similar Documents

Publication Publication Date Title
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
KR102370062B1 (ko) 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US9497437B2 (en) Digital refocusing method
KR102415501B1 (ko) 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
IL266036A (en) Device and method for information on distance from sight
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
KR20200132838A (ko) 오브젝트의 3차원 이미지 생성 방법 및 시스템
KR20130061042A (ko) 부화소를 렌더링하는 영상 처리 장치 및 방법
KR102025012B1 (ko) 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
US9818199B2 (en) Method and apparatus for estimating depth of focused plenoptic data
CN110493586B (zh) 用于增加基线的摄像头系统
CN107077742B (zh) 一种图像处理装置和方法
JP2015106925A (ja) プレンオプティックカメラにより捕捉されたシーンのビューと関連する視差を推定する方法及び装置
KR102541363B1 (ko) 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치
KR20210029248A (ko) 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도
KR20160014260A (ko) 영상 렌더링 장치 및 방법
KR102148128B1 (ko) 상보적인 픽슬렛 구조가 적용된 카메라 시스템
KR20230009031A (ko) Ocl 기반의 카메라 시스템 및 그 동작 방법
KR102465492B1 (ko) 수평적 시차와 수직적 시차를 획득하기 위한 opa를 구비한 카메라 시스템
US10008030B2 (en) Method and apparatus for generating images
KR102382206B1 (ko) Opa가 적용된 카메라 시스템 및 그 동작 방법
US20210035317A1 (en) Efficient sub-pixel disparity estimation for all sub-aperture images from densely sampled light field cameras
JP6351364B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102476852B1 (ko) 영상 생성 방법 및 영상 생성 장치
KR102307594B1 (ko) 트리플 픽셀 기반 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application