KR101811637B1 - 선택적인 픽셀 비닝 장치 및 방법 - Google Patents

선택적인 픽셀 비닝 장치 및 방법 Download PDF

Info

Publication number
KR101811637B1
KR101811637B1 KR1020110041436A KR20110041436A KR101811637B1 KR 101811637 B1 KR101811637 B1 KR 101811637B1 KR 1020110041436 A KR1020110041436 A KR 1020110041436A KR 20110041436 A KR20110041436 A KR 20110041436A KR 101811637 B1 KR101811637 B1 KR 101811637B1
Authority
KR
South Korea
Prior art keywords
pixel
current pixel
binning
output level
neighboring pixels
Prior art date
Application number
KR1020110041436A
Other languages
English (en)
Other versions
KR20120123849A (ko
Inventor
김성진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110041436A priority Critical patent/KR101811637B1/ko
Priority to US13/267,322 priority patent/US8964057B2/en
Publication of KR20120123849A publication Critical patent/KR20120123849A/ko
Application granted granted Critical
Publication of KR101811637B1 publication Critical patent/KR101811637B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Abstract

선택적인 픽셀 비닝 장치 및 방법이 개시된다. 물체로부터 전달된 반사광으로부터 픽셀의 출력 레벨을 결정하고, 픽셀의 출력 레벨에 따라 선택적으로 픽셀을 비닝할 수 있다.

Description

선택적인 픽셀 비닝 장치 및 방법{APPARATUS AND METHOD FOR SELECTIVE BINNIG PIXEL}
본 발명의 일실시예들은 깊이 영상의 정밀도를 위해 선택적으로 픽셀을 비닝하는 장치 및 방법에 관한 것이다.
깊이 영상을 획득하는 센서는 물체에서 반사된 반사광을 수신한다. 깊이 영상을 획득하기 위해서는 센서를 구성하는 픽셀에 포함된 유동 확산 노드(float diffusion node)에 전달된 전자의 양을 측정할 필요가 있다. 그러면, 측정된 전자의 양을 이용하여 깊이 영상을 결정할 수 있다.
이 때, 픽셀의 크기가 작거나, 물체와 센서 간의 거리가 멀어서 반사광의 세기가 약한 경우에 깊이 영상이 어두워져서 깊이 영상의 정밀도가 떨어지는 문제가 있다. 따라서, 반사광의 세기가 약한 조건에서도 깊이 영상의 정밀도를 향상시키기 위한 방법이 필요하다.
본 발명의 일실시예에 따른 픽셀 비닝 장치는 센서를 구성하는 현재 픽셀의 출력 레벨을 결정하는 출력 레벨 결정부; 및 상기 현재 픽셀의 출력 레벨에 기초하여 현재 픽셀의 픽셀 비닝을 수행하는 픽셀 비닝부를 포함할 수 있다.
본 발명의 일실시예에 따른 픽셀 비닝 방법은 센서를 구성하는 현재 픽셀의 출력 레벨을 결정하는 단계; 및 상기 현재 픽셀의 출력 레벨에 기초하여 현재 픽셀의 픽셀 비닝을 수행하는 딘계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 픽셀의 출력 레벨이 미리 설정한 임계 레벨이 될 때까지 픽셀을 반복적으로 비닝함으로써 깊이 영상의 정확도가 향상될 수 있다.
본 발명의 일실시예에 의하면, 픽셀을 비닝할 때 컬러 정보를 통해 엣지로 판단된 픽셀을 제외함으로써 엣지 블러링이 방지될 수 있다.
도 1은 본 발명의 일실시예에 따른 픽셀 비닝 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따라 픽셀을 비닝한 결과를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따라 픽셀의 출력 레벨을 도시한 도면이다.
도 4는 본 발명의 제1 실시에에 따라 픽셀을 비닝하는 방법을 도시한 플로우차트이다.
도 5는 도 4의 방법에 따라 픽셀을 비닝하는 과정을 도시한 도면이다.
도 6은 본 발명의 제2 실시예에 따라 픽셀을 비닝하는 방법을 도시한 플로우차트이다.
도 7은 도 6의 방법에 따라 픽셀을 비닝하는 과정을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 픽셀 비닝 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 1을 참고하면, 픽셀 비닝 장치(103)는 출력 레벨 결정부(104) 및 픽셀 비닝부(105)를 포함할 수 있다.
출력 레벨 결정부(104)는 센서(102)를 구성하는 현재 픽셀의 출력 레벨을 결정할 수 있다. 여기서, 현재 픽셀은 센서(102)를 구성하는 복수의 픽셀들 중 깊이 영상을 추출하려는 픽셀을 의미한다. 이 때, 현재 픽셀의 출력 레벨은 물체(101)에서 반사된 반사광의 세기에 따라 결정된다. 반사광의 세기는 물체(101)의 반사도 또는 물체(101)와 센서(102) 간의 거리에 기초하여 결정될 수 있다. 현재 픽셀의 출력 레벨을 결정하는 과정에 대해서는 도 3에서 보다 구체적으로 설명하기로 한다.
깊이 영상을 획득하는 센서(102)의 정밀도는 현재 픽셀 내에서 반사된 적외선에 따라 생성된 전자의 개수에 따라 결정된다. 이 때, 센서(102)의 정밀도는 수학식 1에 따라 결정될 수 있다.
Figure 112011032452912-pat00001
여기서, k는 픽셀의 크기를 의미하고, N은 전자의 개수를 의미한다. 이 때, 픽셀의 크기를 증가시키는 것은 센서(102)의 제작 비용을 증가시키는 문제가 있기 때문에, 작은 크기의 픽셀을 이용하는 경우에도 센서(102)의 정밀도를 향상시키는 방법이 필요하다. 본 발명의 일실시예에 따르면, 센서(102)의 정밀도를 향상시키기 위해 픽셀 비닝을 수행하는 방법이 제안된다. 다만, 픽셀 비닝을 수행하는 것은 픽셀의 크기가 커지는 것을 의미하며 이로 인해 깊이 영상의 해상도가 감소할 수 있다. 그래서, 픽셀 비닝 장치(103)는 픽셀의 출력 레벨에 따라 선택적으로 픽셀 비닝을 수행함으로써 센서(102)의 정밀도를 향상시킴과 동시에 깊이 영상의 해상도가 저하되는 것을 방지할 수 있다.
픽셀 비닝부(105)는 현재 픽셀의 출력 레벨에 기초하여 현재 픽셀에 대해 픽셀 비닝을 수행할 수 있다. 여기서, 현재 픽셀에 대해 픽셀 비닝을 수행한다는 것은 현재 픽셀에 인접한 주변 픽셀들의 출력 레벨과 현재 픽셀의 출력 레벨을 합산하는 것을 의미한다. 결국, 픽셀 비닝을 수행한 경우 픽셀 비닝을 수행하지 않은 경우보다 출력 레벨이 높기 때문에, 픽셀 비닝으로 인해 센서(102)의 정밀도가 향상될 수 있다.
최초로, 현재 픽셀을 비닝할 때 시작점은 임의로 설정될 수 있다. 또한, 현재 픽셀에 인접한 주변 픽셀들은 현재 픽셀과 유사한 깊이 영상을 나타낼 확률이 높기 때문에, 픽셀 비닝부(105)는 현재 픽셀에 인접한 주변 픽셀을 현재 픽셀과 비닝할 수 있다. 그리고, 픽셀 비닝부(105)는 2*2, 3*3과 같이 정사각형 형태로 픽셀이 비닝되도록 현재 픽셀과 비닝할 주변 픽셀을 결정할 수 있다. 그러나, 픽셀 비닝부(105)는 경우에 따라 직사각형 형태로 픽셀이 비닝되도록 주변 픽셀을 결정할 수 있다.
현재 픽셀의 출력 레벨이 높을수록 현재 픽셀 내에 발생한 전자의 개수가 많다. 수학식 1에 따라 전자의 개수가 많을수록 센서의 정밀도는 높기 때문에 픽셀의 비닝이 불필요하다. 반대로, 현재 픽셀의 출력 레벨이 낮을수록 현재 픽셀 내에 발생한 전자의 개수가 적다. 그러면, 수학식 1에 따라 전자의 개수가 적을수록 센서의 정밀도가 낮기 때문에 깊이 영상을 획득하려는 현재 픽셀을 주변 픽셀과 비닝할 수 있다. 결국, 비닝될 픽셀들의 개수는 출력 레벨에 따라 결정될 수 있다.
일례로, 픽셀 비닝부(105)는 현재 픽셀과 주변 픽셀들이 비닝된 결과의 출력 레벨이 임계 레벨을 초과할 때까지 반복적으로 픽셀 비닝을 수행할 수 있다. 결국, 픽셀 비닝 장치(102)는 출력 레벨에 기초하여 선택적으로 픽셀 비닝을 수행함으로써 깊이 영상의 해상도가 저하되는 것을 방지할 수 있다.
앞서 설명한 내용들은 센서(102)가 깊이 영상만 추출할 수 있는 경우를 나타낸다. 만약, 센서(102)가 컬러 영상과 깊이 영상을 동시에 추출할 수 있는 경우, 픽셀 비닝 장치(103)는 컬러 영상을 이용하여 보다 정교한 픽셀 비닝을 수행할 수 있다.
또한, 픽셀 비닝부(105)는 컬러 정보로부터 도출된 물체(101)의 엣지를 고려하여 픽셀을 비닝할 수 있다. 이 때, 픽셀 비닝부(105)는 엣지와 무관한 현재 픽셀에 인접한 주변 픽셀들 중 엣지에 대응하는 주변 픽셀을 제외한 나머지 주변 픽셀들을 현재 픽셀과 비닝할 수 있다. 반대로, 픽셀 비닝부(105)는 엣지와 관련된 현재 픽셀에 인접한 주변 픽셀들 중 엣지에 무관한 주변 픽셀을 제외하고 상기 엣지와 관련된 주변 픽셀들을 현재 픽셀과 비닝할 수 있다.
픽셀 비닝 장치(103)는 엣지에 관련된 픽셀과 엣지에 무관한 픽셀을 서로 비닝하지 않음으로써 엣지 블러링이 발생하는 것을 방지할 수 있다. 결국, 픽셀 비닝 장치는 깊이 영상보다는 상대적으로 고해상도를 나타내는 컬러 정보에 기초하여 픽셀 비닝을 선택적으로 수행함으로써 깊이 영상의 해상도가 저하되는 것을 효과적으로 방지할 수 있다.
도 2는 본 발명의 일실시예에 따라 픽셀을 비닝한 결과를 도시한 도면이다.
센서(201)는 깊이 영상을 추출하는 현재 픽셀이 비닝되지 않는 상태를 나타내고, 센서(202)는 깊이 영상을 추출하는 현재 픽셀의 일부가 비닝된 결과를 나타낸다. 센서(202)에서 비닝된 픽셀들은 하나의 픽셀로 간주되어 이로부터 깊이 영상이 도출될 수 있다.
도 3은 본 발명의 일실시예에 따라 픽셀의 출력 레벨을 도시한 도면이다.
도 3을 참고하면, 픽셀 비닝 장치(103)는 물체에 광이 조사되고 일정 시간(integration time)이 경과한 후 물체의 반사광(reflected IR)에 따라 픽셀에 포함된 유동 확산 노드(FD)의 전압 변화를 이용하여 현재 픽셀의 출력 레벨을 결정할 수 있다. 이 때, 센서 내에서 현재 픽셀에 인접한 주변 픽셀들은 일반적인 경우 유사한 깊이를 가지므로 현재 픽셀과 유사한 출력 레벨을 나타낸다.
이 때, 현재 픽셀의 출력 레벨이 임계 레벨보다 낮은 경우, 픽셀 비닝 장치(103)는 현재 픽셀에 대해 픽셀 비닝을 수행하여 현재 픽셀과 주변 픽셀의 출력 레벨을 합산할 수 있다. 합산된 출력 레벨이 임계 레벨을 초과할 때까지 픽셀 비닝이 반복적으로 수행될 수 있다.
도 4는 본 발명의 제1 실시에에 따라 픽셀을 비닝하는 방법을 도시한 플로우차트이다.
단계(401)에서, 픽셀 비닝 장치는 센서를 구성하는 픽셀의 출력 레벨을 결정할 수 있다. 이 때, 픽셀 비닝 장치는 깊이 영상을 획득하려는 현재 픽셀의 출력 레벨을 결정할 수 있다.
단계(402)에서, 픽셀 비닝 장치는 현재 픽셀의 출력 레벨이 임계 레벨을 초과하였는 지 여부를 판단할 수 있다. 만약, 현재 픽셀의 출력 레벨이 임계 레벨을 초과하지 못한 경우, 단계(403)에서, 픽셀 비닝 장치는 현재 픽셀에 인접한 주변 픽셀을 현재 픽셀과 비닝할 수 있다. 그러면, 단계(402)에서 픽셀 비닝 장치는 현재 픽셀의 출력 레벨과 주변 픽셀의 출력 레벨의 합계가 임계 레벨을 초과하였는 지 여부를 판단할 수 있다. 단계(402)와 단계(403)는 비닝된 픽셀들의 출력 레벨의 합계가 임계 레벨이 초과할 때까지 반복된다.
만약, 현재 픽셀의 출력 레벨이 임계 레벨을 초과한 경우, 단계(404)에서 픽셀 비닝 장치는 영상의 깊이를 측정할 수 있다. 그런 후, 단계(404)에서, 픽셀 비닝 장치는 현재 픽셀이 센서의 마지막 픽셀인지 여부를 판단할 수 있다. 현재 픽셀이 마지막 픽셀인 경우, 전체 과정이 종료된다. 만약, 현재 픽셀이 마지막 픽셀이 아닌 경우, 단계(406)에서 현재 픽셀의 다음 픽셀을 처리할 수 있다. 픽셀 비닝 장치는 단계(401)로 되돌아가서 다음 픽셀의 출력 레벨을 결정할 수 있다.
도 5는 도 4의 방법에 따라 픽셀을 비닝하는 과정을 도시한 도면이다.
일례로, 단계(501)에서, 픽셀 비닝 장치는 깊이 영상을 추출하려는 현재 픽셀 A의 출력 레벨을 결정할 수 있다. 현재 픽셀 A는 센서에서 (0,0)에 위치한다. 이 때, 현재 픽셀 A의 출력 레벨이 임계 레벨을 초과하지 못한다고 가정한다.
그러면, 단계(502)에서, 픽셀 비닝 장치는 현재 픽셀 A의 주변 픽셀들을 픽셀 A와 비닝하여 현재 픽셀 B를 도출할 수 있다. 이 때, 현재 픽셀 B는 2*2의 정사각형 형태를 나타낸다. 실시예에 따라, 현재 픽셀 B는 직사각형 형태가 될 수도 있다. 현재 픽셀 B의 출력 레벨이 임계 레벨을 초과하는 지 여부를 판단하여, 추가적으로 픽셀 비닝을 수행할 지 여부를 결정할 수 있다.
현재 픽셀 B의 출력 레벨이 임계 레벨을 초과하지 못하는 경우, 단계(503)에서 픽셀 비닝 장치는 현재 픽셀 B에 인접한 주변 픽셀들을 현재 픽셀 B와 비닝하여 3*3의 정사각형 형태를 나타내는 현재 픽셀 C를 도출할 수 있다. 이 때, 현재 픽셀 C의 출력 레벨은 기준 레벨을 초과한다고 가정한다. 그러면, 단계(504)에서 픽셀 비닝 장치는 현재 픽셀 C의 다음에 위치한 현재 픽셀 D에 대해 깊이 영상을 추출하는 과정을 진행할 수 있다.
다른 일례로, 단계(505)에서, 픽셀 비닝 장치는 (0,0)에 위치한 현재 픽셀 A의 출력 레벨을 결정할 수 있다. 이 때, 현재 픽셀 A의 출력 레벨이 임계 레벨을 초과하는 경우, 픽셀 비닝을 수행하지 않고 (0,1)에 위치한 현재 픽셀 B의 깊이 영상을 추출한다.
그러면, 단계(506)에서, 픽셀 비닝 장치는 현재 픽셀 B의 출력 레벨을 결정할 수 있다. 이 때, 현재 픽셀 B의 출력 레벨이 임계 레벨을 초과하지 못한다고 가정한다.
단계(507)에서, 픽셀 비닝 장치는 현재 픽셀 B과 인접한 주변 픽셀들을 비닝하여 2*2 형태의 현재 픽셀 C를 추출할 수 있다. 그런 후, 픽셀 비닝 장치는 현재 픽셀 C의 출력 레벨이 임계 레벨을 초과하는 지 여부를 판단할 수 있다. 이 때, 현재 픽셀 C의 출력 레벨은 임계 레벨을 초과한 것으로 가정한다.
단계(508)에서, 픽셀 비닝 장치는 현재 픽셀 C의 다음 픽셀인 현재 픽셀 D의 출력 레벨을 결정할 수 있다. 그런 후, 픽셀 비닝 장치는 현재 픽셀 D의 출력 레벨과 임계 레벨을 비교하여 현재 픽셀 D에 대해 픽셀 비닝을 수행할 지 여부를 결정할 수 있다.
도 6은 본 발명의 제2 실시예에 따라 픽셀을 비닝하는 방법을 도시한 플로우차트이다.
단계(601)에서, 픽셀 비닝 장치는 센서를 구성하는 픽셀의 출력 레벨을 결정할 수 있다. 이 때, 픽셀 비닝 장치는 센서를 구성하는 픽셀들 전부의 출력 레벨을 결정하거나, 또는 깊이 영상을 획득하려는 현재 픽셀의 출력 레벨을 결정할 수 있다. 이하에서는, 픽셀 비닝 장치가 깊이 영상을 획득하려는 현재 픽셀의 출력 레벨을 결정한 것으로 가정한다.
단계(602)에서, 픽셀 비닝 장치는 현재 픽셀의 출력 레벨이 임계 레벨을 초과하였는 지 여부를 판단할 수 있다. 만약, 현재 픽셀의 출력 레벨이 임계 레벨을 초과하지 못한 경우, 단계(603)에서, 픽셀 비닝 장치는 컬러 정보를 이용하여 현재 픽셀에 인접한 주변 픽셀이 엣지에 대응하는 지 여부를 판단할 수 있다. 만약, 주변 픽셀이 엣지에 대응하지 않는 경우, 단계(604)에서, 픽셀 비닝 장치는 현재 픽셀과 주변 픽셀을 비닝할 수 있다. 즉, 픽셀 비닝 장치는 픽셀 비닝을 수행할 때 엣지에 대응하는 주변 픽셀과 엣지에 대응하지 않는 현재 픽셀을 비닝하지 않음으로써 엣지 블러링을 방지할 수 있다. 여기서, 엣지에 대응하는 주변 픽셀과 엣지에 대응하지 않는 현재 픽셀은 서로 다른 컬러를 가지는 것을 의미한다.
그러면, 단계(602)에서 픽셀 비닝 장치는 현재 픽셀의 출력 레벨과 주변 픽셀의 출력 레벨의 합계가 임계 레벨을 초과하였는 지 여부를 판단할 수 있다. 단계(602), 단계(603), 단계(604)는 픽셀의 출력 레벨이 임계 레벨이 초과할 때까지 반복된다.
만약, 현재 픽셀의 출력 레벨이 임계 레벨을 초과한 경우, 단계(605)에서 픽셀 비닝 장치는 현재 픽셀을 통해 영상의 깊이를 측정할 수 있다. 그런 후, 단계(606)에서, 픽셀 비닝 장치는 현재 픽셀이 센서를 구성하는 픽셀들 중 마지막 픽셀인지 여부를 판단할 수 있다. 현재 픽셀이 마지막 픽셀인 경우, 전체 과정이 종료된다. 만약, 현재 픽셀이 마지막 픽셀이 아닌 경우, 단계(607)에서 현재 픽셀의 다음 픽셀을 처리할 수 있다. 픽셀 비닝 장치는 단계(601)로 되돌아가서 다음 픽셀의 출력 레벨을 결정할 수 있다.
도 7은 도 6의 방법에 따라 픽셀을 비닝하는 과정을 도시한 도면이다.
일례로, 단계(701)에서, 픽셀 비닝 장치는 깊이 영상을 추출하려는 현재 픽셀 A의 출력 레벨을 결정할 수 있다. 현재 픽셀 A는 센서에서 (0,0)에 위치한다. 이 때, 현재 픽셀 A의 출력 레벨이 임계 레벨을 초과하지 못한다고 가정한다.
그러면, 단계(702)에서, 픽셀 비닝 장치는 현재 픽셀 A의 주변 픽셀들과 현재 픽셀 A를 비닝하여 현재 픽셀 B를 도출할 수 있다. 이 때, 현재 픽셀 B는 2*2의 정사각형 형태를 나타낸다. 실시예에 따라, 현재 픽셀 B는 직사각형 형태가 될 수도 있다. 픽셀 비닝 장치는 현재 픽셀 B의 출력 레벨이 임계 레벨을 초과하는 지 여부를 판단하여, 추가적으로 픽셀 비닝을 수행할 지 여부를 결정할 수 있다.
현재 픽셀 B의 출력 레벨이 임계 레벨을 초과하지 못하는 경우, 단계(703)에서 픽셀 비닝 장치는 현재 픽셀 B에 인접하는 주변 픽셀을 현재 픽셀 B와 비닝할 수 있다. 그러나, 단계(701)에서, X로 표시된 픽셀들이 현재 픽셀 B와 다른 컬러를 가지고 있기 때문에, 단계(703)에서 픽셀 비닝 장치는 현재 픽셀 B에 인접하는 주변 픽셀들 중 다른 컬러를 가진 픽셀들을 제외한 나머지 주변 픽셀을 현재 픽셀 B과 비닝하여 현재 픽셀 C를 도출할 수 있다.
그런 후, 픽셀 비닝 장치는 현재 픽셀 C의 출력 레벨이 임계 레벨을 초과하는 지 여부를 판단하여, 현재 픽셀 C에 추가적으로 픽셀 비닝을 수행할 지 여부를 결정할 수 있다. 이 때, 현재 픽셀 C의 출력 레벨이 임계 레벨을 초과하는 경우, 픽셀 비닝 장치는 추가적인 픽셀 비닝을 수행하지 않고 다음 픽셀에 대해 깊이 영상을 추출할 수 있다.
그러면, 단계(704)에서 픽셀 비닝 장치는 현재 픽셀 C의 다음 픽셀인 현재 픽셀 D의 출력 레벨을 결정하고, 임계 레벨과 비교하여 추가적으로 픽셀 비닝을 수행할 지 여부를 결정할 수 있다.
다른 일례로, 단계(705)에서, 픽셀 비닝 장치는 (0,0)에 위치한 현재 픽셀 A의 출력 레벨을 결정할 수 있다. 이 때, 현재 픽셀 A의 출력 레벨이 임계 레벨을 초과하는 경우, 주변 픽셀을 비닝하지 않고 (0,1)에 위치한 현재 픽셀 B의 깊이 영상을 추출한다.
그러면, 단계(706)에서, 픽셀 비닝 장치는 현재 픽셀 B의 출력 레벨을 결정할 수 있다. 이 때, 현재 픽셀 B의 출력 레벨이 임계 레벨을 초과하지 못한다고 가정한다.
단계(707)에서, 픽셀 비닝 장치는 현재 픽셀 B과 인접한 주변 픽셀들을 픽셀 B와 비닝하여 2*2 형태의 현재 픽셀 C를 추출할 수 있다. 이 때, 현재 픽셀 B와 현재 픽셀 B에 인접한 주변 픽셀들은 X로 표시된 컬러에 대응하여 유사한 특성을 나타내기 때문에, 서로 비닝이 되더라도 엣지 블러링이 발생되지 않을 수 있다. 그런 후, 픽셀 비닝 장치는 현재 픽셀 C의 출력 레벨이 임계 레벨을 초과하는 지 여부를 판단할 수 있다. 이 때, 현재 픽셀 C의 출력 레벨은 임계 레벨을 초과한 것으로 가정한다.
단계(708)에서, 픽셀 비닝 장치는 현재 픽셀 C의 다음 픽셀인 현재 픽셀 D의 출력 레벨을 결정할 수 있다. 그런 후, 픽셀 비닝 장치는 현재 픽셀 D의 출력 레벨과 임계 레벨을 비교하여 현재 픽셀 D에 대해 픽셀 비닝을 수행할 지 여부를 결정할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 물체
102: 센서
103: 픽셀 비닝 장치
104: 출력 레벨 결정부
105: 픽셀 비닝부

Claims (17)

  1. 센서를 구성하는 현재 픽셀의 출력 레벨을 결정하는 출력 레벨 결정부; 및
    상기 현재 픽셀의 출력 레벨이 미리 설정한 임계 레벨 미만인 경우, 현재 픽셀과 주변 픽셀들을 비닝한 결과의 출력 레벨이 상기 미리 설정한 임계 레벨을 초과할 때까지 상기 현재 픽셀에 인접한 주변 픽셀들을 상기 현재 픽셀과 반복적으로 비닝하는 픽셀 비닝부
    를 포함하는 픽셀 비닝 장치.
  2. 제1항에 있어서,
    상기 출력 레벨 결정부는,
    물체에 대한 반사광의 세기를 이용하여 현재 픽셀의 출력 레벨을 결정하는 것을 특징으로 하는 픽셀 비닝 장치.
  3. 제2항에 있어서,
    상기 반사광의 세기는,
    상기 물체의 반사도 또는 거리 중 적어도 하나에 기초하여 결정되는 것을 특징으로 하는 픽셀 비닝 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 픽셀 비닝부는,
    컬러 정보로부터 도출된 엣지를 고려하여 현재 픽셀에 대해 픽셀 비닝을 수행하는 것을 특징으로 하는 픽셀 비닝 장치.
  7. 제6항에 있어서,
    상기 픽셀 비닝부는,
    엣지와 무관한 현재 픽셀에 인접한 주변 픽셀들 중 엣지에 대응하는 주변 픽셀을 제외한 나머지 주변 픽셀들을 현재 픽셀과 비닝하는 것을 특징으로 하는 픽셀 비닝 장치.
  8. 제6항에 있어서,
    상기 픽셀 비닝부는,
    엣지와 관련된 현재 픽셀에 인접한 주변 픽셀들 중 엣지에 무관한 주변 픽셀을 제외하고 상기 엣지와 관련된 주변 픽셀들을 현재 픽셀과 비닝하는 것을 특징으로 하는 픽셀 비닝 장치.
  9. 센서 구성하는 현재 픽셀의 출력 레벨을 결정하는 단계;
    상기 현재 픽셀의 출력 레벨이 미리 설정한 임계 레벨 미만인 경우, 현재 픽셀과 주변 픽셀들을 비닝한 결과의 출력 레벨이 상기 미리 설정한 임계 레벨을 초과할 때까지 상기 현재 픽셀에 인접한 주변 픽셀들을 상기 현재 픽셀과 반복적으로 비닝하는 단계
    를 포함하는 픽셀 비닝 방법.
  10. 제9항에 있어서,
    상기 현재 픽셀의 출력 레벨을 결정하는 단계는,
    물체에 대한 반사광의 세기를 이용하여 현재 픽셀의 출력 레벨을 결정하는 것을 특징으로 하는 픽셀 비닝 방법.
  11. 제10항에 있어서,
    상기 반사광의 세기는,
    상기 물체의 반사도 또는 거리 중 적어도 하나에 기초하여 결정되는 것을 특징으로 하는 픽셀 비닝 방법.
  12. 삭제
  13. 삭제
  14. 제9항에 있어서,
    상기 픽셀 비닝을 수행하는 단계는,
    컬러 정보로부터 도출된 엣지를 고려하여 현재 픽셀에 대해 픽셀 비닝을 수행하는 것을 특징으로 하는 픽셀 비닝 방법.
  15. 제14항에 있어서,
    상기 픽셀 비닝을 수행하는 단계는,
    엣지와 무관한 현재 픽셀에 인접한 주변 픽셀들 중 엣지에 대응하는 주변 픽셀을 제외한 나머지 주변 픽셀들을 현재 픽셀과 비닝하는 것을 특징으로 하는 픽셀 비닝 방법.
  16. 제14항에 있어서,
    상기 픽셀 비닝을 수행하는 단계는,
    엣지와 관련된 현재 픽셀에 인접한 주변 픽셀들 중 엣지에 무관한 주변 픽셀을 제외하고 상기 엣지와 관련된 주변 픽셀들을 현재 픽셀과 비닝하는 것을 특징으로 하는 픽셀 비닝 방법.
  17. 제9항 내지 제11항 및 제14항 내지 제16항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020110041436A 2011-05-02 2011-05-02 선택적인 픽셀 비닝 장치 및 방법 KR101811637B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110041436A KR101811637B1 (ko) 2011-05-02 2011-05-02 선택적인 픽셀 비닝 장치 및 방법
US13/267,322 US8964057B2 (en) 2011-05-02 2011-10-06 Apparatus and method for selective pixel binning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110041436A KR101811637B1 (ko) 2011-05-02 2011-05-02 선택적인 픽셀 비닝 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120123849A KR20120123849A (ko) 2012-11-12
KR101811637B1 true KR101811637B1 (ko) 2017-12-26

Family

ID=47089997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110041436A KR101811637B1 (ko) 2011-05-02 2011-05-02 선택적인 픽셀 비닝 장치 및 방법

Country Status (2)

Country Link
US (1) US8964057B2 (ko)
KR (1) KR101811637B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
KR101985701B1 (ko) 2013-05-20 2019-06-04 에스케이하이닉스 주식회사 비닝 모드 시 전력 소모 감소를 위한 카운팅 장치 및 그 방법
KR102087225B1 (ko) * 2013-05-30 2020-03-11 에스케이하이닉스 주식회사 이미지 센싱 장치
US9883130B2 (en) 2015-03-09 2018-01-30 Rambus Inc. Image sensor with feedthrough-compensated charge-binned readout
DE102016220759A1 (de) * 2016-10-21 2018-04-26 Texmag Gmbh Vertriebsgesellschaft Verfahren und Vorrichtung zur Kompensation eines Materialbahnversatzes bei der Materialbahninspektion
US11350055B2 (en) * 2020-05-07 2022-05-31 Novatek Microelectronics Corp. Pixel binning method and related image readout circuit
WO2022051967A1 (en) * 2020-09-10 2022-03-17 Huawei Technologies Co., Ltd. Optical apparatus
US20230171515A1 (en) * 2021-12-01 2023-06-01 Samsung Electronics Co., Ltd. Image sensor with low noise and high resolution and operating method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190007A1 (en) * 2008-01-30 2009-07-30 Mesa Imaging Ag Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202894B2 (en) 2002-06-04 2007-04-10 Micron Technology, Inc. Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
US7492391B1 (en) * 2003-07-14 2009-02-17 Arecont Vision, Llc. Wide dynamic range network camera
KR100540732B1 (ko) 2004-02-02 2006-01-10 한양대학교 산학협력단 2차원 영상신호를 3차원 영상신호로 변환하는 장치
DE602005004125T2 (de) 2004-02-17 2008-12-18 Koninklijke Philips Electronics N.V. Erzeugen einer tiefenkarte
KR100714068B1 (ko) 2004-10-16 2007-05-02 한국전자통신연구원 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치
US8482618B2 (en) * 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
US7710458B2 (en) * 2005-06-17 2010-05-04 Casio Computer Co., Ltd. Image pick-up apparatus with a shake reducing function
KR20070103229A (ko) * 2006-04-18 2007-10-23 삼성전자주식회사 컬러 보간 방법 및 장치
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US20080024618A1 (en) * 2006-07-31 2008-01-31 Suk Hwan Lim Adaptive binning method and apparatus
JP4867552B2 (ja) * 2006-09-28 2012-02-01 株式会社ニコン 撮像装置
WO2009083854A2 (en) 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Segmentation of image data
US20110267495A1 (en) * 2010-04-29 2011-11-03 Lee Warren Atkinson Automatic Pixel Binning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190007A1 (en) * 2008-01-30 2009-07-30 Mesa Imaging Ag Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras

Also Published As

Publication number Publication date
US8964057B2 (en) 2015-02-24
KR20120123849A (ko) 2012-11-12
US20120281121A1 (en) 2012-11-08

Similar Documents

Publication Publication Date Title
KR101811637B1 (ko) 선택적인 픽셀 비닝 장치 및 방법
WO2015135395A1 (en) Image acquisition method and image acquisition apparatus
KR101368715B1 (ko) 화상 처리장치, 화상 처리방법 및 기억매체
EP2743636A1 (en) Three-dimensional shape measuring apparatus and control method thereof
CN109788205B (zh) 图像调整方法、装置及电子设备
US20160142587A1 (en) Information processing apparatus, information processing method, and medium
US8538191B2 (en) Image correction apparatus and method for eliminating lighting component
JP4764903B2 (ja) テキストマップの中からライン構造を検出する方法および画像処理装置
KR20170126148A (ko) 무인 항공기를 이용한 도로 균열 탐지 장치 및 방법
JP2017227606A (ja) 欠陥検出装置及び欠陥検出方法
JP4990876B2 (ja) 画像処理装置
JP6274876B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5780946B2 (ja) コンクリート構造物の品質評価方法及び品質評価装置
KR100942271B1 (ko) 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
JP4502001B2 (ja) 画像処理装置および画像処理方法
JP4516994B2 (ja) デジタル画像の背景色を決定するための方法およびシステム
JP2010074368A (ja) 画像処理装置、画像処理方法、およびプログラム
EP2541469A2 (en) Image recognition device, image recognition method and image recognition program
KR101553140B1 (ko) 영상 분할 기법을 이용한 안개 영상의 보상 방법
JP6311354B2 (ja) 情報処理装置、二値化用閾値の決定方法、及びプログラム
CN111630558B (zh) 一种图像处理、匹配方法、装置及存储介质
JP4447464B2 (ja) 皮膚紋様の画像中の関心のある領域の決定方法
JP4771087B2 (ja) 画像処理装置及び画像処理プログラム
JP2019056585A (ja) 線幅推定プログラム、装置、及び方法
JP6225432B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant