KR20160106220A - 광 필드 이미지 센서를 구비한 이미징 장치 - Google Patents

광 필드 이미지 센서를 구비한 이미징 장치 Download PDF

Info

Publication number
KR20160106220A
KR20160106220A KR1020167024195A KR20167024195A KR20160106220A KR 20160106220 A KR20160106220 A KR 20160106220A KR 1020167024195 A KR1020167024195 A KR 1020167024195A KR 20167024195 A KR20167024195 A KR 20167024195A KR 20160106220 A KR20160106220 A KR 20160106220A
Authority
KR
South Korea
Prior art keywords
focus
image
local
images
ipu
Prior art date
Application number
KR1020167024195A
Other languages
English (en)
Inventor
두안펭 헤
블라디미르 구어비치
데이비드 피. 고렌
농-치앙 판
Original Assignee
심볼 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 심볼 테크놀로지스, 엘엘씨 filed Critical 심볼 테크놀로지스, 엘엘씨
Publication of KR20160106220A publication Critical patent/KR20160106220A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10792—Special measures in relation to the object to be scanned
    • G06K7/10801—Multidistance reading
    • G06K7/10811—Focalisation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

이미징 판독기를 이용하여 타겟 물체를 이미징하는 방법이 개시된다. 이 방법은 (1) 이미지 센서를 이용하여 렌즈 배열을 통해 타겟 물체로부터 광을 검출하여 광 필드 데이터를 생성하는 단계; (2) 타겟 물체의 예상 인-포커스(in-focus) 이미지를 표현하는 이미지 데이터를 포함하는 이미지 데이터의 스트림을 생성하는 단계; 및 (3) 타겟 물체의 예상 인-포커스 이미지를 처리하여 타겟 물체 상의 바코드를 디코딩하는 단계를 포함한다. 이미지 센서는 감광 요소들의 어레이 및 마이크로렌즈의 포커스 평면에 위치하는 감광 요소들의 어레이를 오버레이하는 마이크로렌즈들의 어레이를 포함한다.

Description

광 필드 이미지 센서를 구비한 이미징 장치{IMAGING DEVICE HAVING LIGHT FIELD IMAGE SENSOR}
본 발명은 일반적으로 이미징 기반 바코드 센서에 관한 것이다.
바코드와 같은 광학 표시를 판독하기 위해 다양한 전기 광학 시스템들이 개발되어 왔다. 바코드는 다양한 폭의 일련의 바들 및 공간들로 구성되는 그래픽 표시의 코딩된 패턴이다. 바코드에서, 바들 및 공간들은 상이한 광 반사 특성들을 갖는다. 바코드들 중 일부는 패턴들의 행을 형성하기 위해 바들 및 공간들이 한 방향으로 이격되는 일차원 구조를 갖는다. 일차원 바코드들의 예는 소매점 판매에서 통상적으로 사용되는 균일 제품 코드(UPC)를 포함한다. 바코드들 중 일부는 단일 바코드를 형성하기 위해 바 및 공간 패턴들의 다수의 행이 수직으로 적층되는 이차원 구조를 포함한다. 이차원 바코드들의 예는 코드 49 및 PDF417을 포함한다.
바코드들을 판독 및 디코딩하기 위해 하나 이상의 반도체 이미저를 사용하는 시스템들은 통상적으로 이미징 기반 바코드 판독기, 이미징 스캐너 또는 이미징 판독기로서 지칭된다. 반도체 이미저(solid-state imager)는 일반적으로 하나 이상의 어레이 내에 정렬된 복수의 감광 요소 또는 픽셀을 포함한다. 반도체 이미저들의 예는 전하 결합 소자(CCD) 또는 상보형 금속 산화물 반도체(CMOS) 이미징 칩을 포함한다.
일 양태에서, 본 발명은 이미징 판독기를 이용하여 타겟 물체를 이미징하는 방법에 관련된다. 이 방법은 (1) 이미지 센서를 이용하여 렌즈 배열을 통해 타겟 물체로부터 광을 검출하여 광 필드 데이터를 생성하는 단계; (2) 타겟 물체의 예상 인-포커스(in-focus) 이미지를 표현하는 이미지 데이터를 포함하는 이미지 데이터의 스트림을 생성하는 단계; 및 (3) 타겟 물체의 예상 인-포커스 이미지를 처리하여 타겟 물체 상의 바코드를 디코딩하는 단계를 포함한다. 이미지 데이터의 스트림은 광 필드 데이터로부터 생성된다. 이미지 센서는 (1) 감광 요소들의 어레이 및 (2) 균일한 간격으로 감광 요소들의 어레이를 오버레이하는 마이크로렌즈들의 어레이를 포함하며, 마이크로렌즈는 마이크로렌즈의 포커스 평면에 각자 배치되고, 서브픽셀로서 기능하기 위해 마이크로렌즈를 통해 광을 각자 수신하는 다수의 감광 요소를 커버한다.
첨부 도면들은 아래의 상세한 설명과 함께 본 명세서에 포함되고, 그 일부를 형성하며, 청구 발명을 포함하는 개념들의 실시예들을 더 예시하고, 그러한 실시예들의 다양한 원리들 및 장점들을 설명하는 데 사용되며, 여러 도면 전반에서 동일한 참조 번호들은 동일하거나 기능적으로 유사한 요소들을 지칭한다.
도 1은 일부 실시예들에 따른 이미징 스캐너를 나타낸다.
도 2는 일부 실시예들에 따른 이미징 스캐너의 개략도이다.
도 3a-3b는 이미징 센서의 광축이 바코드의 표면에 수직이 아닌 것을 나타낸다.
도 4a-4c는 바코드가 곡면 상에 배치될 수 있는 것을 나타낸다.
도 5a-5b는 바코드의 한 부분이 제1 표면 상에 위치하고, 바코드의 다른 부분이 제2 표면 상에 위치할 수 있는 것을 나타낸다.
도 6은 일부 실시예들에 따른 광 필드 카메라의 개략도이다.
도 7은 일부 실시예들에 따른, 사용자 선택 포커스 평면을 갖는 인-포커스 이미지를 구성하기 위해 광 필드 데이터를 이용하기 위한 상이한 변수들 간의 관계를 나타낸다.
도 8은 일부 실시예들에 따른, 광 필드 카메라를 포함하는 이미징 스캐너의 개략도를 나타낸다.
도 9는 일부 실시예들에 따른, 사전 결정된 포커스 평면들 중 하나를 대응하는 포커스 평면으로 사용하여 한 세트의 이미지들 각각을 생성하는 데 사용될 수 있는 한 세트의 사전 결정된 포커스 평면들을 나타낸다.
도 10은 바코드가 시스템의 광축에 수직이 아닌 표면 상에 배치될 수 있는 것을 나타낸다.
도 11은 일부 실시예들에 따른, 소정의 진보된 알고리즘을 이용하여 광 필드 데이터로부터 생성되는 예상 인-포커스 이미지에서 표면 상의 모든 포인트들을 어떻게 포커스 내로 가져오는지를 설명하기 위한 개략도이다.
도 12는 일부 실시예들에 따른, 한 세트의 사전 결정된 포커스 평면들 각각이 시스템의 광축에 대해 경사지는 것을 나타낸다.
도 13a-13b는 일부 실시예들에 따른, 미지의 표면 상의 모든 포인트들 상에서 양호한 포커스를 갖는 구성된 이미지가 어떻게 광 필드 데이터로부터 구성되는지를 나타낸다.
도 14는 일부 실시예들에 따른, 캡처된 프레임에서 디포커스(defocus) 교정의 방향을 어떻게 측정하는지를 설명하기 위한 개략도이다.
도 15a-15c는 하위 개구를 통과하는 광이 사진 이미지들을 형성하기 위해 상이한 마이크로렌즈들을 통해 대응하는 픽셀들 상에 포커싱되는 것을 나타낸다.
도 16a-16d는 최적화된 합성 개구가 타겟 물체로부터 수신된 광의 강도에 기초하여 그리고 판독될 바코드의 타입에 기초하여 동적으로 변경될 수 있는 것을 나타낸다.
기술자들은 도면들 내의 요소들이 간명하게 도시되며, 반드시 축척으로 도시되지는 않는다는 것을 알 것이다. 예를 들어, 도면들 내의 일부 요소들의 치수들은 본 발명의 실시예들의 이해의 개선을 돕기 위해 다른 요소들에 비해 과장될 수 있다.
적절한 경우에, 장치 및 방법 컴포넌트들은 본 명세서에서의 설명의 이익을 갖는 이 분야의 통상의 기술자들에게 자명한 상세들에 의해 본 발명을 불명확하게 하지 않기 위해 본 발명의 실시예들의 이해와 관련된 특정 상세들만을 나타내는 도면들 내의 전통적인 심벌들에 의해 표현되었다.
도 1은 일부 실시예들에 따른 이미징 스캐너(50)를 나타낸다. 이미징 스캐너(50)는 윈도(56) 및 핸들을 갖는 하우징(58)을 구비한다. 이미징 스캐너(50)는 또한 카운터톱(countertop) 상에 그 자신을 지지하기 위한 베이스(52)를 구비한다. 이미징 스캐너(50)는 카운터톱 상에 배치될 때 핸즈프리 모드에서 정지 워크스테이션으로 사용될 수 있다. 이미지 스캐너(50)는 또한 카운터톱으로부터 픽업되어 조작자의 손 안에 파지될 때 핸드헬드 모드에서 사용될 수 있다. 핸즈프리 모드에서, 제품들은 슬라이딩되거나, 윈도(56)를 지나서 스와이핑되거나, 그에 제공될 수 있다. 핸드헬드 모드에서, 이미징 스캐너(50)는 제품 상의 바코드를 향해 이동될 수 있으며, 바코드의 이미징을 개시하기 위해 트리거(54)가 수동으로 눌러질 수 있다. 일부 구현들에서, 베이스(52)는 생략될 수 있으며, 하우징(58)은 다른 형상들을 가질 수도 있다. 도 1에서, 케이블이 또한 베이스(52)에 연결된다. 다른 구현들에서, 베이스(52)에 연결되는 케이블이 생략될 때, 이미징 스캐너(50)는 온-보드 배터리에 의해 급전될 수 있으며, 무선 링크를 통해 원격 호스트와 통신할 수 있다. 또 다른 구현들에서, 이미징 스캐너(50)는 스마트폰 또는 태블릿 컴퓨터와 같은 이동 컴퓨터의 일부일 수 있다.
도 2는 일부 실시예들에 따른 이미징 스캐너(50)의 개략도이다. 도 2의 이미징 스캐너(50)는 (1) 이미징 렌즈 배열(60) 뒤에 배치된 이미징 센서(62); (2) 조명 소스(72) 정면에 배치된 조명 렌즈 배열(70); (3) 조준 광원(82)의 정면에 배치된 조준 렌즈 배열(80); 및 (4) 제어기(90)를 포함한다. 도 2에서, 이미징 렌즈 배열(60), 조명 렌즈 배열(70) 및 조준 렌즈 배열(80)은 윈도(56) 뒤에 배치된다. 이미징 센서(62)는 이미징 스캐너 내의 인쇄 회로 보드(91) 상에 설치된다.
이미징 센서(62)는 CCD 또는 CMOS 이미징 장치일 수 있다. 이미징 센서(62)는 일반적으로 다수의 픽셀 요소를 포함한다. 이러한 다수의 픽셀 요소는 단일 행 내에 선형으로 배열된 감광 요소들의 일차원 어레이에 의해 형성될 수 있다. 이러한 다수의 픽셀 요소는 서로 직교하는 행들 및 열들 내에 배열된 감광 요소들의 이차원 어레이에 의해 형성될 수도 있다. 이미징 센서(62)는 윈도(56)를 통해 광 경로 또는 축(61)을 따라 이미징 렌즈 배열(60)에 의해 캡처된 광을 검출하도록 동작한다. 일반적으로, 이미징 센서(62) 및 이미징 렌즈 배열(60)은 이차원 시야(FOV)를 통한 픽셀 데이터로서 바코드(40)로부터 산란 또는 반사된 광을 캡처하기 위해 함께 동작하도록 설계된다.
바코드(40)는 일반적으로 가까운 작업 거리(WD1)와 먼 작업 거리(WD2) 사이의 작업 거리 범위 내의 어느 곳에나 배치될 수 있다. 하나의 특정 구현에서, WD1은 윈도(56)에 근접하며, WD2는 윈도(56)로부터 약 2 피트이다. 이미징 스캐너들 중 일부는 바코드(40)와 이미징 렌즈 배열(60) 간의 거리를 측정하기 위한 범위 발견 시스템을 포함할 수 있다. 이미징 스캐너들 중 일부는 바코드가 이 바코드의 측정된 거리에 기초하여 이미징 센서(62)에 의해 더 명확하게 이미징되는 것을 가능하게 하기 위한 오토 포커스 시스템을 포함할 수 있다. 오토 포커스 시스템의 일부 구현들에서, 이미징 렌즈 배열(60)의 포커스 길이는 바코드의 측정된 거리에 기초하여 조정된다. 오토 포커스 시스템의 일부 다른 구현들에서, 이미징 렌즈 배열(60)과 이미징 센서(62) 간의 거리는 바코드의 측정된 거리에 기초하여 조정된다.
도 2에서, 조명 렌즈 배열(70) 및 조명 소스(72)는 조명 기간 동안 바코드(40)를 향하는 조명 광을 생성하기 위해 함께 동작하도록 설계된다. 조명 소스(72)는 하나 이상의 발광 다이오드(LED)를 포함할 수 있다. 조명 소스(72)는 레이저 또는 다른 종류의 광원들도 포함할 수 있다. 조준 렌즈 배열(80) 및 조준 광원(82)은 바코드(40)를 향하는 가시 조준 광 패턴을 생성하기 위해 함께 동작하도록 설계된다. 조작자는 그러한 조준 패턴을 이용하여, 이미징 스캐너를 바코드에 정확히 조준할 수 있다. 조준 광원(82)은 하나 이상의 발광 다이오드(LED)를 포함할 수 있다. 조준 광원(82)은 레이저, LED 또는 다른 종류의 광원들도 포함할 수 있다.
도 2에서, 마이크로프로세서와 같은 제어기(90)는 이미징 센서(62), 조명 소스(72) 및 조준 광원(82)에 동작적으로 접속되어, 이들 컴포넌트의 동작을 제어한다. 제어기(90)는 이미징 센서 내의 다른 장치들을 제어하는 데에도 사용될 수 있다. 이미징 스캐너(50)는 데이터를 저장 및 검색하기 위해 제어기(90)에 의해 액세스될 수 있는 메모리(94)를 포함한다. 많은 실시예에서, 제어기(90)는 이미징 스캐너(50)의 시야(FOV) 내에 있는 하나 이상의 바코드를 디코딩하기 위한 디코더도 포함한다. 일부 구현들에서, 바코드(40)는 마이크로프로세서를 이용하여 바코드의 캡처된 이미지를 디지털 처리함으로써 디코딩될 수 있다.
동작에 있어서, 일부 실시예들에 따르면, 제어기(90)는 사전 결정된 조명 기간 동안 조명 소스(72)에 급전하기 위한 명령 신호를 전송한다. 이어서, 제어기(90)는 바코드(40)의 이미지를 캡처하도록 이미징 센서(62)를 노출시킨다. 바코드(40)의 캡처된 이미지는 픽셀 데이터로서 제어기(90)로 전송된다. 그러한 픽셀 데이터는 바코드를 디코딩하기 위해 제어기(90) 내의 디코더에 의해 디지털 처리된다. 이어서, 바코드(40)의 디코딩으로부터 획득된 정보가 메모리(94)에 저장되거나, 추가 처리를 위해 다른 장치들로 전송된다.
도 2에서, 바코드(40)는 이미징 센서(62)의 광축(61)에 수직인 표면 상에 위치한다. 이미징 렌즈 배열(60)이 적절히 조정될 때, 이미징 센서(62)의 포커스 평면을 바코드(40)의 표면에 상당히 가깝게 배치하고, 전체 바코드를 포커스 내로 가져오는 것이 가능하다. 일부 상황들에서, 도 3a에 도시된 바와 같이, 이미징 센서(62)의 광축(61)은 바코드의 표면(42)에 수직이 아니며; 이러한 상황들에서 전통적인 이미징 센서의 포커스 평면은 바코드의 표면(42)에 평행하지 않고, 표면(42)의 부분들은 이미징 센서(62)에 의해 이미징될 때 완전하게 포커싱되지는 못할 수 있다. 다른 예에서, 도 3b에 도시된 바와 같이, 실선 직사각형 형태의 패키지(45)가 바이옵틱 워크스테이션(50)을 가로질러 스캐닝되며, 패키지의 저면은 바이옵틱 워크스테이션(50)의 수평 윈도(56H)에 평행하다. 바이옵틱 워크스테이션(50) 내의 이미징 센서들의 광축은 일반적으로 수평 윈도(56H)에 수직이 아니므로, 이미징 센서들의 광축도 패키지(45)의 저면에 수직이 아니다. 도 3b에 도시된 바와 같은 상황에서, 바코드가 패키지(45)의 저면 상에 배치될 때, 이 바코드의 부분들은 바이옵틱 워크스테이션(50) 내의 이미징 센서들에 의해 이미징될 때 완전하게 포커싱되지는 못할 수 있다. 일반적으로, 바코드의 표면이 이미징 센서의 광축에 대해 경사진 경우에도 바코드의 모든 부분들을 포커스 내로 가져오는 것이 바람직하다.
도 4a-4c에 도시된 바와 같은 다른 상황들에서, 바코드(40)는 곡면(42) 상에 배치된다. 이러한 상황들에서, 바코드(40)의 부분들은 전통적인 이미징 센서를 사용하는 이미징 스캐너(50)에 의해 이미징될 때 완전하게 포커싱되지는 못할 수 있다. 도 5a-5b에 도시된 바와 같은 또 다른 상황들에서, 바코드(40)는 다수의 표면 상에 배치된다. 예를 들어, 발송 라벨이 패키지의 에지에 첨부되는 경우, 발송 라벨 상의 바코드(40)는 사실상 굽은 표면 상에 배치되며, 다수의 표면 상에 위치하는 것으로 보일 수 있다. 도 5a-5b에서, 바코드(40)의 한 부분은 표면(42A) 상에 위치하고, 바코드(40)의 다른 부분은 표면(42B) 상에 위치한다. 이 바코드(40)가 이미징 센서(50)에 의해 이미징될 때, 바코드(40)의 부분들은 완전하게 포커싱되지는 못할 수 있다. 일반적으로, 바코드가 곡면 상에 또는 굽은 표면 상에 배치될 경우에도 바코드의 모든 부분들을 포커스 내로 가져오는 것이 바람직하다.
본 명세서는 이미징 스캐너가 경사면 상의, 곡면 상의 또는 굽은 표면 상의 바코드 상에 포커싱하는 것을 가능하게 하기 위한 일부 방법들 및 장치들을 설명한다. 이러한 방법들 및 장치들은 광센서 상의 각각의 위치에 도달하는 지향성 조명 분포를 캡처할 수 있는 광 필드 카메라에 의존한다. 광 필드 카메라의 상세한 설명은 스탠포드 기술 보고서 CTSR 2005-02에서 발표된, "Light Field Photography with a Hand-held Plenoptic Camera"라는 제목으로 Ren Ng 등이 저술한 간행물에서 발견될 수 있다.
도 6은 일부 실시예들에 따른 광 필드 카메라의 개략도이다. 광 필드 카메라는 사진 메인 렌즈(60), 마이크로렌즈 어레이(64) 및 더 미세한 피치의 광센서 어레이(66)를 포함한다. 도 6은 이러한 컴포넌트들의 레이아웃을 도시한다. 메인 렌즈(60)는 마이크로렌즈 어레이(64)의 정면에 배치된다. 도 6에 도시된 바와 같이, 피사체(40)로부터의 광선들은 메인 렌즈(60) 및 마이크로렌즈 어레이(64)를 통과한 후에 그들의 방향들에 기초하여 분리되고, 마이크로렌즈 아래의 픽셀들의 어레이 상에 입사한다.
도 7은 광 필드 데이터를 이용하여 사용자 선택 포커스 평면(100P)을 갖는 인-포커스 이미지를 구성하기 위한 상이한 변수들 간의 관계를 나타낸다. 도 7에서, 사용자 선택 포커스 평면(100P)은 메인 렌즈(60)로부터 거리 z에 위치한다. 포커스 평면(100P) 상의 포인트 (x,y)는 위치 (x',y')에서 대응하는 이미징 평면(100I) 상에 포커싱된다. 이미징 평면(100I)에 구성된 인-포커스 이미지는 아래의 식에 의해 주어진다.
Figure pat00001
여기서, E(x',y')는 합성 필름 평면(100I) 상에 나타나는 조도 이미지 값이며, L(u,v,s,t)는 메인 렌즈 상의 포인트 (u,v) 및 마이크로렌즈 평면 상의 포인트 (s,t)를 통과하는 광의 강도를 측정하는 획득된 광 필드 데이터이다. 적분은 개구 A(u,v)로서 기능하는 메인 렌즈(60) 상의 모든 포인트 (u,v)에 걸치며, 메인 렌즈 상에 위치하지 않는 모든 포인트들 (u,v)에 대해 A(u,v)=0이다. 게다가, α는 포커스 길이 F와 관련하여 측정되는 바와 같은 메인 렌즈(60)와 합성 필름 평면(100I) 사이의 거리 z'이다(즉, z'=αF). 더구나, 렌즈 방정식 1/z + 1/z' = 1/F로 인해, α는 포커스 평면(100P)과 메인 렌즈(60) 사이의 거리 z와 직접 관련되는데, 즉 α = z/(z-F)이다.
상이한 포커스 평면들을 갖는 인-포커스 이미지가 광 필드 데이터로부터 구성될 수 있으므로, 광 필드 카메라를 포함하는 이미징 스캐너는 향상된 성능을 가질 수 있다. 도 8은 일부 실시예들에 따른 광 필드 카메라를 포함하는 이미징 스캐너(50)의 개략도를 나타낸다. 도 8에서, 이미징 스캐너(50)는 메인 이미징 렌즈(60), 이미징 센서(62), 이미지 처리 유닛(IPU)(200) 및 마이크로프로세서(90)를 포함한다. 이미지 처리 유닛(IPU)(200)은 이미지 센서에 동작적으로 접속되어, 이미지 센서(62)로부터 광 필드 데이터를 수신한다. IPU(200)는 타겟 물체의 예상 인-포커스 이미지를 표현하는 이미지 데이터를 포함하는 이미지 데이터의 스트림을 생성하도록 구성되며, 마이크로프로세서(90)는 IPU(200)에 동작적으로 접속되어, IPU로부터 수신되는 이미지 데이터의 스트림을 처리한다.
도 8에서, 광 필드 데이터를 생성하기 위한 이미지 센서(62)는 감광 요소들(66)의 어레이 및 균일한 간격으로 감광 요소들의 어레이를 오버레이하는 마이크로렌즈들(64)의 어레이를 포함할 수 있다. 주어진 마이크로렌즈는 일반적으로 다수의 감광 요소를 커버한다. 이러한 다수의 감광 요소 각각은 주어진 마이크로렌즈의 포커스 평면에 배치될 수 있으며, 이러한 다수의 감광 요소 각각은 동일한 주어진 마이크로렌즈를 통해 광을 수신한다.
일 실시예에서, IPU(200)는 한 세트의 사전 결정된 포커스 평면들을 선택하고, 광 필드 데이터로부터 타겟 물체의 한 세트의 이미지들을 생성하도록 구성된다. 한 세트의 이미지들 내의 각각의 이미지는 사전 결정된 포커스 평면들 중 하나를 대응하는 포커스 평면으로 사용하여 광 필드 데이터로부터 생성된다. 일례에서, 도 9에 도시된 바와 같이, 한 세트의 사전 결정된 포커스 평면들은 포커스 평면들(101P, 102P, 103P, 104P)을 포함한다. 도면에서, z1, z2, z3 및 z4는 각각 메인 렌즈(60)와 포커스 평면들(101P, 102P, 103P, 104P) 사이의 거리들이다. IPU(200)는 다음 식들, 즉 E1(x',y') = E(x',y'; α1), 여기서 α1 = z1/(z1 - F), E2(x',y') = E(x',y'; α2), 여기서 α2 = z2/(z2 - F), E3(x',y') = E(x',y'; α3), 여기서 α3 = z3/(z3 - F) 및 E4(x',y') = E(x',y'; α4), 여기서 α4 = z4/(z4 - F)에 의해 결정되는 바와 같이 광 필드 데이터로부터 타겟 물체의 한 세트의 이미지들을 생성하도록 구성된다.
일부 실시예들에서, IPU(200)는 한 세트의 이미지들로부터의 각각의 이미지를 표현하는 이미지 데이터를 포함하는 이미지 데이터의 스트림을 생성하도록 구성된다. 마이크로프로세서(90)는 바코드를 디코딩하기 위해 최상 포커스를 갖는 이미지를 찾으려고 시도할 수 있다. 대안으로서, 마이크로프로세서(90)는 단지 성공적인 디코딩까지 IPU(200)로부터 수신된 이미지들 각각에서 발견되는 바코드를 디코딩하려고 시도할 수 있다.
일부 다른 실시예들에서, IPU(200)는 광 필드 데이터로부터 생성된 이미지들의 세트로부터 하나의 이미지를 타겟 물체의 예상 인-포커스 이미지로서 선택하도록 구성된다. 마이크로프로세서(90)는 IPU(200)로부터 수신되는 이러한 예상 인-포커스 이미지에서 발견되는 바코드를 디코딩하는 것만이 필요하다. 이러한 예상 인-포커스 이미지를 발견하기 위해, IPU(200)는 먼저 광 필드 데이터로부터 생성된 이미지들의 세트, 즉 E1(x',y'), E2(x',y'), E3(x',y') 및 E4(x',y')로부터 이미지들의 선명도를 발견하며, 이어서 IPU(200)는 나머지들보다 양호한 선명도를 갖는 이미지를 예상 인-포커스 이미지로서 선택한다. 이러한 예상 인-포커스 이미지는 추가 처리를 위해 마이크로프로세서(90)로 전송될 수 있다.
일부 상황들에서, 도 10에 도시된 바와 같이, 바코드는 시스템의 광축에 수직이 아닌 표면(42) 상에 배치된다. 바코드의 일부 부분들은 선택된 포커스 평면이 광축에 수직인 경우에 완전하게 포커싱되지는 못할 수 있다. 예를 들어, 표면(42) 상의 포인트 P1은 포커스 평면(101P)이 예상 인-포커스 이미지를 구성하는 데 사용될 때 최상의 포커스를 갖고, 포인트 P2는 포커스 평면(102P)이 사용될 때 최상 포커스를 갖고, 포인트 P3은 포커스 평면(103P)이 사용될 때 최상 포커스를 가지며, 포인트 P4는 포커스 평면(104P)이 사용될 때 최상 포커스를 갖는다. 포인트 P1, P2, P3 및 P4 모두가 최상 포커스 내에 있는 인-포커스 이미지를 구성하는 것이 바람직하다.
도 11은 일부 실시예들에 따른, 소정의 진보된 알고리즘을 이용하여 광 필드 데이터로부터 생성되는 예상 인-포커스 이미지에서 표면(42) 상의 모든 포인트들을 어떻게 포커스 내로 가져오는지를 설명하기 위한 개략도이다. 도 11에서, 표면(42)은 표면 방정식 z = h(x,y)에 의해 기술된다. 표면(42) 상의 포인트 P(x,y)로부터의 광은 메인 렌즈(60)를 통과한 후에 대응하는 이미징 포인트 P'(x',y') 상에 포커싱된다. 표면(42) 상의 포인트 P(x,y)와 대응하는 이미징 포인트 P'(x',y') 간의 관계는 공지된 기하 광학 방정식들에 기초하여 결정될 수 있다. 그러한 관계는 아래와 같이 형식적으로 표현될 수 있다.
Figure pat00002
여기서, 함수 X(x',y') 및 Y(x',y')의 정확한 형태는 이 분야의 기술자들에 의해 쉽게 발견될 수 있다. 광축의 방향을 따르는 메인 렌즈(60)와 대응하는 이미징 포인트 P'(x',y') 간의 간격은 포커스 길이 F와 관련하여 측정되는 바와 같은 α(x',y')이다. 그리고 이러한 간격은 표면 방정식 z = h(x,y)를 이용하여 결정될 수 있고, 아래의 식에 의해 주어진다.
Figure pat00003
표면(42) 상의 모든 포인트들을 포커스 내로 가져올 수 있는 예상 인-포커스 이미지는 아래의 식들에 의해 결정될 수 있다.
Figure pat00004
여기서, α(x',y')는 아래의 식에 의해 결정된다.
Figure pat00005
일 실시예에서, 도 10에 도시된 바와 같이, 바코드는 광축에 대해 경사각 θ로 기울어진 표면(42) 상에 위치한다. 표면(42)은 표면 방정식 z = h(x,y) = d - zcosθ에 의해 기술되며, 여기서 d는 광축에서 표면 포인트로부터 메인 렌즈(60)까지의 거리이다. 광축을 따르는 메인 렌즈(60)와 대응하는 이미징 포인트 P'(x',y') 간의 간격은 경사각 θ 및 변수 d의 함수인데, 즉
Figure pat00006
이다.
포커스 표면 z = d - xcosθ에 대응하는 구성된 인-포커스 이미지
Figure pat00007
는 아래의 식에 의해 주어진다.
Figure pat00008
도 8에 도시된 바와 같은 일 실시예에서, IPU(200)는 한 세트의 사전 결정된 포커스 평면들을 선택하고, 광 필드 데이터로부터 타겟 물체의 한 세트의 이미지들을 생성하도록 구성된다. 이미지들의 세트 내의 각각의 이미지는 사전 결정된 포커스 평면들 중 하나를 대응하는 포커스 평면으로 사용하여 광 필드 데이터로부터 생성된다. 일 실시예에서, 도 12에 도시된 바와 같이, 한 세트의 사전 결정된 포커스 평면들은 포커스 평면들(101P, 102P, 103P, 104P)을 포함한다. 각각의 포커스 평면은 광축에 대해 일정한 경사각 θ로 경사진다. IPU(200)는 광 필드 데이터로부터 타겟 물체의 한 세트의 이미지들을 생성하도록 구성되며, 한 세트의 이미지들은 구성된 인-포커스 이미지
Figure pat00009
및
Figure pat00010
를 포함한다. 도 12에서, 표면(42) 상의 모든 포인트들은 포커스 평면(102P)을 이용하여, 구성된 인-포커스 이미지
Figure pat00011
에서 포커스 내로 가져올 수 있다.
일반적으로, 표면(42)의 배향이 알려질 때, 표면(42)과 동일한 배향을 각자 갖는 한 세트의 사전 결정된 포커스 평면들이 선택될 수 있다. 이러한 사전 결정된 포커스 평면들을 포커스 평면으로 사용하여 광 필드 데이터로부터 한 세트의 이미지들이 구성되는 경우, 표면(42) 상의 모든 포인트들을 포커스 내로 가져오는 구성된 이미지 중 하나를 찾는 것이 가능하다. 표면(42)의 배향은 다수의 방법에 의해 독립적으로 결정될 수 있다. 일례에서, 표면(42)의 배향은 표면 상에 투영되는 그리드 패턴을 이용하여 결정될 수 있다. 다른 예에서, 문서가 수평 테이블 위에 배치될 때, 표면(42)의 배향은 핸드헬드 스캐너의 배향이 핸드헬드 스캐너 내의 경도 측정기들로부터 알려지는 경우에 결정될 수 있다. 경사진 평면 상의 모든 포인트들 상에 포커싱할 수 있는 이미징 스캐너는 문서 캡처 및 OCR 응용들에 매우 유용할 수 있다.
이전의 가르침들은, 광 필드 데이터를 이용할 경우에, 평면(42)의 배향이 알려지면, 평면(42) 상의 모든 포인트들을 포커스 내로 가져오는 것이 가능하고, 곡면(42)이 결정되고, 공지된 방정식에 의해 기술될 수 있다면, 곡면(42) 상의 모든 포인트들을 포커스 내로 가져오는 것이 가능하다고 설명한다. 많은 일반 상황에서, 도 4b-4c에 도시된 바와 같이, 곡면(42)은 쉽게 결정될 수 없는데, 이는 곡면(42)의 배향 또는 이미징 스캐너까지의 그의 거리가 매우 임의적일 수 있기 때문이다. 이러한 상황들에서, 특히 OCR이 곡면 내의 프린트들에 대해 수행되어야 하는 경우에, 곡면(42) 상의 모든 포인트들에 대해 양호한 포커스를 갖는 구성된 이미지를 갖는 것이 또한 바람직하다.
도 13a-13b는 일부 실시예들에 따른, 미지의 표면 상의 모든 포인트들에 대해 양호한 포커스를 갖는 구성된 이미지를 광 필드 데이터로부터 어떻게 구성하는지를 나타낸다. 도 13a에서, 다수의 로컬 인-포커스 이미지가 광 필드 데이터로부터 생성되며, 이러한 다수의 로컬 인-포커스 이미지는 함께 결합되어 타겟 물체의 예상 인-포커스 이미지를 형성한다. 도 13b에 도시된 바와 같이, 도 13a의 이미징 영역 Ai 내에 위치하는 이미징 포인트 P'(x',y') 근처에 위치하는 선택된 로컬 인-포커스 이미지를 생성하기 위해, IPU 또는 범용 마이크로프로세서는 먼저 표면 포인트 Pi(x,y) 근처의 상이한 대응하는 로컬 포커스 평면 101P(i), 102P(i), 103P(i) 및 104P(i)를 갖는 한 세트의 로컬 이미지들의 선명도를 발견할 수 있으며, 각각의 로컬 이미지는 본질적으로 타겟 물체 상의 동일 영역을 커버한다. 이어서, IPU 또는 범용 마이크로프로세서는 로컬 이미지들의 세트로부터 하나의 로컬 이미지를 선택된 로컬 인-포커스 이미지로 선택할 수 있으며, 선택된 로컬 인-포커스 이미지는 로컬 이미지들의 세트 중의 다른 이미지들보다 양호한 선명도를 갖는다. 도 13b에서, 로컬 포커스 평면 103P(i)를 갖는 로컬 이미지가 최상의 선명도를 가지며, 선택된 로컬 인-포커스 이미지로서 선택된다. 유사하게, 도 13b에 도시된 바와 같이, 표면 포인트 Pj(x,y) 근처의 상이한 대응하는 로컬 포커스 평면 101P(j), 102P(j), 103P(j) 및 104P(j)를 갖는 한 세트의 로컬 이미지들의 선명도를 발견한 후에, 최상의 선명도를 갖는 로컬 포커스 평면 102P(j)을 갖는 로컬 이미지가 도 13a의 이미징 영역 Aj에 대응하는 선택된 로컬 인-포커스 이미지로서 선택된다.
선명도의 발견은 다양한 방법으로 행해질 수 있다. 예를 들어, 한 가지 방법은 단순히 픽셀들의 평균 제곱근(RMS) 값을 찾는 것이며, RMS 값이 클수록 이미지는 더 선명한 것으로 간주된다. 다른 예로서, 픽셀 값들의 표준 편차를 이용하여 선명도를 측정할 수 있으며, 또한 표준 편차가 클수록 이미지는 더 선명하다. 따라서, 로컬 영역에 대해, 도출된 모든 이미지들이 동일한 선명도를 갖는 경우(예를 들어, 로컬 영역이 콘트라스트를 갖지 않는 경우), 로컬 이미지들 중 아무거나 취할 수 있다. 로컬 이미지 또는 그의 일부는 결과 이미지로서 전송된다. 이것이 행해지면, 데이터를 저장하는 데 사용되는 저장 장치의 일부가 자유롭게 되어, IFC로부터 획득되는 새로운 데이터를 저장할 수 있다. 따라서, IPU는 완전한 이미지, 즉 경사면 상의, 곡면 상의 또는 굽은 표면 상의 바코드와 관련된 데이터를 저장하기 위한 메모리를 가질 필요가 없다.
미지의 표면 상의 모든 포인트들에서 양호한 포커스를 갖는 구성된 이미지가 IPU 및 범용 마이크로프로세서를 이용하여 광 필드 데이터로부터 구성될 수 있지만, IPU를 이용하여 광 필드 데이터를 처리하는 것은 소정의 장점들을 가질 수 있다. 일부 상황들에서, 광 필드 카메라("LFC")는 바코드 스캐너들의 응용에 직접 적용되지 못할 수 있는데, 이는 (a) 획득된 데이터의 양이 훨씬 더 많고 - 통상적으로 10배 이상 -; (b) 많은 양의 데이터의 전송에 더 많은 시간이 걸려서 디코더의 응답성을 저하시키고; (c) 데이터의 양이 더 많은 저장을 필요로 하여, 불필요하게 비용을 증가시킬 수 있고; (d) 데이터의 리포커싱도 CPU 능력 및 시간을 필요로 하고; (e) 디코딩 소프트웨어의 이미지 처리 능력이 LFC에 의해 이용될 수 있는 복잡한 광 필드 데이터에 직접 적용되지 못할 수 있기 때문이다. 따라서, LFC는 비교적 더 느린 CPU(비용 및 전력 소비로 인함), 더 제한된 메모리 양을 갖는 경향이 있고 통상적인 디지털 카메라들보다 빠르게 응답해야 하는 이미징 바코드 스캐너들의 많은 기존 설계에 적합하지 않을 수 있다.
이미지 처리 유닛(IPU)은 LFC로부터 데이터를 취하고 처리하여, 인-포커스 정식 이미지를 생성할 수 있으며, 결과 이미지만을 스캐너의 메인 마이크로프로세서로 전송한다. 마이크로프로세서는 인-포커스 정식 이미지만을 획득하므로, 마이크로프로세서에서 실행되는 소프트웨어는 변경될 필요가 없다. IPU는 LFC로부터 데이터를 취하며, 데이터 소수의 라인들을 버퍼링한다. 데이터 버퍼가 사전 결정된 정도로 채워질 때 데이터의 처리를 개시한다. 데이터 처리는 상이한 포커스 위치를 각각 표현하는 한 세트의 로컬 이미지들을 생성하고, 이들을 비교하여 최상의 선명도를 갖는 이미지를 찾는 것으로 구성된다.
IPU는 스캐너의 메인 마이크로프로세서를 이용하여 직접 LFC로부터 데이터를 처리하는 방법과 관련된 많은 문제점의 완화를 돕는다. CPU로 전송되는 데이터의 양이 감소한다. IPU는 마이크로프로세서에 대한 데이터 전송 레이트보다 높은 LFC에 대한 데이터 전송 레이트를 이용할 수 있다. 마이크로프로세서는 추가 작업을 수행하지 않는다. 또한, 소프트웨어가 변경될 필요가 없다. IPU가 데이터 버퍼를 채우기 위한 약간의 지연 외에, IPU는 데이터를 실시간으로 처리한다.
타겟 물체의 예상 인-포커스 이미지를 발견하기 위한 프로세스를 고속화하기 위해 IPU를 사용하는 것에 더하여, 타겟 물체의 예상 인-포커스 이미지를 빠르게 발견하기 위한 다른 방법들을 찾는 것도 바람직하다. 도 14는 일부 실시예들에 따른, 캡처된 프레임에서의 디포커스 교정의 방향을 어떻게 측정하는지를 나타내기 위한 개략도이다. 도 14에서, 메인 렌즈(60)는 바코드(2)를 갖는 타겟을 마이크로렌즈 어레이(64) 상에 이미징한다. 각각의 마이크로 렌즈 뒤에는 2D 어레이의 3x3 서브픽셀들이 존재한다(전통적인 카메라에서는 각각의 마이크로렌즈 뒤에 하나의 픽셀이 존재한다). 도 14에서, 바코드는 3개의 가능한 켤레 평면, 즉 켤레 평면(2), 켤레 평면(2N) 및 켤레 평면(2F) 중 하나에 위치할 수 있는 것으로 가정한다. 여기서, 켤레 평면(2N)은 켤레 평면(2)보다 이미징 센서(62)에 더 가깝고, 켤레 평면(2F)은 더 멀다. 도 14에서, 바의 에지는 광축 상에 위치하며, 따라서 중앙 마이크로렌즈 상에 이미징된다(전반적인 설명은 에지가 임의의 다른 마이크로렌즈에 이미징되는 경우와 동일할 것이다). 베이스 렌즈(60)의 이미징 특성으로 인해, 중앙 마이크로렌즈 아래의 마이크로렌즈들은 위의 마이크로렌즈들보다 적은 광을 수신할 것이다. 바코드가 평면(2)에 있을 때, 바 에지 상의 모든 포인트들은 광을 하위 개구들(A, B, C)을 향해 동일하게 확산시키며, 따라서 서브픽셀들(4a, 4b, 4c)의 동일 신호들을 생성한다. 바코드가 평면(2N)에 위치할 때, 서브픽셀(4a)은 4c보다 적은 광을 수신할 것이다. 따라서, 마이크로렌즈들 간의 흑백 전이(합산된 서브픽셀들)는 서브픽셀 사이와 동일한 방향을 가질 것이다. 바코드가 평면(2F)에 위치하는 경우, 마이크로렌즈들과 서브픽셀들 간의 흑백 전이는 반대 방향을 갖는다는 것을 알 수 있다. 따라서, 마이크로렌즈들과 서브픽셀들 간의 흑백 전이의 방향을 비교하여, 시스템은 바코드가 켤레 평면(2)에 위치하는지 또는 더 가깝거나 더 먼지를 자동으로 결정한다. 서브픽셀 신호의 차이에 기초하여, 필요한 디지털 리포커스의 방향뿐만 아니라 크기도 결정될 수 있다.
캡처 이미지에서의 디포커스 교정은 서브픽셀 신호들 간의 분포에 의해 결정되는 렌즈(60)의 상이한 하위 개구들로부터 각각의 마이크로렌즈로 오는 광의 강도에 대한 정보에 기초하여 달성될 수 있다. 이어서, 광선 추적을 이용하여, 물리적으로 배치되는 것보다 베이스 렌즈로부터 더 가깝거나 멀리 배치된 마이크로렌즈 어레이에 대응하는 이미지를 합성할 수 있다. 디포커스의 공지된 방향에 기초하여, 바코드의 디코딩을 가능하게 하는 취해진 단일 프레임으로부터 더 선명한 바코드 이미지가 빠르게 재구성될 수 있다. 일부 실시예들에서, 광 필드 이미징 센서는 양호한 디지털 이미지 리포커싱을 달성하기 위해 각각의 마이크로렌즈 뒤에 10x10 서브픽셀들을 가질 수 있다. 일부 다른 실시예들에서, 광 필드 이미징 센서는 적절히 양호한 디지털 이미지 리포커싱을 달성하기 위해 각각의 마이크로렌즈 뒤에 3x3 서브픽셀들을 가질 수 있다. 3개의 켤레 평면 중 하나를 바람직한 포커스 평면으로 선택하기 위한 전술한 방법은 2d 이미저들 및 선형 이미저들 모두에 적용될 수 있다. 더구나, 일부 실시예들에서, 마이크로렌즈들 간의 흑백 전이는 바코드의 에지를 이미징함으로써 제공된다. 다른 실시예들에서, 흑백 전이는 타겟 상에 그리드 광 패턴 또는 형상 강도 전이들을 갖는 다른 광 패턴들을 투영함으로써 제공될 수 있다. 빠른 바코드 판독을 위해, 전술한 디포커스 교정 방법을 이용하면, 2-3개의 포커스 위치를 통해 순환하거나 디지털 포커스 보상의 부호 및 양을 자동으로 선택함으로써 이미저 펌웨어 중 일부의 디지털 포커싱을 행하는 것이 가능하다.
빠른 바코드 판독을 제공하기 위한 다른 방법은 타겟 물체로부터 수신되는 광의 강도에 기초하여 최적화된 합성 개구를 동적으로 결정하고, 최적화된 합성 개구를 이용하여 광 필드 데이터로부터 타겟 물체의 예상 인-포커스 이미지를 구성하는 것이다.
하나의 특정 구현에서, 도 14에 도시된 바와 같이, 메인 렌즈(60)는 바코드(2)를 가진 타겟을 마이크로렌즈 어레이(64) 상에 이미징한다. 각각의 마이크로렌즈 뒤에는 2D 어레이의 3x3 서브픽셀들이 존재한다(전통적인 카메라에서는 각각의 마이크로렌즈 뒤에 하나의 픽셀이 존재한다). 각각의 마이크로렌즈는 메인 렌즈(60)의 개구를 광센서 어레이(66) 상에 이미징하며, 따라서 3x3 서브픽셀들 각각은 렌즈(60)의 대응하는 하위 개구로부터 광을 수신한다. 따라서, 중앙 마이크로렌즈 뒤의 3개의 도시된 서브픽셀은 메인 렌즈의 하위 개구들(A, B, C)로부터 광을 수신한다. 높은 주변 광 조건에서 또는 확장된 필드 깊이가 필요할 때는, 전체 렌즈 개구의 1/3인 메인 렌즈의 중앙 하위 개구(B)로부터만 광을 수신하는 중앙 서브픽셀들(4b)로부터만 이미지가 구성될 수 있다. (실제로, 모두가 증가된 포커스 깊이를 갖는 다른 서브픽셀들을 선택함으로써 동일 프레임으로부터 8개의 다른 이미지가 구성될 수 있으며, 이러한 이미지들의 합산은 이미지 SNR을 증가시킬 수 있다). 낮은 주변 광 조건에서 또는 작은 중앙 개구의 회절 한계를 극복하기 위해, 각각의 마이크로렌즈 뒤의 모든 서브픽셀의 합산에 의해 이미지가 형성될 수 있다.
도 15a는 픽셀을 통과하는 모든 광이 그의 부모 마이크로렌즈를 통해 그리고 메인 렌즈 상의 그의 켤레 정사각형(하위 개구)을 통해 전달되는 것을 나타낸다. 도 15b는 하위 개구를 통과하는 모든 광선이 상이한 마이크로렌즈들 아래의 대응하는 픽셀들을 통해 포커싱되는 것을 나타낸다. 이러한 픽셀들은 도 15c에 도시된 바와 같이 이러한 하위 개구 60S(m,n)을 통해 보여지는 사진을 형성하며, 여기서 인덱스 m 및 n은 메인 렌즈(60) 상의 상이한 하위 개구들을 라벨링하기 위한 정수 값들을 취할 수 있다.
도 16a-16d는 최적화된 합성 개구가 타겟 물체로부터 수신되는 광의 강도에 기초하여 그리고 판독될 바코드의 타입에 기초하여 동적으로 변경될 수 있다는 것을 나타낸다. 도 16a에서, 바코드가 충분한 양의 조명을 수신할 때 포커스의 깊이를 최적화하기 위해 중앙 하위 개구 60S(0,0)이 선택된다. 도 16b에서, 광센서 어레이(66) 상에 입사하는 광의 양을 최대화하기 위해, 메인 렌즈(60)를 커버하는 모든 하위 개구들이 선택된다. 도 16c에서, 포커스의 깊이와 광센서 어레이(66)에 의해 수신되는 광의 양 사이에 소정의 절충을 행하기 위해 9개의 중앙 하위 개구가 선택된다. 9개의 중앙 하위 개구는 하위 개구 60S(1,-1), 60S(1,0), 60S(1,1), 60S(0,-1), 60S(0,0), 60S(0,1), 60S(-1,-1), 60S(-1,0) 및 60S(-1,1)이다. 도 16d에서, 선형 바코드를 이미징하기 위해 그리고 포커스의 깊이와 광센서 어레이(66)에 의해 수신되는 광의 양 사이에 소정의 절충을 행하기 위해 3개의 하위 개구가 선택된다. 3개의 하위 개구는 하위 개구 60S(0,-1), 60S(0,0) 및 60S(0,1)이다. 최적화된 합성 개구를 이용하여 광 필드 데이터로부터 타겟 물체의 예상 인-포커스 이미지를 구성하는 것은 몇 가지 장점을 갖는다. 타겟 물체의 예상 인-포커스 이미지를 구성하는 이러한 프로세스는 비교적 빠를 수 있는데, 그 이유는 구성 프로세스가 일반적으로 광센서 어레이(66) 내의 일부 선택된 광센서들에 의해 검출되는 광 강도의 합산을 포함하기 때문이다. 그러한 합산은 단지 단순한 합산 또는 가중 합산을 포함할 수 있다.
위의 명세서에서는 특정 실시예들이 설명되었다. 그러나, 이 분야의 통상의 기술자는 아래의 청구항들에서 설명되는 바와 같은 본 발명의 범위로부터 벗어나지 않고서 다양한 수정들 및 변경들이 이루어질 수 있다는 것을 안다. 따라서, 명세서 및 도면들은 한정이 아니라 예시적인 것으로 간주되어야 하며, 모든 그러한 수정들은 본 가르침들의 범위 내에 포함되는 것을 의도한다.
이익들, 장점들, 문제들에 대한 솔루션들, 및 임의의 이익, 장점 또는 솔루션이 발생하거나 더 현저해지게 할 수 있는 임의의 요소(들)는 임의의 또는 모든 청구항들의 중요한, 필요한 또는 본질적인 특징들 또는 요소들로서 해석되지 않아야 한다. 본 발명은 본원의 계류 중에 행해지는 임의의 보정들을 포함하는 첨부된 청구항들 및 허여되는 바와 같은 청구항들의 모든 균등물들에 의해서만 정의된다.
더욱이, 본 명세서에서, 제1 및 제2, 상부 및 하부 등과 같은 관계 용어들은 엔티티들 또는 액션들 사이의 어떠한 실제의 그러한 관계를 반드시 요구하거나 암시하지는 않고서 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션과 구별하기 위해서만 사용될 수 있다. 용어 "포함한다", "포함하는", "갖는다", "갖는" 또는 이들의 임의의 다른 변형은 비배타적인 포함을 커버하는 것을 의도하며, 따라서 요소들의 리스트를 포함하고, 갖는 프로세스 방법, 물건 또는 장치는 그러한 요소들만을 포함하는 것이 아니라, 명시적으로 나열되지 않은 또는 그러한 프로세스, 방법, 물건 또는 장치에 고유한 다른 요소들을 포함할 수 있다. "~을 포함한다", "~을 갖는다"에 선행하는 요소는, 추가적인 제약이 없다면, 그 요소를 포함하는, 갖는 프로세스, 방법, 물건 또는 장치 내의 추가적인 동일 요소들의 존재를 배제하지 않는다. 용어 "하나"는 본 명세서에서 명확히 달리 언급되지 않는 한은 하나 이상으로서 정의된다. 용어 "실질적으로", "본질적으로", "대략", "약" 또는 이들의 임의의 다른 버전은 이 분야의 통상의 기술자에 의해 이해되는 바에 가까운 것으로 정의되며, 하나의 비한정적인 실시예에서 이 용어는 10% 내에, 다른 실시예에서는 5% 내에, 다른 실시예에서는 1% 내에, 다른 실시예에서는 0.5% 내에 있는 것으로 정의된다. 본 명세서에서 사용되는 바와 같은 용어 "결합"은 반드시 직접은 아니고 반드시 기계적은 아니지만 접속되는 것으로 정의된다. 소정의 방식으로 "구성"되는 장치 또는 구조는 적어도 그러한 방식으로 구성되지만, 나열되지 않은 방식들로도 구성될 수 있다.
일부 실시예들은 마이크로프로세서, 디지털 신호 프로세서, 맞춤형 프로세서 및 필드 프로그래머블 게이트 어레이(FPGA)와 같은 하나 이상의 범용 또는 특수 프로세서들(또는 "처리 장치들") 및 소정의 비프로세서 회로들과 연계하여 본 명세서에서 설명되는 방법 및/또는 장치의 기능들 중 일부, 대부분 또는 전부를 구현하도록 하나 이상의 프로세서를 제어하는 고유한 저장된 프로그램 명령어들(소프트웨어 및 하드웨어 양자를 포함함)을 포함할 수 있다는 것을 알 것이다. 대안으로서, 일부 또는 모든 기능들은 저장된 프로그램 명령어들을 갖지 않는 상태 기계에 의해 또는 각각의 기능 또는 소정 기능들의 일부 조합들이 맞춤 논리로서 구현되는 하나 이상의 주문형 집적 회로(ASIC)에서 구현될 수 있다. 물론, 두 가지 접근법의 결합이 사용될 수 있다.
더욱이, 일 실시예는 본 명세서에서 설명되고 청구되는 바와 같은 방법을 수행하도록 컴퓨터(예로서, 프로세서를 포함함)를 프로그래밍하기 위한 컴퓨터 판독 가능 코드를 저장한 컴퓨터 판독 가능 저장 매체로서 구현될 수 있다. 그러한 컴퓨터 판독 가능 저장 매체들의 예는 하드 디스크, CD-ROM, 광학 저장 장치, 자기 저장 장치, ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory) 및 플래시 메모리를 포함하지만 이에 한정되지 않는다. 또한, 통상의 기술자는 예를 들어 이용 가능 시간, 현재의 기술 및 경제적 사정에 의해 유발되는 아마도 상당한 노력 및 많은 설계 선택에도 불구하고 본 명세서에서 개시되는 개념들 및 원리들에 의해 안내될 때 최소한의 실험에 의해 그러한 소프트웨어 명령어들 및 프로그램들 및 IC들을 쉽게 생성할 수 있을 것으로 예상된다.
요약서는 독자로 하여금 기술 명세서의 특성을 빠르게 확인하는 것을 가능하게 하기 위해 제공된다. 요약서는 청구항들의 범위 또는 의미를 해석하거나 한정하는 데 사용되지 않을 것이라는 이해와 함께 제출된다. 게다가, 위의 상세한 설명에서, 개시를 간소화하는 목적을 위해 다양한 실시예들에서 다양한 특징들이 함께 그룹화된다는 것을 알 수 있다. 이러한 개시 방법은 청구되는 실시예들이 각각의 청구항 내에 명확히 기재된 것보다 많은 특징을 필요로 한다는 의도를 반영하는 것으로 해석되지 않아야 한다. 오히려, 아래의 청구항들이 보여주듯이, 본 발명의 실체는 단일의 개시되는 실시예의 모든 특징들보다 적은 특징 내에 존재한다. 따라서, 아래의 청구항들은 상세한 설명 내에 포함되며, 각각의 청구항은 개별적으로 청구되는 발명으로서 독립한다.

Claims (3)

  1. 타겟 물체를 향하는 조명을 제공하기 위한 조명 소스;
    광 필드 데이터를 생성하기 위한 이미지 센서 - 상기 이미지 센서는 (1) 감광 요소들의 어레이 및 (2) 균일한 간격으로 감광 요소들의 상기 어레이를 오버레이하는 마이크로렌즈들의 어레이를 포함하며, 마이크로렌즈는 서브픽셀로서 기능하기 위해 상기 마이크로렌즈를 통해 광을 각자 수신하는 다수의 감광 요소를 커버함 -;
    상기 이미지 센서로부터 상기 광 필드 데이터를 수신하기 위해 상기 이미지 센서에 동작적으로 접속되는 이미지 처리 유닛(IPU) - 상기 IPU는 상기 타겟 물체의 예상 인-포커스 이미지를 표현하는 이미지 데이터를 포함하는 이미지 데이터의 스트림을 생성하도록 동작하고, 상기 이미지 데이터의 스트림은 디지털 신호 프로세싱 알고리즘을 사용하여 상기 광 필드 데이터로부터 상기 IPU에 의해 생성됨 -; 및
    상기 IPU로부터 수신되는 이미지 데이터의 상기 스트림을 처리하기 위해 상기 IPU에 동작적으로 접속되는 제어기를 포함하고,
    상기 IPU는
    상기 광 필드 데이터로부터 다수의 로컬 인-포커스 이미지를 구축하고;
    상기 다수의 로컬 인-포커스 이미지를 함께 결합하여 상기 타겟 물체의 상기 예상 인-포커스 이미지를 형성하도록 구성되는 장치.
  2. 제1항에 있어서,
    상기 다수의 로컬 인-포커스 이미지는 상기 광 필드 데이터로부터 구축되는 둘 이상의 로컬 인-포커스 이미지를 포함하고,
    선택된 로컬 인-포커스 이미지를 구성하는 것은
    상이한 대응하는 로컬 포커스 평면들을 갖고, 상기 타겟 물체 상의 본질적으로 동일한 영역을 커버하는 각각의 로컬 이미지를 갖는 로컬 이미지들의 세트의 선명도를 발견하고(finding);
    로컬 이미지들의 상기 세트로부터의 하나의 로컬 이미지를 상기 선택된 로컬 인-포커스 이미지로서 선택하는 것을 포함하고, 상기 선택된 로컬 인-포커스 이미지는 로컬 이미지들의 상기 세트로부터의 다른 이미지들보다 양호한 선명도를 갖는 장치.
  3. 제2항에 있어서,
    상기 IPU는
    상기 선택된 로컬 인-포커스 이미지를 상기 제어기로 전송하고;
    상기 선택된 로컬 인-포커스 이미지의 상기 전송 후에, 상기 선택된 로컬 인-포커스 이미지를 계산하는 데 사용된 메모리를 재사용하여 또다른 로컬 인-포커스 이미지를 계산하도록 구성되는 장치.
KR1020167024195A 2011-12-22 2012-12-14 광 필드 이미지 센서를 구비한 이미징 장치 KR20160106220A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/334,428 2011-12-22
US13/334,428 US8602308B2 (en) 2011-12-22 2011-12-22 Imaging device having light field sensor
PCT/US2012/069658 WO2013096104A1 (en) 2011-12-22 2012-12-14 Imaging device having light field image sensor

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147020019A Division KR20140106711A (ko) 2011-12-22 2012-12-14 광 필드 이미지 센서를 구비한 이미징 장치

Publications (1)

Publication Number Publication Date
KR20160106220A true KR20160106220A (ko) 2016-09-09

Family

ID=47501477

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167024195A KR20160106220A (ko) 2011-12-22 2012-12-14 광 필드 이미지 센서를 구비한 이미징 장치
KR1020147020019A KR20140106711A (ko) 2011-12-22 2012-12-14 광 필드 이미지 센서를 구비한 이미징 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147020019A KR20140106711A (ko) 2011-12-22 2012-12-14 광 필드 이미지 센서를 구비한 이미징 장치

Country Status (7)

Country Link
US (2) US8602308B2 (ko)
EP (1) EP2795532A1 (ko)
JP (1) JP2015507795A (ko)
KR (2) KR20160106220A (ko)
CN (1) CN104137117B (ko)
CA (1) CA2859783C (ko)
WO (1) WO2013096104A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8602308B2 (en) * 2011-12-22 2013-12-10 Symbol Technologies, Inc. Imaging device having light field sensor
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US8628014B1 (en) * 2012-05-15 2014-01-14 John M. Hoffer, Jr. Light field instruction symbol identifier and method of use
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US8978984B2 (en) 2013-02-28 2015-03-17 Hand Held Products, Inc. Indicia reading terminals and methods for decoding decodable indicia employing light field imaging
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
JP6513697B2 (ja) * 2014-03-13 2019-05-15 ナショナル ユニバーシティ オブ シンガポール 光干渉デバイス
JP6291582B2 (ja) * 2014-08-06 2018-03-14 ローランドディー．ジー．株式会社 光学シンボルの読み取り装置および読み取り方法
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
EP3026884A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Plenoptic camera comprising a light emitting device
US9693038B2 (en) * 2015-04-21 2017-06-27 Hand Held Products, Inc. Systems and methods for imaging
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
EP3106912A1 (en) * 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
US20160377414A1 (en) * 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
TWI548273B (zh) * 2015-11-24 2016-09-01 Metal Ind Res & Dev Ct Light field acquisition device
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP6866646B2 (ja) * 2017-01-16 2021-04-28 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11153483B2 (en) 2018-08-24 2021-10-19 Bossa Nova Robotics Ip, Inc. Shelf-viewing camera with multiple focus depths
US10732380B2 (en) * 2018-12-21 2020-08-04 Zebra Technologies Corporation Swipe scanning for variable focus imaging systems
JP2021015519A (ja) * 2019-07-12 2021-02-12 東芝テック株式会社 読取装置及びプログラム
JP7334535B2 (ja) * 2019-08-20 2023-08-29 セイコーエプソン株式会社 印刷装置
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11334730B2 (en) * 2020-01-28 2022-05-17 Zebra Technologies Corporation Methods and apparatus to image objects using docked handheld imagers
US11536655B1 (en) * 2020-02-18 2022-12-27 Path AI, Inc. Imaging systems with angled sensors and related methods
JP2021146534A (ja) 2020-03-17 2021-09-27 セイコーエプソン株式会社 印刷装置
US11983598B2 (en) * 2021-10-11 2024-05-14 Zebra Technologies Corporation Methods and apparatus for scanning swiped barcodes

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5298366A (en) * 1990-10-09 1994-03-29 Brother Kogyo Kabushiki Kaisha Method for producing a microlens array
JP2791536B2 (ja) * 1993-09-08 1998-08-27 松下電器産業株式会社 バーコードリーダ
US6307243B1 (en) * 1999-07-19 2001-10-23 Micron Technology, Inc. Microlens array with improved fill factor
US6773142B2 (en) * 2002-01-07 2004-08-10 Coherent, Inc. Apparatus for projecting a line of light from a diode-laser array
US6638786B2 (en) * 2002-10-25 2003-10-28 Hua Wei Semiconductor (Shanghai ) Co., Ltd. Image sensor having large micro-lenses at the peripheral regions
US7090135B2 (en) * 2003-07-07 2006-08-15 Symbol Technologies, Inc. Imaging arrangement and barcode imager for imaging an optical code or target at a plurality of focal planes
US7205526B2 (en) * 2003-12-22 2007-04-17 Micron Technology, Inc. Methods of fabricating layered lens structures
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
US7281662B2 (en) * 2004-12-30 2007-10-16 Symbol Technologies, Inc. Methods and apparatus for information capture illumination
FR2894035A1 (fr) * 2005-11-30 2007-06-01 St Microelectronics Rousset Imageur cmos comprenant une matrice de microlentilles ayant un taux de remplissage eleve
JP2008198017A (ja) * 2007-02-14 2008-08-28 Denso Wave Inc 撮像装置及び光学情報読取装置
JP4995002B2 (ja) * 2007-08-21 2012-08-08 株式会社リコー 撮像装置、合焦装置、撮像方法および合焦方法
US7646551B2 (en) * 2007-12-05 2010-01-12 Aptina Imaging Corporation Microlenses with patterned holes to produce a desired focus location
US20090160975A1 (en) 2007-12-19 2009-06-25 Ncr Corporation Methods and Apparatus for Improved Image Processing to Provide Retroactive Image Focusing and Improved Depth of Field in Retail Imaging Systems
JP5130178B2 (ja) * 2008-03-17 2013-01-30 株式会社リコー 焦点距離検出装置及び撮像装置及び撮像方法及びカメラ
ATE551841T1 (de) * 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
US8602308B2 (en) * 2011-12-22 2013-12-10 Symbol Technologies, Inc. Imaging device having light field sensor

Also Published As

Publication number Publication date
US8602308B2 (en) 2013-12-10
EP2795532A1 (en) 2014-10-29
JP2015507795A (ja) 2015-03-12
KR20140106711A (ko) 2014-09-03
WO2013096104A1 (en) 2013-06-27
US20130161399A1 (en) 2013-06-27
CA2859783C (en) 2016-11-08
US20140097252A1 (en) 2014-04-10
US8973826B2 (en) 2015-03-10
CA2859783A1 (en) 2013-06-27
CN104137117B (zh) 2017-05-10
CN104137117A (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
US8973826B2 (en) Imaging device having light field image sensor
US9235741B2 (en) Indicia reading terminals and methods employing light field imaging
US7040538B2 (en) Bar code reader including linear sensor array and hybrid camera and bar code reader
EP2996065B1 (en) Variable depth of field barcode scanner
US11574137B2 (en) Handheld ID-reading system with integrated illumination assembly
US9800749B1 (en) Arrangement for, and method of, expeditiously adjusting reading parameters of an imaging reader based on target distance
US20130161392A1 (en) Aiming method for rolling shutter image sensors
US9646188B1 (en) Imaging module and reader for, and method of, expeditiously setting imaging parameters of an imager based on the imaging parameters previously set for a default imager
US8757494B2 (en) Illumination system in imaging scanner
US20090302116A1 (en) Semi-zoom imaging optical system
US8534559B2 (en) Imaging slot scanner with multiple field of view
US8348168B2 (en) Focus adjustment with liquid crystal device in imaging scanner
US8752767B2 (en) Illumination system with prism for use in imaging scanner
CN114818757A (zh) 确定目标距离和基于目标距离调整成像读取器的读取参数的布置和方法
US11853845B2 (en) Machine vision system and method with multi-aperture optics assembly
US8342410B2 (en) Method and apparatus for increasing brightness of aiming pattern in imaging scanner
CN106462723B (zh) 使用智能线性选择列表解码条形码
US9213880B2 (en) Method of optimizing focus plane position of imaging scanner
US9004363B2 (en) Diffuser engine for barcode imaging scanner
EP2151121A2 (en) Image reading system

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application