KR102614215B1 - 레이저 라인을 사용하는 멀티-카메라 이미징 시스템 - Google Patents

레이저 라인을 사용하는 멀티-카메라 이미징 시스템 Download PDF

Info

Publication number
KR102614215B1
KR102614215B1 KR1020217033048A KR20217033048A KR102614215B1 KR 102614215 B1 KR102614215 B1 KR 102614215B1 KR 1020217033048 A KR1020217033048 A KR 1020217033048A KR 20217033048 A KR20217033048 A KR 20217033048A KR 102614215 B1 KR102614215 B1 KR 102614215B1
Authority
KR
South Korea
Prior art keywords
image
support
height
laser line
laser
Prior art date
Application number
KR1020217033048A
Other languages
English (en)
Other versions
KR20210142005A (ko
Inventor
프랑시스 필루드
파블로 안톨리네즈
올리비에 포레
Original Assignee
봅스트 맥스 에스에이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 봅스트 맥스 에스에이 filed Critical 봅스트 맥스 에스에이
Publication of KR20210142005A publication Critical patent/KR20210142005A/ko
Application granted granted Critical
Publication of KR102614215B1 publication Critical patent/KR102614215B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S3/00Lasers, i.e. devices using stimulated emission of electromagnetic radiation in the infrared, visible or ultraviolet wave range
    • H01S3/005Optical devices external to the laser cavity, specially adapted for lasers, e.g. for homogenisation of the beam or for manipulating laser pulses, e.g. pulse shaping
    • H01S3/0071Beam steering, e.g. whereby a mirror outside the cavity is present to change the beam direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Plasma & Fusion (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 종래 카메라들과 단일 레이저 라인을 사용하여 컨버팅 머신 또는 프레스의 출력에서 품질 제어를 수행하는 이미징 시스템에 관한 것이다. 시스템은 인쇄된 시트들의 폭에 걸쳐 분산된 수 개의 카메라들을 사용한다. 레이저 라인 덕분에, 시트들이 완벽하게 평탄하지 않을 때 또는 다양한 높이에서도 인쇄물의 완전한 이미지를 복원하여, 기하학적 왜곡뿐만 아니라 측광 왜곡을 보상할 수 있다. 결국 종래 카메라들의 사용이 비용 효율적인 시스템이 된다.

Description

레이저 라인을 사용하는 멀티-카메라 이미징 시스템
본 발명은 종이 또는 판지 시트와 같은 재료의 시트 또는 웹을 이송하는 머신에서 품질 제어 시스템을 위한 이미징 시스템 분야에 관한 것이다.
인쇄 또는 컨버팅 머신을 시용할 때, 일련의 개별 시트들은 다양한 머신의 유닛들을 통해 이동한다. 일부 머신들에서, 웹은 개별 시트들을 대체한다. 적절한 품질을 보장하기 위해, 제어 스테이션이 인쇄 라인 끝에 배치될 수도 있다. 이러한 품질 제어 스테이션은 시트들의 이미지를 생성하는 이미징 시스템으로 구성된다. 이미지는 시트가 사양을 충족하는지 여부를 결정하기 위해 제어 또는 검사 알고리즘에 의해 체크된다. 즉, 인쇄/컨버팅 프로세스 동안 발생하였을 수도 있는 결함을 체크한다.
오늘날의 시스템은 넓은 시트에 걸친 작은 결함의 검출을 요구할 수도 있다. 따라서, 전체 시트의 품질을 체크하기 위해 종종 수 개의 카메라들이 필요하다. 최첨단 이미징 시스템은 시트를 캡처하기 위해 고속 선형 카메라를 사용한다. 이 카메라는 시트의 하나의 라인 (또는 2-3 개의 라인들) 을 고속으로 캡처하고, 카메라 하부의 시트 이동에 의해, 전체 시트 (또는 웹이 사용되는 경우 전체 웹) 을 캡처하는 것이 가능하다.
시트가 예상된 순간 속도로 카메라 하부에서 이동하지 않는 경우, 결과 이미지의 변형을 초래할 것이다. 이러한 현상은 선형 카메라 자체로는 검출될 수 없다.
또한, 선형 카메라 센서의 사이즈를 제한하기 위해, 카메라는 투사 광학 시스템 (projective optical system) 을 사용한다. 따라서, 시트가 완벽하게 평탄하지 않은 경우, 즉 표면에서 센서까지의 거리가 달라지는 경우, 이미지 스케일의 국부적 변동을 초래할 것이다.
요즘은 선형 카메라가 (매트릭스 형상의 센서들을 사용하는) 2 차원 카메라보다 더욱 비싸게 되어 2 차원 카메라가 선형 카메라보다 저렴해졌다.
본 발명은 품질 제어 스테이션의 이미징 시스템에서 2 차원 카메라를 사용하는 방법에 관한 것이며, 이에 의해 위에 언급된 문제를 최신 기술로부터 해결하는 저렴한 시스템을 획득한다. 본 발명은 또한 상기 방법을 가능하게 하는 이미징 시스템에 관한 것이다.
이미징 시스템 (및 방법) 은 프린터, 다이 커터, 점자 프로세싱 머신, 그리고 보다 일반적으로는 컨버팅 머신과 같은, 평탄한 지지체를 이송하도록 구성된 머신에 잘 적응된다. 지지체는 재료의 개별 시트들의 형태 또는 웹의 형태를 취한다. 지지체 상단 표면은 디바이스에서 기준 평면 위의 주어진 높이에서 이동한다 (평면은 실제 표면이거나 웹을 사용할 때엔 가상 표면일 수도 있음). 원칙적으로, 지지체는 평면 상에서 이동하므로, 높이는 지지체 두께와 동일하다. 그러나, 실제로, 이 높이는 예를 들어, 시트가 표면 상으로 플라잉하고 있을 때, 또는 지지체가 완벽하게 평탄하지 않을 때, 가변적일 수도 있다.
이미징 시스템은 지지체 표면 상에 레이저 라인을 투영하는 레이저 소스를 포함한다. 지지체의 전체 폭을 잠재적으로 캡처하기 위해 (레이저 라인을 따라) 나란히 배열된 지지체를 기록하는 적어도 2 개의 카메라들이 있다. 레이저 라인은 그 라인을 따라 지지체의 높이를 결정하기 위해 각각의 이미지에서 가시적이어야 한다. 상기 높이 정보 덕분에, 카메라에 의해 전달된 이미지는 지지체의 전체 폭을 이상적으로 나타내는 이미지 슬라이스로 결합/스티칭된다. 결과의 이미지 슬라이스는 품질 제어를 위해 사용될 수도 있다. 따라서, 결합/스티칭 전에, 레이저 라인을 포함하지 않는 서브-영역이 각각의 이미지에서 선택되고 결합/스티칭 동작에 사용된다. 지지체의 전체 폭을 정확하게 나타내는 이미지 슬라이스를 출력하기 위해, 카메라의 시야가 부분적으로 오버랩되어야 함을 유의한다. 또한, 최적의 정밀도를 위해서, 높이는 카메라에서 지지체까지의 거리 그리고 이에 의해 기록된 이미지에서 지지체의 재생 스케일에 영향을 미치기 때문에 필요하다.
이미징 시스템은 레이저 소스들보다 더 많은 카메라들을 사용하여 구축될 수도 있거나, 또는 카메라 당 하나의 레이저 소스를 사용하여 구축될 수도 있으며, 이에 의해 지지체의 폭을 따라 복제될 수 있는 모듈들을 야기한다.
이미징 시스템은 또한 프로세서를 포함한다. 프로세서는, 각각의 카메라에 의해 캡처된 각각의 이미지에 대해, 이미지 내에서 라인의 포지션을 사용하여 라인을 따라 지지체 표면의 높이를 계산하고; 각각의 이미지에서, 모션 방향에 따라 레이저 라인 이전 또는 이후의 서브-영역을 선택하고; 계산된 높이들을 사용하여 오버랩하는 또는 인접한 서브-영역들을 공통 이미지 슬라이스로 함께 결합하며 그리고 이미지 슬라이스를 출력하도록 구성될 수 있다.
위에 언급된 이미지 슬라이스의 캡처를 반복함으로써, 전체 지지체의 이미지 (또는 높이가 단일 이미지 슬라이스보다 큰 지지체의 이미지) 를 획득하기 위해 이 슬라이스들을 결합할 수도 있다. 이를 위해, 컨버팅 머신으로부터 이용가능한 지지체 속도를 사용하거나, 또는 이미지 슬라이스들 사이의 수직 오버랩을 사용하여 2 개의 슬라이스들 사이에서 지지체 병진 (translation) 을 계산할 수도 있다 (또는 양자의 결합으로 할 수도 있음). 수직 오버랩을 사용하여 지지체 병진을 계산하기 위해, 지지체는 충분한 텍스처 정보를, 예를 들어 지지체 또는 보더 상의 마크들의 세트로 확실히 반송한다. 또한 (최대) 지지체 속도와 비교하여 이미지 슬라이스들의 캡처를 오버샘플링함으로써, 이미지 슬라이스들이 해체되지 않도록 한다. 수직 오버랩으로, 시트의 모션 방향에 따른 오버랩을 의미한다. 지지체의 조명은 높이에 따라 달라질 수도 있기 때문에, 이 방법은 모든 픽셀에서 측광 정보를 유리하게 보정할 수도 있다. 보정은 픽셀 좌표 및 관련된 지지체 높이의 함수이다.
이미지 슬라이스를 구축하는데 사용된 서브 영역들은 레이저 라인을 포함하지 않으며, 따라서 라인을 따라 측정된 높이는 상기 서브-영역들의 높이와 정확히 동일하지는 않다. 이러한 현상을 고려하기 위해, 이전 이미지 캡처에서 유래하는 레이저 라인의 높이를 사용하여 서브-영역들에서의 높이 정보를 계산하는 것이 유리할 수도 있다. 또한 수 개의 이미지 캡처들에서 유래하는 레이저 라인의 높이를 결합할 수도 있다.
본 발명의 실시형태들은 참조 번호들이 동일하거나 유사한 엘리먼트들을 표시하는 첨부 도면들에서 예시로 설명된다;
도 1 은 2 개의 카메라들과 단일 레이저 소스를 사용하는 이미징 시스템의 구현 예를 나타낸다.
도 2 는 2 개의 카메라들의 시야 및 검사 필드, 레이저 라인, 및 시트들을 나타낸다.
도 3 은 직교 투영을 사용하여 기준 높이 상에서 시트를 향해 높이가 달라지는 시트의 재보간 원리를 나타낸다.
도 4 는 시트의 언폴딩을 사용하여 기준 높이 상에서 시트를 향해 높이가 달라지는 시트의 재보간 원리를 나타낸다.
도 5 는 2 개의 카메라들을 갖는 시스템에 의해 시트 상에 인쇄된 바이크 이미지의 복원 예를 나타낸다.
도 6 은 카메라, 조명 및 레이저 라인의 노출 타이밍의 몇몇 예들을 나타낸다.
도 1 은 검사 중인 시트 (2) 의 전체 폭을 캡처하기 위해 2 개의 카메라들 (3, 4) 을 사용하는 실시형태의 예를 나타낸다. 레이저 소스 (5) 는 시트 (2) 상에 광의 라인 (6)(레이저 라인) 을 투영한다. 레이저 라인은 카메라 (3) 로 촬영한 이미지들과 카메라 (4) 로 촬영한 이미지에서 가시적이다.
레이저의 투영 평면 (7) 은 카메라들의 광축 (9) 과 비교하여 각도를 갖는다는 것을 유의한다. 이는 시트의 높이가 달라질 때 카메라에 의해 캡처된 이미지의 좌표 프레임에서 시프트하는 라인을 야기한다. 따라서, 이미지에서 라인의 위치를 측정하고 카메라와 레이저 소스의 기하학적 구성을 아는 것에 의해, 라인을 따라 시트의 높이를 계산할 수 있다. 이론적으로, 시트는 평탄해야 한다. 하지만, 실제로 시트는 구부러지거나 물결 모양일 수도 있다. 시트의 상단 표면의 높이가 변경되면, 이미징된 표면의 (로컬) 스케일도 또한 변경된다. 따라서, 시트 상의 인쇄물의 정확성이나, 절단 또는 주름 선들의 정확성을 체크하기 위해서는, 이러한 현상이 보상되어야 한다.
높이 변동으로 인한 스케일 변동을 보상하기 위해, 시트의 로컬 높이 (8) 가 레이저 라인 (6) 을 따라 측정된다. 높이가 시트의 모션 방향 (51) 을 따라 달라지지 않는다고 가정한다. 바람직하게, 계산을 단순화하기 위해, 카메라들 (3, 4) 은 레이저 라인 (6) 이 (완벽하게 평탄한 시트에 대해) 이미지 상에서 수평으로 보이고 시트 (51) 의 모션 방향이 대략적으로 이미지의 열을 따르도록 배향된다. 이 경우, 이미지의 각각의 열에 대한 높이 값을 얻는다. 보다 일반적으로, 레이저 라인이 시트의 모션 방향과 비교하여 횡 방향이면 (예를 들어, 45 도 내지 135 도 범위의 각도를 가지면) 충분하고; 위에 언급된 방향들과 비교하여 이미지 라인들/열들의 배향은 중요하지 않다.
도 2 는 위로부터, 카메라들 (3, 4) 의 시야 (30, 40) 로 각각 보여지는 시트를 나타낸다. 시트의 모션 방향을 모션 방향 (51) 이라 하고 (평탄한 시트에 대해) 레이저 라인의 방향을 횡 방향이라 한다. 카메라의 시야는 횡 방향을 따라 약간 오버랩한다 (예를 들어, 이들은 5%, 10% 또는 20% 로 오버랩할 수도 있고; 오버랩 비율은 시트의 높이에 따라 달라질 수도 있음). 레이저 라인 (6) 은 양자의 카메라들의 시야를 크로스한다. 예시의 목적으로, 직선으로부터의 레이저 라인 (6) 의 편차가 도면에서는 과장되어 있다. 카메라는 레이저 라인을 포함하지 않는 검사 영역 (31, 41) 을 갖는다. 검사 영역은 시트를 이미징하는데 사용되고 횡 방향을 따라 함께 스티칭되어 출력에서 단일 이미지를 형성한다. 검사 영역은 레이저 라인 아래 또는 위, 즉 시트의 모션 방향에서 레이저 라인 이전 또는 이후에 있다.
도 3 은 시트의 로컬 높이 (8) 가 주어지면 완벽하게 평탄한 시트에 대응하는 이미지를 재계산하는 방법을 나타낸다. 이 예에서는, 시트의 2 개의 표현들이 나타나 있다: 하나는 실제 상황 (과장된 변형을 가짐) 에 대응하여 만곡되고, 하나는 기준의 상황에 대응하여, 지면 상에 있다. 기준 높이 (88) 의 선정은 임의적이지만, 전형적인 상황에 유리하게 대응할 수도 있다. 여기서 기준 시트는 미리결정된 높이 (88) 에 위치된 표면 (29) 을 가진 완벽하게 평탄한 시트라고 가정한다. 도 3A 는 카메라에 의해 캡처된 도 3A 에서의 장면의 이미지를 나타낸다. 카메라는 투사 투영을 수행하므로, 장면에서의 지점 (12 및 13) 은 이미지에서 동일한 지점 (130) 에 매핑된다 (이들은 장면에서 방향 (11) 을 따라 투영됨). 스케일을 보정하기 위해, 시트를 직교 방식으로 (즉, 높이 (8) 의 라인을 따라) 기준 높이 (29) 상에서 가상으로 투영함으로써, 카메라에 대한 거리에 따라 이미지의 스케일이 변화하지 않는, 직교 투영의 등가물을 획득한다. 결과의 이미지를 재보간된 이미지라 한다. 예를 들어, 지점 (12) 는 지점 (14) 상에 가상으로 투영된다. 지점 (14) 는 이미지 상의 위치 (140) 에 나타난다. 따라서, 완벽하게 평탄한 시트의 이미지를 획득하기 위해, 위치 (130) 에서 픽셀 값을 취하고 이를 위치 (140) 로 시프트한다. 위치 (140) 는 이미지의 광학 중심 (100) 및 위치 (130) 를 지점 (12) 의 투영 (14) 에 대응하는 모션 라인 (104) 과 연결하는 라인 (110) 의 교차지점임을 유의한다. 이 프로세스는 이미지의 모든 지점에 대해 반복될 수 있다; 변환은 이미지에서 모션 라인 (102,104) 을 따라 일정한, 로컬 높이에 의해 결정된다. 일반적으로 말하면, 이 예에서, 함수는 로컬 높이의 측정에 의해 가능해진, 투사 표현에서 직교 표현으로의 매핑이다. 실제로는, 그 함수의 역을 사용한다: 재보간된 이미지의 모든 위치 H 에 대해, 위치 H 에서 위치 L 로의 시프트에 대응하는 변환을 계산하고 (L 은 픽셀들 사이에 있을 수도 있기 때문에, 보간에 의해 획득된) 캡처된 이미지에서 위치 L 에서의 픽셀 값으로 위치 H 에서의 (재보간된 이미지의) 픽셀을 채운다. 따라서, 재보간된 이미지는 미리확립된 높이에서 캡처된 완벽하게 평탄한 지지체 (시트) 의 이미지에 대응하는 캡처된 이미지의 재보간이다. 재보간된 이미지는 모든 카메라에 대해 계산된다: 재보간된 이미지는 함께 스티칭되어 (예를 들어 품질 제어를 위해) 추가 프로세싱을 위한 출력으로서 사용된, 공통적이고 더 넓은 스티칭된 이미지를 야기한다. 검사 영역은 기준 높이 (29) 에 정의되고, 이에 의해 전체 시트 폭의 적절한 커버리지를 보장한다 (시트의 폭은 모션 방향에서 수직으로 정의된다). 상당히 표준적이며 본 개시의 범위를 벗어나는, 종래 카메라 교정 단계에 의해 교정되는 광학 왜곡의 임의의 보상을 무시했음을 유의한다.
높이 변동은 실제로 작기 때문에, 지지체 상에 인쇄된 직선의 이미지는 스티칭된 이미지에서 직선으로 매핑된다. 또한, 직교 표현 덕분에, 스티칭된 이미지를 구축하는데 사용된 재보간된 이미지들 사이의 접합 지점에서 라인 상에 불연속이 없다.
약간 더 정확하지만 계산적으로 더 집중적인 대안으로서, 직교 투영을 행하는 대신 시트를 가상으로 (광학 중심에서 에지를 향해) 언폴딩할 수도 있다. 이 방법은 도 4 에 나타나 있다. 지점 (14) 상에서 가상으로 지점 (12) 을 투영하는 대신, 시트가 언폴딩되어, 지점 (15) 상으로 투영 지점 (12) 을 야기한다. 이를 위해, 광학 중심 (10) 에서 언폴딩이 시작된다. 이는 높이 값이 이용가능한 다음 지점에 대응하는 지점 (17) 을 투영함으로써 시작된다. 지점 (17) 은 지점 (10) 을 중심으로 (원형) 호 (20) 를 따라 투영된다. 지점 (17) 은 지면 (29) 상으로 투영되어, 지점 (19) 을 야기한다 (설명의 단순화를 위해, 여기에서는 지점 (10) 이 기준 높이 (29) 상에 있다고 가정한다). 카메라의 자연 투사 광선을 따르는 라인 (16) 과 지점 (17 및 19) 를 연결하는 라인 (22) 사이의 차이를 유의한다 (따라서 지점 (17 및 18) 은 캡처된 이미지에서 동일한 위치 상에 나타난다). 도 4C 는 도 4A 또는 동작의 줌을 나타낸다. 다음으로 지점 (12) 는 지점 (17) 을 중심으로 호를 사용하여 투영된다. 지점 (12) 는 지점 (17) 과 동일한 높이에 있는 지점 (24) 상으로 투영된다. 투영 (14) 은 라인 (22) 에 대한 패러럴 (22) 을 따라 지점 (24) 을 투영함으로써 획득된다. 계산은 레이저 라인을 따라 모든 높이 값에 대해 반복되고 검사 영역의 모든 픽셀에 적용되어 재보간된 이미지를 야기한다. 보간 프로세스는 도 3 의 예와 동일한 것이며, 그 차이는 좌표 계산에 있다.
여기에 개시된 이미징 디바이스는 인쇄 또는 컨버팅 머신에 적합하다. 예를 들어, 이는 인쇄 머신의 출력에 또는 플래튼 프레스의 출력에 배치될 수 있다. 이미징 디바이스는 이미징 디바이스 아래의 시트를 병진하고, 그 병진 정보를 이미징 디바이스로 송신하는 이송 시스템과 커플링된다. 머신에 의존하여, 최대 지지체 (또는 시트) 폭은 달라질 수 있으며, 따라서 상이한 수의 카메라들을 필요로 한다. 예를 들어, 좁은 머신들은 2 개의 카메라들로 장비될 수도 있는 한편, 더 넓은 머신들은 횡 방향을 따라 3 내지 9 개의 카레라들로 장비될 수도 있다.
유리하게, 많은 카메라들에 대해 단일 레이저 소스를 갖는 대신, 각각의 카메라에 대해 레이저 소스를 갖도록 선택할 수 있다. 이는 전체 시트 폭을 커버하도록 복제될 수 있는 결합된 카메라 및 레이저 소스 모듈을 구축하는 것을 허용함으로써, 최대 지지체 폭과 무관한 품질을 보장한다. 이는 또한 생산 및 교정 로지스틱 (logistic) 으로부터 유리하다. 시트의 높이를 계산하는 방법은 동일하게 유지된다.
유리하게, 상술한 바와 같이 검사 영역의 기하학적 재보간에 부가하여, 검사 영역의 각각의 픽셀에 대한 측광 정보를 보정할 수도 있다. 지지체의 높이가 달라질 때, 지지체를 비추는데 사용하는 조명까지의 거리 및 카메라까지의 거리가 달라진다. 이는 카메라에 의해 인지된 밝기의 변화를 야기한다. 즉, 동일한 지지체 섹션은 높이가 변경되는 경우 상이한 픽셀 값을 야기할 것이다. 이러한 현상을 보상하기 위해, 기준의 평탄한 표면의 이미지를, 2 개의 상이한 높이들: 상단 높이 및 하단 높이에서 (예를 들어 최소 및 최대 예상된 높이에서) 일정한 반사율로 기록한다. 그 후, 2 개의 기준 이미지들의 각각의 픽셀에 대해 (이미지의 각 컬러에 대해) 보정 팩터를 계산하여 기록된 픽셀 값을 단일 기준 값 (기준 지지체의 일정한 반사율에 대응) 에 매핑한다. 이는 (컬러 값들 대신) 보정 계수들로 이루어진 2 개의 이미지들을 야기한다. 이러한 이미지를 밝기 팩터 이미지라 한다. 지지체 표면의 새로운 이미지가 기록될 때, 모든 픽셀 위치에 대한 지지체 표면의 높이를 계산하고 상단 밝기 팩터 이미지로부터의 값들과 하단 밝기 이미지로부터의 값들을, 상기 하단 및 상단 높이와 비교하여 픽셀 높이에 기초하여, 보간함으로써 보정 팩터를 계산한다. 실제로, 이것은 이미지의 모든 컬러 채널에 적용된 3 차원 좌표에 기초한 보간이다. 이러한 보정은 지지체 높이에 의해 야기된 조명의 변동을 보정할 뿐만 아니라, 카메라 비네팅이나 조명 불균일성과 같은 다른 현상에 대해서도 보정한다.
2 개보다 많은 높이들에서 기준의 평탄한 표면의 반사율을 기록하고 이들 사이를 보간하여 우수한 정밀도로 보정을 얻을 수도 있음을 유의한다. 하지만, 조명 셋업이 주어지면, 2 개의 측정들이 충분함을 알아내었다.
도 5 는 이미징 시스템의 캡처링 프로세스를 도시한다. 좌측 픽처는 이미징 시스템에 의해 캡처된 자전거를 픽처링하는 시트를 나타낸다. 우측 픽처는 이미징 시스템의 다음 캡처 순간에, 잠시 후 동일한 시트를 나타낸다. 이 예는 2 개의 카메라들을 갖는 이미징 시스템을 나타낸다. 좌측 카메라는 시야 (30) 및 검사 필드 (31) 를 갖는다. 우측 카메라는 시야 (40) 및 검사 필드 (41) 를 갖는다. 픽처는 좌측 카메라에 의해 촬영한 이미지 (32) 와 우측 카메라에 의해 촬영한 픽처 (42) 을 나타낸다. 픽처들은 레이저 라인 (6) 의 이미지를 포함한다. 그 후 이미지들은 픽처 (33 및 43) 로 재보간되고 스티칭된 픽처 (34) 로 어셈블리된다. 프로세스는 잠시 후 반복되며 픽처의 우측 상에 나타나 있다. 상이한 순간에 촬영한 스티칭된 픽처들 (34, 340) 은 복원된 이미지 (35) 로 결합/적층된다. 적층은 완전한 시트 (2) 의 이미지를 획득하기 위해 반복된다. 엄밀히 말하면, 시트의 전체 높이가 반드시 필요한 것은 아니다: 단지 후속 품질 제어 동작을 위해 충분히 높아야만 한다. 픽처들의 캡처 빈도는 시트의 모션 (50) 과 동기화된다. 적절히 행해질 때, 결과의 복원된 이미지는 지지체 (시트) 상에 있는 이미지/모티프 (motif) 와 비교하여 임의의 갭들이나 임의의 반복들을 나타내지 않는다.
스티칭 이전에 픽처들을 재보간하는데 사용된 레이저 라인의 높이는 동일한 픽처로부터 유래하는 것일 수도 있음을 유의한다. 그러나, 바람직하게는 이전 픽처 중 하나를 사용한다. 실제로, 레이저에 의해 조사된 시트의 부분이 검사 영역에 도달할 때까지 높이 정보를 저장한다. 예를 들어, 도 5 에서, 좌측 상에 도시된 구성에 의해 기록된 높이 정보 (시간 T-1 에서 기록됨) 를 사용하고 이를 도면의 우측 상의 이미지들에 적용한다 (시간 T 에서 기록됨). 실제로, 도면의 좌측 상에서, 레이저 라인은 시트 상에 나타낸 자전거 드라이브의 상단에 닿는 한편, 도면의 우측 상에서, 자전거 드라이브의 동일한 상단이 검사 영역 중앙에 있다. 또한 2 개의 라인들 사이에서 임의의 값을 취하거나 2 개의 라인들: 검사 영역 위의 하나, 아래의 하나를 사용하고, 2 개의 라인들 사이의 높이 정보를 보간함으로써, 검사 영역의 모든 픽실에 대해 높이 값을 획득할 수 있음을 유의한다.
지지체 표면의 임의의 반사율에 대해 가시적인 레이저의 이미지를 갖기 위해, 검사 영역 및 레이저 라인을 상이하게 노출시키기를 원할 수도 있다. 검사 영역의 노출 시간을 짧게 유지되어야 한다. 실제로, 지지체는 모션 블러를 회피하기 위해 노출 중에 픽셀의 일부보다 많게 이동하지 않아야 한다. 검사 영역의 노출 시간으로, 카메라가 "개방 (open)" (즉, 픽처를 기록) 이고 조명 디바이스에 검사 영역이 조명되는 시간을 의미한다. 실제로 카메라 노출 시간을 "플래시" 노출 시간, 즉 조명이 턴 온 (ON) 및 턴 오프 (OFF) 되는 순간 사이의 시간보다 길게 유지한다 (여기에서는 플래시가 종료 또는 노출 후 온이거나, 또는 그의 시작 이전에 온인 경우, 이미지의 노출 동안 플래시 노출을 고려하며, 이를 카운트하지는 않는다). 검사 영역의 노출시간은 플래시가 온이고 카메라가 개방인 시간이다. 레이저 라인의 노출 시간은 동일한 제약으로 제한되지 않는다 (레이저 라인의 노출 시간은 레이저가 온이고 카메라가 개방인 시간임). 노출 동안 지지체가 이동하는 경우, 지지체의 높이가 노출 동안 변화하지 않는 한, 이는 문제가 되지 않는다 (즉, 지지체는 문제 없이 픽셀보다 많게 이동할 수 있음). 따라서, 레이저에서 더 적은 전력을 사용하면서 레이저 라인이 가시적인 것을 보장하기 위해 (이에 의해 장비 비용을 절감), 레이저 라인의 노출 시간은 검사 영역의 노출 시간보다 길게 선택된다. 도 6 은 노출 타이밍의 예를 나타낸다. 카메라의 노출은 라인 (60) 으로 나타내며, 조명 (즉, "플래시") 의 노출은 라인 (61) 로 레이저의 노출은 라인 (62) 로 나타낸다. 포지션 (64) 은 오프 또는 폐쇄 포지션을 나타내는 한편, 포지션 (65) 은 온 또는 개방 포지션을 나타낸다. 레이저 라인의 노출 시간은 플래시 노출 시간보다 5 내지 20 배, 예를 들어 10 배 더 길 수 있다. 예를 들어, 카메라 (60) 의 노출 시간은 800 마이크로초로 설정될 수 있는 한편 플래시 노출 시간 (61, 66, 67) 은 80 마이크로초로 설정될 수 있다. 레이저 라인은 도 6 의 예에서와 같이 항상 온이거나, 카메라의 노출 (60) 과 동기화 (또는 대략 동기화) 될 수도 있다. 조명의 온/오프 노출 프로파일들 (66, 67) 은 예시적인 온/오프 노출 프로파일 (61) 에 대한 동등한 대안들을 나타낸다. 도 6 의 횡축은 시간을 나타낸다.
픽처 (32) 를 사용하고 이를 잠시 후 촬영한 픽처 (320) 와 비교함으로써, 픽처들 사이의 오버랩을 사용하여 일부 이미지 프로세싱 알고리즘을 사용하여 시트의 모션을 계산할 수 있다. 계산 결과는 시트 (50) 의 병진이 사양들에 따라 진행되는 것을 검증하는데 사용될 수 있다. 바람직하게, 시트는 그러한 접근의 견고성을 보장하기 위해 경계에 인쇄된 일부 마크들을 가질 수도 있다. 또한, 지지체의 모션이 불균일하거나 예상과 상이한 경우, 상기 모션 계산은 이미지 슬라이스들을 적절히 결합하는데 사용될 수 있다.
또한, 이 문헌에 개시된 발명은 다양한 높이로 완벽하게 평탄한 지지체에도 유용함을 유의한다. 높이가 기준 높이 (29) 와 상이하면 바로, 재보간이 스케일에 대한 보정을 수행한다.
이 문서에 개시된 이미징 시스템은 예를 들어 개별 시트가 느슨하게 제어된 높이에서 "플라이" 하는 경향이 있는 다이-커팅 머신의 출력에서 이미지들을 획득하는데 적용될 수 있다.
동일한 오브젝트를 지정하기 위해 언제나 "시트" 또는 "지지체" 를 사용함을 유의한다. 지지체가 시트들에 들어오는 사실을 강조하기를 원하는 경우 "개별 시트(들)" 에 대해 언급한다.

Claims (11)

  1. 기준 평면 상의 평탄한 지지체를, 상기 평면 상의 높이에서 모션 방향으로 병진하도록 구성된 디바이스를 위한 이미징 시스템으로서,
    - 지지체 표면 상에 레이저 라인을 투영하도록 구성된 레이저 소스로서, 상기 레이저 라인은 상기 모션 방향과 비교하여 횡 방향인, 상기 레이저 소스,
    - 프로세서,
    - 상기 레이저 라인을 따라 배열된 오버랩하는 시야들을 갖는 2 개의 카메라들을 포함하고,
    각각의 카메라는 상기 레이저 라인을 포함하는 상기 지지체 표면의 이미지를 캡처하도록 구성되고,
    상기 프로세서는,
    - 각각의 이미지에 대해, 상기 이미지 내에서 상기 라인의 포지션을 사용하여 상기 라인을 따라 상기 지지체 표면의 높이를 계산하고,
    - 각각의 이미지에서, 상기 모션 방향에 따라 상기 레이저 라인 이전 또는 이후의 서브-영역을 선택하고,
    - 계산된 상기 높이들을 사용하여 오버랩하는 또는 인접한 서브-영역들을 공통 이미지 슬라이스로 함께 결합하며, 그리고
    - 상기 이미지 슬라이스를 출력하도록 구성되는, 이미징 시스템.
  2. 제 1 항에 있어서,
    하나의 카메라 당 하나의 레이저 소스를 사용하도록, 다수의 레이저 소스들을 갖고, 각각의 카메라는 상기 라인을 따라 상기 지지체의 높이를 계산하기 위해 그 개개의 레이저 라인을 캡처하도록 구성되는, 이미징 시스템.
  3. 제 1 항에 있어서,
    상기 시스템은 상기 지지체의 병진과 상기 이미지들의 캡처를 동기화함으로써, 상이한 시간들에서 캡처된 상기 이미지 슬라이스들을 단일의 복원된 이미지로 결합하도록 구성되고; 상기 시스템은 상기 복원된 이미지를 출력하도록 구성되는, 이미징 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 지지체를 플래시하도록 구성된 조명 디바이스를 더 포함하고, 플래시 지속기간은 상기 카메라들의 노출 시간보다 더 짧도록 구성되는, 이미징 시스템.
  5. 기준 평면 상에서, 상기 평면 상의 높이에서 모션 방향으로 병진하는 평탄한 지지체를 갖는 디바이스에 대해, 수 개의 카메라들에서 유래하는 이미지들을 병합하기 위한 방법으로서,
    - 레이저 소스를 사용하여 상기 모션 방향과 비교하여 횡 방향으로 지지체 표면 상에 레이저 라인을 투영하는 단계
    - 각각의 카메라에 대해
    - 상기 레이저 라인을 포함하는 상기 지지체 표면의 이미지를 캡처하는 단계
    - 상기 이미지 내에서 상기 레이저 라인의 포지션을 사용하여 상기 레이저 라인을 따라 상기 지지체의 높이를 계산하는 단계
    - 상기 모션 방향에 따라 상기 레이저 라인 이전 또는 이후의 상기 이미지에서 미리결정된 영역을 선택하는 단계
    - 선택된 상기 영역을 미리확립된 높이에서 캡처된 완벽하게 평탄한 지지체의 이미지에 대응하는 표현으로 재보간하는 단계
    - 상기 영역들을 나란히 연결함으로써 상기 선택된 영역들을 이미지 슬라이스로 연결하는 단계를 포함하는, 수 개의 카메라들에서 유래하는 이미지들을 병합하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 재보간 단계는 상기 지지체 표면을 따라 이미지 좌표들에 기초한 그리고 상기 레이저 라인을 따라 상기 지지체의 높이에 기초한 측광 보정의 보간을 더 포함하는, 수 개의 카메라들에서 유래하는 이미지들을 병합하기 위한 방법.
  7. 제 5 항에 있어서,
    - 상기 이미지들의 캡처를 상기 지지체의 병진과 동기화하고 결과의 이미지 슬라이스들을 임의의 갭들 또는 임의의 반복들 없이 상기 지지체를 표현하는 공통 복원된 이미지로 결합하는 단계를 더 포함하는, 수 개의 카메라들에서 유래하는 이미지들을 병합하기 위한 방법.
  8. 제 5 항에 있어서,
    상기 재보간 단계는 상이한 시간에 동일한 카메라에 의해 캡처된 상기 레이저 라인을 따라 상기 지지체의 높이를 사용하는, 수 개의 카메라들에서 유래하는 이미지들을 병합하기 위한 방법.
  9. 제 7 항에 있어서,
    상기 지지체의 병진은 시스템의 카메라들 중 적어도 하나에 의해 픽처된 연속적이고 오버랩하는 이미지들의 내용을 비교함으로써 측정되는, 수 개의 카메라들에서 유래하는 이미지들을 병합하기 위한 방법.
  10. 제 9 항에 있어서,
    병진 측정의 출력을 더 포함하는, 수 개의 카메라들에서 유래하는 이미지들을 병합하기 위한 방법.
  11. 제 5 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 지지체의 이미지를 캡처하면서 조명 디바이스로 상기 지지체를 플래시하는 단계를 더 포함하고, 상기 이미지의 노출 동안, 플래시 지속기간은 상기 레이저 라인의 조명의 지속기간보다 더 짧은, 수 개의 카메라들에서 유래하는 이미지들을 병합하기 위한 방법.
KR1020217033048A 2019-03-20 2020-03-18 레이저 라인을 사용하는 멀티-카메라 이미징 시스템 KR102614215B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19020136.8 2019-03-20
EP19020136 2019-03-20
PCT/EP2020/025136 WO2020187454A1 (en) 2019-03-20 2020-03-18 Multi-camera imaging system using a laser line

Publications (2)

Publication Number Publication Date
KR20210142005A KR20210142005A (ko) 2021-11-23
KR102614215B1 true KR102614215B1 (ko) 2023-12-14

Family

ID=65903875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217033048A KR102614215B1 (ko) 2019-03-20 2020-03-18 레이저 라인을 사용하는 멀티-카메라 이미징 시스템

Country Status (7)

Country Link
US (1) US11792537B2 (ko)
EP (1) EP3942792A1 (ko)
JP (1) JP7309897B2 (ko)
KR (1) KR102614215B1 (ko)
CN (1) CN113615160B (ko)
BR (1) BR112021017036A2 (ko)
WO (1) WO2020187454A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230057798A (ko) 2021-10-22 2023-05-02 주식회사 엘지에너지솔루션 전해액 첨가제, 이를 포함하는 리튬 이차전지용 전해액 및 리튬 이차전지
US20230254589A1 (en) * 2022-02-04 2023-08-10 Applied Materials, Inc. Pulsed illumination for fluid inspection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120204614A1 (en) 2009-10-19 2012-08-16 Sumitomo Metal Industries, Ltd. Method for measuring sheet material flatness and method for producing steel sheet using said measuring method
US20170299380A1 (en) 2013-05-22 2017-10-19 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577285B2 (en) * 2001-11-15 2009-08-18 Precitec Vision Gmbh & Co. Kg Method and device for evaluation of jointing regions on workpieces
JP3964687B2 (ja) * 2002-01-24 2007-08-22 富士機械製造株式会社 物体形状認識方法及び装置
DE10328523B4 (de) 2003-06-24 2009-05-07 Schreck-Mieves Gmbh Verfahren und Meßvorrichtung zur berührungslosen Vermessung einer Kontur einer Oberfläche
KR100966814B1 (ko) 2003-07-24 2010-06-29 주식회사 포스코 표면결함 검출 및 표면형상 인식장치
KR100916615B1 (ko) 2007-06-20 2009-09-14 건국대학교 산학협력단 롤투롤 공정에서의 웹 주름 측정 시스템
JP2010175283A (ja) * 2009-01-27 2010-08-12 Kokusai Gijutsu Kaihatsu Co Ltd 面画像生成装置
US8031345B2 (en) * 2009-05-29 2011-10-04 Perceptron, Inc. Hybrid sensor
US8427632B1 (en) * 2009-12-23 2013-04-23 Trimble Navigation Ltd. Image sensor with laser for range measurements
CN102074045B (zh) * 2011-01-27 2013-01-23 深圳泰山在线科技有限公司 一种投影重建的系统和方法
US8970740B2 (en) 2012-12-14 2015-03-03 In View Technology Corporation Overlap patterns and image stitching for multiple-detector compressive-sensing camera
FI125240B (en) 2013-05-10 2015-07-31 Kemira Oyj Method and system for detecting free fiber ends in paper
SE537979C2 (sv) 2014-04-07 2016-01-05 Optonova Sweden Ab Förfarande för produktkontroll med kamera och belysningsanordning
US10812778B1 (en) * 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US10452949B2 (en) * 2015-11-12 2019-10-22 Cognex Corporation System and method for scoring clutter for use in 3D point cloud matching in a vision system
US10194097B2 (en) * 2017-01-13 2019-01-29 Gopro, Inc. Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
JP6813394B2 (ja) * 2017-03-03 2021-01-13 リコーエレメックス株式会社 画像検査装置
CN108428251A (zh) * 2018-03-09 2018-08-21 深圳市中捷视科科技有限公司 一种基于机器视觉技术激光结构光自动标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120204614A1 (en) 2009-10-19 2012-08-16 Sumitomo Metal Industries, Ltd. Method for measuring sheet material flatness and method for producing steel sheet using said measuring method
US20170299380A1 (en) 2013-05-22 2017-10-19 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor

Also Published As

Publication number Publication date
WO2020187454A1 (en) 2020-09-24
KR20210142005A (ko) 2021-11-23
EP3942792A1 (en) 2022-01-26
CN113615160A (zh) 2021-11-05
US11792537B2 (en) 2023-10-17
JP7309897B2 (ja) 2023-07-18
CN113615160B (zh) 2023-06-09
JP2022526500A (ja) 2022-05-25
US20220182556A1 (en) 2022-06-09
BR112021017036A2 (pt) 2021-11-09

Similar Documents

Publication Publication Date Title
KR101947935B1 (ko) 3차원 측정 시스템의 갱신 보정 방법
KR102614215B1 (ko) 레이저 라인을 사용하는 멀티-카메라 이미징 시스템
US9019351B2 (en) Three-dimensional image measuring apparatus
KR101141345B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법, 3차원 형상 계측 프로그램, 및 기록 매체
US5040005A (en) Method of creating three-dimensional displays using predistorted images
KR101485437B1 (ko) 기준 위치 측정 장치 및 방법, 및 패턴 형성 장치
US20090073259A1 (en) Imaging system and method
US10304201B2 (en) Item image stitching from multiple line-scan images for barcode scanning systems
US4878247A (en) Method for the photogrammetrical pick up of an object with the aid of at least one opto-electric solid-state surface sensor
KR101480589B1 (ko) 묘화 데이터의 보정 장치 및 묘화 장치
US20120019651A1 (en) Installation of 3d inspection of electronic circuits
CN104567724B (zh) 用于在运行中的面上非接触式地测定产品的位置和三维形状的方法及扫描器
EP3424015B1 (en) Method/device for rotating an image and printing method/system comprising said method/device for rotating
WO2023041009A1 (zh) 用于光源模组拼接的标定方法、投影方法及3d打印方法
US20090195758A1 (en) Meshes for separately mapping color bands
JP2004228824A (ja) スタックプロジェクション装置及びその調整方法
JP2002228425A (ja) Dmdを用いたccdカメラによる実時間形状計測方法と装置
JP2008251797A (ja) 基準位置計測装置及び方法、並びに描画装置
JP5956296B2 (ja) 形状計測装置及び形状計測方法
JP2007240197A (ja) 三次元形状計測システム
JP2011053025A (ja) 距離計測装置および距離計測方法
JP2007033040A (ja) 光切断法による3次元形状計測装置における光学ヘッド部のキャリブレーション方法及び装置
US10974918B2 (en) Method for testing a functional unit for use on a moving material web
JP3768216B2 (ja) 印刷物の検査装置および方法
US9531936B2 (en) Camera system, colour measuring system, and offset printing press

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant