KR20160048928A - 광학 헤드 트랙킹을 위한 led 센터 감지 - Google Patents

광학 헤드 트랙킹을 위한 led 센터 감지 Download PDF

Info

Publication number
KR20160048928A
KR20160048928A KR1020167008229A KR20167008229A KR20160048928A KR 20160048928 A KR20160048928 A KR 20160048928A KR 1020167008229 A KR1020167008229 A KR 1020167008229A KR 20167008229 A KR20167008229 A KR 20167008229A KR 20160048928 A KR20160048928 A KR 20160048928A
Authority
KR
South Korea
Prior art keywords
led
label
pixel
incoming
pixels
Prior art date
Application number
KR1020167008229A
Other languages
English (en)
Other versions
KR101840147B1 (ko
Inventor
이스마일 오즈사라크
에다 사힌
Original Assignee
아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 filed Critical 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Publication of KR20160048928A publication Critical patent/KR20160048928A/ko
Application granted granted Critical
Publication of KR101840147B1 publication Critical patent/KR101840147B1/ko

Links

Images

Classifications

    • G06T7/2033
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30212Military

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 광학 헤드 트랙킹 시스템(1)을 위한 비디오 프레임에서 이미지에 대해 FPGA(Field Programmable Gate Array)(6)로 LED(Light Emitting Diode) 센터/포지션을 감지하기 위한 시스템(1) 및 방법(2)과 연관된다. 본 발명의 다른 목적은, 광학 헤드 트랙킹 시스템(1)의 정확도 증가를 제공하는 것이다.

Description

광학 헤드 트랙킹을 위한 LED 센터 감지{LED CENTER DETECTION FOR OPTICAL HEAD TRACKING}
본 발명은 광학 헤드 트랙킹 시스템을 위한 비디오 프레임 내의 LED(Light Emitting Diode) 센터/포지션을 감지하기 위해 FPGA(Field Programmable Gate Array) 상에서 이미지를 프로세싱하는 방법과 관련된다.
LED 포지션은 발사 시스템(fire system)을 제어하기 위한 HMD(Helmet Mounted Display) 트랙킹 시스템에 이용된다. 그러므로, LED 포지션은 전용(dedicated) 하드웨어 상에서 계산되어야 하고, 트랙킹의 결과는 정확해야 한다. 또한, 트랙킹 빈도는 어떠한 시스템 지연(system latency)도 야기시키지 않도록 충분히 높아야 한다.
일본 특허 출원 번호 JP2010050757는, 재귀(recursive) 반사(reflection) 특성들을 포함하는 투명한 물질로 구성된 비가시적(invisible) 마커를 제공하는 정보에 대한(for) 방법 및 시스템을 개시한다. 카메라는 적외선을 방출하는(irradiating) 적외선 LED(infrared LED), 적외선 영역과 가시광선 영역의 주파수(frequency) 영역 내에 빛을 이미지화(imaging) 할 수 있는 CMOS, 적외선 LED를 이용하는 객체에 가시광선 하에서 적외선을 방출하는 상황(state)에 의해 가시광선 및 적외선(이하 가시적 적외선(visible infrared) 이미지라 함) 하에서 이미지를 이미지화하기 위한 프로세스를 제어하기 위한 FPGA 및 적외선 방출 없이 가시광선(이하 가시적 이미지라 함) 하에서만 생성되는(to be executed) 이미지를 이미지화 하기 위한 프로세스를 포함한다. 웨어러블(wearable) 컴퓨터는 가시적 적외선 이미지 및 가시적 이미지 간에 다른 이미지를 생성하고, 다른 이미지 내에 포함되는(to be included within the difference image) 비가시적 마커를 감지한다.
미국 특허 출원 번호 US2007242086는, 이미지 프로세싱 시스템, 이미지 프로세싱 장치, 이미지 센싱 장치 및 그것들의 제어 방법을 개시한다. 본원 발명의, 실제 공간 이미지를 가상 공간 이미지와 합성함으로써 복합(composite) 이미지를 획득하기 위한 장치에 의해 실행되는 제1 프로세스 및 제2 프로세스는 협의(negotiation)에 의해 결정된다. 장치는 제2 프로세스를 실행하기 위해 필요한 데이터를 장치로 전송한다. 장치는 데이터를 이용함으로써 제2 프로세스를 실행하고, 장치로 프로세스 결과를 전송한다. 장치는 장치에 의해 프로세스 결과를 수신하고, 제1 프로세스를 실행한다. 장치는 제1 프로세스의 결과에 기초하여(on the basis of) 획득된 복합 이미지 또는 프로세스 결과에 기초하여 획득된 복합 이미지, 및 수신된 프로세스 결과를 디스플레이 한다.
본 발명의 목적은, 광학 헤드 트랙킹 시스템을 위한 비디오 프레임 내의 LED 센터/포지션을 감지하기 위해 FPGA 상에서 이미지를 프로세싱하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 광학 헤드 트랙킹 시스템의 정확도 증가를 제공하는 것이다.
광학 헤드 트랙킹(tracking) 시스템(1)은, 광학 헤드 트랙킹 시스템(1)의 일부로서(as a part of) LED 어레이를 운반하는 적어도 하나의 헬멧(2); 적외선 특성(infrared characteristic)을 포함하는 상기 헬멧 상의 적어도 하나의 LED(3); 상기 헬멧 상의 LED(3)를 이미지화(image)하는 적어도 하나의 카메라(4); 카메라(4)를 유지(holds)하는 적어도 하나의 카메라 홀더(5); 상기 LED 센터 좌표를 계산하는 적어도 하나의 FPGA(6); FPGA(6) 및 비디오 캡쳐 구성요소를 포함하는 적어도 하나의 비디오 프로세싱 보드(7); 및 LED(3)로부터 상기 특정한 IR만을 수용(accept)하는 적어도 하나의 카메라 렌즈(8)를 포함한다.
LED 센터 감지 방법(100)은, 카메라(4)에 의해 상기 LED 이미지들을 포함하는 비디오를 캡쳐하는 단계(101); 비디오 프로세싱 보드(7)로 상기 비디오를 전송하는 단계(102); 및 더블 플로팅(floating) 포인트 오퍼레이터(operators)(6)를 이용함으로써, 상기 FPGA 에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)를 더 포함한다.
LED 센터 감지 방법(100)은, FPGA(6)에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)는, CLDC(Camera Lens Distortion Correction)에 의해 상기 인커밍 비디오 프레임을 프로세싱 하는 단계(201); PIF(Pixel Intensity Filter에 의해 상기 인커밍 비디오 프레임을 필터링하는 단계(202); 상기 인커밍 픽셀들 간의 관계를 추출하고, 픽셀들의 이웃(neighborhood)에 관해(in terms of) 상기 LED 픽셀들을 레이블링(label) 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203); 모든 레이블에 대해, 상기 인커밍 픽셀에 따라 LCC(LED Center Calculation)에 의해 정보를 저장 및 업데이트하고, 정보를 병합(merge)하는 단계(204); LCC(205)로부터 LVF(LED Validity Filter)에게 상기 정보를 전송하는 단계(205); 및 LVF에 의해 상기 인커밍 정보를 체크하고 필터링하는 단계(206)를 포함하는 하위(sub) 단계들을 더 포함한다.
LED 센터 감지 방법(100)은, 상기 인커밍 픽셀들 간의 관계를 추출하고, 상기 비디오 프레임 상의 상기 LED 픽셀들을 레이블링 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203)는, 상기 인커밍 픽셀이 백그라운드인지 LED 픽셀인지 여부를 체크하는 단계(301); 및 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)를 포함하는 하위 단계들을 더 포함한다.
LED 센터 감지 방법(100)은, 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)는, 이웃 픽셀들을 제어하는 단계(401); 상기 이웃 픽셀들이 어떠한 레이블도 포함하지 않은 경우, 상기 리스트로부터 상기 인커밍 픽셀로 새로운 레이블을 할당하고, 상기 인커밍 픽셀 라인 값을 상기 할당된 레이블과 연관시키는 단계(402); 하나의 이웃만이 레이블을 포함하는 경우, 이웃 픽셀의 값을 상기 인커밍 픽셀에 할당하는 단계(403); 이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 레이블들의 상기 라인 정보를 체크하고, 더 작은 라인 값을 갖는 레이블을 상기 인커밍 픽셀에 할당하는 단계(404); 상기 인커밍 픽셀 정보를 상기 할당된 레이블의 상기 정보에 더하는(adding) 단계(405); 및 이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 다른 이웃 픽셀 레이블의 정보를 상기 할당된 레이블의 정보 - 픽셀의 수, x & y 좌표 합, 강도(intensity) 합 - 와 병합하는 단계(406)를 포함하는 하위 단계들을 더 포함한다.
광학 헤드 트랙킹 시스템(1)은, FPGA(6)에서 PIF에 의해 상기 비디오 프레임 상의 모든 노이즈 픽셀(noisy pixels)들을 제거한다.
광학 헤드 트랙킹 시스템(1)의 FPGA(6)는, 상기 알고리즘의 상기 소스 요청(requirements)을 감소시키기 위해 상기 CCL에 상기 완료된(finished) 레이블 값들을 되돌려 보낸다(sends back).
광학 헤드 트랙킹 시스템(1)의 FPGA(6)는, 정의된 범위(defined range) 내에 존재하지 않는 전체 픽셀의 상기 레이블들의 정보를 버린다(discard).
본 발명은, 광학 헤드 트랙킹 시스템을 위한 비디오 프레임 내의 LED 센터/포지션을 감지하기 위해 FPGA 상에서 이미지를 프로세싱하는 방법을 제공한다.
본 발명은, 광학 헤드 트랙킹 시스템의 정확도 증가를 제공한다.
본 발명의 목적을 달성(fulfill)하기 위해 광학 헤드 트랙킹을 위한 빠르고 정확한 LED 센터 감지가 첨부된 도면에서 도시된다.
도 1은 광학 헤드 트랙킹 시스템의 개략도(the schematic)이다.
도 2는 카메라 렌즈 상의 왜곡(distortion)을 도시한다.
도 3은 광학 헤드 트랙킹을 위한 방법의 흐름도이다.
도 4는 LED 이미지 센터를 계산하는 하위 단계의 흐름도이다.
도 5는 CCL(Connected Component Labeling)을 이용하는 하위 단계의 흐름도이다.
도 6은 레이블 값을 픽셀에 할당하는 하위 단계의 흐름도이다.
광학 헤드 트랙킹(tracking) 시스템(1)은, 광학 헤드 트랙킹 시스템(1)의 일부로서 LED 어레이를 운반하는 적어도 하나의 헬멧(2); 적외선 특성(infrared characteristic)을 포함하는 상기 헬멧 상의 적어도 하나의 LED(3); 상기 헬멧 상의 LED(3)를 이미지화(image)하는 적어도 하나의 카메라(4); 카메라(4)를 유지(holds)하는 적어도 하나의 카메라 홀더(5); 상기 LED 센터 좌표를 계산하는 적어도 하나의 FPGA(6); FPGA(6) 및 비디오 캡쳐 구성요소를 포함하는 적어도 하나의 비디오 프로세싱 보드(7); 및 LED(3)로부터 상기 특정한 IR만을 수용(accept)하는 적어도 하나의 카메라 렌즈(8)를 포함한다.
LED 센터 감지 방법(100)은, 카메라(4)에 의해 상기 LED 이미지들을 포함하는 비디오를 캡쳐하는 단계(101); 비디오 프로세싱 보드(7)로 상기 비디오를 전송하는 단계(102); 및 더블 플로팅(floating) 포인트 오퍼레이터(operators)(6)를 이용함으로써, 상기 FPGA에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)를 포함한다.
상기 LED 센터 감지 방법(100)은, 더블 플로팅(floating) 포인트 오퍼레이터(operators)(6)를 이용함으로써, 상기 FPGA 에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)는, CLDC(Camera Lens Distortion Correction)에 의해 상기 인커밍 비디오 프레임을 프로세싱 하는 단계(201); PIF(Pixel Intensity Filter에 의해 상기 인커밍 비디오 프레임을 필터링하는 단계(202); 상기 인커밍 픽셀들 간의 관계를 추출하고, 픽셀들의 주변(neighborhood)에 관해(in terms of) 상기 LED 픽셀들을 레이블링(label) 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203); 모든 레이블에 대해, 상기 인커밍 픽셀에 따라 LCC(LED Center Calculation)에 의해 정보를 저장 및 업데이트하고, 정보를 병합(merge)하는 단계(204); LCC로부터 LVF(LED Validity Filter)에게 상기 정보를 전송하는 단계(205); 및 LVF에 의해 상기 인커밍 정보를 체크하고 필터링하는 단계(206)를 포함하는 하위(sub) 단계들을 더 포함한다.
본원 발명의 바람직한 실시예에 있어서, 상기 인커밍 픽셀들 간의 관계를 추출하고, 상기 비디오 프레임 상의 상기 LED 픽셀들을 레이블링 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203)는, 상기 인커밍 픽셀이 백그라운드인지 LED 픽셀인지 여부를 체크하는 단계(301); 및 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)를 포함하는 하위 단계들을 더 포함한다.
본원 발명의 바람직한 실시예에 있어서, 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)는, 이웃 픽셀들(상측 및 좌측)을 제어하는 단계(401); 상기 이웃 픽셀들이 어떠한 레이블도(그것들은 백그라운드임) 포함하지 않은 경우, 상기 리스트로부터 상기 인커밍 픽셀로 새로운 레이블을 할당하고, 상기 인커밍 픽셀 라인 값을 상기 할당된 레이블과 연관시키는 단계(402); 하나의 이웃만이 레이블을 포함하는 경우, 이웃 픽셀의 값을 상기 인커밍 픽셀에 할당하는 단계(403); 이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 레이블들의 상기 라인 정보를 체크하고, 더 작은 라인 값을 갖는 레이블을 상기 인커밍 픽셀에 할당하는 단계(404); 상기 인커밍 픽셀 정보를 상기 할당된 레이블의 상기 정보에 더하는(adding) 단계(405); 및 이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 다른 이웃 픽셀 레이블의 정보를 상기 할당된 레이블의 정보 - 픽셀의 수, x & y 좌표 합, 강도(intensity) 합 - 와 병합하는 단계(406)를 포함하는 하위 단계들을 포함한다.
본 발명의 바람직한 실시예에 있어서, 광학 헤드 트랙킹 시스템(1)은, 헬멧(2); 헬멧 상의 LED(3); 헬멧 상의 LED(3)를 이미지화 하는 카메라(4); 및 카메라(4)를 유지하는 카메라 홀더(5); LED 센터 좌표를 계산하는 FPGA(6); FPGA(6)를 포함하는(contain) 비디오 프로세싱 보드(7); 비디오 캡쳐 구성요소; 및 LED(3)로부터 특정 IR만을 수용하는 카메라 렌즈(8)를 포함한다.
본 발명의 바람직한 실시예에 있어서, LED 이미지를 포함하는 비디오는 카메라(4)에 의해 캡쳐되고, 비디오 프로세싱 보드(7)로 전송된다. LED 및 카메라 필터의 IR 특성 때문에, 카메라 비디오 프레임은 블랙 백그라운드 상에 화이트 픽셀(LED)로 구성된다. 비디오 프레임 상의 LED 이미지는 원형으로 보이지만, 그것은 다른 형태일 수도 있다. LED의 형태는 카메라에 대해 상대적인 헤드 포지션에 따라 변화한다. 헤드가 우측 또는 좌측으로 돌아가는(turn) 경우, 그 형태는 원형이 아니라 타원형(ellipse)처럼 보인다. 헤드가 카메라에 접근하는 경우, LED 이미지가 확대된다.
본 발명의 바람직한 실시예에 있어서, 비디오 프레임 상의 LED 이미지 센터는, 비디오 프로세싱 보드(7) 상에 위치하는 FPGA(6) 에서 계산된다. 우선, 인커밍 비디오 프레임은, 비디오 프레임으로부터 원치 않는(undesirable) 렌즈 왜곡을 제거하기 위해 CLDC(camera lens distortion correction)에 의해 프로세싱 된다(201). 카메라 렌즈(8)는 최초(original) LED 포지션을 잘못된 포지션(faulty position)으로 변경할 수 있다. CLDC는 렌즈 왜곡을 교정(correct)하고, 결과적으로 LED 위치를 교정한다.
CLDC 후, 픽셀 강도 필터(PIF)가 이용된다(202). 인커밍 비디오 프레임 상에 LED 픽셀뿐만 아니라, 일부(some) 노이즈 픽셀도 존재할 수 있다. 이러한 노이즈 픽셀은 잘못된 결과(faulty result)를 만들지 않기 위해 필터링 되어야 한다. PIF 블록은 조정 가능한 픽셀 임계값을 이용함으로써, 비디오 프레임 상의 모든 노이즈 픽셀을 제거한다(clean up).
본 발명의 바람직한 실시예에 있어서, LCC는 모든 레이블에 대해 다음(following) 정보를 저장하고, 인커밍 레이블에 따라 그것들을 업데이트 하고, CCL 블록으로부터 정보를 병합한다(204). 픽셀들의 수는 연관된 레이블 값을 포함하고, 픽셀들의 x좌표 합은 연관된 레이블 값을 포함하고, 픽셀들의 y좌표 합은 연관된 레이블 값을 포함하고, 픽셀들의 강도(intensity) 합은 연관된 레이블 값을 포함한다. 라인 주기(line period) 동안 레이블 값이 LCC로 전송되지 않는(does not come to) 경우, 이 레이블은 완료된 것(전체 LED 이미지가 컴플리트 됨)으로 수용되고, 그것의 정보는 LED 유효성 필터(LVF)로 전송된다. 또한, 이 레이블 값은 재이용(reuse)을 위해 CCL로 되돌려 보내진다. 이러한 재이용은 알고리즘의 소스 요청을 감소시킨다.
본 발명의 바람직한 실시예에 있어서, LVF는 LCC로부터 인커밍 정보를 체크한다(206). 연관된 레이블 값에 대한 픽셀들의 수가 정의된 범위 내에 존재하지 않는 경우, 인커밍 정보는 버려진다(discard). 작은 클러터(clutters)들이 충분한 강도 값을 가질 수 있고, 그것들은 PIF를 통과할 수 있거나, 카메라에게 큰 반짝임(shine)일 수 있기 때문에, 이것은 큰 LED 형태 클러터를 초래할 수 있다.
본 발명의 바람직한 실시예에 있어서, 동작을 필터링 한 후, LVF는 더블 플로팅 포인트 오퍼레이터를 이용함으로써, LED 센터 포지션을 계산한다. 그것으로 x & y 좌표 합을 나누면(divide) 전체 픽셀의 수가 되고, 이것은 플로팅 포인트 센터 값을 제공한다(105).
1: 광학 헤드 트랙킹 시스템
2: 헬멧
3: 헬멧 상의 LED
4: 카메라
5: 카메라 홀더
6: FPGA
7: 비디오 프로세싱 보드
8: 카메라 렌즈

Claims (8)

  1. 광학 헤드 트랙킹(tracking) 시스템(1)에 있어서,
    광학 헤드 트랙킹 시스템(1)의 일부로서(as a part of) LED 어레이를 운반하는 적어도 하나의 헬멧(2);
    적외선 특성(infrared characteristic)을 포함하는 상기 헬멧 상의 적어도 하나의 LED(3);
    상기 헬멧 상의 LED(3)를 이미지화(image)하는 적어도 하나의 카메라(4);
    카메라(4)를 유지(holds)하는 적어도 하나의 카메라 홀더(5);
    상기 LED 센터 좌표를 계산하는 적어도 하나의 FPGA(6);
    FPGA(6) 및 비디오 캡쳐 구성요소를 포함하는 적어도 하나의 비디오 프로세싱 보드(7); 및
    LED(3)로부터 상기 특정한 IR만을 수용(accept)하는 적어도 하나의 카메라 렌즈(8)
    를 포함하는,
    광학 헤드 트랙킹 시스템.
  2. LED 센터 감지 방법(100)에 있어서,
    카메라(4)에 의해 상기 LED 이미지들을 포함하는 비디오를 캡쳐하는 단계(101);
    비디오 프로세싱 보드(7)로 상기 비디오를 전송하는 단계(102); 및
    더블 플로팅(floating) 포인트 오퍼레이터(operators)(6)를 이용함으로써, 상기 FPGA 에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)
    를 더 포함하는,
    LED 센터 감지를 위한 방법.
  3. 상기 LED 센터 감지 방법(100)에서,
    FPGA(6)에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)는,
    CLDC(Camera Lens Distortion Correction)에 의해 상기 인커밍 비디오 프레임을 프로세싱 하는 단계(201);
    PIF(Pixel Intensity Filter에 의해 상기 인커밍 비디오 프레임을 필터링하는 단계(202);
    상기 인커밍 픽셀들 간의 관계를 추출하고, 픽셀들의 이웃(neighborhood)에 관해(in terms of) 상기 LED 픽셀들을 레이블링(label) 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203);
    모든 레이블에 대해, 상기 인커밍 픽셀에 따라 LCC(LED Center Calculation)에 의해 정보를 저장 및 업데이트하고, 정보를 병합(merge)하는 단계(204);
    LCC(205)로부터 LVF(LED Validity Filter)에게 상기 정보를 전송하는 단계(205); 및
    LVF에 의해 상기 인커밍 정보를 체크하고 필터링하는 단계(206)
    를 포함하는 하위(sub) 단계들을 더 포함하는,
    LED 센터 감지를 위한 방법.
  4. 본원 발명의 바람직한 실시예에 있어서,
    상기 인커밍 픽셀들 간의 관계를 추출하고, 상기 비디오 프레임 상의 상기 LED 픽셀들을 레이블링 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203)는,
    상기 인커밍 픽셀이 백그라운드인지 LED 픽셀인지 여부를 체크하는 단계(301); 및
    상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)
    를 포함하는 하위 단계들을 더 포함하는,
    LED 센터 감지를 위한 방법.
  5. 본원 발명의 바람직한 실시예에 있어서,
    상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)는,
    이웃 픽셀들을 제어하는 단계(401);
    상기 이웃 픽셀들이 어떠한 레이블도 포함하지 않은 경우, 상기 리스트로부터 상기 인커밍 픽셀로 새로운 레이블을 할당하고, 상기 인커밍 픽셀 라인 값을 상기 할당된 레이블과 연관시키는 단계(402);
    하나의 이웃만이 레이블을 포함하는 경우, 이웃 픽셀의 값을 상기 인커밍 픽셀에 할당하는 단계(403);
    이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 레이블들의 상기 라인 정보를 체크하고, 더 작은 라인 값을 갖는 레이블을 상기 인커밍 픽셀에 할당하는 단계(404);
    상기 인커밍 픽셀 정보를 상기 할당된 레이블의 상기 정보에 더하는(adding) 단계(405); 및
    이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 다른 이웃 픽셀 레이블의 정보를 상기 할당된 레이블의 정보 - 픽셀의 수, x & y 좌표 합, 강도(intensity) 합 - 와 병합하는 단계(406)
    를 포함하는 하위 단계들을 더 포함하는,
    LED 센터 감지를 위한 방법.
  6. 제1항의 광학 헤드 트랙킹 시스템(1)에 있어서,
    FPGA(6)에서 PIF에 의해 상기 비디오 프레임 상의 모든 노이즈 픽셀(noisy pixels)들을 제거하는,
    광학 헤드 트랙킹 시스템.
  7. 제1항의 광학 헤드 트랙킹 시스템(1)에 있어서,
    FPGA(6)는, 상기 알고리즘의 상기 소스 요청(requirements)을 감소시키기 위해 상기 CCL에 상기 완료된(finished) 레이블 값들을 되돌려 보내는(sends back),
    광학 헤드 트랙킹 시스템.
  8. 제1항의 광학 헤드 트랙킹 시스템(1)에 있어서,
    FPGA(6)는,
    정의된 범위(defined range) 내에 존재하지 않는 전체 픽셀의 상기 레이블들의 정보를 버리는(discard),
    광학 헤드 트랙킹 시스템.
KR1020167008229A 2013-09-03 2013-09-03 광학 헤드 트랙킹을 위한 led 센터 감지 KR101840147B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2013/058244 WO2015033184A1 (en) 2013-09-03 2013-09-03 Led center detection for optical head tracking

Publications (2)

Publication Number Publication Date
KR20160048928A true KR20160048928A (ko) 2016-05-04
KR101840147B1 KR101840147B1 (ko) 2018-03-19

Family

ID=49378507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167008229A KR101840147B1 (ko) 2013-09-03 2013-09-03 광학 헤드 트랙킹을 위한 led 센터 감지

Country Status (3)

Country Link
EP (1) EP3042359B1 (ko)
KR (1) KR101840147B1 (ko)
WO (1) WO2015033184A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105738868A (zh) * 2016-04-15 2016-07-06 浙江工业大学义乌科学技术研究院有限公司 一种基于双图像传感器和可见光通信技术的高精度室内定位方法
CN107421506B (zh) * 2017-08-11 2023-03-28 华南理工大学 一种基于室内可见光通信的视觉追踪定位系统和方法
CN115190238A (zh) * 2022-06-20 2022-10-14 中国人民解放军战略支援部队航天工程大学 一种星载动目标检测跟踪地面演示验证系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4847192B2 (ja) 2006-04-14 2011-12-28 キヤノン株式会社 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法
JP4982715B2 (ja) 2008-08-21 2012-07-25 学校法人関西学院 情報提供方法及び情報提供システム

Also Published As

Publication number Publication date
EP3042359A1 (en) 2016-07-13
KR101840147B1 (ko) 2018-03-19
WO2015033184A1 (en) 2015-03-12
EP3042359B1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
US8212210B2 (en) IR camera and method for presenting IR information
US20120314085A1 (en) Video image display screen, video image display system, and method for detecting camera used in illegal camcording
US9852339B2 (en) Method for recognizing iris and electronic device thereof
CN104834901A (zh) 一种基于双目立体视觉的人脸检测方法、装置及系统
US20180249090A1 (en) Image processing apparatus, solid-state imaging device, and electronic apparatus
KR102281149B1 (ko) 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
WO2012046181A1 (en) Mapping detecting and tracking objects in an arbitrary outdoor scene using active vision
JP2011033449A (ja) ウェーハの欠陥検査方法及び欠陥検査装置
KR20200031169A (ko) 이미지 처리 방법 및 장치
JP2009254525A (ja) 瞳孔検知方法及び装置
JP6376474B2 (ja) 多眼撮像システム、取得画像の合成処理方法、及びプログラム
US20130271562A1 (en) User recognition apparatus and method
US10026158B2 (en) Imaging device
JP2016075658A (ja) 情報処理システムおよび情報処理方法
TW201516967A (zh) 顏色取樣方法及觸控控制裝置
KR20160048928A (ko) 광학 헤드 트랙킹을 위한 led 센터 감지
KR101516487B1 (ko) 차분 카메라를 이용한 영상처리 장치
CN102609152A (zh) 大视场角图像检测电子白板图像采集方法及装置
KR101617068B1 (ko) 편광 차분 카메라를 이용한 영상처리 시스템
JP2009254691A (ja) 瞳孔検知方法及び装置
TWI504936B (zh) 影像處理裝置
CN107094230A (zh) 一种利用多空域数据融合技术获取图像和视频的方法
JP2010175966A (ja) 画像処理装置及び撮像装置
JP2007026400A (ja) 可視光を用いた照度差の激しい場所での物体検出・認識システム、及びコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant