KR101840147B1 - 광학 헤드 트랙킹을 위한 led 센터 감지 - Google Patents

광학 헤드 트랙킹을 위한 led 센터 감지 Download PDF

Info

Publication number
KR101840147B1
KR101840147B1 KR1020167008229A KR20167008229A KR101840147B1 KR 101840147 B1 KR101840147 B1 KR 101840147B1 KR 1020167008229 A KR1020167008229 A KR 1020167008229A KR 20167008229 A KR20167008229 A KR 20167008229A KR 101840147 B1 KR101840147 B1 KR 101840147B1
Authority
KR
South Korea
Prior art keywords
incoming
led
pixel
pixels
label
Prior art date
Application number
KR1020167008229A
Other languages
English (en)
Other versions
KR20160048928A (ko
Inventor
이스마일 오즈사라크
에다 사힌
Original Assignee
아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 filed Critical 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Publication of KR20160048928A publication Critical patent/KR20160048928A/ko
Application granted granted Critical
Publication of KR101840147B1 publication Critical patent/KR101840147B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 광학 헤드 트랙킹 시스템(1)을 위한 비디오 프레임에서 이미지에 대해 FPGA(Field Programmable Gate Array)(6)로 LED(Light Emitting Diode) 센터/포지션을 감지하기 위한 시스템(1) 및 방법(2)과 연관된다. 본 발명의 다른 목적은, 광학 헤드 트랙킹 시스템(1)의 정확도 증가를 제공하는 것이다.

Description

광학 헤드 트랙킹을 위한 LED 센터 감지{LED CENTER DETECTION FOR OPTICAL HEAD TRACKING}
본 발명은 광학 헤드 트랙킹 시스템을 위한 비디오 프레임 내의 LED(Light Emitting Diode) 센터/포지션을 감지하기 위해 FPGA(Field Programmable Gate Array) 상에서 이미지를 프로세싱하는 방법과 관련된다.
LED 포지션은 발사 시스템(fire system)을 제어하기 위한 HMD(Helmet Mounted Display) 트랙킹 시스템에 이용된다. 그러므로, LED 포지션은 전용(dedicated) 하드웨어 상에서 계산되어야 하고, 트랙킹의 결과는 정확해야 한다. 또한, 트랙킹 빈도는 어떠한 시스템 지연(system latency)도 야기시키지 않도록 충분히 높아야 한다.
일본 특허 출원 번호 JP2010050757는, 재귀(recursive) 반사(reflection) 특성들을 포함하는 투명한 물질로 구성된 비가시적(invisible) 마커를 제공하는 정보에 대한(for) 방법 및 시스템을 개시한다. 카메라는 적외선을 방출하는(irradiating) 적외선 LED(infrared LED), 적외선 영역과 가시광선 영역의 주파수(frequency) 영역 내에 빛을 이미지화(imaging) 할 수 있는 CMOS, 적외선 LED를 이용하는 객체에 가시광선 하에서 적외선을 방출하는 상황(state)에 의해 가시광선 및 적외선(이하 가시적 적외선(visible infrared) 이미지라 함) 하에서 이미지를 이미지화하기 위한 프로세스를 제어하기 위한 FPGA 및 적외선 방출 없이 가시광선(이하 가시적 이미지라 함) 하에서만 생성되는(to be executed) 이미지를 이미지화 하기 위한 프로세스를 포함한다. 웨어러블(wearable) 컴퓨터는 가시적 적외선 이미지 및 가시적 이미지 간에 다른 이미지를 생성하고, 다른 이미지 내에 포함되는(to be included within the difference image) 비가시적 마커를 감지한다.
미국 특허 출원 번호 US2007242086는, 이미지 프로세싱 시스템, 이미지 프로세싱 장치, 이미지 센싱 장치 및 그것들의 제어 방법을 개시한다. 개시 내용에 따르면, 실제 공간 이미지를 가상 공간 이미지와 합성함으로써 복합(composite) 이미지를 획득하기 위한 장치에 의해 실행되는 제1 프로세스 및 제2 프로세스는 협의(negotiation)에 의해 결정된다. 장치는 제2 프로세스를 실행하기 위해 필요한 데이터를 장치로 전송한다. 장치는 데이터를 이용함으로써 제2 프로세스를 실행하고, 장치로 프로세스 결과를 전송한다. 장치는 장치에 의해 프로세스 결과를 수신하고, 제1 프로세스를 실행한다. 장치는 제1 프로세스의 결과에 기초하여(on the basis of) 획득된 복합 이미지 또는 프로세스 결과에 기초하여 획득된 복합 이미지, 및 수신된 프로세스 결과를 디스플레이 한다.
"비행트랙커: 강화된 비전의 조종석을 위한 신규(novel) 광학/관성 트랙커(Foxlin et al, 212:221, 2004)"라는 제목의 문헌은 헬멧-마운티드 및 기체(aircraft)-마운티드 관성 센서 간의 차등(differential) 관성 트랙킹을 위한 알고리즘을 구현함으로써 강화된/신서틱(synthetic) 비전을 위한 헬멧-트랙킹 조종석에 대한 미니어처 MEMS 센서들 및 신규 광학 드리프트 보정(drift correction) 기술들을 개시한다.
"포지션 트랙커의 조사(survey)(Meyer et al, 173:200, 1992)"이라는 제목의 문헌은, 포지션-트랙킹 기술 및 그것들의 가상 현실(VR) 에서의 이용을 조사한 것이다. 가상 현실을 이용하기 위한 포지션-트랙킹 구현의 적합성을 평가하기 위해 프레임워크가 설정되었다(established). 기계적, 광학적, 자기적 및 음향적(acoustic) 구현들이 각각의 예시들과 함께 논의된다. 또한, 가상 현실 유저 상에서 포지션의 효과가 논의되고, 특히 시뮬레이션 멀미(simulation sickness)를 야기시키는 포지션 트랙커의 역할에 관하여 논의된다. 구현들 및 이용들의 카탈로그는 부록에 포함되어 있다.
본 발명의 목적은, 광학 헤드 트랙킹 시스템을 위한 비디오 프레임 내의 LED 센터/포지션을 감지하기 위해 FPGA 상에서 이미지를 프로세싱하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 광학 헤드 트랙킹 시스템의 정확도 증가를 제공하는 것이다.
광학 헤드 트랙킹(tracking) 시스템(1)은, 광학 헤드 트랙킹 시스템(1)의 일부로서(as a part of) LED 어레이를 운반하는 적어도 하나의 헬멧(2); 적외선 특성(infrared characteristic)을 포함하는 상기 헬멧 상의 적어도 하나의 LED(3); 상기 헬멧 상의 LED(3)를 이미지화(image)하는 적어도 하나의 카메라(4); 카메라(4)를 유지(holds)하는 적어도 하나의 카메라 홀더(5); 상기 LED 센터 좌표를 계산하는 적어도 하나의 FPGA(6); FPGA(6) 및 비디오 캡쳐 구성요소를 포함하는 적어도 하나의 비디오 프로세싱 보드(7); 및 LED(3)로부터 상기 특정한 IR만을 수용(accept)하는 적어도 하나의 카메라 렌즈(8)를 포함한다.
LED 센터 감지 방법(100)은, 카메라(4)에 의해 상기 LED 이미지들을 포함하는 비디오를 캡쳐하는 단계(101); 비디오 프로세싱 보드(7)로 상기 비디오를 전송하는 단계(102); 및 더블 플로팅(floating) 포인트 오퍼레이터(operators)(6)를 이용함으로써, 상기 FPGA 에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)를 더 포함한다.
LED 센터 감지 방법(100)은, FPGA(6)에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)는, CLDC(Camera Lens Distortion Correction)에 의해 상기 인커밍 비디오 프레임을 프로세싱 하는 단계(201); PIF(Pixel Intensity Filter)에 의해 상기 인커밍 비디오 프레임을 필터링하는 단계(202); 상기 인커밍 픽셀들 간의 관계를 추출하고, 픽셀들의 이웃(neighborhood)에 관해(in terms of) 상기 LED 픽셀들을 레이블링(label) 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203); 모든 레이블에 대해, 상기 인커밍 픽셀에 따라 LCC(LED Center Calculation)에 의해 정보를 저장 및 업데이트하고, 정보를 병합(merge)하는 단계(204); LCC(205)로부터 LVF(LED Validity Filter)에게 상기 정보를 전송하는 단계(205); 및 LVF에 의해 상기 인커밍 정보를 체크하고 필터링하는 단계(206)를 포함하는 하위(sub) 단계들을 더 포함한다.
LED 센터 감지 방법(100)은, 상기 인커밍 픽셀들 간의 관계를 추출하고, 상기 비디오 프레임 상의 상기 LED 픽셀들을 레이블링 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203)는, 상기 인커밍 픽셀이 백그라운드인지 LED 픽셀인지 여부를 체크하는 단계(301); 및 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)를 포함하는 하위 단계들을 더 포함한다.
LED 센터 감지 방법(100)은, 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)는, 이웃 픽셀들을 제어하는 단계(401); 상기 이웃 픽셀들이 어떠한 레이블도 포함하지 않은 경우, 상기 리스트로부터 상기 인커밍 픽셀로 새로운 레이블을 할당하고, 상기 인커밍 픽셀 라인 값을 상기 할당된 레이블과 연관시키는 단계(402); 하나의 이웃만이 레이블을 포함하는 경우, 이웃 픽셀의 값을 상기 인커밍 픽셀에 할당하는 단계(403); 이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 레이블들의 상기 라인 정보를 체크하고, 더 작은 라인 값을 갖는 레이블을 상기 인커밍 픽셀에 할당하는 단계(404); 상기 인커밍 픽셀 정보를 상기 할당된 레이블의 상기 정보에 더하는(adding) 단계(405); 및 이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 다른 이웃 픽셀 레이블의 정보를 상기 할당된 레이블의 정보 - 픽셀의 수, x & y 좌표 합, 강도(intensity) 합 - 와 병합하는 단계(406)를 포함하는 하위 단계들을 더 포함한다.
광학 헤드 트랙킹 시스템(1)은, FPGA(6)에서 PIF에 의해 상기 비디오 프레임 상의 모든 노이즈 픽셀(noisy pixels)들을 제거한다.
광학 헤드 트랙킹 시스템(1)의 FPGA(6)는, 상기 알고리즘의 상기 소스 요청(requirements)을 감소시키기 위해 상기 CCL에 상기 완료된(finished) 레이블 값들을 되돌려 보낸다(sends back).
광학 헤드 트랙킹 시스템(1)의 FPGA(6)는, 정의된 범위(defined range) 내에 존재하지 않는 전체 픽셀의 상기 레이블들의 정보를 버린다(discard).
본 발명은, 광학 헤드 트랙킹 시스템을 위한 비디오 프레임 내의 LED 센터/포지션을 감지하기 위해 FPGA 상에서 이미지를 프로세싱하는 방법을 제공한다.
본 발명은, 광학 헤드 트랙킹 시스템의 정확도 증가를 제공한다.
본 발명의 목적을 달성(fulfill)하기 위해 광학 헤드 트랙킹을 위한 빠르고 정확한 LED 센터 감지가 첨부된 도면에서 도시된다.
도 1은 광학 헤드 트랙킹 시스템의 개략도(the schematic)이다.
도 2는 카메라 렌즈 상의 왜곡(distortion)을 도시한다.
도 3은 광학 헤드 트랙킹을 위한 방법의 흐름도이다.
도 4는 LED 이미지 센터를 계산하는 하위 단계의 흐름도이다.
도 5는 CCL(Connected Component Labeling)을 이용하는 하위 단계의 흐름도이다.
도 6은 레이블 값을 픽셀에 할당하는 하위 단계의 흐름도이다.
광학 헤드 트랙킹(tracking) 시스템(1)은, 광학 헤드 트랙킹 시스템(1)의 일부로서 LED 어레이를 운반하는 적어도 하나의 헬멧(2); 적외선 특성(infrared characteristic)을 포함하는 상기 헬멧 상의 적어도 하나의 LED(3); 상기 헬멧 상의 LED(3)를 이미지화(image)하는 적어도 하나의 카메라(4); 카메라(4)를 유지(holds)하는 적어도 하나의 카메라 홀더(5); 상기 LED 센터 좌표를 계산하는 적어도 하나의 FPGA(6); FPGA(6) 및 비디오 캡쳐 구성요소를 포함하는 적어도 하나의 비디오 프로세싱 보드(7); 및 LED(3)로부터 상기 특정한 IR만을 수용(accept)하는 적어도 하나의 카메라 렌즈(8)를 포함한다.
LED 센터 감지 방법(100)은, 카메라(4)에 의해 상기 LED 이미지들을 포함하는 비디오를 캡쳐하는 단계(101); 비디오 프로세싱 보드(7)로 상기 비디오를 전송하는 단계(102); 및 더블 플로팅(floating) 포인트 오퍼레이터(operators)(6)를 이용함으로써, 상기 FPGA에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)를 포함한다.
상기 LED 센터 감지 방법(100)은, 더블 플로팅(floating) 포인트 오퍼레이터(operators)(6)를 이용함으로써, 상기 FPGA 에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)는, CLDC(Camera Lens Distortion Correction)에 의해 상기 인커밍 비디오 프레임을 프로세싱 하는 단계(201); PIF(Pixel Intensity Filter)에 의해 상기 인커밍 비디오 프레임을 필터링하는 단계(202); 상기 인커밍 픽셀들 간의 관계를 추출하고, 픽셀들의 주변(neighborhood)에 관해(in terms of) 상기 LED 픽셀들을 레이블링(label) 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203); 모든 레이블에 대해, 상기 인커밍 픽셀에 따라 LCC(LED Center Calculation)에 의해 정보를 저장 및 업데이트하고, 정보를 병합(merge)하는 단계(204); LCC로부터 LVF(LED Validity Filter)에게 상기 정보를 전송하는 단계(205); 및 LVF에 의해 상기 인커밍 정보를 체크하고 필터링하는 단계(206)를 포함하는 하위(sub) 단계들을 더 포함한다.
본원 발명의 바람직한 실시예에 있어서, 상기 인커밍 픽셀들 간의 관계를 추출하고, 상기 비디오 프레임 상의 상기 LED 픽셀들을 레이블링 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203)는, 상기 인커밍 픽셀이 백그라운드인지 LED 픽셀인지 여부를 체크하는 단계(301); 및 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)를 포함하는 하위 단계들을 더 포함한다.
본원 발명의 바람직한 실시예에 있어서, 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)는, 이웃 픽셀들(상측 및 좌측)을 제어하는 단계(401); 상기 이웃 픽셀들이 어떠한 레이블도(그것들은 백그라운드임) 포함하지 않은 경우, 상기 리스트로부터 상기 인커밍 픽셀로 새로운 레이블을 할당하고, 상기 인커밍 픽셀 라인 값을 상기 할당된 레이블과 연관시키는 단계(402); 하나의 이웃만이 레이블을 포함하는 경우, 이웃 픽셀의 값을 상기 인커밍 픽셀에 할당하는 단계(403); 이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 레이블들의 상기 라인 정보를 체크하고, 더 작은 라인 값을 갖는 레이블을 상기 인커밍 픽셀에 할당하는 단계(404); 상기 인커밍 픽셀 정보를 상기 할당된 레이블의 상기 정보에 더하는(adding) 단계(405); 및 이웃하는 두 개 모두 레이블을 포함하는 경우, 상기 다른 이웃 픽셀 레이블의 정보를 상기 할당된 레이블의 정보 - 픽셀의 수, x & y 좌표 합, 강도(intensity) 합 - 와 병합하는 단계(406)를 포함하는 하위 단계들을 포함한다.
본 발명의 바람직한 실시예에 있어서, 광학 헤드 트랙킹 시스템(1)은, 헬멧(2); 헬멧 상의 LED(3); 헬멧 상의 LED(3)를 이미지화 하는 카메라(4); 및 카메라(4)를 유지하는 카메라 홀더(5); LED 센터 좌표를 계산하는 FPGA(6); FPGA(6)를 포함하는(contain) 비디오 프로세싱 보드(7); 비디오 캡쳐 구성요소; 및 LED(3)로부터 특정 IR만을 수용하는 카메라 렌즈(8)를 포함한다.
본 발명의 바람직한 실시예에 있어서, LED 이미지를 포함하는 비디오는 카메라(4)에 의해 캡쳐되고, 비디오 프로세싱 보드(7)로 전송된다. LED 및 카메라 필터의 IR 특성 때문에, 카메라 비디오 프레임은 블랙 백그라운드 상에 화이트 픽셀(LED)로 구성된다. 비디오 프레임 상의 LED 이미지는 원형으로 보이지만, 그것은 다른 형태일 수도 있다. LED의 형태는 카메라에 대해 상대적인 헤드 포지션에 따라 변화한다. 헤드가 우측 또는 좌측으로 돌아가는(turn) 경우, 그 형태는 원형이 아니라 타원형(ellipse)처럼 보인다. 헤드가 카메라에 접근하는 경우, LED 이미지가 확대된다.
본 발명의 바람직한 실시예에 있어서, 비디오 프레임 상의 LED 이미지 센터는, 비디오 프로세싱 보드(7) 상에 위치하는 FPGA(6) 에서 계산된다. 우선, 인커밍 비디오 프레임은, 비디오 프레임으로부터 원치 않는(undesirable) 렌즈 왜곡을 제거하기 위해 CLDC(camera lens distortion correction)에 의해 프로세싱 된다(201). 카메라 렌즈(8)는 최초(original) LED 포지션을 잘못된 포지션(faulty position)으로 변경할 수 있다. CLDC는 렌즈 왜곡을 교정(correct)하고, 결과적으로 LED 위치를 교정한다.
CLDC 후, 픽셀 강도 필터(PIF)가 이용된다(202). 인커밍 비디오 프레임 상에 LED 픽셀뿐만 아니라, 일부(some) 노이즈 픽셀도 존재할 수 있다. 이러한 노이즈 픽셀은 잘못된 결과(faulty result)를 만들지 않기 위해 필터링 되어야 한다. PIF 블록은 조정 가능한 픽셀 임계값을 이용함으로써, 비디오 프레임 상의 모든 노이즈 픽셀을 제거한다(clean up).
본 발명의 바람직한 실시예에 있어서, LCC는 모든 레이블에 대해 다음(following) 정보를 저장하고, 인커밍 레이블에 따라 그것들을 업데이트 하고, CCL 블록으로부터 정보를 병합한다(204). 픽셀들의 수는 연관된 레이블 값을 포함하고, 픽셀들의 x좌표 합은 연관된 레이블 값을 포함하고, 픽셀들의 y좌표 합은 연관된 레이블 값을 포함하고, 픽셀들의 강도(intensity) 합은 연관된 레이블 값을 포함한다. 라인 주기(line period) 동안 레이블 값이 LCC로 전송되지 않는(does not come to) 경우, 이 레이블은 완료된 것(전체 LED 이미지가 컴플리트 됨)으로 수용되고, 그것의 정보는 LED 유효성 필터(LVF)로 전송된다. 또한, 이 레이블 값은 재이용(reuse)을 위해 CCL로 되돌려 보내진다. 이러한 재이용은 알고리즘의 소스 요청을 감소시킨다.
본 발명의 바람직한 실시예에 있어서, LVF는 LCC로부터 인커밍 정보를 체크한다(206). 연관된 레이블 값에 대한 픽셀들의 수가 정의된 범위 내에 존재하지 않는 경우, 인커밍 정보는 버려진다(discard). 작은 클러터(clutters)들이 충분한 강도 값을 가질 수 있고, 그것들은 PIF를 통과할 수 있거나, 카메라에게 큰 반짝임(shine)일 수 있기 때문에, 이것은 큰 LED 형태 클러터를 초래할 수 있다.
본 발명의 바람직한 실시예에 있어서, 동작을 필터링 한 후, LVF는 더블 플로팅 포인트 오퍼레이터를 이용함으로써, LED 센터 포지션을 계산한다. 그것으로 x & y 좌표 합을 나누면(divide) 전체 픽셀의 수가 되고, 이것은 플로팅 포인트 센터 값을 제공한다(105).
1: 광학 헤드 트랙킹 시스템
2: 헬멧
3: 헬멧 상의 LED
4: 카메라
5: 카메라 홀더
6: FPGA
7: 비디오 프로세싱 보드
8: 카메라 렌즈

Claims (8)

  1. 광학 헤드 트랙킹 시스템(1)에 있어서,
    광학 헤드 트랙킹 시스템(1)의 일부로서 LED 어레이를 운반하는 적어도 하나의 헬멧(2);
    적외선 특성(infrared characteristic)을 가지는 상기 헬멧 상의 적어도 하나의 LED(3);
    상기 헬멧 상의 이미지 LED(3)들을 이미지화 하도록 구성(is adapted to)되는 적어도 하나의 카메라(4);
    카메라(4)를 유지하도록(hold) 구성되는 적어도 하나의 카메라 홀더(5);
    FPGA(6) 및 비디오 캡쳐 구성요소를 포함하는 적어도 하나의 비디오 프로세싱 보드(7); 및
    LED(3)로부터 특정한 IR만을 수용하도록(accept) 구성되는 적어도 하나의 카메라 렌즈(8)
    를 포함하고,
    적어도 하나의 FPGA(6)는 상기 LED 센터 좌표를 계산하도록 구성되고, 상기 적어도 하나의 FPGA(6)는 상기 LED 센터 좌표를 계산하기 위하여 CLDC(Camera Lens Distortion Correction)에 의해 인커밍 비디오 프레임을 프로세싱하고, PIF(Pixel Intensity Filter)에 의해 상기 인커밍 비디오 프레임을 필터링하고, 인커밍 픽셀들 간의 관계를 추출하고, 픽셀들의 이웃(neighborhood)에 관해(in terms of) LED 픽셀들을 레이블링(label) 하기 위해 CCL(Connected Component Labeling)을 이용하고, 모든 레이블에 대해, 인커밍 레이블에 따라 LCC(LED Center Calculation)에 의해 정보를 저장 및 업데이트하고, 정보를 병합(merge)하고, LCC(205)로부터 LVF(LED Validity Filter)에게 상기 정보를 전송하고, 연관된 레이블 값에 대한 픽셀들의 수가 정의된 범위 내에 존재하지 않는 경우, LVF에 의해 상기 인커밍 정보를 체크하고 필터링하고,
    상기 적어도 하나의 FPGA(6)는 상기 인커밍 픽셀들 간의 관계를 추출하고, 상기 비디오 프레임 상의 상기 LED 픽셀들을 레이블링 하기 위하여 인커밍 픽셀이 백그라운드인지 LED 픽셀인지 여부를 체크하고, 상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당 - 상기 적어도 하나의 FPGA(6)는 i) 상기 인커밍 픽셀의 이웃 픽셀들이 어떠한 레이블도 포함하지 않은 경우, 상기 인커밍 픽셀에 새로운 레이블을 할당하고 상기 인커밍 픽셀 라인 값을 상기 새로운 레이블과 연관시키고; ii) 상기 인커밍 픽셀의 하나의 이웃 픽셀 만이 레이블을 포함하는 경우, 상기 이웃 픽셀의 값을 상기 인커밍 픽셀에 할당하고; iii)상기 인커밍 픽셀의 두 개의 이웃 픽셀이 레이블을 포함하는 경우, 상기 두 개의 이웃 픽셀의 라인 값을 체크하여 더 작은 라인 값을 갖는 이웃 픽셀의 레이블을 상기 인커밍 픽셀에 할당함 - 하는,
    광학 헤드 트랙킹 시스템.
  2. LED 센터 감지 방법(100)에 있어서,
    카메라(4)에 의해 상기 LED 이미지들을 포함하는 비디오를 캡쳐하는 단계(101);
    비디오 프로세싱 보드(7)로 비디오를 전송하는 단계(102); 및
    더블 플로팅 포인트 오퍼레이터들(6)을 이용함으로써, FPGA에서 상기 비디오 상의 LED 이미지 센터들을 계산하는 단계(103)
    를 포함하고,
    FPGA(6)에서 상기 비디오 상의 상기 LED 이미지 센터를 계산하는 단계(103)는,
    CLDC(Camera Lens Distortion Correction)에 의해 인커밍 비디오 프레임을 프로세싱 하는 단계(201);
    PIF(Pixel Intensity Filter)에 의해 상기 인커밍 비디오 프레임을 필터링하는 단계(202);
    인커밍 픽셀들 간의 관계를 추출하고, 픽셀들의 이웃(neighborhood)에 관해(in terms of) LED 픽셀들을 레이블링(label) 하기 위해 CCL(Connected Component Labeling)을 이용하는 단계(203);
    모든 레이블에 대해, 인커밍 레이블에 따라 LCC(LED Center Calculation)에 의해 정보를 저장 및 업데이트하고, 정보를 병합(merge)하는 단계(204);
    LCC(205)로부터 LVF(LED Validity Filter)에게 상기 정보를 전송하는 단계(205); 및
    연관된 레이블 값에 대한 픽셀들의 수가 정의된 범위 내에 존재하지 않는 경우, LVF에 의해 상기 인커밍 정보를 체크하고 필터링하는 단계(206)
    를 포함하고,
    상기 인커밍 픽셀들 간의 관계를 추출하고, 상기 비디오 프레임 상의 상기 LED 픽셀들을 레이블링 하기 위해 상기 CCL(Connected Component Labeling)을 이용하는 단계(203)는,
    인커밍 픽셀이 백그라운드인지 LED 픽셀인지 여부를 체크하는 단계(301); 및
    상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)
    를 포함하고,
    상기 인커밍 픽셀이 LED 픽셀인 경우, 레이블을 할당하는 단계(302)는,
    상기 인커밍 픽셀의 이웃 픽셀들이 어떠한 레이블도 포함하지 않은 경우, 상기 인커밍 픽셀에 새로운 레이블을 할당하고 상기 인커밍 픽셀 라인 값을 상기 새로운 레이블과 연관시키는 단계;
    상기 인커밍 픽셀의 하나의 이웃 픽셀 만이 레이블을 포함하는 경우, 상기 이웃 픽셀의 값을 상기 인커밍 픽셀에 할당하는 단계; 및
    상기 인커밍 픽셀의 두 개의 이웃 픽셀이 레이블을 포함하는 경우, 상기 두 개의 이웃 픽셀의 라인 값을 체크하여 더 작은 라인 값을 갖는 이웃 픽셀의 레이블을 상기 인커밍 픽셀에 할당하는 단계
    를 포함하는,
    LED 센터 감지를 위한 방법.
  3. 삭제
  4. 제1항의 광학 헤드 트랙킹 시스템(1)에 있어서,
    FPGA(6) 내의 PIF(Pixel Intensity Filter)는, FPGA(6)에 의해 비디오 프레임 상에서 모든 노이즈 픽셀들을 제거하도록(clean up) 구성되는,
    광학 헤드 트랙킹 시스템.
  5. 제1항의 광학 헤드 트랙킹 시스템(1)에 있어서,
    FPGA(6)는, 전체 픽셀 번호가 정의된 범위 내에 존재하지 않는 레이블들의 정보를 버리도록(discard) 구성되는,
    광학 헤드 트랙킹 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020167008229A 2013-09-03 2013-09-03 광학 헤드 트랙킹을 위한 led 센터 감지 KR101840147B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2013/058244 WO2015033184A1 (en) 2013-09-03 2013-09-03 Led center detection for optical head tracking

Publications (2)

Publication Number Publication Date
KR20160048928A KR20160048928A (ko) 2016-05-04
KR101840147B1 true KR101840147B1 (ko) 2018-03-19

Family

ID=49378507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167008229A KR101840147B1 (ko) 2013-09-03 2013-09-03 광학 헤드 트랙킹을 위한 led 센터 감지

Country Status (3)

Country Link
EP (1) EP3042359B1 (ko)
KR (1) KR101840147B1 (ko)
WO (1) WO2015033184A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105738868A (zh) * 2016-04-15 2016-07-06 浙江工业大学义乌科学技术研究院有限公司 一种基于双图像传感器和可见光通信技术的高精度室内定位方法
CN107421506B (zh) * 2017-08-11 2023-03-28 华南理工大学 一种基于室内可见光通信的视觉追踪定位系统和方法
CN115190238A (zh) * 2022-06-20 2022-10-14 中国人民解放军战略支援部队航天工程大学 一种星载动目标检测跟踪地面演示验证系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4847192B2 (ja) 2006-04-14 2011-12-28 キヤノン株式会社 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法
JP4982715B2 (ja) 2008-08-21 2012-07-25 学校法人関西学院 情報提供方法及び情報提供システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cho et al. Gaze detection by wearable eye-tracking and NIR LED-based head-tracking device based on SVR. ETRI Journal, Vol. 34, No. 4, 2012, pp. 542-552.*
Vriends and Coroporaal. Evaluation of High Level Synthesis for the implementation of Marker Detection on FPGA. Eindhoven University of Technology Master's thesis, 2011.*
Watson and Larry. Using texture maps to correct for optical distortion in head-mounted displays. IEEE VRAIS, 1995, pp. 172-178.*

Also Published As

Publication number Publication date
KR20160048928A (ko) 2016-05-04
WO2015033184A1 (en) 2015-03-12
EP3042359A1 (en) 2016-07-13
EP3042359B1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
KR102417177B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US10319100B2 (en) Methods, devices, and systems for identifying and tracking an object with multiple cameras
CN108351523A (zh) 利用头戴式显示器使用立体照相机以及结构光的深度映射
EP2541321A1 (en) Video-image displaying screen, video-image displaying system, and method for detecting secret-filming camera
WO2014197109A3 (en) Infrared video display eyewear
JP7112945B2 (ja) 反射を検出する装置及び方法
US10613323B1 (en) Transition feature for framing multizone optics
KR101840147B1 (ko) 광학 헤드 트랙킹을 위한 led 센터 감지
US20110128386A1 (en) Interactive device and method for use
WO2015027289A1 (en) Method and apparatus for eye detection from glints
KR101274301B1 (ko) 적외선 엘이디 발광영역의 영상 복원을 통한 증강현실 시스템
JP2019054360A (ja) 電子機器、モーションセンサー、位置変化検出プログラムおよび位置変化検出方法
CN104065952A (zh) 穿戴式电子设备和图像处理方法
JP2007026400A (ja) 可視光を用いた照度差の激しい場所での物体検出・認識システム、及びコンピュータプログラム
CN202472608U (zh) 广角图像检测电子白板信号接收器
CN107122083B (zh) 投影面的触控检测方法
US11688040B2 (en) Imaging systems and methods for correcting visual artifacts caused by camera straylight
US11956555B2 (en) Imaging with cameras having different distortion profiles
US20170048511A1 (en) Method for Stereoscopic Reconstruction of Three Dimensional Images
KR101957417B1 (ko) 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
KR101274334B1 (ko) 비전기반의 증강현실 시스템
KR101315433B1 (ko) 모스 부호 기반의 증강현실 시스템
Caballero Benítez et al. A Robust Head Tracking System Based on Monocular Vision and Planar Templates

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant