KR102133017B1 - 프로젝터 및 프로젝터의 캘리브레이션 방법 - Google Patents

프로젝터 및 프로젝터의 캘리브레이션 방법 Download PDF

Info

Publication number
KR102133017B1
KR102133017B1 KR1020170039736A KR20170039736A KR102133017B1 KR 102133017 B1 KR102133017 B1 KR 102133017B1 KR 1020170039736 A KR1020170039736 A KR 1020170039736A KR 20170039736 A KR20170039736 A KR 20170039736A KR 102133017 B1 KR102133017 B1 KR 102133017B1
Authority
KR
South Korea
Prior art keywords
pattern image
feature points
projector
acquiring
image acquisition
Prior art date
Application number
KR1020170039736A
Other languages
English (en)
Other versions
KR20180110355A (ko
Inventor
이인재
안상우
양승준
김현철
서정일
석주명
임성용
조용주
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170039736A priority Critical patent/KR102133017B1/ko
Publication of KR20180110355A publication Critical patent/KR20180110355A/ko
Application granted granted Critical
Publication of KR102133017B1 publication Critical patent/KR102133017B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

프로젝터 및 프로젝터의 캘리브레이션 방법이 개시된다. 본 개시의 프로젝터의 캘리브레이션 방법은, 패턴 영상을 스크린에 투사하는 단계, 상기 스크린에 투사된 패턴 영상을 획득하는 단계, 노출이 적합한 패턴 영상 데이터, 노출이 어두운 패턴 영상 데이터 및 노출이 밝은 패턴 영상 데이터를 수집 및 학습하여 상기 3가지 데이터를 구분할 수 있는 딥러닝 모델을 기반으로, 영상 획득 파라미터를 조절하여 상기 패턴 영상을 재 획득하는 단계, 여기서, 영상 획득 파라미터는 셔터속도, 조리개 값 및 ISO감도 중 적어도 하나를 포함함, 상기 재 획득된 패턴 영상의 복수의 특징점을 추출하고, 상기 복수의 특징점의 개수 및 상기 복수의 특징점 각각의 최근접 특징점과의 관계를 이용하여 상기 복수의 특징점의 오류를 수정하는 단계 및 상기 수정된 복수의 특징점을 이용하여 프로젝터에 기하보정을 수행하는 단계를 포함할 수 있다.

Description

프로젝터 및 프로젝터의 캘리브레이션 방법 {PROJECTOR AND CALIBRATION METHOD FOR PROJECTOR}
본 개시는 프로젝터 및 프로젝터의 캘리브레이션 방법에 관한 것으로, 보다 구체적으로는 캘리브레이션을 위한 패턴 영상 획득 과정에서 발생하는 잡음에 강인한 캘리브레이션을 제공하는 프로젝터 및 프로젝터의 캘리브리이션 방법에 관한 것이다.
최근 UHD 등 대화면 고품질 영상 기술의 발달로 보다 사실적이고 실감있는 방송에 대한 사용자들의 요구가 증대되고 있다. 또한, 보다 넓은 화각을 제공하는 파노라마 영상은 3D 영상의 입체감, UHD 영상의 사실감과는 차별화된 실감 요소를 제공할 수 있어 많은 관심을 받고 있다.
파노라마 시스템은 멀티 패널, 혹은 멀티 프로젝션을 통하여 대화면 파노라마 영상을 제공해 줄 수 있다. 특히, 멀티 프로젝션으로 파노라마 영상을 제공할 경우에는 기하학 세부보정, 블렌딩 세부보정, 컬러보정 등의 캘리브레이션 기능이 요구된다. 이때, 기하학 세부보정을 위해 일반적으로 각 프로젝터별로 패턴 영상을 투사하고 특징점을 추출한다. 그리고, 해당 특징점을 기반으로 프로젝션될 스크린에 파노라마 영상을 맵핑하여 제공할 수 있다.
그러나, 패턴영상 획득 과정에서 발생한 잡음으로 인하여 패턴 영상의 특징점을 추출하는 패턴 영상 분석 단계에서 많은 에러가 발생하고 결국 기하보정이 제대로 이루어지지 않는 결과를 초래할 수 있다. 예를 들어, 야간 캘리브레이션 시 조명 등 스크린으로 침투한 빛이 잡음을 발생시켜 영향을 줄 수 있으며, 특히 주간 캘리브레이션 시에는 더 많은 잡음을 발생시킬 수 있다.
따라서, 획득된 패턴 영상으로부터 잡음을 제거하고 불명확한 패턴 영상을 보다 명확하게 하는 캘리브레이션 방법이 필요하다.
본 개시의 기술적 과제는 패턴 영상 획득 과정에서 발생하는 잡음을 자동으로 억제하는 프로젝터 및 프로젝터의 캘리브레이션 방법을 제공하는 것이다.
본 개시의 또 다른 기술적 과제는 패턴 영상 획득 과정에서 발생하는 잡음으로 인해 불명확한 패턴 영상을 명확하게 보정하는 프로젝터 및 프로젝터의 캘리브레이션 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 프로젝터의 캘리브레이션 방법은 패턴 영상을 스크린에 투사하는 단계; 상기 스크린에 투사된 패턴 영상을 획득하는 단계; 노출이 적합한 패턴 영상 데이터, 노출이 어두운 패턴 영상 데이터 및 노출이 밝은 패턴 영상 데이터를 수집 및 학습하여 상기 3가지 데이터를 구분할 수 있는 딥러닝 모델을 기반으로, 영상 획득 파라미터를 조절하여 상기 패턴 영상을 재 획득하는 단계, 여기서, 영상 획득 파라미터는 셔터속도, 조리개 값 및 ISO감도 중 적어도 하나를 포함함; 상기 재 획득된 패턴 영상의 복수의 특징점을 추출하고, 상기 복수의 특징점의 개수 및 상기 복수의 특징점 각각의 최근접 특징점과의 관계를 이용하여 상기 복수의 특징점의 오류를 수정하는 단계 및 상기 수정된 복수의 특징점을 이용하여 프로젝터에 기하보정을 수행하는 단계를 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 패턴 영상 획득 과정에서 발생하는 잡음으로 인한 부적합한 패턴 영상을 딥러닝 모델을 이용하여 판단함으로써 적합한 패턴 영상 획득을 위한 영상 획득 파라미터를 조절할 수 있다.
또한, 본 개시에 따르면, 영상 획득 과정에서 발생하는 잡음으로 인한 불명확한 패턴 영상의 특징점을 수정하여 정확한 기하 보정을 수행할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 프로젝터의 캘리브레이션 방법을 설명하기 위한 흐름도이다.
도 2는 본 개시의 일 실시 예에 따른 영상 획득 파라미터를 조절하여 패턴 영상을 재 획득하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시 예에 따른 특징점 추출을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 잡음으로 인한 특징점 추출 오류를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 특징점 추출 오류를 수정할 때 사용되는 방향 벡터의 인덱스를 나타내는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 패턴 영상에서 특징점을 추출하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 프로젝터를 나타내는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시 예에 따른 프로젝터의 캘리브레이션 방법을 설명하기 위한 흐름도이다.
도 1을 참고하면, 프로젝터의 캘리브레이션 방법은 S110 ~ S150 단계를 수행함으로써 동작될 수 있다.
프로젝터는 패턴 영상을 스크린에 투사할 수 있다(S110). 여기서, 패턴 영상은 프로젝터에 기 저장된 패턴 영상일 수 있다.
그리고, 프로젝터는 스크린에 투사된 패턴 영상을 획득할 수 있다(S120).
그리고, 프로젝터는 노출이 적합한 패턴 영상 데이터, 노출이 어두운 패턴 영상 데이터 및 노출이 밝은 패턴 영상 데이터를 수집 및 학습하여 상기 3가지 데이터를 구분할 수 있는 딥러닝 모델을 기반으로, 영상 획득 파라미터를 조절하여 스크린에 투사된 패턴 영상을 재 획득할 수 있다(S130). 여기서, 영상 획득 파라미터는 셔터속도, 조리개 값 및 ISO감도 중 적어도 하나를 포함할 수 있으며, 영상 획득 파라미터를 조절하여 패턴 영상의 광량을 조절 할 수 있다.
한편, 프로젝터는 딥러닝 모델에 기반하여 실시간으로 획득된 패턴 영상이 특징점 추출에 적합한 영상인지 판단할 수 있다.
여기서, 딥러닝 모델은 노출이 적합한 패턴 영상 데이터, 노출이 어두운 패턴 영상 데이터 및 노출이 밝은 패턴 영상 데이터를 수집 및 학습하여 상기 3가지 상태를 구분할 수 있다(1차 학습). 학습시 데이터 량이 부족한 경우, 트랜스퍼 러닝(transfer learning)을 적용함으로써, 1차 학습된 파라미터를 기반으로 트랜스퍼 러닝으로 수집된 데이터를 이용하여 2차 학습을 수행할 수 있다.
한편, 딥러닝 모델은 프로젝터에 직접 포함되거나 또는 프로젝터에 연결된 외부 서버에 의해 제공될 수 있다.
그리고, 프로젝터는 재 획득된 패턴 영상의 복수의 특징점을 추출하고, 복수의 특징점의 개수 및 복수의 특징점 각각의 최근접 특징점과의 관계를 이용하여 복수의 특징점의 오류를 수정할 수 있다(S140).
여기서, 최근접 특징점과의 관계는 특징점과 최근접 특징점의 거리 및 특징점과 최근접 특징점간의 방향 벡터 중 적어도 하나를 의미할 수 있다.
한편, 프로젝터는 패턴 영상 획득 과정에서 잡음으로 인해 특징점 추출 오류가 발생할 수 있다. 도 3 및 도 4를 참고하면, 도 3은 특징점 추출이 제대로 수행된 일 실시 예를 나타내면, 도 4는 잡음으로 인해 특징점 추출 오류가 생긴 일 실시 예를 나타낸다. 도 5와 같이 특징점 추출 오류가 생긴 경우, 정확한 기하보정(geometric calibration)을 수행하기 어렵게 된다. 따라서, 특징점 오류를 수정하는 방법이 필요하다.
패턴 영상에서 추출된 복수의 특징점은 아래와 같이 방법을 이용하여 오류를 수정할 수 있다.
우선, 추출된 특징점의 개수를 K라고 하고, 추출할 최종 특징점의 개수를 Kth라고 가정한다.
각각의 추출된 특징점(Fm, m=1,…,K)에 대하여, 다른 특징점들(Fn, n=1,…,K, 단, n≠m) 과의 거리(distance) (dm,n)를 계산하여 가장 근접한 이웃 특징점(Fm,negibor)을 찾아낸다. 일 예로, 특징점 F1을 대상으로 다른 특징점들 Fn(n=1,…,K, 단, n≠1)에 대해 d1,n=(F1-Fn)2을 계산하고 d1,n 중 제일 작은 d1,min=min(d1,n)을 찾아내어 해당 distance를 가지는 특징점 Fn을 F1과 가장 근접하는 이웃 특징점 F1,neighbor으로 설정할 수 있다.
위와 같이 K개의 특징점에 대해 상기 과정을 반복하여 각 특징점마다 가장 근접하는 이웃 특징점 Fm,neighbor과 dm,min을 구할 수 있다.
그리고, 해당 특징점(Fm)과 가장 근접하는 이웃 특징점(Fm,neighbor) 간의 방향 벡터(vm,neighbor)를 구한다.
그리고, dth는 dm,min값들을 근사도(similarity)에 따라 그룹핑하여 가장 많이 특징점이 속한 그룹의 평균값으로 설정한다.
또한, dm,min(m=1,…,K)값들의 분산(Vard)을 계산한다.
그리고, 추출한 특징점의 개수(K)와 추출할 최종 특징점의 개수(Kth)를 비교하여, 특징점을 제거하거나 특징점을 추가할 수 있다. 여기서, Varth과 α는 사용자가 실험에 기반하여 임의로 지정한 분산의 threshold값과 상수값이다.
(1) 추출한 특징점의 개수(K)가 추출할 최종 특징점의 개수(Kth)와 동일한 경우
아래 A, B, C 조건을 만족할 경우 특징점이 제대로 추출되었다고 판단하고 다음 프로젝터에 대해 상기 과정을 반복한다. 그러나, A, B, C 조건이 만족하지 않는 경우 (2)를 수행한다.
A. Vard < Varth 을 만족하는지 확인
B. 모든 특징점 Fm이 dth - α < dm,min < dth + α 을 만족하는지 확인
C. vm,neighbor 이 도 5의 1 또는 3 (혹은 그에 근사한 가로 방향 특성)을 가짐
(2) 추출한 특징점의 개수(K)가 추출할 최종 특징점의 개수(Kth)보다 클 경우
1) dm,min > dth + α 이거나 dm,min < dth - α 이면 잡음으로 간주하고 제거한다.
2) 제거시킨 후, dm,min , vm,neighbor , dth, Fm,neighbor, Vard 을 업데이트한다.
3) 잡음이 제거된 특징점의 총개수(K)가 추출할 최종 특징점의 개수(Kth)을 비교하여 그에 맞게 (1), (2), (3) 과정으로 분기한다.
(3) 추출한 특징점의 개수(K)가 추출할 최종 특징점의 개수(Kth)보다 작을 경우
1) 아래 A, B 조건을 만족하지 않는 특징점은 제거한 후 dm,min , vm,neighbor , dth, Fm,neighbor, Vard 을 업데이트하고, A, B 조건을 만족하는 경우 2)를 수행한다.
A. Vard < Varth 을 만족하는지 확인
B. 특징점 Fm이 dth - α < dm,min < dth + α 을 만족하는지 확인
2) 특징점들 Fm=(xm, ym) 좌표에서 xm의 최소값(xmin), xm의 최대값(xmax), ym의 최소값(ymin), ym의 최대값(ymax)을 구하고 xm, ym 크기에 따라 순서대로 정렬시키면서 그룹핑을 수행한다. 예를 들어, (xmin, ymin)과 유사하거나 동일한 값을 찾아 해당 값을 시작점으로 x축으로 유사한 값들을 연달아 정렬하면서 하나의 그룹을 구성하고, x축으로 유사성이 떨어지면 해당 그룹 구성을 끝낸다. 그 다음 그룹은 시작점에서 가장 이웃하게 근접한 특징점을 시작점으로 x축으로 유사한 값들을 정렬하여 새로운 그룹을 구성해 준다.
3) 한 그룹을 구성하는 특징점의 개수가 정해진 개수보다 적을 경우 특정점 간의 거리가 (b+1)*dth ± α > dm,min > bdth ± α 일 경우 Fm 과 Fm,neighbor 을 (b+1)로 균등하게 분배한 중간값들로 missing된 점을 추가한다.
4) 상기 과정을 거쳐 추출된 특징점 개수 K와 추출해야 할 최종 특징점의 개수 Kth를 일치시킨 후 dm,min , vm,neighbor , dth, Fm,neighbor, Vard 을 업데이트 시킨 후 1)번 과정으로 분기한다.
상술한 방법으로, 추출된 특징점을 수정할 수 있다.
그리고, 프로젝터는 수정된 복수의 특징점을 이용하여 프로젝터에 기하보정을 수행할 수 있다(S150).
도 2는 본 개시의 일 실시 예에 따른 영상 획득 파라미터를 조절하여 패턴 영상을 재획득 하는 방법을 설명하기 위한 흐름도이다. 도 2는 도 1의 S130 단계를 구체화 한 것이다.
도 2를 참고하면, 프로젝터는 딥러닝 모델을 기반으로 스크린에 투사된 패턴 영상이 특징점 추출에 적합한지 판단할 수 있다(S210).
여기서, 딥러닝 모델은 노출이 적합한 패턴 영상 데이터, 노출이 어두운 패턴 영상 데이터 및 노출이 밝은 패턴 영상 데이터를 수집 및 학습하여 상기 3가지 상태를 구분할 수 있다(1차 학습). 학습시 데이터 량이 부족한 경우, 트랜스퍼 러닝(transfer learning)을 적용함으로써, 1차 학습된 파라미터를 기반으로 트랜스퍼 러닝으로 수집된 데이터를 이용하여 2차 학습을 수행할 수 있다.
그리고, 프로젝터는 영상 획득 파라미터를 조절하여 패턴 영상을 재 획득할 수 있다(S220).
여기서, 영상 획득 파라미터는 셔터속도, 조리개 값 및 ISO감도 중 적어도 하나를 포함할 수 있으며, 영상 획득 파라미터를 조절하여 패턴 영상의 광량을 조절 할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 패턴 영상에서 특징점을 추출하는 방법을 설명하기 위한 도면이다.
도 6을 참고하면, A. 프로젝터는 기 정의된 패턴(원으로 구성된 9 x 9 배열의 패턴)과 검은색 바탕영상을 스크린에 투사하고, B. 프로젝터는 스크린에 투사된 패턴 영상을 획득할 수 있다. 그리고, C. 프로젝터는 획득된 패턴 영상과 검은색 바탕영상의 차를 구한 후, 에지 디텍터(edge detector)을 통해 원형의 특징점을 추출할 수 있다. 여기서, 검은색 바탕영상을 패턴영상에서 빼는 것은 background effect를 제거하기 위함이다.
도 7은 본 개시의 일 실시 예에 따른 프로젝터를 나타내는 블록도이다.
도 7을 참고하면, 본 발명의 일 실시 예에 따른 프로젝터(700)는 영상 투사부(710), 영상 획득부(720), 제어부(730) 및 저장부(740)를 포함한다.
영상 투사부(710)는 패턴 영상을 스크린에 투사할 수 있다.
한편, 영상 투사부(710)는 영상을 스크린에 투사하기 위하여 렌즈로 구성된 광학 시스템을 포함할 수 있다. 여기서, 광학시스템은 LCD(Liquid Crystal Display) 타입 및 DLP(Digital Light Processing) 타입 중 어느 하나 일 수 있다.
영상 획득부(720)는 스크린에 투사된 패턴 영상을 획득할 수 있다.
한편, 영상 획득부(720)는 카메라 모듈로 구성될 수 있다.
제어부(730)는 노출이 적합한 패턴 영상 데이터, 노출이 어두운 패턴 영상 데이터 및 노출이 밝은 패턴 영상 데이터를 수집 및 학습하여 상기 3가지 데이터를 구분할 수 있는 딥러닝 모델을 기반으로, 영상 획득 파라미터를 조절하여 영상 획득부(720)로 하여금 패턴 영상을 재 획득하게 제어할 수 있다.
그리고, 제어부(730)는 재 획득된 패턴 영상의 복수의 특징점을 추출하고, 복수의 특징점의 개수 및 복수의 특징점 각각의 최근접 특징점과의 관계를 이용하여 복수의 특징점의 오류를 수정할 수 있다.
여기서, 복수의 특징점의 오류 수정 방법은 도 1에서 구체적으로 설명하였는 바 중복설명은 피한다.
그리고, 제어부(730)는 수정된 복수의 특징점을 이용하여 영상 투사부(710)에서 투사하는 영상에 기하보정을 수행할 수 있다.
한편, 제어부(730)은 영상 데이터에 대하여 영상 처리를 수행하여 영상 투사부(710)를 통해 영상을 스크린에 투사하는 제어 신호를 발생할 수 있다. 그리고, 제어부(730)는 프로젝터의 전체적인 프로세스를 제어할 수 있다.
저장부(740)는 딥러닝 모델의 학습에 필요한 패턴 영상 데이터 및 딥러닝 모델 프로그램을 저장할 수 있다.
또한, 저장부(740)는 스크린에 투사할 영상 및 패턴 영상을 저장할 수 있다.
이상 도 1 내지 도 7을 참고하여, 본 개시의 일 실시 예에 따른 프로젝터 및 프로젝터의 캘리브레이션 방법에 대해 설명하였다.
본 개시의 프로젝터 및 프로젝터의 캘리브레이션 방법은 패턴 영상 획득 과정에서 발생하는 잡음으로 인한 부적합한 패턴 영상을 딥러닝 모델을 이용하여 판단함으로써 적합한 패턴 영상 획득을 위한 영상 획득 파라미터를 조절할 수 있다.
또한, 본 개시의 프로젝터 및 프로젝터의 캘리브레이션 방법은 영상 획득 과정에서 발생하는 잡음으로 인한 불명확한 패턴 영상의 특징점을 수정하여 정확한 기하 보정을 수행할 수 있다.
한편, 본 개시의 일 양상에 따르면 프로젝터의 캘리브레이션 방법을 수행하기 위해 실행가능한 명령들(executable instructions)을 가지는 소프트웨어 또는 컴퓨터-판독가능한 매체(computer-readable medium)가 제공될 수 있다. 상기 프로젝터의 캘리브레이션 방법은, 패턴 영상을 스크린에 투사하는 단계, 상기 스크린에 투사된 패턴 영상을 획득하는 단계, 노출이 적합한 패턴 영상 데이터, 노출이 어두운 패턴 영상 데이터 및 노출이 밝은 패턴 영상 데이터를 수집 및 학습하여 상기 3가지 데이터를 구분할 수 있는 딥러닝 모델을 기반으로, 영상 획득 파라미터를 조절하여 상기 패턴 영상을 재 획득하는 단계, 여기서, 영상 획득 파라미터는 셔터속도, 조리개 값 및 ISO감도 중 적어도 하나를 포함함, 상기 재 획득된 패턴 영상의 복수의 특징점을 추출하고, 상기 복수의 특징점의 개수 및 상기 복수의 특징점 각각의 최근접 특징점과의 관계를 이용하여 상기 복수의 특징점의 오류를 수정하는 단계 및 상기 수정된 복수의 특징점을 이용하여 프로젝터에 기하보정을 수행하는 단계를 포함할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (8)

  1. 프로젝터의 캘리브레이션(calibration) 방법에 있어서,
    패턴 영상을 스크린에 투사하는 단계;
    상기 스크린에 투사된 패턴 영상을 획득하는 단계;
    노출 정도와 관련된 3가지의 패턴 영상 데이터를 수집 및 학습하여 상기 3가지의 패턴 영상 데이터를 구분할 수 있는 딥러닝 모델을 기반으로, 영상 획득 파라미터를 조절하여 상기 패턴 영상을 재 획득하는 단계, 여기서, 영상 획득 파라미터는 셔터속도, 조리개 값 및 ISO감도 중 적어도 하나를 포함함;
    상기 재 획득된 패턴 영상의 복수의 특징점을 추출하고, 상기 복수의 특징점의 개수, 상기 복수의 특징점 각각의 최근접 특징점과의 거리 및 상기 복수의 특징점 각각의 최근접 특징점 간의 방향 벡터를 이용하여 상기 복수의 특징점의 오류를 수정하는 단계; 및
    상기 수정된 복수의 특징점을 이용하여 프로젝터에 기하보정을 수행하는 단계를 포함하는 프로젝터의 캘리브레이션 방법.
  2. 제1항에 있어서,
    상기 딥러닝 모델은,
    상기 프로젝터에 직접 포함되거나 또는 프로젝터에 연결된 외부 서버에 의해 제공되는 것을 특징으로 하는 프로젝터의 캘리브레이션 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 패턴 영상을 재 획득하는 단계는,
    상기 딥러닝 모델을 기반으로 상기 획득된 패턴 영상이 특징점 추출이 가능한지 판단하고, 불가능하다고 판단된 경우, 상기 영상 획득 파라미터를 조절하여 패턴 영상을 재 획득하는 것을 특징으로 하는 프로젝터의 캘리브레이션 방법.
  5. 프로젝터에 있어서,
    패턴 영상을 스크린에 투사하는 영상 투사부;
    상기 스크린에 투사된 패턴 영상을 획득하는 영상 획득부; 및
    노출 정도와 관련된 3가지의 패턴 영상 데이터를 수집 및 학습하여 상기 3가지의 패턴 영상 데이터를 구분할 수 있는 딥러닝 모델을 기반으로, 영상 획득 파라미터를 조절하여 상기 패턴 영상을 재 획득하도록 제어하는 제어부를 포함하고,
    상기 영상 획득 파라미터는,
    셔터속도, 조리개 값 및 ISO감도 중 적어도 하나를 포함하고,
    상기 제어부는,
    상기 재 획득된 패턴 영상의 복수의 특징점을 추출하고, 상기 복수의 특징점의 개수, 상기 복수의 특징점 각각의 최근접 특징점과의 거리 및 상기 복수의 특징점 각각의 최근접 특징점 간의 방향 벡터를 이용하여 상기 복수의 특징점의 오류를 수정하고, 상기 수정된 복수의 특징점을 이용하여 프로젝터에 기하보정을 수행하는 것을 특징으로 하는 프로젝터.
  6. 제5항에 있어서,
    상기 딥러닝 모델은,
    상기 프로젝터에 직접 포함되거나 또는 프로젝터에 연결된 외부 서버에 의해 제공되는 것을 특징으로 하는 프로젝터.
  7. 삭제
  8. 제5항에 있어서,
    상기 제어부는,
    상기 딥러닝 모델을 기반으로 상기 획득된 패턴 영상이 특징점 추출이 가능한지 판단하고, 불가능하다고 판단된 경우, 상기 영상 획득 파라미터를 조절하여 패턴 영상을 재 획득하는 것을 특징으로 하는 프로젝터.


KR1020170039736A 2017-03-29 2017-03-29 프로젝터 및 프로젝터의 캘리브레이션 방법 KR102133017B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170039736A KR102133017B1 (ko) 2017-03-29 2017-03-29 프로젝터 및 프로젝터의 캘리브레이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170039736A KR102133017B1 (ko) 2017-03-29 2017-03-29 프로젝터 및 프로젝터의 캘리브레이션 방법

Publications (2)

Publication Number Publication Date
KR20180110355A KR20180110355A (ko) 2018-10-10
KR102133017B1 true KR102133017B1 (ko) 2020-07-10

Family

ID=63876151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170039736A KR102133017B1 (ko) 2017-03-29 2017-03-29 프로젝터 및 프로젝터의 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR102133017B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020076135A1 (ko) * 2018-10-11 2020-04-16 (주)제이엘케이인스펙션 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
CN109685853B (zh) * 2018-11-30 2021-02-02 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
EP4447435A1 (en) 2023-04-11 2024-10-16 Huvitz Co., Ltd. Method for calibrating intraoral scanner
KR102677983B1 (ko) * 2023-09-05 2024-06-25 (주)오토노머스에이투지 자율주행차량에 설치된 프로젝터의 고장을 판단하는 방법 및 이를 이용한 프로젝터 고장 진단 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172598B1 (ko) * 2010-07-12 2012-08-08 이화여자대학교 산학협력단 워터 마킹 패턴을 이용한 2차 곡면에 의한 영상의 왜곡 보정 방법
KR20160103398A (ko) * 2015-02-24 2016-09-01 삼성전자주식회사 이미지의 품질 측정 방법 및 장치
KR102272108B1 (ko) * 2015-02-27 2021-07-05 삼성전자주식회사 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20180110355A (ko) 2018-10-10

Similar Documents

Publication Publication Date Title
KR102133017B1 (ko) 프로젝터 및 프로젝터의 캘리브레이션 방법
US9420276B2 (en) Calibration of light-field camera geometry via robust fitting
US11315274B2 (en) Depth determination for images captured with a moving camera and representing moving features
CN109389555B (zh) 一种全景图像拼接方法及装置
CN111083456B (zh) 投影校正方法、装置、投影仪及可读存储介质
US20140176730A1 (en) Projection-type image display device, image projection method, and computer program
KR100996897B1 (ko) 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법
CN104992408A (zh) 用于用户终端的全景图像生成方法和装置
CN110636274A (zh) 超短焦画幕对齐方法、装置和超短焦投影机及存储介质
CN110996083A (zh) 一种梯形校正方法、装置和电子设备及可读存储介质
CN111010554B (zh) 投影处理方法、装置、投影仪及可读存介质
US20230276034A1 (en) Method and system for adjusting projection dithering
KR102435398B1 (ko) 영상 투사 기기 정렬 장치 및 방법
US20180220114A1 (en) System for controlling projector, information processing apparatus, information processing method, and storage medium
CN107392882A (zh) 一种基于角点检测的简单透镜psf迭代优化初始值的方法
US20170124685A1 (en) Image processing device, and image processing method and program for executing same
CN117557657A (zh) 基于ChArUco标定板的双目鱼眼相机标定方法及系统
US10284827B2 (en) Automatic adjustment method and device for color wheel
CN112929623A (zh) 一种校正过程中应用于整屏的镜头阴影修复方法及装置
US9581439B1 (en) Image capture device with a calibration function and calibration method of an image capture device
TW201413214A (zh) 傾斜角度及置放位置之光學檢測系統及其檢測方法
US20160286117A1 (en) Auto focus method and apparatus using the same
TW201820856A (zh) 可檢測投影機的投影影像清晰度的檢測系統及其檢測方法
WO2019244667A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN104796677B (zh) 一种焦距调节方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant