KR20200003584A - 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치 - Google Patents

깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치 Download PDF

Info

Publication number
KR20200003584A
KR20200003584A KR1020180076532A KR20180076532A KR20200003584A KR 20200003584 A KR20200003584 A KR 20200003584A KR 1020180076532 A KR1020180076532 A KR 1020180076532A KR 20180076532 A KR20180076532 A KR 20180076532A KR 20200003584 A KR20200003584 A KR 20200003584A
Authority
KR
South Korea
Prior art keywords
image
projection
coordinate system
pixel
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180076532A
Other languages
English (en)
Other versions
KR102093622B1 (ko
Inventor
채옥삼
류병용
김재면
김병우
정소현
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020180076532A priority Critical patent/KR102093622B1/ko
Publication of KR20200003584A publication Critical patent/KR20200003584A/ko
Application granted granted Critical
Publication of KR102093622B1 publication Critical patent/KR102093622B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 실시간 프로젝터 영상 보정 방법 및 장치에 관한 것이다. 본 발명은 실시간 프로젝터 영상 보정 방법에 있어서, 프로젝터를 통해 투사되는 이미지에 포함된 특정 지점의 이미지 좌표와 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 단계, 상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하는 단계, 상기 정규화된 이미지 좌표가 이미지 크기 범위에 포함되면, 해당 좌표를 투사 예측 영역으로 설정하는 단계, 상기 투사 예측 영역의 외곽 픽셀을 검출하는 단계, 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하는 단계, 상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환하는 단계, 프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 단계, 상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 단계, 상기 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 단계를 포함하는 것을 일 특징으로 한다. 본 발명에 의하면, 투사면이 계속 변화하는 경우에도 왜곡 없이 투사 영상을 실시간으로 보정할 수 있다.

Description

깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치{METHOD AND APPARATUS FOR REAL-TIME CORRECTION OF PROJECTOR IMAGE USING DEPTH CAMERA}
본 발명은 실시간 프로젝터 영상 보정 방법 및 장치에 관한 것으로, 보다 자세하게는 깊이 카메라를 이용하여 프로젝터 영상의 투사 시 왜곡될 형태를 예측하고, 예측된 왜곡과 사용자 시점을 바탕으로 투사 영상을 실시간으로 보정하여 출력할 수 있는 방법 및 장치에 관한 것이다.
홈시어터 구축 및 프레젠테이션 환경 구축을 위한 대형 화면에의 요구, 프로젝터의 가격 하락 등으로 프로젝터의 보급과 사용이 증가하고 있다. 프로젝터는 전통적인 3관식 빔 프로젝터에서 색 재현성이 좋은 LCD(Liquid Crystal Display), DLP(Digital Light Processing) 방식으로 발전하고 있다. 프로젝터의 성능 향상을 위한 기술 개발의 결과로 밝고 선명한 안시(ANSI lumens), 고 대비(High Contrast), 고 해상도 프로젝터가 개발되었고, 최근에는 공간을 절약할 수 있는 단초점 프로젝터, 배터리를 내장한 휴대용 소형 프로젝터도 개발되어 활발하게 보급되고 있다.
프로젝터는 텔레비전과 같은 영상 장치에 비해 화면 크기 대비 가격이 저렴하다는 장점이 있다. 그러나 설치한 프로젝터가 스크린과 수직을 이루지 않는 경우 뒤틀림(keystoning)이 발생하고 스크린의 비 평면 상태에 따라 스크린의 왜곡이 발생하는 문제점이 있다.
과거 고가의 프로젝터는 별도의 평면 스크린과 같이 사용되는 것이 일반적이었으며, 프로젝터의 위치가 고정되어 있었기 때문에 비평면 스크린에 따른 왜곡이 거의 존재하지 않았다. 따라서 사용자는 설치 시에만 뒤틀림(keystoning)을 조절하면 왜곡 없는 화면을 이용할 수 있었다.
하지만 최근에는 별도의 평면 스크린 없이 벽면 같은 유사 평면을 스크린으로 사용하는 경우가 많아지고 있으며, 프로젝터가 소형화되고 휴대성이 개선되면서 평면이 아닌 곳을 스크린으로 사용하는 경우도 많아지고 있다. 이러한 환경에서 발생하는 비 평면 스크린 왜곡은 기존의 수동 뒤틀림(keystoning) 보정 방법으로는 보정이 매우 어렵기 때문에 스크린에 따른 투사 영상 왜곡을 보정하기 위한 많은 연구들이 진행되고 있다.
비 평면 스크린에 따른 투사 영상 왜곡 보정의 대표적인 방법으로는 보정 패턴을 이용하는 방법이 있다. 이 방법은 보정을 위한 특정 패턴(스프라이트 패턴, 물방울 패턴 등)을 프로젝터를 이용해서 투사 시키고 실제 왜곡된 영상을 카메라로부터 입력 받아 왜곡된 패턴을 분석한다. 그리고 분석된 패턴에 따라서 스크린의 왜곡을 판단하며, 분석된 패턴에 따른 보정 영상을 생성하여 보정을 수행한다. 이러한 방법은 비교적 가격이 저렴한 일반 카메라와 프로젝터 영상을 이용해서 보정을 수행할 수 있다는 장점이 있다.
그러나 보정 패턴과 카메라를 이용하는 방법은 보정을 수행할 때 프로젝터를 사용할 수 없고, 따라서 투사 면이 계속 변화하는 상황에서 실시간으로 프로젝터 영상 보정을 수행할 수 없다는 문제점이 있다. 예를 들어 투사 면이 확실하게 고정되지 않고 흔들리거나 뒤틀리기 쉬운 상황, 사람이 많이 지나다녀 투사 면과 사람이 자주 겹치는 상황, 투사하는 투사 면 스크린의 형태가 계속 바뀌는 상황(프로젝터를 이용한 소환 현실)에서는 기존의 보정 패턴을 이용한 방법을 사용하기가 어렵다. 따라서 투사 면이 계속 변화하여 스크린의 형태가 계속 바뀌는 경우에도 왜곡 없이 투사 영상을 시청할 수 있는 새로운 방법이 요구된다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 투사면이 계속 변화하는 경우에도 왜곡 없이 투사 영상을 실시간으로 보정할 수 있는 실시간 프로젝터 영상 보정 방법을 제공하는 것을 일 목적으로 한다.
또한 본 발명은 재귀 가우시안 가중치 보간법을 사용하여 투사 영상의 3차원 좌표를 빠르게 획득함으로써 처리 시간을 크게 단축시키는 것을 다른 목적으로 한다.
또한 본 발명은 사용자 시점의 보정 영역을 검출하고 해당 영역만으로 보정함으로써 빠르게 보정 영상을 생성하는 것을 다른 목적으로 한다.
또한 본 발명은 깊이 카메라를 이용하여 프로젝터 영상의 보정의 정확도 및 적용 속도를 높이는 것을 다른 목적으로 한다.
본 발명은 실시간 프로젝터 영상 보정 방법에 있어서, 프로젝터를 통해 투사되는 이미지에 포함된 특정 지점의 이미지 좌표와 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 단계, 상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하는 단계, 상기 정규화된 이미지 좌표가 이미지 크기 범위에 포함되면, 해당 좌표를 투사 예측 영역으로 설정하는 단계, 상기 투사 예측 영역의 외곽 픽셀을 검출하는 단계, 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하는 단계, 상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환하는 단계, 프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 단계, 상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 단계, 상기 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 실시간 프로젝터 영상 보정 장치에 있어서, 프로젝터를 통해 투사되는 투사 영상에 포함된 특정 지점의 좌표와 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 캘리브레이션부, 상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하고, 상기 정규화된 이미지 좌표가 투사 영상 크기 범위에 포함되면 해당 좌표를 투사 예측 영역으로 설정하는 투사 영역 예측부, 상기 투사 예측 영역을 이용하여 사용자의 위치를 기준으로 사용자 시점의 보정 영역을 예측하는 보정 영역 예측부, 상기 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 영상 보정부를 포함하며, 상기 보정 영역 예측부는 상기 투사 예측 영역의 외곽 픽셀을 검출하는 외곽 픽셀 검출부, 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하고, 상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환하는 제1 좌표계 변환부, 프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 매트릭스를 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 제2 좌표계 변환부, 상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 보정 영역 검출부를 포함하는 것을 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 투사면이 계속 변화하는 경우에도 왜곡 없이 투사 영상을 실시간으로 보정할 수 있다.
또한 본 발명에 의하면, 재귀 가우시안 가중치 보간법을 사용하여 투사 영상의 3차원 좌표를 빠르게 획득함으로써 종래 대비 처리 시간이 크게 단축되는 효과가 있다.
또한 본 발명에 의하면 사용자 시점의 보정 영역을 검출하고 해당 영역만으로 보정하게되어, 빠르게 보정 영상을 생성할 수 있다.
또한 본 발명에 의하면 깊이 카메라를 이용하여 프로젝터 영상의 보정의 정확도 및 적용 속도를 높일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 실시간 프로젝터 영상 보정 시스템을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 실시간 프로젝터 영상 보정 장치의 구성을 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 따른 보정 영역 예측부 구성을 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 따른 깊이 카메라 좌표계 및 프로젝터 좌표계를 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 캘리브레이션부의 동작을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른 투사 영역 예측부의 동작을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른 사용자 시점의 실시간 투사 보정 방법의 전체적인 과정을 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 희소 투사 깊이 영상의 생성 예를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 보간 투사 깊이 영상 생성 방법을 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 실시간 프로젝터 영상 보정 방법을 설명하기 위한 순서도,
도 11은 본 발명의 일 실시 예에 따른 보정 영역 보정 방법을 설명하기 위한 순서도,
도 12는 본 발명의 일 실시 예에 따른 보간 투사 깊이 영상 생성 방법을 설명하기 위한 순서도,
도 13은 본 발명의 일 실시 예에 따른 픽셀 보정 방법을 설명하기 위한 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 실시간 프로젝터 영상 보정 시스템(10)(이하, '영상 보정 시스템(10)'이라 함)을 설명하기 위한 블록도이다. 영상 보정 시스템(10)은 깊이 카메라(50), 실시간 프로젝터 영상 보정 장치(100)(이하, '영상 보정 장치(100)'라 함), 프로젝터(200)를 포함할 수 있으며, 영상 보정 장치(100)는 프로젝터(200)에 물리적으로 포함되어 기능을 수행할 수 있으며, 프로젝터(200)와는 별도의 장치로 깊이 카메라(50) 및 프로젝터(200)와 연결되어 동작할 수 있다.
영상 보정 장치(100)는 깊이 카메라(50)에 깊이 영상 획득을 위한 제어신호를 전송할 수 있으며, 깊이 카메라(50)로부터 깊이 영상을 획득할 수 있다. 또한, 영상 보정 장치(100)는 프로젝터를 통해 투사되는 투사 영상을 실시간으로 보정하고, 보정된 투사 영상을 프로젝터(200)에 제공함으로써, 프로젝터(200)가 보정된 투사 영상을 투사하도록 할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 실시간 프로젝터 영상 보정 장치(100)의 구성을 설명하기 위한 블록도이다. 도 2를 참조하면, 본 발명의 일 실시 예에 따른 영상 보정 장치(100)는 캘리브레이션부(130), 투사 영역 예측부(150), 보정 영역 예측부(170), 영상 보정부(190)를 포함할 수 있다.
캘리브레이션부(130)는 프로젝터를 통해 투사되는 투사 영상에 포함된 특정 지점의 좌표와 깊이 카메라를 이용하여 획득한 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출할 수 있다. 또한 캘리브레이션 변환 계수를 이용하여 깊이-프로젝터 좌표계 변환 행렬을 도출할 수 있다. 깊이-프로젝터 좌표계 변환 행렬은 깊이 카메라 좌표계를 프로젝터 좌표계로 변환하는 변환 행렬을 의미한다.
이는 투사 영역 예측부(150)에서 이루어지는 불규칙한 투사 영역의 예측 정확도를 높이기 위한 것으로, 캘리브레이션부(130)는 깊이 카메라(50) 프로젝터(200) 간의 상대적인 위치 관계를 수학적으로 계산함으로써 캘리브레이션을 수행한다.
이를 위해서 캘리브레이션부(130)는 깊이 카메라를 이용하여 획득한 깊이 영상이 실제 3차원 공간에서 어떤 위치에 존재하는지를 정확하게 알고 있어야 하며, 프로젝터를 통해 투사되는 투사 영상의 일 지점이 실제 3차원 공간에서 어떤 위치에 존재하는지를 알고 있어야 한다.
캘리브레이션부(130)는 캘리브레이션을 수행하기 위하여 도 4에 도시된 바와 같이 깊이 카메라의 위치를 원점으로 측정 방향을 z 축, 측정 방향의 오른쪽을 x 축, 위쪽을 y 축으로 하는 깊이 카메라 좌표계를 정의할 수 있으며, 프로젝터의 위치를 원점으로 측정 방향을 x 축, 측정 방향의 오른쪽을 x 축, 위쪽을 y 축으로 하는 프로젝터 좌표계를 정의할 수 있다.
본 발명의 일 실시 예에서, 캘리브레이션부(130)는 깊이 카메라 좌표계의 한 점을
Figure pat00001
, 프로젝터 좌표계의 한 점을
Figure pat00002
로 설정하고, 이를 바탕으로 캘리브레이션을 수행할 수 있다.
깊이 카메라는 깊이값을 갖는 이미지를 제공하기 때문에 측정된 깊이 영상으로 깊이 카메라 좌표계에서의 3차원 위치 정보를 구할 수 있다.
캘리브레이션부(130)는 캘리브레이션을 위한 사전 작업으로 깊이 카메라의 카메라 고유 매개 변수
Figure pat00003
값을 이용하여 특정 지점(
Figure pat00004
)의 깊이 카메라 좌표계에서의 3차원 좌표(
Figure pat00005
)를 계산할 수 있다. 이는 좀 더 정확한 깊이 카메라 좌표계에서의 3차원 위치 정보를 계산하기 위한 것으로, 캘리브레이션부(130)는 깊이 카메라의 렌즈 왜곡을 고려하여 렌즈의 반경 및 접선 계수를 이용한 [수학식 1]을 이용하여 깊이 영상을 보정한 후 3차원 변환을 수행할 수 있다.
Figure pat00006
Figure pat00007
위 식에서
Figure pat00008
는 왜곡된 영상의 좌표 값이고
Figure pat00009
는 왜곡되지 않은 영상의 좌표 값,
Figure pat00010
은 n차 반경 왜곡 계수,
Figure pat00011
은 n차 접선 왜곡 계수이다. 본 발명의 일 실시 예에 의한 캘리브레이션부(130)는 깊이 카메라(50)에서 제공하는 보정 파라미터를 사용하거나 깊이 영상과 특정 패턴(체스 보드, 물방울 패턴 등)을 이용한 왜곡 계수 계산 방법을 사용할 수 있다.
캘리브레이션부(130)는 깊이 카메라와 프로젝터의 상대적인 위치를 계산하기 위하여 캘리브레이션을 수행할 수 있다. 이 때 상대적인 위치 관계는 동차 변환 행렬(homogeneous transform matrix)로 표현할 수 있으며, 이는 다음과 같이 나타낼 수 있다. 본 명세서에서는 깊이 카메라와 프로젝터의 상대적인 위치 관계를 나타내는 행렬을 깊이-프로젝터 좌표계 변환 행렬로 명명한다.
Figure pat00012
[수학식 2]에서
Figure pat00013
는 깊이 카메라 좌표계의 한 점을 나타내고
Figure pat00014
는 프로젝터 좌표계의 한 점,
Figure pat00015
은 회전 변환,
Figure pat00016
는 위치 변환을 나타낸다. 깊이-프로젝터 좌표계 변환 행렬은 깊이 영상으로부터 구해진 깊이 카메라 좌표계의 3차원 위치 정보를 프로젝터 좌표계 3차원 위치 정보로 변환할 수 있다.
프로젝터 좌표계의 3차원 위치 정보를 별도로 측정 할 방법이 없기 때문에 캘리브레이션부(130)는 상대적인 위치 관계를 나타내는 변환 행렬 값을 구하기 위해서 프로젝터가 투사하는 투사 영상(이미지)의 좌표를 이용할 수 있다.
도 5를 참조하면, 캘리브레이션부(130)는 프로젝터가 투사하고자 하는 이미지에 포함된 특정 지점의 이미지 좌표 (
Figure pat00017
)와 이미지의 크기
Figure pat00018
를 이용하여 원점이 중심이고 y축 방향이 반대인 정규화된 이미지 좌표값 (
Figure pat00019
)을 다음과 같이 계산할 수 있다.
Figure pat00020
Figure pat00021
다음으로, 프로젝터의 시야각(Field of View)을
Figure pat00022
라고 할 때, 캘리브레이션부(130)는 [수학식 4]를 이용하여 프로젝터의 초점 길이(Focal length)인
Figure pat00023
를 계산할 수 있다.
Figure pat00024
Figure pat00025
위 식에서 계산된
Figure pat00026
와
Figure pat00027
를 이용하여 프로젝터 좌표계의 3차원 좌표를 정규화된 이미지 좌표값 (
Figure pat00028
)로 변환하는 식은 다음과 같다.
Figure pat00029
Figure pat00030
[수학식 5]에서 계산된 정규화된 이미지 좌표를 깊이-프로젝터 좌표계 변환 행렬에 대입하여 계산하면 다음과 같다.
Figure pat00031
Figure pat00032
[수학식 6]에서 우변의 분자와 분모를 모두
Figure pat00033
으로 나눠주고 나눠준 값을
Figure pat00034
로 치환 하면 다음과 같은 식을 얻을 수 있다.
Figure pat00035
Figure pat00036
[수학식 7]은
Figure pat00037
또는
Figure pat00038
중 임의의 값으로 나누어도 식이 성립되나, 깊이 카메라와 프로젝터 간 위치 및 회전 변화가 크지 않을 때, 0이 생성될 수 있는 값으로 식을 나누면 캘리브레이션 오류가 크게 발생할 수 있다. 따라서, 본 명세서에서는 위치 변화가 없어도 1의 값을 갖는 안전한 값을 선택하였으며 이를 이용하여 [수학식 7]을 나누는 경우의 일 실시 예를 설명하였으나, 본 발명은 이에 한정되는 것은 아니다.
Figure pat00039
[수학식 8]의 회전 변환 식에서, 회전 변화가 없을 때 0의 값이 산출되는
Figure pat00040
성분이 들어가 있지 않은 회전 변환 값은
Figure pat00041
이다. 따라서 이 중
Figure pat00042
으로 [수학식 7]을 나누면, 변환 계수 중
Figure pat00043
은 다음과 같이 계산된다.
Figure pat00044
즉,
Figure pat00045
성분이 들어가 있지 않은 회전 변환 값으로 변환식을 나누면 후에 변환식을 복원하기 수월하다는 장점이 있는 바, 본 명세서에서는 캘리브레이션 식을
Figure pat00046
으로 나누어 깊이 카메라 좌표계의 3차원 좌표를 정규화된 프로젝터 투사 영상 좌표로 변환하는 식을 정리하였다. 여기서 계산의 편의를 위하여 일부 값을 [수학식 10]과 같이 치환할 수 있다.
Figure pat00047
치환된 위 값을 이용하여 깊이 카메라와 프로젝터 간의 위치 및 회전 변화식을 계산하면 [수학식 11]과 같다.
Figure pat00048
Figure pat00049
[수학식 11]은 정규화된 투사 영상 좌표에 해당하는
Figure pat00050
와 깊이 카메라 좌표계의 3차원 좌표 값
Figure pat00051
을 이용하여 연산 가능하다. 이 식은 한 점에 대한 식이므로 여러 점에 대한 선형식을
Figure pat00052
형태로 만들면 다음과 같이 나타낼 수 있다.
Figure pat00053
Figure pat00054
캘리브레이션 변환 계수를 산출하기 위하여 특정 지점의 이미지 좌표에 해당하는 깊이 카메라의 3차원 좌표를 알아야 하는 바, 캘리브레이션부(130)는 다음과 같은 방법으로 이미지 좌표에 해당하는 깊이 카메라의 3차원 좌표를 획득할 수 있다. 여기서 '이미지 좌표'란 프로젝터를 통해 투사하고자 하는 이미지에서의 특정 지점의 좌표로, 예를 들어 1920ⅹ1080 해상도의 영상을 프로젝터로 투사하고자 할 때 위 영상 내에서의 일 지점의 좌표값이 이미지 좌표인 것으로 이해될 수 있다.
일 예로, 캘리브레이션부(130)는 도 5에 도시된 바와 같이 체스 보드 이미지를 프로젝터를 통해 투사면에 투사하고, 깊이 카메라에 내장된 적외선 또는 RGB 입력값을 통해 체스 보드의 검은색 흰색 교차점을 깊이 영상에서 검출할 수 있다. 캘리브레이션부(130)는 검출된 교차점 위치의 깊이값을 이용하여 깊이 카메라 좌표계의 3차원 좌표를 획득할 수 있다.
체스 보드 이미지의 교차점(특정 지점의 이미지 좌표)의 값은 미리 설정된 값이므로, 특정 지점에 대응되는 깊이 카메라 좌표계의 3차원 좌표를 획득하면 캘리브레이션 변환 계수를 산출할 수 있다. 각 좌표를 깊이-프로젝터 좌표계 변환 행렬에 대입하고,
Figure pat00055
형태로 계산하여 변환 계수
Figure pat00056
을 계산하면 다음과 같다. 여기서, 변환 계수
Figure pat00057
는 최초의 변환식에서의 변환 계수인
Figure pat00058
과
Figure pat00059
값을 편의상 치환한 것이므로, 다음과 같은 방법으로 캘리브레이션 변환 계수
Figure pat00060
과
Figure pat00061
를 산출할 수 있다.
예를 들어, 캘리브레이션부(130)는 [수학식 9]를 이용하여
Figure pat00062
를 계산하고, 다음 식을 이용하여
Figure pat00063
를 계산할 수 있다.
Figure pat00064
여기서,
Figure pat00065
이므로
Figure pat00066
값을 복원 할 수 있으며, 따라서
Figure pat00067
에
Figure pat00068
값을 곱해주면 깊이-프로젝터 좌표계 변환 행렬을 도출할 수 있다. 캘리브레이션부(130)는 이와 같은 수학적 방법을 통해 깊이 카메라와 프로젝터 간의 상대적인 위치 관계를 정확하게 계산하는 캘리브레이션을 수행할 수 있다.
투사 영역 예측부(150)는 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하고, 정규화된 이미지 좌표가 투사 영상 크기 범위에 포함되면, 해당 좌표를 투사 예측 영역으로 설정할 수 있다.
보다 자세하게, 투사 영역 예측부(150)는 캘리브레이션을 통해 얻어진 변환 계수
Figure pat00069
를 이용하여 깊이 카메라 좌표계의 3차원 좌표로부터 정규화된 이미지 좌표를 계산할 수 있다. 깊이 카메라 좌표계의 3차원 좌표는 깊이 카메라가 획득한 깊이 영상을 이용해 계산할 수 있다.
투사 영역 예측부(150)는 깊이 영상의 3차원 좌표(깊이 카메라 좌표계의 3차원 좌표) 각각에 대응되는 정규화된 이미지 좌표를 다음 식을 이용해 계산(변환)할 수 있다.
Figure pat00070
Figure pat00071
다음으로 투사 영역 예측부(150)는 위 식을 이용해 계산된 정규화된 이미지 좌표가 이미지 크기 범위 내에 포함되는지 여부를 다음과 같은 조건을 이용하여 검사할 수 있다.
Figure pat00072
Figure pat00073
투사 영역 예측부(150)는 정규화된 이미지 좌표가 위 두 조건을 모두 만족하면, 해당 좌표를 투사 예측 영역으로 설정할 수 있다. 이러한 방법으로 깊이 카메라와 프로젝터를 이용하여 실제 투사 영역을 예측한 결과는 도 6에 도시된 바와 같다.
도 6을 참조하면, (a)에는 프로젝터를 통해 이미지를 투사했을 때의 투사 영역을 확인할 수 있다. (a)에서의 투사 영역은 RGB 카메라를 통해 확인 가능하다. 투사 영역 예측의 정확도를 확인하기 위해 (c)에서 깊이 영상(b)을 통해 예측한 투사 예측 영역을 붉은색으로 표시하여 RGB 영상에 추가하였다. (c)를 통해 본 발명의 일 실시 예에 따른 투사 영역 예측부(150)가 정확히 투사 영역(투사 예측 영역)을 설정한 것을 확인할 수 있다.
보정 영역 예측부(170)는 투사 예측 영역을 이용하여 사용자의 위치를 기준으로 사용자 시점의 보정 영역을 예측할 수 있다. 깊이 카메라 좌표계의 3차원 좌표를 이용하여 예측된 투사 예측 영역은 깊이 카메라가 바라본 투사면 영역이다. 이를 이용하여 보정을 수행하면, 사용자가 바라보는 투사면과 그 모양이 상이하여 보정이 제대로 이루어지지 않을 수 있다.
따라서 보정 영역 예측부(170)는 사용자의 위치를 기준으로 - 사용자의 위치를 원점으로 하고 투사면을 바라보는 방향을 z축, 오른쪽을 x 축, 위쪽을 y 축으로- 하는 사용자 좌표계를 정의하고, 프로젝터 좌표계와 사용자 좌표계를 변환하는 동차 변환 행렬(이하, '프로젝터-사용자 좌표계 변환 행렬'이라 함)을 사용하여 투사 예측 영역의 좌표계를 변환할 수 있다.
프로젝터-사용자 좌표계 변환 행렬(
Figure pat00074
)은 다음과 같이 나타낼 수 있다.
Figure pat00075
깊이-프로젝터 좌표계 변환 행렬을
Figure pat00076
라고 하면, 사용자 위치에서 바라보는 3차원 좌표
Figure pat00077
는 다음과 같이 정의될 수 있다.
Figure pat00078
위와 같은 식을 이용하면 프로젝터 좌표계의 3차원 좌표를 사용자 좌표계 의 3차원 좌표로 변환 가능하다. 보정 영역 예측부(170)는 보정을 수행하기 전 빠르게 사용자 시점의 투사 영역 및/또는 보정 영역을 예측하기 위해서 깊이 영상의 투사 예측 영역의 외각 픽셀만을 이용하여 사용자 시점의 투사 영역 및/또는 보정 영역을 예측할 수 있다.
보정 영역을 예측하는 방법을 보다 자세하게 설명하면 다음과 같다. 보정 영역 예측부(170)는 도 3에 도시된 바와 같이 외곽 픽셀 검출부(173), 제1 좌표계 변환부(175), 제2 좌표계 변환부(177), 보정 영역 검출부(179)를 포함할 수 있다.
외곽 픽셀 검출부(173)는 깊이 영상의 투사 예측 영역의 외곽 픽셀을 검출할 수 있다.
제1 좌표계 변환부(175)는 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하고, 깊이-프로젝터 좌표계 변환 행렬을 이용하여 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환할 수 있다.
제2 좌표계 변환부(177)는 프로젝터-사용자 좌표계 변환 행렬을 이용하여 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환할 수 있다. 전술한 바와 같이 프로젝터-사용자 좌표계 변환 행렬은 프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 행렬을 의미한다.
보정 영역 검출부(179)는 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 시점에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출할 수 있다.
참고로, 이차원의 이미지로 표현되는 사용자 시점의 투사면에서 사용자 시점의 직사각형 보정 영역을 빨리 찾을 수 있기 때문에, 보정 영역 검출부(179)는 사용자 시점 투사면이 이차원 이미지인 경우를 상정한다. 사용자 위치를 고려한 이차원 이미지 상의 사용자 시점 보정 영역을 찾기 위해 선행문헌("The maximal rectangle problem", Vandevoorde et al, 1998)에 개시된 최대 직사각형 영역 검출 방법을 사용할 수 있으나, 본 발명은 이에 한정되지는 않는다.
검출된 사용자 시점 보정 영역은 2차원 이미지 상의 영역이기 때문에 사용자 시점 보정 영역이 사용자 좌표계에서 어떤 위치에 해당하는지 계산이 필요하다. 그러나 본 발명은 빠른 계산을 위해 외곽 픽셀만을 이용하기 때문에, 영역 내부의 정보는 알 수 없다. 만일 내부 영역의 정보가 존재한다 해도 투사되는 점 각각을 모두 정의하는 데는 한계가 있다.
본 발명은 이러한 문제를 해결하기 위하여 시야각과 변환값을 이용하여 최대 사각형 영역을 재정의하고, 이를 통해 단순한 크기 비교만으로 보정 영역에 해당하는 사용자 좌표계의 3차원 좌표를 계산할 수 있다. 보정 영역 직사각형을 재정의 하기 위한 시야각과 변환값은 다음 식을 이용하여 계산될 수 있다.
Figure pat00079
Figure pat00080
Figure pat00081
Figure pat00082
위 식에서
Figure pat00083
는 2차원 이미지 상의 보정 영역 직사각형의 시작점 및 크기를,
Figure pat00084
와
Figure pat00085
는 사용자 시점 보정 영역을 재정의한 시야각(FOV)값과 변환값(Transformation)을,
Figure pat00086
은 2차원 이미지를 생성할 때 사용된 투사면의 Z값을,
Figure pat00087
는 투사면의 크기,
Figure pat00088
은 이미지로 래스터화(Rasterization)된 크기,
Figure pat00089
,
Figure pat00090
를 나타낸다.
3차원 좌표계에 표현된 다각형 또는 점을 모니터 화면에 출력하기 위해서는 보통 두 단계를 거치는 데, 첫번째로 다각형의 꼭지점을 2차원 이미지에 투사하는 단계와, 두번째로 2차원 이미지에 투사된 꼭지점을 연결하고 색을 채워 실제 화면에 출력하기 위한 이미지를 생성하는 래스터화(rasterization) 단계이다. 예를 들어, 가로 세로 크기가 1ⅹ1인 2차원 이미지에 3차원 다각형을 투사하면,
Figure pat00091
는 각각 1이 될 것이다. 첫번째 투사 단계에서는 3차원 다각형의 모양(투사면의 모양)이 이미지로 표현되지 않고 꼭지점의 위치만 나타나므로, 이를 실제 다각형 이미지로 표현하기 위해서는 래스터화 단계가 수행되어야 한다. 즉,
Figure pat00092
은 래스터화가 수행되는 이미지의 크기를 의미하는 것으로 이해될 수 있다.
이와 같이 구해진 보정 영역 재정의 시야각 값과 변환값은 영상 보정부(179)가 보정을 수행함에 있어서, 보정 영역에 속한 3차원 좌표와 이미지 좌표를 계산할 때 사용될 수 있다.
영상 보정부(190)는 투사 영상에서 사용자 시점 보정 영역에 속하는 픽셀을 보정할 수 있다. 보다 자세하게, 영상 보정부(190)는 투사 영상을 이루는 픽셀 각각의 깊이값을 계산하고, 프로젝터의 시야각을 이용하여 깊이값이 반영된 보간 투사 깊이 영상(Interpolated Projector Depth Imgae)의 프로젝터 좌표계 3차원 좌표를 산출할 수 있다. 다음으로 영상 보정부(190)는 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계를 변환하고, 사용자 좌표계 3차원 좌표가 사용자 시점 보정 영역에 속하는지 여부를 판단하여, 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 사용자 시점 보정 영역에 속하면 해당 픽셀을 보정할 수 있다.
일반적으로 프로젝터의 투사 영상 해상도가 깊이 카메라의 깊이 영상 해상도 보다 훨씬 높다. 따라서 캘리브레이션을 이용하여 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 프로젝터 좌표계 상의 투사 영상 좌표로 변환하는 것은 가능하나, 투사 영상의 좌표를 깊이 카메라 좌표계로 변환하거나 깊이 영상의 좌표로 변환하는 것은 불가능하다.
그러나 보정을 위한 워핑 테이블(warping table)을 생성하기 위해서는 프로젝터가 투사하는 투사 영상의 모든 3차원 좌표를 알아야 한다. 투사 영상의 3차원 좌표를 알기 위해서는 투사 영상을 이루는 각 픽셀의 깊이값을 알아야 하는데, 상술한 바와 같이 투사 영상의 모든 픽셀의 좌표값에 대응되는 깊이 영상의 좌표를 알 수 없다는 문제가 있다.
이러한 문제를 해결하기 위하여 본 발명의 일 실시 예에 따른 영상 보정부(190)는 투사 영상의 모든 3차원 좌표를 재귀 가우시안 가중치 보간법(Recursive Gaussian Weight Interpolation)을 사용하여 빠르게 계산할 수 있다. 또한 영상 보정부는 사용자 위치, 사용자 시점 보정 영역으로 정의된 시야각값과 변환값을 이용하여 빠르게 워핑 테이블을 생성할 수 있다.
본 발명의 영상 보정부(190)에서 수행되는 사용자 시점의 실시간 투사 보정 방법의 전체적인 과정은 도 7에 도시된 바와 같다.
한편, 전술한 바와 같이 본 발명의 캘리브레이션부(130)가 수행하는 캘리브레이션에 의하면 깊이 영상에서 투사 영역을 예측하는 것은 가능하나, 깊이 영상에서 프로젝터가 투사하는 투사 영상의 3차원 좌표를 모두 계산하는 것은 불가능하다. 대신 투사 영상의 해상도가 깊이 영상보다 훨씬 높으므로, 투사 영상의 3차원 좌표 중에서 깊이값을 알 수 없는 픽셀들의 3차원 좌표값을 투사 영상을 이용하여 계산할 수 있다.
투사 영상의 좌표계를 기준으로 투사 영상과 깊이 영상을 매칭시켰을 때, 해상도의 차이로 인해 깊이 정보의 일부는 알 수 없는 상태인 바, 본 명세서에서는 이처럼 픽셀 전체의 깊이 정보가 모두 채워지지 않은 깊이 영상을 희소 투사 깊이 영상(sparse projector depth image)으로 명명한다. 도 8은 희소 투사 깊이 영상의 생성 예를 보여준다.
(a)는 저해상도 512x424에서 검출한 투사영역을 도시한 것으로, (a)에서는 저해상도의 깊이 영상의 일부만이 투사면으로 검출되었기 때문에 투사 영상의 모든 깊이 정보를 알 수 없다.
(b)는 깊이 영상에서 검출한 투사 영역의 픽셀을 실제 투사 영상에 매칭시켰을 때 얼마나 정보가 비는지를 보여주는 도면이다.
(c)는 깊이 영상에서 검출한 투사 영역의 깊이 정보를 투사 영상에 삽입했을 때의 도면이다. 검은색은 깊이 정보가 없음을 의미하며, 회색은 깊이 영상으로부터 얻어진 깊이 정보를 나타낸다.
종래에는 이와 같은 희소 투사 깊이 영상의 깊이 정보를 계산하기 위하여 고차원의 표면 피팅(surface fitting) 방법을 사용하였다. 종래의 표면 피팅 방법의 경우, 투사면이 변하지 않는 것을 전제로 하기 때문에 매우 큰 연산량이 요구되는 방식으로 워핑 테이블을 한 번 생성하여 최초 한번만 보정을 수행한다.
그러나 본 발명은 지속적으로 변화하는 투사면에 대응할 수 있는 보정 방법의 제공을 그 목적으로 하는 바, 투사면 변화에 대응하기에는 처리 속도가 느린 표면 피팅 방식을 사용하지 않으며, 처리 시간을 크게 단축시킬 수 있는 재귀 가우시안 가중치 보간법(Recursive Gaussian Weight Interpolation)을 사용하여 투사 영상을 이루는 각 픽셀의 깊이값을 계산함으로써 모든 픽셀 각각에 대응되는 3차원 좌표를 획득할 수 있다.
영상 보정부(190)가 재귀 가우시안 가중치 보간법을 사용하여 투사 영상의 3차원 좌표를 획득함에 있어서, 투사 영상에 대응되는 희소 투사 깊이 영상에서 깊이값이 존재하지 않는 픽셀의 깊이값을 계산하고, 계산된 깊이값을 반영하여 보간 투사 깊이 영상을 생성하는 방법은 도 9에 도시된 바와 같다.
도 9를 참조하면, 영상 보정부(190)는 희소 투사 깊이 영상의 각 픽셀에 도 9의 (a)에 도시된 바와 같은 가우시안 마스크(커널)을 적용할 수 있다. 영상 보정부(190)는 가우시안 마스크를 각 픽셀에 적용하기에 앞서, 마스크를 적용하고자 하는 제1 픽셀이 유효 픽셀인지를 판단할 수 있다. 여기서 유효 픽셀은 유효한 깊이값을 갖는 픽셀을 의미한다.
영상 보정부(190)는 제1 픽셀이 유효 픽셀이 아니고 - 제1 픽셀의 깊이값이 존재하지 않고-, 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하면, 제1 픽셀에 가우시안 마스크를 적용하여 제1 픽셀의 깊이값을 산출할 수 있다.
영상 보정부(190)는 가우시안 마스크 적용 범위 내에 존재하는 모든 제1 유효 픽셀에 대하여 제1 유효 픽셀의 깊이값과 제1 유효 픽셀에 대응되는 가우시안 마스크의 가중치를 이용한 가중 평균을 산출하고, 가중 평균을 제1 픽셀의 깊이값으로 설정하는 방법으로 제1 픽셀에 가우시안 마스크를 적용할 수 있다.
예를 들어, 도 9에 도시된 일 실시 예를 살펴보자. 도 9에서 영상 보정부(190)는 (b)에서 중앙의 빗금 표시된 제1 픽셀(1)에 5ⅹ5 가우시안 마스크(5)를 적용하고자 한다. 가우시안 마스크 적용 범위 내에는 유효 픽셀(3)이 2개 존재하며, 각 유효 픽셀의 깊이값은 각각 100과 108이다. 영상 보정부(190)는 모든 유효 픽셀에 대하여 유효 픽셀의 깊이값과 유효 픽셀에 대응되는 가우시안 마스크의 가중치를 이용하여 가중 평균을 산출할 수 있으며, 가중 평균을 제1 픽셀의 깊이값으로 설정할 수 있다. 따라서, 도 9의 예시에서, 제1 픽셀의 깊이값은
Figure pat00093
로 설정될 수 있다.
영상 보정부(190)는 제1 픽셀이 유효 픽셀이거나, 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하지 않으면 제1 픽셀에 가우시안 마스크를 적용하지 않고, 다른 픽셀에 대하여 위 과정을 반복할 수 있다.
영상 보정부(190)의 보간 투사 깊이 영상 생성부(193)는 희소 투사 깊이 영상의 픽셀 전부의 깊이값이 산출될 때까지, 즉 희소 투사 깊이 영상의 픽셀 전부가 유효 픽셀이 될 때까지 희소 투사 깊이 영상의 각 픽셀에 대해 위 과정을 반복 수행함으로써 보간 투사 깊이 영상을 생성할 수 있다. 보간 투사 깊이 영상(Interpolated Projector Depth Image)는 깊이값이 모두 채워진 깊이 영상으로, 프로젝터 좌표계로 변환 가능한 깊이 영상을 의미한다.
프로젝터의 시야각을 이용하면, 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 계산할 수 있는데, 계산된 프로젝터 좌표계 3차원 좌표는 보정을 위한 워핑 테이블(warping table) 생성을 위해 사용될 수 있다. 워핑 테이블을 생성하기 위해서는 사용자 시점의 투사 영역에서 보정을 수행해야 하므로, 영상 보정부(190)의 보정부(195)는 보간 투사 깊이 영상을 프로젝터 좌표계의 3차원 좌표로 변환을 수행하고, 이를 다시 사용자 좌표계로 변환할 수 있다. 이와 같은 과정은 보간 투사 깊이 영상의 각 픽셀 단위로 수행되기 때문에, 각 픽셀마다 사용자 좌표계의 좌표값을 계산하여 각 픽셀이 사용자 시점 보정 영역에 속하는지 여부를 판단할 수 있다.
각 픽셀이 사용자 시점 보정 영역에 속하는지 여부에 대한 판단은 다음과 같이 이루어질 수 있다. 예를 들어, 보정부(195)는 보간 투사 깊이 영상의 (x, y) 위치에 해당하는 픽셀을 프로젝터 좌표계의 3차원 좌표로 변환하고, 이를 다시 사용자 좌표계의 3차원 좌표
Figure pat00094
,
Figure pat00095
,
Figure pat00096
로 변환할 수 있다.
보정부(195)는 사용자 시점 보정 영역을 정의한
Figure pat00097
와
Figure pat00098
를 이용하여 사용자 좌표계의 3차원 좌표가 사용자 시점 보정 영역에 해당되는지를 계산할 수 있는데 이때 다음과 같은 식을 이용할 수 있다.
Figure pat00099
Figure pat00100
수학식 19에서
Figure pat00101
은 2차원의 사용자 시점 보정 영역을 검출할 때 사용된 프로젝터 평면(투사면)의 z값이며,
Figure pat00102
,
Figure pat00103
는 보간 투사 깊이 영상의 x, y 위치에서의 비교 시야각이다.
예를 들어, 프로젝터 평면의 왜곡된 영상이 사용자 위치에서 사각형으로 보이도록 하기 위해 사용자 시점을 기준으로 투사가 이루어지는데, 사용자 시점에서 사각형으로 보이는 영역을 수학적으로 쉽게 계산하기 위한 것이 시야각(Field of view)이다. 이 때 각 픽셀이 시야각에서 벗어났는지 포함되는지를 계산하기 위해 사용하는 값이 비교 시야각
Figure pat00104
,
Figure pat00105
으로, 각각 픽셀의 x축 방향의 투사 각도와 픽셀의 y축 방향의 투사 각도를 의미하는 것으로 이해될 수 있다.
보간 투사 깊이 영상의 각 픽셀 위치 x, y와 해당 위치의 깊이값을 알면, 픽셀이 시야각을 벗어났는지 확인이 가능하며, 영상 보정부(190)는 이를 확인하기 위해
Figure pat00106
,
Figure pat00107
를 계산할 수 있다.
보정부(195)는 계산된 비교 시야각 값
Figure pat00108
,
Figure pat00109
을 사용자 시점 투사 보정 영역의 시야각
Figure pat00110
과 비교하여 다음의 조건을 만족하는 지 확인할 수 있다.
Figure pat00111
위와 같은 식을 만족하면 보간 투사 깊이 영상의 (x, y) 위치는 사용자 시점에서 보정 영역으로 보여지는 위치에 해당한다. 즉, 위 픽셀은 사용자 시점 투사 보정 영역에 속하는 것으로 볼 수 있다.
사용자 시점 투사 보정 영역에 해당하는 픽셀을 어떤 픽셀로 대체해야하는 지를 계산하기 위한 식은 다음과 같다.
Figure pat00112
Figure pat00113
수학식 21에서
Figure pat00114
는 보정을 수행할 프로젝터 투사 영상의 크기이며,
Figure pat00115
는 보정 영역 (x, y)에 보여질 투사 영상의 픽셀의 좌표를 나타낸다. 영상 보정부(190)는 수학식 22에 의해 생성된 맵핑 테이블을 기준으로 보정 영역의 픽셀을 다른 픽셀로 대체함으로써 보정을 수행할 수 있다.
Figure pat00116
여기에서
Figure pat00117
는 워핑된 영상(대체 픽셀을 맵핑한 영상)을,
Figure pat00118
는 프로젝터의 투사 원본 영상,
Figure pat00119
는
Figure pat00120
에 해당되는
Figure pat00121
값을 맵핑 해주는 함수다. 이와 같은 과정을 통해 영상을 보정하면, 역방향 맵핑으로 영상을 워핑할 수 있기 때문에 빠르게 보정 영상을 만들 수 있다.
이하에서는 도 10 내지 도 13을 참조하여, 본 발명의 일 실시 예에 따른 전자 장치의 실시간 프로젝터 영상 보정 방법을 설명한다. 본 발명의 실시간 프로젝터 영상 보정 방법을 수행하는 전자 장치는 컴퓨터 프로세서를 포함하는 하드웨어로, 프로젝터 또는 깊이 카메라 내에 내장되어 상기 방법을 수행할 수 있으며, 프로젝터나 깊이 카메라와는 별도의 장치로 상기 방법을 수행할 수 있다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 전자 장치는 프로젝터를 통해 투사되는 이미지에 포함된 특정 지점의 이미지 좌표와 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출할 수 있다(S100).
전자 장치는 캘리브레이션 변환 계수를 산출하면, 상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환할 수 있다(S200). 그리고 상기 정규화된 이미지 좌표가 이미지 크기 범위에 포함되면, 해당 좌표를 투사 예측 영역으로 설정할 수 있다(S300).
전자 장치는 투사 예측 영역이 설정되면, 투사 예측 영역의 외곽 픽셀을 검출하고(S400), 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산할 수 있다. 그리고 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환할 수 있다(S500).
다음으로 전자 장치는 프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환할 수 있으며(S600), 상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출할 수 있다(S700).
사용자 시점의 보정 영역을 검출한 전자 장치는 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정함으로써 프로젝터 영상을 실시간으로 보정할수 있다(S800).
도 11을 참조하여 프로젝터 영상을 실시간으로 보정하는 단계 800을 보다 구체적으로 살펴보면, 전자 장치는 상기 투사 영상에 대응되는 희소 투사 깊이 영상에서 깊이값이 존재하지 않는 픽셀의 깊이값을 계산하고, 계산된 깊이값을 반영하여 보간 투사 깊이 영상을 생성하고(S810), 상기 프로젝터의 시야각(field of view)을 이용하여 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 산출할 수 있다(S820).
단계 810의 일 예를 도시한 도 12를 참조하면, 전자 장치는 먼저 투사 영상에 대응되는 희소 투사 깊이 영상의 일 픽셀이 유효 픽셀인지 여부를 판단할 수 있다(S811). 만약 단계 811의 판단 결과, 제1 픽셀이 유효 픽셀이 아니면, 전자 장치는 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하는지 여부를 추가적으로 판단할 수 있다(S813). 만약 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하면, 전자 장치는 제1 픽셀에 가우시안 마스크를 적용하여 제1 픽셀의 깊이값을 산출할 수 있다. 이 때 단계 811과 단계 813은 도 12에 도시된 순서에 의해 종속되지 아니한다.
만일 단계 811의 판단 결과, 가우시안 마스크를 적용하고자 하는 대상 픽셀이 유효 픽셀이거나, 대상 픽셀이 유효 픽셀이 아니더라도 대상 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하지 않으면, 전자 장치는 희소 투사 깊이 영상의 다른 픽셀에 대하여 단계 811 내지 단계 812를 수행할 수 있다(S814).
이러한 방법으로 전자 장치는 희소 투사 깊이 영상의 픽셀 전부가 유효 픽셀이 될 때까지 단계 811 내지 단계 815를 반복적으로 수행함으로써, 깊이값이 존재하지 않는 모든 픽셀의 깊이값을 계산하여 각 픽셀에 깊이값을 채워넣을 수 있다.
가우시안 마스크를 적용하는 방법은 도 9를 참조하여 상술하였으므로 중복되는 설명은 생략한다.
깊이값이 모두 채워진 깊이 영상을 보간 투사 깊이 영상이라고 하며, 전자 장치는 상기 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하고(S830), 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 보정 영역에 속하면 해당 픽셀을 보정할 수 있다(S840).
사용자 시점 보정 영역에 속하는 픽셀을 보정하는 방법은 도 13에 보다 자세하게 도시되어 있다. 전자 장치는 보간 투사 깊이 영상의 (x, y)에 위치한 픽셀에 대하여, 해당 위치에서의 비교 시야각이 사용자 시점 투사 보정 영역의 시야각 보다 작거나 같은지 여부를 판단하고(S841), 단계 841에서의 조건을 만족하면, (x, y) 위치를 보정 영역으로 지정할 수 있다(S843).
전자 장치는 보정 영역의 (x, y) 위치에 투사 영상의 픽셀 (xc, yc)를 맵핑함으로써 보정 영역의 픽셀을 워핑(보정)할 수 있으며, 보정 영역에 맵핑되는 투사 영상의 픽셀 위치는 상술한 수학식 21에 의해 계산된 것일 수 있다.
본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100: 실시간 프로젝터 영상 보정 장치
130: 캘리브레이션부
150: 투사 영역 예측부
170: 보정 영역 예측부
190: 영상 보정부

Claims (9)

  1. 프로젝터를 통해 투사되는 이미지에 포함된 특정 지점의 이미지 좌표와 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 단계;
    상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하는 단계;
    상기 정규화된 이미지 좌표가 이미지 크기 범위에 포함되면, 해당 좌표를 투사 예측 영역으로 설정하는 단계;
    상기 투사 예측 영역의 외곽 픽셀을 검출하는 단계;
    상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하는 단계;
    상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환하는 단계;
    프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 단계;
    상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 단계;
    상기 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 단계를 포함하는 실시간 프로젝터 영상 보정 방법.
  2. 제1항에 있어서,
    상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 단계는
    상기 투사 영상에 대응되는 희소 투사 깊이 영상에서 깊이값이 존재하지 않는 픽셀의 깊이값을 계산하고, 계산된 깊이값을 반영하여 보간 투사 깊이 영상을 생성하는 단계;
    상기 프로젝터의 시야각(field of view)을 이용하여 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 산출하는 단계;
    상기 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 단계;
    상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 보정 영역에 속하면 해당 픽셀을 보정하는 단계를 포함하는 실시간 프로젝터 영상 보정 방법.
  3. 제2항에 있어서,
    상기 보간 투사 깊이 영상을 생성하는 단계는
    상기 희소 투사 깊이 영상의 제1 픽셀이 유효 픽셀인지 판단하는 a 단계;
    상기 제1 픽셀이 유효 픽셀이 아니고 상기 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하면, 상기 제1 픽셀에 기 설정된 가우시안 마스크를 적용하여 상기 제1 픽셀의 깊이값을 산출하는 b 단계;
    상기 제1 픽셀이 유효 픽셀이거나, 상기 제1 픽셀에 대한 가우시안 마스크 적용 범위 내에 유효 픽셀이 존재하지 않으면 상기 제1 픽셀에 상기 가우시안 마스크를 적용하지 않는 c 단계;
    상기 희소 투사 깊이 영상의 픽셀 전부가 유효 픽셀이 될 때까지 상기 희소 투사 깊이 영상의 각 픽셀에 대해 상기 a 내지 c 단계를 반복 수행하는 단계를 포함하며,
    상기 제1 픽셀에 가우시안 마스크를 적용하는 단계는
    상기 가우시안 마스크 적용 범위 내에 존재하는 모든 제1 유효 픽셀에 대하여 상기 제1 유효 픽셀의 깊이값과 상기 제1 유효 픽셀에 대응되는 가우시안 마스크의 가중치를 이용한 가중 평균을 산출하는 단계;
    상기 가중 평균을 상기 제1 픽셀의 깊이값으로 설정하는 단계를 포함하는 실시간 프로젝터 영상 보정 방법.

  4. 제2항에 있어서
    상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 투사 보정 영역에 속하면 해당 픽셀을 보정하는 단계는
    상기 보간 투사 깊이 영상의 (x, y) 위치에서의 비교 시야각이 상기 사용자 시점 투사 보정 영역의 시야각보다 작거나 같으면, 상기 (x, y) 위치를 보정 영역으로 지정하는 단계;
    상기 보정 영역의 (x, y) 위치에 상기 투사 영상의 픽셀 (xc, yc)을 맵핑하는 단계를 포함하는 실시간 프로젝터 영상 보정 방법.
  5. 제4항에 있어서,
    상기 투사 영상의 픽셀 (xc, yc)은 하기 식
    Figure pat00122

    Figure pat00123

    (
    Figure pat00124
    = 투사 영상의 높이,
    Figure pat00125
    = 보간 투사 깊이 영상의 (x, y) 위치에서의 x축 비교 시야각,
    Figure pat00126
    보간 투사 깊이 영상의 (x, y) 위치에서의 y축 비교 시야각,
    Figure pat00127
    사용자 시점 투사 보정 영역의 x축 시야각,
    Figure pat00128
    사용자 시점 투사 보정 영역의 y축 시야각)
    에 의해 산출되는 것을 특징으로 하는 실시간 프로젝터 영상 보정 방법.
  6. 프로젝터를 통해 투사되는 투사 영상에 포함된 특정 지점의 좌표와 깊이 카메라를 이용하여 획득한 상기 특정 지점의 3차원 좌표를 이용하여 깊이 카메라 좌표계의 3차원 위치 정보와 프로젝터 좌표계의 3차원 위치 정보 간 상관 관계를 나타내는 캘리브레이션 변환 계수를 산출하는 캘리브레이션부;
    상기 캘리브레이션 변환 계수를 이용하여 상기 깊이 카메라로부터 획득한 깊이 영상의 3차원 좌표를 정규화된 이미지 좌표로 변환하고, 상기 정규화된 이미지 좌표가 투사 영상 크기 범위에 포함되면 해당 좌표를 투사 예측 영역으로 설정하는 투사 영역 예측부;
    상기 투사 예측 영역을 이용하여 사용자의 위치를 기준으로 사용자 시점의 보정 영역을 예측하는 보정 영역 예측부;
    상기 프로젝터가 투사하는 투사 영상에서 상기 사용자 시점 보정 영역에 속하는 픽셀을 보정하는 영상 보정부를 포함하며,
    상기 보정 영역 예측부는
    상기 투사 예측 영역의 외곽 픽셀을 검출하는 외곽 픽셀 검출부;
    상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 계산하고, 상기 캘리브레이션 변환 계수를 이용하여 도출한 깊이-프로젝터 좌표계 변환 행렬을 이용하여 상기 외곽 픽셀의 깊이 카메라 좌표계 3차원 좌표를 프로젝터 좌표계 3차원 좌표로 변환하는 제1 좌표계 변환부;
    프로젝터 좌표계의 3차원 위치 정보를 사용자 위치를 기준으로 하는 사용자 좌표계의 3차원 위치 정보로 변환하는 프로젝터-사용자 좌표계 변환 매트릭스를 이용하여 상기 외곽 픽셀의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하는 제2 좌표계 변환부;
    상기 외곽 픽셀의 사용자 좌표계 3차원 좌표를 사용자 위치에 따라 투사하여 2차원의 사용자 시점 보정 영역을 검출하는 보정 영역 검출부를 포함하는 실시간 프로젝터 영상 보정 장치.
  7. 제6항에 있어서,
    상기 영상 보정부는
    상기 투사 영상에 대응되는 희소 투사 깊이 영상에서 깊이값이 존재하지 않는 픽셀의 깊이값을 계산하고 계산된 깊이값을 반영하여 보간 투사 깊이 영상을 생성하는 보간 투사 깊이 영상 생성부;
    상기 프로젝터의 시야각(field of view)을 이용하여 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 산출하고, 상기 보간 투사 깊이 영상의 프로젝터 좌표계 3차원 좌표를 사용자 좌표계 3차원 좌표로 변환하며, 상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 보정 영역에 속하면 해당 픽셀을 보정하는 보정부를 포함하는 실시간 프로젝터 영상 보정 장치.
  8. 제7항에 있어서,
    상기 보정부는
    상기 보간 투사 깊이 영상의 사용자 좌표계 3차원 좌표가 상기 사용자 시점 투사 보정 영역에 속하면 해당 픽셀을 보정함에 있어서,
    상기 보간 투사 깊이 영상의 (x, y) 위치에서의 비교 시야각이 상기 사용자 시점 투사 보정 영역의 시야각보다 작거나 같으면, 상기 (x, y) 위치를 보정 영역으로 지정하고, 상기 보정 영역의 (x, y) 위치에 상기 투사 영상의 픽셀 (xc,yc)을 맵핑하는 것을 특징으로 하는 실시간 프로젝터 영상 보정 장치.
  9. 제8항에 있어서,
    상기 투사 영상의 픽셀 (xc, yc)은 하기 식
    Figure pat00129

    Figure pat00130

    (
    Figure pat00131
    = 투사 영상의 높이,
    Figure pat00132
    = 보간 투사 깊이 영상의 (x, y) 위치에서의 x축 비교 시야각,
    Figure pat00133
    보간 투사 깊이 영상의 (x, y) 위치에서의 y축 비교 시야각,
    Figure pat00134
    사용자 시점 투사 보정 영역의 x축 시야각,
    Figure pat00135
    사용자 시점 투사 보정 영역의 y축 시야각)
    에 의해 산출되는 것을 특징으로 하는 실시간 프로젝터 영상 보정 장치.

KR1020180076532A 2018-07-02 2018-07-02 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치 Active KR102093622B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180076532A KR102093622B1 (ko) 2018-07-02 2018-07-02 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180076532A KR102093622B1 (ko) 2018-07-02 2018-07-02 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200003584A true KR20200003584A (ko) 2020-01-10
KR102093622B1 KR102093622B1 (ko) 2020-03-27

Family

ID=69158663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180076532A Active KR102093622B1 (ko) 2018-07-02 2018-07-02 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102093622B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102218805B1 (ko) * 2020-08-26 2021-02-22 한국기술교육대학교 산학협력단 빔프로젝터 및 깊이 카메라를 구비한 모바일 로봇 기반의 증강현실 시스템 및 그 시스템의 좌표계 보정 방법
CN114615478A (zh) * 2022-02-28 2022-06-10 青岛信芯微电子科技股份有限公司 投影画面校正方法、系统、投影设备和存储介质
KR20220168379A (ko) * 2021-06-16 2022-12-23 (주)브이브이알 깊이 카메라를 이용한 평면 터치 인식 방법 및 이를 실행하는 장치
CN116719009A (zh) * 2023-07-20 2023-09-08 北京东土科技股份有限公司 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置
CN118400503A (zh) * 2024-06-27 2024-07-26 福建歌航电子信息科技有限公司 一种梯形校正的方法及终端
WO2025135579A1 (ko) * 2023-12-18 2025-06-26 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102702181B1 (ko) 2022-03-16 2024-09-02 한국항공대학교산학협력단 깊이영상 처리 장치 및 방법
KR20240008726A (ko) 2022-07-12 2024-01-19 한국항공대학교산학협력단 깊이영상 처리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011103534A (ja) * 2009-11-10 2011-05-26 Panasonic Electric Works Co Ltd 映像表示システム
KR20110134142A (ko) * 2010-06-08 2011-12-14 에스케이플래닛 주식회사 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR20150112362A (ko) * 2014-03-27 2015-10-07 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011103534A (ja) * 2009-11-10 2011-05-26 Panasonic Electric Works Co Ltd 映像表示システム
KR20110134142A (ko) * 2010-06-08 2011-12-14 에스케이플래닛 주식회사 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR20150112362A (ko) * 2014-03-27 2015-10-07 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102218805B1 (ko) * 2020-08-26 2021-02-22 한국기술교육대학교 산학협력단 빔프로젝터 및 깊이 카메라를 구비한 모바일 로봇 기반의 증강현실 시스템 및 그 시스템의 좌표계 보정 방법
KR20220168379A (ko) * 2021-06-16 2022-12-23 (주)브이브이알 깊이 카메라를 이용한 평면 터치 인식 방법 및 이를 실행하는 장치
CN114615478A (zh) * 2022-02-28 2022-06-10 青岛信芯微电子科技股份有限公司 投影画面校正方法、系统、投影设备和存储介质
CN114615478B (zh) * 2022-02-28 2023-12-01 青岛信芯微电子科技股份有限公司 投影画面校正方法、系统、投影设备和存储介质
CN116719009A (zh) * 2023-07-20 2023-09-08 北京东土科技股份有限公司 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置
WO2025135579A1 (ko) * 2023-12-18 2025-06-26 삼성전자주식회사 전자 장치 및 그 제어 방법
CN118400503A (zh) * 2024-06-27 2024-07-26 福建歌航电子信息科技有限公司 一种梯形校正的方法及终端

Also Published As

Publication number Publication date
KR102093622B1 (ko) 2020-03-27

Similar Documents

Publication Publication Date Title
KR102093622B1 (ko) 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치
KR102133492B1 (ko) 깊이 카메라와 비행체를 이용한 강건한 디스플레이 시스템 및 방법
JP4435145B2 (ja) 幾何情報を校正してパノラマ映像を提供する方法および装置
WO2021031781A1 (zh) 投影图像校准方法、装置及投影设备
US7119833B2 (en) Monitoring and correction of geometric distortion in projected displays
EP1508876B1 (en) Image projection method and device
JP4961628B2 (ja) 投射映像補正システム及びその方法
US7167645B2 (en) Image processing system, projector, information storage medium, and image processing method
CN102170545B (zh) 校正信息计算装置、图像处理装置、显示系统及校正方法
US20130222776A1 (en) Image projector, method of image projection, and computer-readable storage medium storing program for causing computer to execute image projection
EP1638345A1 (en) Method for calculating display characteristic correction data, program for calculating display characteristic correction data, and device for calculating display characteristic correction data
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US20190005607A1 (en) Projection device, projection method and program storage medium
JPWO2013038656A1 (ja) 投影像自動補正システム、投影像自動補正方法およびプログラム
US11284052B2 (en) Method for automatically restoring a calibrated state of a projection system
US20120063698A1 (en) Image processing system, projector, method and computer program product
CN113038096B (zh) 投影设备与投影校正方法
JP2007036482A (ja) 情報投影表示装置およびプログラム
JP6990694B2 (ja) プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム
EP3606061B1 (en) Projection device, projection system and an image calibration method
KR20130043300A (ko) 프로젝터를 통해 투사되는 영상을 보정하기 위한 장치 및 방법
JP2008211355A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP2013192240A (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
CN110691228A (zh) 基于三维变换的深度图像噪声标记方法、装置和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180702

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190328

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20191023

Patent event code: PE09021S02D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200318

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200320

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200320

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230102

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240102

Start annual number: 5

End annual number: 5