KR20190079247A - 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템 - Google Patents

프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템 Download PDF

Info

Publication number
KR20190079247A
KR20190079247A KR1020170181319A KR20170181319A KR20190079247A KR 20190079247 A KR20190079247 A KR 20190079247A KR 1020170181319 A KR1020170181319 A KR 1020170181319A KR 20170181319 A KR20170181319 A KR 20170181319A KR 20190079247 A KR20190079247 A KR 20190079247A
Authority
KR
South Korea
Prior art keywords
projector
marker
virtual
image
positional relationship
Prior art date
Application number
KR1020170181319A
Other languages
English (en)
Other versions
KR102002231B1 (ko
Inventor
최현석
홍재성
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170181319A priority Critical patent/KR102002231B1/ko
Publication of KR20190079247A publication Critical patent/KR20190079247A/ko
Application granted granted Critical
Publication of KR102002231B1 publication Critical patent/KR102002231B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

일 실시예에 따른 이미지 투사 시스템은 오브젝트에 설치된 제1마커; 프로젝터에 설치된 제2마커; 상기 제1마커의 위치와 상기 제2마커의 위치를 추적하는 트래커; 및 상기 제1마커와 상기 제2마커 사이의 상대적인 위치 관계에 기초하여 상기 오브젝트에 투사할 투사 이미지를 생성하고, 생성된 투사 이미지를 상기 프로젝터에 전달하는 프로세서를 포함하고, 상기 오브젝트와 상기 프로젝터가 서로에 대하여 상대적으로 이동하는 동안 상기 프로젝터가 상기 생성된 투사 이미지를 상기 오브젝트의 설정 영역 내에 투사할 수 있다.

Description

프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템{PROJECTOR, METHOD FOR CREATING PROJECTION IMAGE AND SYSTEM FOR PROJECTING IMAGE}
이하, 실시예들은 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템에 관한 것이다.
종래 널리 사용되고 있는 프로젝터는 미리 생성한 설정 이미지를 오브젝트에 투사하는 방식을 채택하고 있다. 예를 들어, 미국공개특허공보 제2014/0176735호는 휴대용 투사 캡쳐 디바이스를 개시하고 있다. 이러한 방식은 사용자가 투사된 이미지에 포함된 도안을 따라 스케치를 하도록 요구한다. 다만, 이러한 방식은 프로젝터의 투사 가능한 영역이 제한적이다. 이는, 프로젝터로부터 투사되는 이미지의 밝기 또는 선명도, 프로젝터 및 이미지가 투사되는 오브젝트 사이의 거리에 따른 투사 이미지의 크기 등의 제약 조건이 많다. 또한, 프로젝터와 오브젝트 사이에 위치 관계가 확립된 상태에서, 사용자가 작업 중 프로젝터를 이동하면 프로젝터가 설정 이미지를 오브젝트에 투사하는 것이 불가능하고, 설령 프로젝터를 오브젝트에 대하여 원 위치로 위치시키더라도 사용자가 도안을 따라 이미 그려놓은 그림과 투사 이미지와의 정합이 어렵다. 뿐만 아니라, 프로젝터와 오브젝트 사이에 사용자의 신체 부위 또는 다른 오브젝트로 인하여 프로젝터로부터 오브젝트로 투사되는 이미지가 왜곡되는 현상이 발생한다.
일 실시예에 따른 목적은 위치 추적 기술과 영상 정합 기술을 이용하여 프로젝터로부터 이미지가 투사되는 오브젝트의 설정 영역에 제한이 없으며, 프로젝터가 오브젝트에 대하여 이동하더라도 이미지의 왜곡 없이 오브젝트에 이미지가 투사되는 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템을 제공하는 것이다.
일 실시예에 따른 이미지 투사 시스템은 오브젝트에 설치된 제1마커; 프로젝터에 설치된 제2마커; 상기 제1마커의 위치와 상기 제2마커의 위치를 추적하는 트래커; 및 상기 제1마커와 상기 제2마커 사이의 상대적인 위치 관계에 기초하여 상기 오브젝트에 투사할 투사 이미지를 생성하고, 생성된 투사 이미지를 상기 프로젝터에 전달하는 프로세서를 포함하고, 상기 오브젝트와 상기 프로젝터가 서로에 대하여 상대적으로 이동하는 동안 상기 프로젝터가 상기 생성된 투사 이미지를 상기 오브젝트의 설정 영역 내에 투사할 수 있다.
상기 프로세서는 가상 오브젝트와 가상 프로젝터를 포함하는 가상 공간을 생성하고, 상기 가상 프로젝터가 상기 가상 오브젝트에 투사하는 가상 이미지를 상기 투사 이미지로 설정할 수 있다.
상기 프로세서는 상기 제1마커와 상기 제2마커 사이의 상대적인 위치 관계를 이용하여 상기 가상 오브젝트와 상기 가상 프로젝터 사이의 관계를 설정할 수 있다.
상기 프로세서는 상기 프로젝터의 설정 초점 길이에 기초하여 상기 가상 오브젝트에 대한 상기 가상 프로젝터의 화각(angle of view)을 계산할 수 있다.
상기 프로세서는 상기 제1마커와 상기 트래커 사이의 위치 관계 및 상기 제2마커와 상기 트래커 사이의 위치 관계 및 상기 제2마커와 상기 프로젝터의 투사 중심 사이의 위치 관계를 이용하여 상기 제1마커와 상기 프로젝터의 투사 중심 사이의 위치 관계를 계산할 수 있다.
상기 프로젝터는 상기 오브젝트의 좌표계를 기준으로 상기 투사 이미지를 상기 오브젝트에 투사할 수 있다.
상기 제1마커와 상기 제2마커는 광 신호를 송신하고, 상기 트래커는 상기 제1마커와 상기 제2마커로부터 광 신호를 수신할 수 있다.
일 실시예에 따른 프로젝터는 오브젝트에 설치된 마커의 위치를 감지하는 감지부; 상기 오브젝트에 투사 이미지를 투사하는 출력부; 및 프로젝터와 상기 마커 사이의 상대적인 위치 관계에 기초하여 상기 오브젝트에 투사할 투사 이미지를 생성하고, 생성된 투사 이미지를 상기 출력부에 전달하는 프로세서를 포함하고, 상기 프로젝터와 상기 오브젝트가 서로에 대하여 상대적으로 이동하는 동안 상기 출력부가 상기 생성된 투사 이미지를 상기 오브젝트의 설정 영역 내에 투사할 수 있다.
상기 프로세서는 가상 오브젝트와 가상 출력부를 포함하는 가상 공간을 생성하고, 상기 가상 출력부가 상기 가상 오브젝트에 투사하는 가상 이미지를 상기 투사 이미지로 설정할 수 있다.
일 실시예에 따른 투사 이미지 생성 방법은 오브젝트와 프로젝터 사이의 상대적인 위치 관계를 계산하는 단계; 상기 상대적인 위치 관계를 이용하여 가상 오브젝트와 가상 프로젝터를 포함하는 가상 공간을 생성하는 단계; 및 상기 가상 프로젝터가 상기 가상 오브젝트에 투사하는 가상 이미지를 렌더링하여 투사 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템은 프로젝터나 오브젝트가 서로에 대하여 상대적으로 이동하더라도 프로젝터로부터 오브젝트로 투사되는 이미지의 왜곡이 발생하지 않는다.
일 실시예에 따른 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템은 프로젝터와 오브젝트 사이의 광 경로를 방해하지 않으면서도 사용자의 작업 환경에 구속되지 않도록 사용자가 프로젝터 또는 오브젝트를 임의의 위치로 이동시킬 수 있다.
일 실시예에 따른 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템은 이미지가 투사되는 오브젝트의 프로파일 등 형상에 관계 없이 오브젝트의 넓은 영역에 이미지를 투사할 수 있다.
일 실시예에 따른 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 이미지 투사 시스템을 개략적으로 나타낸 블록도이다.
도 2는 일 실시예에 따른 이미지 투사 시스템을 개략적으로 나타낸 도면이다.
도 3은 일 실시예에 따른 프로젝터를 개략적으로 나타낸 블록도이다.
도 4는 일 실시예에 따른 투사 이미지 생성 방법을 개략적으로 나타낸 흐름도이다.
도 5는 일 실시예에 따른 투사 이미지 생성 방법을 개략적으로 나타낸 도면이다.
도 6은 일 실시예에 따른 프로젝터의 캘리브레이션 방법을 개략적으로 나타낸 흐름도이다.
도 7은 일 실시예에 따른 프로젝터의 캘리브레이션 방법을 개략적으로 나타낸 도면이다.
이하, 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재한 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
본원에서 사용하는 용어 "오브젝트"는 프로젝터로부터 투사되는 투사 이미지가 형성되는 구성을 말한다. 예를 들어, 오브젝트는 스크린일 수 있다.
본원에서 사용하는 용어 "마커"는 마커가 설치된 물체의 위치와 방향을 포함하는 정보를 전달하기 위하여 사용되는 구성을 말한다. 예를 들어, 마커는 마커가 설치된 물체의 위치와 방향을 포함하는 정보를 포함하는 광 신호를 송신할 수 있다. 일 예에서, 광 신호는 적외선일 수 있다.
본원에서 사용하는 용어 "트래커"는 마커의 위치를 추적하는 구성을 말한다. 예를 들어, 트래커는 광 신호를 수신하는 카메라일 수 있다. 일 예에서, 트래커는 스테레오 카메라일 수 있다.
본원에서 사용하는 A 구성과 B 구성의 상대적인 위치 관계는 "H"로 표현된다. 예를 들어, 오브젝트에 설치된 마커를 "I" 구성으로, 트래커를 "T" 구성으로 나타낸다면, 오브젝트에 설치된 마커와 트래커 사이의 상대적인 위치 관계는
Figure pat00001
로 표현된다. 여기서, 상대적인 위치 관계를 나타내는 "H"의 하한은 레퍼런스를 의미한다. 즉, 오브젝트에 설치된 마커("I" 구성)와 트래커("T" 구성) 사이의 상대적인 위치 관계인
Figure pat00002
은 마커("I" 구성)의 위치를 기준으로 하는 트래커("T" 구성)의 위치를 나타내는 위치 관계를 말한다.
도 1은 일 실시예에 따른 이미지 투사 시스템을 개략적으로 나타낸 블록도이다.
도 1을 참고하면, 일 실시예에 따른 이미지 투사 시스템(100)은 위치 추적 기술과 영상 정합 기술을 이용하여 오브젝트(112)와 프로젝터(122)가 서로에 대하여 상대적으로 이동하는 동안에도 프로젝터(122)로부터 오브젝트(112)로 투사되는 투사 이미지의 왜곡을 감소시킬 수 있다. 이미지 투사 시스템(100)은 제1마커(110), 제2마커(120), 트래커(130) 및 프로세서(140)를 포함할 수 있다.
제1마커(110)는 오브젝트(112)에 설치되고, 제2마커(120)는 프로젝터(122)에 설치될 수 있다. 제1마커(110)를 통하여 오브젝트(112)의 위치 및 방향에 관한 정보 및 제2마커(120)를 통하여 프로젝터(122)의 위치 및 방향에 관한 정보가 검출될 수 있다. 여기서, 오브젝트(112)의 위치 및 방향에 관한 정보 및 프로젝터(122)의 위치 및 방향에 관한 정보는 각각 이미지 투사 시스템(100)의 좌표계가 가지는 파라미터들로 구성된 행렬(matrix)로 표현될 수 있다. 이러한 행렬에는 해당 구성의 위치 및 회전 정보가 포함되어 있다.
트래커(130)는 제1마커(110)의 위치와 제2마커(120)의 위치를 추적하여 제1마커(110)가 설치된 오브젝트(112)의 위치 및 방향에 관한 정보와 제2마커(120)가 설치된 프로젝터(122)의 위치 및 방향에 관한 정보를 획득할 수 있다. 트래커(130)는 획득한 오브젝트(112)의 위치 및 방향에 관한 정보와 프로젝터(122)의 위치 및 방향에 관한 정보를 프로세서(140)에 송신할 수 있다. 여기서, 트래커(130)와 프로세서(140)의 송수신 방식은 유선, 무선 등의 방식을 이용할 수 있다. 예를 들어, 트래커(130)와 프로세서(140)는 무선 통신 방식으로 정보를 송수신할 수 있다.
프로세서(140)는 오브젝트(112)의 위치 및 방향에 관한 정보와 프로젝터(122)의 위치 및 방향에 관한 정보에 기초하여 오브젝트(112)와 프로젝터(122) 사이의 상대적인 위치 관계를 계산할 수 있다. 이후, 프로세서(140)는 오브젝트(112)와 프로젝터(122) 사이의 상대적인 위치 관계에 기초하여 프로젝터(122)가 오브젝트(112)에 투사할 투사 이미지를 생성할 수 있다. 이후, 프로세서(140)는 생성된 투사 이미지를 프로젝터(122)에 전달할 수 있다. 여기서, 프로세서(140)와 프로젝터(122)가 투사 이미지를 포함하는 정보를 교환하는 방식은 유선, 무선 등의 방식을 이용할 수 있다. 예를 들어, 프로세서(140)와 프로젝터(122)는 무선 통신 방식으로 투사 이미지를 포함하는 정보를 송수신할 수 있다.
종래에는 프로젝터와 오브젝트 사이의 상대적인 위치 관계를 전혀 고려하지 않고 프로젝터가 오브젝트에 미리 설정된 이미지를 투사하거나, 프로젝터와 오브젝트 사이의 상대적인 위치 관계를 고려하여 이미지를 투사하더라도 프로젝터와 오브젝트 사이의 상대적인 위치 관계가 고정 값을 갖는 경우가 많았다. 즉, 종래의 프로젝터와 오브젝트 사이의 상대적인 위치 관계는 시불변인(time-invariant) 특성을 가졌다. 일 실시예에 따른 이미지 투사 시스템(100)은 오브젝트(112)와 프로젝터(122)의 동적 특성을 반영하므로, 오브젝트(112)와 프로젝터(122)가 서로에 대하여 상대적으로 이동하는 동안 프로젝터(122)가 생성된 투사 이미지를 왜곡 없이 오브젝트(112)에 투사할 수 있다. 또한, 일 실시예에 따른 이미지 투사 시스템(100)은 오브젝트(112)와 프로젝터(122) 사이의 상대적인 위치 관계를 고려하기 때문에 오브젝트(112)가 임의의 형상을 가지더라도 오브젝트(112)의 설정 영역 내에 투사 이미지가 정확하게 투사될 수 있다.
도 2는 일 실시예에 따른 이미지 투사 시스템을 개략적으로 나타낸 도면이다. 도 2를 참고하여 이미지 투사 시스템(200)이 오브젝트(212)와 프로젝터(222) 사이의 상대적인 위치 관계를 실시간으로 추적하는 방식을 설명한다.
도 2를 참고하면, 일 실시예에 따른 이미지 투사 시스템(200)은 오브젝트(212)에 설치된 제1마커(210), 프로젝터(222)에 설치된 제2마커(220), 제1마커(210)의 위치와 제2마커(220)의 위치를 추적하는 트래커(230) 및 제1마커(210)와 제2마커(220) 사이의 상대적인 위치 관계에 기초하여 오브젝트(212)에 투사할 투사 이미지(RI)를 생성하고, 생성된 투사 이미지(RI)를 프로젝터(222)에 전달하고, 프로젝터(222)는 생성된 투사 이미지(RI)를 오브젝트(212)에 투사한다. 여기서, 프로젝터(222)와 오브젝트(212)는 서로에 대하여 상대적으로 이동할 수 있다.
도 2에 도시된 바와 같이, 각각의 구성요소들 사이의 상대적인 위치 관계가 "H"로 나타난다. 예를 들어, 제1마커(210)와 트래커(230) 사이의 상대적인 위치 관계는
Figure pat00003
로, 제2마커(220)와 프로젝터(222) 사이의 상대적인 위치 관계는
Figure pat00004
으로, 제2마커(220)와 프로젝터(222)의 투영 중심 사이의 상대적인 위치 관계는
Figure pat00005
으로, 제1마커(210)와 프로젝터(222)의 투영 중심 사이의 상대적인 위치 관계는
Figure pat00006
으로 표현된다.
트래커(230)가 제1마커(210)의 위치를 추적하면, 트래커(230)는 트래커(230)와 제1마커(210) 사이의 상대적인 위치 관계인
Figure pat00007
를 획득할 수 있다. 트래커(230)가 제2마커(220)의 위치를 추적하면, 트래커(230)는 트래커(230)와 제2마커(220) 사이의 상대적인 위치 관계인
Figure pat00008
를 획득할 수 있다. 획득된 트래커(230)와 제1마커(210) 사이의 상대적인 위치 관계인
Figure pat00009
와 트래커(230)와 제2마커(220) 사이의 상대적인 위치 관계인
Figure pat00010
를 포함하는 정보는 프로세서(240)로 전달된다. 여기서, 제2마커(220)와 프로젝터(222)의 투영 중심 사이의 상대적인 위치 관계인
Figure pat00011
은 트래커(230)의 실시간 추적 이전에 획득되어 프로세서(240)에 전달된다.
이후, 프로세서(240)는 오브젝트(212)에 설치된 제1마커(210)와 프로젝터(222)의 투영 중심 사이의 상대적인 위치 관계인
Figure pat00012
를 실시간으로 계산한다. 이를 수학식으로 나타내면 다음과 같다.
Figure pat00013
(여기서, H는 동차 변환 행렬(Homogeneous transformation matrix)을 의미(denote)하고, H의 상한과 하한은 각각 해당 좌표계를 의미한다.)
도 3은 일 실시예에 따른 프로젝터를 개략적으로 나타낸 블록도이다.
도 3은 일 실시예에 따른 프로젝터(300)를 포함하는 이미지 투사 시스템(30)을 도시한다. 앞서 도 1 및 도 2를 참고하여 설명한 이미지 투사 시스템과 달리, 도 3을 참고하여 설명할 이미지 투사 시스템(30)은 단일의 마커(310)를 사용하고, 이미지 투사 시스템(30)의 프로젝터(300)는 마커(310)를 추적하는 구성(e.g. 도 1에서 트래커(130))과 오브젝트(312)에 이미지를 투사하는 구성(e.g. 도 1에서 프로젝터(122))을 포함한다. 도 3을 참고하여 위치 추적 방식을 이용한 새로운 유형의 프로젝터(300)에 관하여 설명하기로 한다. 프로젝터(300)는 감지부(302), 출력부(304) 및 프로세서(306)를 포함할 수 있다.
감지부(302)는 오브젝트(312)에 설치된 마커(310)의 위치를 감지할 수 있다. 예를 들어, 감지부(302)는 마커(310)가 송신한 광 신호를 수신하는 광학 카메라일 수 있다. 감지부(302)가 마커(310)의 위치를 감지하면, 감지부(302)는 마커(310)를 통하여 마커(310)가 설치된 오브젝트(312)의 위치 및 방향에 관한 정보를 검출하고, 검출된 오브젝트(312)의 위치 및 방향에 관한 정보를 프로세서(306)에 송신할 수 있다.
프로세서(306)는 오브젝트(312)의 위치 및 방향에 관한 정보에 기초하여 프로젝터(300)와 마커(310) 사이의 상대적인 위치 관계를 계산할 수 있다. 이후, 프로세서(306)는 출력부(304)가 오브젝트(312)에 투사할 투사 이미지를 생성할 수 있다. 이후, 프로세서(306)는 생성한 투사 이미지를 포함하는 정보를 출력부(304)에 전달할 수 있다.
출력부(304)는 프로세서(306)로부터 전달 받은 투사 이미지를 포함하는 정보에 기초하여 투사 이미지를 오브젝트(312)에 투사할 수 있다. 프로젝터(300)와 오브젝트(312)가 서로에 대하여 상대적으로 이동하는 동안에도 출력부(304)는 투사 이미지를 오브젝트(312)의 설정 영역 내에 투사할 수 있다.
도 4는 일 실시예에 따른 투사 이미지 생성 방법을 개략적으로 나타낸 흐름도이다.
도 4를 참고하면, 일 실시예에 따른 투사 이미지 생성 방법은 먼저 (실제의) 오브젝트와 (실제의) 프로젝터 사이의 상대적인 위치 관계를 계산할 수 있다(410). 이후, 투사 이미지 생성 방법은 가상 오브젝트와 가상 프로젝터를 포함하는 가상 공간(virtual space)을 생성할 수 있다(420). 예를 들어, 가상 공간은 3차원 렌더링(rendering)을 통하여 생성될 수 있다.
이후, 투사 이미지 생성 방법은 가상 오브젝트와 가상 프로젝터 사이의 상대적인 위치 관계를 설정할 수 있다(430). 여기서, 가상 오브젝트와 가상 프로젝터 사이의 상대적인 위치 관계는 앞서 계산한 (실제의) 오브젝트와 (실제의) 프로젝터 사이의 상대적인 위치 관계에 기초하여 설정된다.
이후, 투사 이미지 생성 방법은 가상 프로젝터가 가상 오브젝트에 투사하는 가상 이미지를 렌더링하여 (실제의) 프로젝터가 (실제의) 오브젝트에 투사할 투사 이미지를 생성할 수 있다(440).
도 5는 일 실시예에 따른 투사 이미지 생성 방법을 개략적으로 나타낸 도면이다.
도 5를 참고하면, 이미지 평면으로 기능하는 가상 오브젝트(512) 및 가상 카메라로 기능하는 가상 프로젝터(522)를 포함하는 가상 공간(Virtual Space)이 생성된다. 가상 오브젝트(512)와 가상 프로젝터(522) 사이의 상대적인 위치 관계는 실제의 오브젝트와 실제의 프로젝터 사이의 상대적인 위치 관계인
Figure pat00014
에 기초하여 정의된다.
예를 들어, 실제의 오브젝트("I" 구성)와 실제의 프로젝터(구체적으로, 프로젝터의 중심)("C" 구성) 사이의 상대적인 위치 관계를
Figure pat00015
라 하면,
Figure pat00016
는 다음과 같이 표현될 수 있다.
Figure pat00017
(여기서, r11, r12, r13, r21, r22, r23, r31, r32, r33은 3 x 3 회전 행렬을 의미하고, tx, ty, tz는 프로젝터의 위치를 의미한다.)
실제의 오브젝트와 실제의 프로젝터 사이의 상대적인 위치 관계인
Figure pat00018
를 생성된 가상 공간에 적용하면 가상 오브젝트(512)와 가상 프로젝터(522) 사이의 상대적인 위치 관계가 정의된다. 여기서, 가상 프로젝터(522)의 위치는 그래픽 라이브러리를 통하여 설정될 수 있다.
가상 프로젝터(522)가 가상 오브젝트(512)에 투사하는 가상 이미지(VI)는 가상 카메라의 화각(field of view)(θ)에 따라 생성된다. 여기서, 가상 프로젝터(522)의 화각은 실제의 프로젝터의 설정 초점 길이(focal length)에 기초하여 계산된 실제의 프로젝터의 화각과 동일하게 설정된다.
가상 오브젝트(512)와 가상 프로젝터(522)를 포함하는 가상 공간은 실시간으로 렌더링될 수 있다. 실제의 오브젝트와 실제의 프로젝터 사이의 상대적인 이동에 따른 실제의 오브젝트와 실제의 프로젝터 사이의 상대적인 위치 관계
Figure pat00019
는 가상 오브젝트와 가상 프로젝터 사이의 상대적인 위치 관계에 실시간으로 반영될 수 있다. 실시간으로 렌더링 된 가상 공간에서 생성된 가상 이미지(VI)는 실제의 프로젝터가 실제의 오브젝트에 투사할 투사 이미지로서 실제의 프로젝터에 실시간으로 전달될 수 있다.
도 6은 일 실시예에 따른 프로젝터의 캘리브레이션 방법을 개략적으로 나타낸 흐름도이다.
도 6을 참고하면, 일 실시예에 따른 프로젝터의 캘리브레이션 방법은 먼저 프로젝터가 오브젝트에 테스트 이미지를 투사할 수 있다(610). 이후, 프로젝터의 캘리브레이션 방법은 테스트 이미지가 투사된 오브젝트의 영역에서 3차원 좌표를 획득할 수 있다(620). 이후, 프로젝터의 캘리브레이션 방법은 획득된 3차원 좌표와 테스트 이미지가 가지는 픽셀 값을 이용하여 프로젝터에 대하여 캘리브레이션 할 수 있다(630). 이후, 프로젝터의 캘리브레이션 방법은 캘리브레이션 된 프로젝터의 초점 길이, 주점(principal point) 및 오브젝트와 프로젝터의 투영 중심 사이의 상대적인 위치 관계를 획득할 수 있다(640).
도 7은 일 실시예에 따른 프로젝터의 캘리브레이션 방법을 개략적으로 나타낸 도면이다.
도 7을 참고하면, 일 실시예에 따른 이미지 투사 시스템(700)은 오브젝트(712)에 설치된 제1마커(710), 프로젝터(722)에 설치된 제2마커(720), 제1마커(710)의 위치와 제2마커(720)의 위치를 추적하는 트래커(730), 제1마커(710)와 제2마커(720) 사이의 상대적인 위치 관계를 계산하는 프로세서(740) 및 광 신호를 트래커(730)로 송신하는 캘리브레이션 프로브(750)를 포함할 수 있다.
먼저, 프로젝터(722)가 오브젝트(712)의 설정 영역 내에 테스트 이미지(TI)를 투사한다. 여기서, 테스트 이미지(TI)의 크기는 프로젝터(722)에서 일정 값으로 설정되어 있다. 바람직한 실시예에서, 테스트 이미지(TI)가 투사되는 오브젝트(712)의 설정 영역은 평면일 수 있다.
캘리브레이션 프로브(750)를 오브젝트(712)의 설정 영역의 코너(corner)에 가져다 놓으면, 캘리브레이션 프로브(750)를 통하여 오브젝트(712)가 위치한 공간의 3차원 좌표가 획득될 수 있다. 여기서 획득된 3차원 좌표는 오브젝트(712)를 기준으로 하는 좌표계로 표현된다.
이후, 캘리브레이션 프로브(750)를 통하여 오브젝트(712)의 설정 영역의 코너의 3차원 좌표와, 상기 3차원 좌표에 대응하는 테스트 이미지의 픽셀 값에 기초하여 프로젝터(722)의 캘리브레이션을 수행할 수 있다. 여기서, 수행되는 캘리브레이션 알고리즘은 Zhang의 "A flexible new technique for camera calibration"에 기재된 방법을 사용한다.
프로젝터(722)의 캘리브레이션을 수행하면, 프로젝터(722)의 초점 길이(focal length), 주점(principal point)들인 (cx, cy) 및 제1마커(710)와 프로젝터(722)의 투영 중심 사이의 상대적인 위치 관계인 를 획득할 수 있다.
캘리브레이션을 통하여 획득한 제1마커(710)와 프로젝터(722)의 투영 중심 사이의 상대적인 위치 관계인
Figure pat00021
는 제2마커(720)와 프로젝터(722)의 투영 중심 사이의 상대적인 위치 관계인
Figure pat00022
을 계산하는 데 사용된다.
Figure pat00023
이렇게 획득된 제2마커(720)와 프로젝터(722)의 투영 중심 사이의 상대적인 위치 관계인
Figure pat00024
은 추후 트래커(730)에 의하여 제1마커(710)의 위치와 제2마커(720)의 위치가 실시간으로 추적되는 동안 제1마커(710)와 프로젝터(722)의 투영 중심 사이의 상대적인 위치 관계인
Figure pat00025
를 계산하는 데 사용될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (10)

  1. 오브젝트에 설치된 제1마커;
    프로젝터에 설치된 제2마커;
    상기 제1마커의 위치와 상기 제2마커의 위치를 추적하는 트래커; 및
    상기 제1마커와 상기 제2마커 사이의 상대적인 위치 관계에 기초하여 상기 오브젝트에 투사할 투사 이미지를 생성하고, 생성된 투사 이미지를 상기 프로젝터에 전달하는 프로세서;
    를 포함하고,
    상기 오브젝트와 상기 프로젝터가 서로에 대하여 상대적으로 이동하는 동안 상기 프로젝터가 상기 생성된 투사 이미지를 상기 오브젝트의 설정 영역 내에 투사하는 이미지 투사 시스템.
  2. 제1항에 있어서,
    상기 프로세서는 가상 오브젝트와 가상 프로젝터를 포함하는 가상 공간을 생성하고, 상기 가상 프로젝터가 상기 가상 오브젝트에 투사하는 가상 이미지를 상기 투사 이미지로 설정하는 이미지 투사 시스템.
  3. 제2항에 있어서,
    상기 프로세서는 상기 제1마커와 상기 제2마커 사이의 상대적인 위치 관계를 이용하여 상기 가상 오브젝트와 상기 가상 프로젝터 사이의 관계를 설정하는 이미지 투사 시스템.
  4. 제3항에 있어서,
    상기 프로세서는 상기 프로젝터의 설정 초점 길이에 기초하여 상기 가상 오브젝트에 대한 상기 가상 프로젝터의 화각을 계산하는 이미지 투사 시스템.
  5. 제1항에 있어서,
    상기 프로세서는 상기 제1마커와 상기 트래커 사이의 위치 관계 및 상기 제2마커와 상기 트래커 사이의 위치 관계 및 상기 제2마커와 상기 프로젝터의 투사 중심 사이의 위치 관계를 이용하여 상기 제1마커와 상기 프로젝터의 투사 중심 사이의 위치 관계를 계산하는 이미지 투사 시스템.
  6. 제1항에 있어서,
    상기 프로젝터는 상기 오브젝트의 좌표계를 기준으로 상기 투사 이미지를 상기 오브젝트에 투사하는 이미지 투사 시스템.
  7. 제1항에 있어서,
    상기 제1마커와 상기 제2마커는 광 신호를 송신하고, 상기 트래커는 상기 제1마커와 상기 제2마커로부터 광 신호를 수신하는 이미지 투사 시스템.
  8. 오브젝트에 설치된 마커의 위치를 감지하는 감지부;
    상기 오브젝트에 투사 이미지를 투사하는 출력부; 및
    프로젝터와 상기 마커 사이의 상대적인 위치 관계에 기초하여 상기 오브젝트에 투사할 투사 이미지를 생성하고, 생성된 투사 이미지를 상기 출력부에 전달하는 프로세서;
    를 포함하고,
    상기 프로젝터와 상기 오브젝트가 서로에 대하여 상대적으로 이동하는 동안 상기 출력부가 상기 생성된 투사 이미지를 상기 오브젝트의 설정 영역 내에 투사하는 프로젝터.
  9. 제8항에 있어서,
    상기 프로세서는 가상 오브젝트와 가상 출력부를 포함하는 가상 공간을 생성하고, 상기 가상 출력부가 상기 가상 오브젝트에 투사하는 가상 이미지를 상기 투사 이미지로 설정하는 프로젝터.
  10. 오브젝트와 프로젝터 사이의 상대적인 위치 관계를 계산하는 단계;
    상기 상대적인 위치 관계를 이용하여 가상 오브젝트와 가상 프로젝터를 포함하는 가상 공간을 생성하는 단계; 및
    상기 가상 프로젝터가 상기 가상 오브젝트에 투사하는 가상 이미지를 렌더링하여 투사 이미지를 생성하는 단계;
    를 포함하는 투사 이미지 생성 방법.
KR1020170181319A 2017-12-27 2017-12-27 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템 KR102002231B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170181319A KR102002231B1 (ko) 2017-12-27 2017-12-27 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170181319A KR102002231B1 (ko) 2017-12-27 2017-12-27 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템

Publications (2)

Publication Number Publication Date
KR20190079247A true KR20190079247A (ko) 2019-07-05
KR102002231B1 KR102002231B1 (ko) 2019-07-19

Family

ID=67225139

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170181319A KR102002231B1 (ko) 2017-12-27 2017-12-27 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템

Country Status (1)

Country Link
KR (1) KR102002231B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021011680A1 (en) * 2019-07-17 2021-01-21 Brendan Bellomo Composite environment filmmaking devices, systems, products and methods
KR102649670B1 (ko) * 2023-07-28 2024-03-20 (주)코드쓰리 실감형 콘텐츠 제공 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163558A (ja) * 1998-11-27 2000-06-16 Mitsubishi Electric Corp 位置合わせ装置
JP2013034168A (ja) * 2011-08-01 2013-02-14 Fuji Xerox Co Ltd 画像投影装置ならびに画像投影制御装置およびプログラム
KR20170065160A (ko) * 2015-12-03 2017-06-13 엘지전자 주식회사 프로젝터 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163558A (ja) * 1998-11-27 2000-06-16 Mitsubishi Electric Corp 位置合わせ装置
JP2013034168A (ja) * 2011-08-01 2013-02-14 Fuji Xerox Co Ltd 画像投影装置ならびに画像投影制御装置およびプログラム
KR20170065160A (ko) * 2015-12-03 2017-06-13 엘지전자 주식회사 프로젝터 및 그 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021011680A1 (en) * 2019-07-17 2021-01-21 Brendan Bellomo Composite environment filmmaking devices, systems, products and methods
KR102649670B1 (ko) * 2023-07-28 2024-03-20 (주)코드쓰리 실감형 콘텐츠 제공 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102002231B1 (ko) 2019-07-19

Similar Documents

Publication Publication Date Title
US9247214B2 (en) Image processing apparatus and image processing method with projective transform of multiple cameras
CN107894588B (zh) 移动终端、距离测量方法、尺寸测量方法及装置
US20210112181A1 (en) Image processing device, image processing method, and recording medium
US9842399B2 (en) Image processing device and image processing method
WO2019012770A1 (ja) 撮像装置及びモニタリング装置
US9595106B2 (en) Calibration apparatus, calibration method, and program
KR20140071330A (ko) 이미징 디바이스를 캘리브레이션하는 방법 및 장치
JP2016527478A (ja) 三次元撮影装置、三次元画像の作成方法、および、三次元撮影装置の設定方法
KR102255017B1 (ko) 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법
JP2019083402A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
KR102186597B1 (ko) 타겟 크기 측정 시스템 및 그 방법
KR102002231B1 (ko) 프로젝터, 투사 이미지 생성 방법 및 이미지 투사 시스템
JP2019100817A (ja) 位置推定装置、位置推定方法及び端末装置
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US20170094244A1 (en) Image processing device and image processing method
WO2020255766A1 (ja) 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム
JP6065670B2 (ja) ３次元計測システム、プログラム及び方法。
JP2001317915A (ja) ３次元計測装置
WO2020166242A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2007033087A (ja) キャリブレーション装置及び方法
TW201621273A (zh) 行動定位裝置及其定位方法
CN113450414A (zh) 一种摄像机标定方法、设备、系统及存储介质
KR101356172B1 (ko) 원격 제어를 위한 3차원 영상 생성 장치 및 방법
WO2018134866A1 (ja) カメラ校正装置
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant