KR20150080678A - 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법 - Google Patents

사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법 Download PDF

Info

Publication number
KR20150080678A
KR20150080678A KR1020140000064A KR20140000064A KR20150080678A KR 20150080678 A KR20150080678 A KR 20150080678A KR 1020140000064 A KR1020140000064 A KR 1020140000064A KR 20140000064 A KR20140000064 A KR 20140000064A KR 20150080678 A KR20150080678 A KR 20150080678A
Authority
KR
South Korea
Prior art keywords
information
image
projection surface
user
input image
Prior art date
Application number
KR1020140000064A
Other languages
English (en)
Inventor
신호철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140000064A priority Critical patent/KR20150080678A/ko
Priority to US14/449,017 priority patent/US9596441B2/en
Publication of KR20150080678A publication Critical patent/KR20150080678A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 임의의 환경에서 사용자와 주변환경을 파악하여 사용자에게 최적화된 화면과 기능을 제공할 수 있는 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 보정장치 및 방법을 제공한다. 영상투영장치 주위에 1개 이상의 영상센서를 부착하고 이를 통해 영상투영장치가 설치된 공간과 투사면의 상태를 인지하고, 사용자의 위치를 파악하여 사용자와 투사면과 상호관계를 계산하여, 사용자의 입장에서 최적화된 화면과 기능을 제공할 수 있다.

Description

사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법{Apparatus and method of correcting image for image projection device with cognitive function on user and environment}
본 발명은 임의의 환경에서 사용자와 주변환경을 파악하여 사용자에게 최적화된 화면과 기능을 제공할 수 있는 사용자 및 환경 인지 기능이 부가된 빔 프로젝터와 같은 영상투영장치에 대한 영상의 색상―형상―위치 보정 장치 및 방법에 관한 것이다.
기존의 영상투영장치는 효과적인 영상출력을 위하여 평면이고 균질한 배경색을 지닌 투사면(projection surface)을 필요로 하였으나 스마트폰을 비롯한 모바일 기기 및 소형 영상투영장치들이 등장함에 따라 다양한 악조건의 환경에서도 영상투영장치를 사용할 필요성이 증가하고 있다.
특히 주변에 정상적인 영상 스크린이나 평평한 벽조차 없는 상황에서도 영상투영장치를 통하여 영상을 근접한 임의의 물체에 조사하여 단일 사용자 관점에서 왜곡 없는 영상을 구현할 수 있는 기술이 요구되고 있다.
최근에 색상 보정을 통해 임의의 모양과 색상으로 얼룩진 벽면 등에 대해서도 정상적인 색상에 가까운 영상을 구현할 수 있는 기술은 소개 되었으나 조사 면 자체가 평면에서 크게 벗어난 물체인 경우까지 극복하는 기술은 개발되지 않은 바, 사용자―영상투영장치―영상투사면 간의 관계를 파악하고 투사 영상을 보정하여 단일 사용자에게 최적화 된 영상을 구현할 수 있는 진일보한 기술이 요구되는 상황이다.
본 발명의 기술적 과제는 사용자 및 환경 인지 기능이 부가된 영상투영장치를 위한 영상 보정 장치 및 방법을 제공함에 있다.
본 발명의 다른 기술적 과제는 불균일한 색상 및/또는 형상을 가진 투사면(projection surface)에 영상이 투사되는 경우에도 영상의 왜곡 없이 영상을 투사할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 사용자(또는 시청자)의 위치를 고려하여 사용자가 왜곡 없는 투사 영상을 볼 수 있도록 보정하는 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 투사면의 형태 및 색상 그리고, 사용자의 위치를 고려하여 사용자(또는 시청자)의 입장에서 최적화된 투사 영상을 제공하는 장치 및 방법을 제공함에 있다.
본 발명의 일 양태에 따르면, 영상투영장치를 사용하여 입력영상을 투사함에 있어서 영상보정 방법을 제공한다. 상기 영상보정 방법은 적어도 하나의 영상센서를 통하여 상기 입력영상이 투영될 투사면(projection surface)에 대한 정보와 사용자의 위치에 대한 정보를 획득하는 단계, 상기 투사면에 대한 정보와 상기 사용자의 위치에 대한 정보를 기반으로 상기 입력영상에 대한 기하학적 보정을 수행하는 단계, 상기 투사면에 대한 정보를 기반으로 상기 입력영상에 대한 색상 보정을 수행하는 단계, 및 상기 투사면에 대한 정보를 기반으로 상기 입력영상에 대한 밝기 보정을 수행하는 단계를 포함함을 특징으로 한다.
본 발명의 다른 일 양태에 따르면, 영상투영장치를 사용하여 입력영상을 투사함에 있어서 영상보정 방법을 제공한다. 상기 영상보정 방법은 적어도 하나의 영상센서를 통하여 상기 입력영상이 투영될 투사면의 형상 및 위치에 대한 정보와 사용자의 위치에 대한 정보를 획득하는 단계, 상기 투사면의 형상 및 위치에 대한 정보와 상기 사용자의 위치에 대한 정보를 기반으로 상기 입력영상에 대한 기하학적 보정을 수행하는 단계를 포함하되, 상기 기하학적 보정을 수행함에 있어, 상기 투사면의 위치에 대한 정보와 상기 사용자의 위치에 대한 정보를 기반으로 상기 사용자에 대한 상기 투사면의 상대적인 위치 정보를 검출하고, 상기 상대적인 위치 정보를 기반으로, 상기 사용자에 대한 가상평면을 설정하고, 상기 가상평면을 기반으로 상기 입력영상에 대한 상기 기하학적 보정을 수행함을 특징으로 한다.
본 발명의 또 다른 일 양태에 따르면, 영상투영장치를 위한 영상보정장치를 제공한다. 상기 영상보정장치는 상기 영상투영장치를 통하여 입력영상이 투영될 투사면에 대한 정보와 사용자의 위치에 대한 정보를 획득하는 적어도 하나의 영상센서, 상기 투사면에 대한 정보와 상기 사용자의 위치에 대한 정보를 기반으로 상기 사용자에 대한 상기 투사면의 상대적인 위치를 계산하고, 가상평면을 생성하는 상대좌표 계산부, 상기 투사면에 대한 정보를 기반으로 투사면의 형상, 재질, 색상, 및 조명조건에 대한 정보 중 적어도 하나를 검출하는 투사면 상태검출부, 및 상기 가상평면 및 상기 투사면의 상태정보를 기반으로 입력영상을 보정하는 입력영상 보정부를 포함함을 특징으로 한다.
기존의 영상투영장치는 정상적인 영상출력을 위하여 단일한 색상의 평면 스크린을 필요로 하였으나 본 발명을 통하여 영상투영장치가 평면이 아닌 균일하지 않은 구조 및 배경색을 지닌 면에 대해서도 왜곡되지 않은 영상을 출력할 수 있도록 함으로써 그 활용도를 크게 높일 수 있다.
또한, 본 발명에 따르면 사용자(또는 시청자)의 위치를 더 고려하여 가상평면을 설정하고, 이에 따라 투영되는 입력영상을 보정함으로써, 사용자의 입장에서 최적화된 영상을 제공할 수 있다.
도 1은 영상이 투영되는 임의의 투사면의 일례를 나타낸다.
도 2는 임의의 투사면에 투영된 영상 예시이다.
도 3은 본 발명의 일 예에 따른 사용자 및 투사면을 고려한 영상보정 방법을 나타낸다.
도 4는 하나 이상의 영상센서가 구비된 영상투영장치에 대한 예시이다.
도 5는 실환경에서 검출된 사용자와 투사면의 거리영상에 대한 예시이다.
도 6은 본 발명에 따른 사용자에 대한 상대적인 투사면의 위치 계산의 일 예이다.
도 7은 거리영상 정보를 활용하여 투사면의 구조를 파악하고 형상을 인식한 결과의 예이다.
도 8은 본 발명에 따른 가상평면의 일 예이다.
도 9는 색상, 재질에 대한 정보를 활용하여, 투사면에 대해 영역분할을 수행한 예이다.
도 10은 본 발명에 따른 입력영상을 보정하기 위한 영상보정장치의 블록도이다.
도 11은 임의의 투사면에 대한 영상투영에 있어, 본 발명에 따른 영상보정을 수행한 예이다.
이하, 본 명세서에서는 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 명세서에서 본 발명의 실시 예들을 설명함에 있어, 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 영상이 투영되는 임의의 투사면의 일례를 나타낸다. 스마트폰을 비롯한 모바일 기기 및 소형 영상투영장치(ex. 빔 프로젝터)들이 등장함에 따라 다양한 환경에서 영상투영장치를 사용할 필요성이 증가하고 있다. 기존의 경우 효과적인 영상 출력을 위하여 평면이고 균질한 배경색을 지닌 투사면(projection surface)이 주로 사용되었다. 그러나 상기와 같은 소형 영상투영장치들의 사용에 따라 도 1과 같이, 영상을 투영하고자 하는 장소에 평면의 균질한 배경색을 지닌 투사면이 없을 수 있으며, 비평면의 균질하지 않은 배경색을 지닌 투사면에 영상을 투영해야할 경우가 발생할 수 있다.
도 2는 임의의 투사면에 투영된 영상 예시이다. 상기 도 1에서 예시하고 있는 것과 같은 비평면의 균질하지 않은 배경색을 지닌 투사면에 영상투영장치를 이용하여 영상을 투영할 경우, 도 2와 같이 영상의 형태와 색상이 왜곡되어 출력될 수 있다. 이와 같은 문제를 해결하기 위하여 영상출력 환경을 인식하고, 사용자(또는 시청자)의 위치를 파악하여 사용자(또는 시청자)의 입장에서 왜곡되지 않은 영상을 제공하는 방안이 요구된다.
도 2를 참조하면, 상기와 같은 면에 기존의 영상투영장치를 조사할 경우에 영상의 결과가 색상과 형태가 왜곡되어 출력될 수 밖에 없다. 이와 같은 문제를 해결하기 위하여 영상출력 환경을 인식하고 사용자의 위치를 파악함으로써 사용자 위치와 영상투사면과의 관계를 고려하여 적절한 보정을 수행하여 출력할 필요가 있다. 또한 이와 같은 문제를 해결하기 위하여 사용자와 표면형상과의 관계에 대한 기하학적 보정, 표면재질 및 색상에 대한 색상 보정, 조명조건에 대한 밝기보정 등이 필요하다.
도 3은 본 발명의 일 예에 따른 사용자 및 투사면을 고려한 영상보정 방법을 나타낸다. 상기 영상보정 방법은 영상보정장치에 의하여 수행될 수 있으며, 상기 영상보정장치는 영상투영장치에 포함될 수도 있고, 또는 영상투영장치 외부에 별도의 장치로 구현될 수도 있다.
도 3을 참조하면, 영상보정장치는 투사면에 대한 정보 및 사용자의 위치에 대한 정보를 획득한다(S300). 여기서 사용자라 함은 시청자를 포함할 수 있다. 여기서 투사면에 대한 정보는 투사면의 위치, 형상, 재질, 색상, 및 조명조건에 대한 정보 중 적어도 하나를 포함할 수 있다.
영상보정장치가 영상투영장치에 포함되고, 적어도 하나 이상의 영상센서를 기반으로 상기 투사면에 대한 정보 및 사용자의 위치에 대한 정보를 획득하는 경우, 예를 들어, 영상투영장치는 다음과 같이 구현될 수 있다. 이하 영상보정장치가 영상투영장치에 포함된 경우를 기반으로 설명하나, 상술한 바와 같이 영상보정장치가 영상투영장치 외부에 별도의 장치로 구현될 수도 있음은 당연하다.
도 4는 하나 이상의 영상센서가 구비된 영상투영장치에 대한 예시이다.
도 4를 참조하면, 영상투영장치는 적어도 하나의 영상센서(#1, #2,...,#n)를 구비한다. 영상투영장치는 상기 적어도 하나의 영상센서를 통해 투사면에 대한 정보 및 사용자의 위치에 대한 정보를 획득할 수 있다. 특히, 영상투영장치는 영상센서(#1, #2,...,#n)를 통해 거리영상을 획득하고, 이를 기반으로 영상투영장치에 대한 사용자의 위치 정보와 투사면의 위치정보를 획득할 수 있다. 상기 적어도 하나의 영상센서로는 스테레오 비전, TOF(Time of Flight) 또는 구조광(structured light) 등에 기반한 거리영상 카메라가 사용될 수 있다.
또한, 영상투영장치는 상기 적어도 하나의 영상센서를 통해 투사면의 재질 및 색상에 대한 정보를 획득하고, 이를 분석하여 투사면을 영역분할 할 수 있다. 또한, 영상투영장치는 영상센서로 획득한 영상의 밝기와 카메라의 게인 값을 통하여 입력영상이 투영될 조명환경에 대한 정보를 획득할 수도 있다.
도 5는 실환경에서 검출된 사용자와 투사면의 거리영상에 대한 예시이다. 거리영상은 화면내의 각 픽셀들에 대한 거리를 밝기나 색상 등의 정보로 표현한 영상이며, 도 5의 예에서는 물체까지 거리가 가까울수록 밝게 표현되었다.
다시 도 3을 참조하면, 영상보정장치는 사용자의 위치에 대한 정보와 상기 투사면에 대한 정보 중 투사면의 위치 및 형상에 정보에 기반하여 입력영상에 대한 기하학적 보정을 수행한다(S310). 상술한 바와 같이 영상보정장치는 상기 획득한 사용자 및 투사면의 위치 정보를 기반하여 사용자에 대한 상대적인 투사면의 위치를 계산(또는 획득)할 수 있다.
도 6은 본 발명에 따른 사용자에 대한 상대적인 투사면의 위치 계산의 일 예이다.
도 6을 참조하면, 영상보정장치는 영상투영장치와 사용자 간 위치 정보와, 영상투영장치와 투사면 간 위치 정보를 기반으로, 사용자와 투사면간 상대적인 위치 정보를 획득할 수 있다.
도 7은 거리영상 정보를 활용하여 투사면의 구조를 파악하고 형상을 인식한 결과의 예이다. 영상보정장치는 상술한 거리영상 정보를 활용하여 도 7과 같은 투사면의 기하학적 정보를 획득할 수 있다.
영상보정장치는 사용자에 대한 상기 투사면의 상대적인 위치 및 상기 투사면의 형상 정보를 기반으로 사용자에 대한 가상평면(virtual plane)을 설정(또는 생성)할 수 있다.
도 8은 본 발명에 따른 가상평면의 일 예이다.
도 8을 참조하면, 영상보정장치는 사용자에 대한 상기 투사면의 상대적인 위치 및 상기 투사면의 형상 정보를 기반하여 가상평면을 설정할 수 있다. 이 경우 영상보정장치는 사용자, 프로젝터 및 영상투사면의 상대좌표를 계산하고 이를 기반으로 상기 가상평면을 설정할 수 있다.
영상보정장치는 상기 가상평면을 기반으로 입력영상에 대하여 기하학적 보정을 수행한다. 영상보정장치는 사용자를 기준으로 투사면과 가상평면에 대한 거리차 △d를 구하고, 거리 차에 대한 영상변환을 통하여 출력영상을 정규화할 수 있다.
다시 도 3을 참조하면, 영상보정장치는 투사면의 재질에 대한 정보 및 색상에 대한 정보 중 적어도 하나를 기반으로 입력영상에 대한 색상 보정을 수행한다(S320). 색상 보정을 위하여 영상보정장치는 먼저 상술한 적어도 하나의 영상센서로 획득한 출력영상과 입력영상의 차영상(difference image)을 수행하여, 이후 입력영상에서 상기 출력영상성분을 제거하여 독립적 영상투영환경을 재구성할 수 있다. 이 경우 영상보정장치는 상술한 바와 같이 투사면의 재질에 대한 정보 및 색상에 대한 정보 중 적어도 하나를 기반하여, 투사면에 대하여 영역분할을 수행할 수 있다.
도 9는 색상, 재질에 대한 정보를 활용하여, 투사면에 대해 영역분할을 수행한 예이다. 도 9를 참조하면 투사면은 재질 및 색상에 대한 정보를 기반으로, 영역 900, 910, 920으로 구분될 수 있다. 영상보정장치는 상기와 같이 재질 및 색상에 대한 정보를 분석하여 투사면을 영역분할 할 수 있고, 각각의 영역에 대해 색상과 재질을 분석하여 입력영상이 투영될 영역별로 보정정보를 획득할 수 있다.
영상보정장치는 상기 구분된 영역별로 RGB(red-green-blue) 게인(gain)과 밝기(Brightness) 게인, 및 명암(contrast) 게인 중 적어도 하나를 조정하여, 입력영상에 대한 출력영상을 정규화할 수 있다.
또한, 영상보정장치는 투사면의 조명조건에 대한 정보를 기반으로 입력영상에 대한 밝기 보정을 더 수행할 수 있다(S330). 영상투영장치는 투사면의 조명조건에 대한 정보를 기반으로 입력영상의 밝기를 조절할 수 있다.
상기와 같이 본 발명을 통하여 영상투영장치는 평면이 아닌 균일하지 않은 구조 및 배경색을 지닌 투사면에 대해서도 투사면과 사용자(또는 시청자)의 위치를 고려하여 가상평면을 설정하고, 이에 따라 투영되는 입력영상을 보정함으로써 왜곡되지 않은 영상을 출력할 수 있다.
도 10은 본 발명에 따른 입력영상을 보정하기 위한 영상보정장치의 블록도이다.
도 10을 참조하면, 영상보정장치(1000)는 영상센서(1010), 삼차원 거리정보 생성-교정-정합부(1020), 공간구성정보 인지부(1030), 사용자 검출부(1040), 투사면 상태 검출부(1050), 상대좌표 계산부(1060), 입력영상 보정부(1070)를 포함한다. 영상보정장치(1000)에 구비된 1개 이상의 영상센서(1010)는 투사면에 대한 정보 및 사용자의 위치에 대한 정보를 획득한다. 여기서 사용자라 함은 시청자를 포함할 수 있다. 여기서 투사면에 대한 정보는 투사면의 위치, 형상, 재질, 색상, 및 조명조건에 대한 정보 중 적어도 하나를 포함할 수 있다.
삼차원 거리정보 생성-교정-정합부(1020)는 영상센서(1010)에서 획득한 정보를 기반으로 영상투영장치 주변의 거리영상정보를 생성할 수 있다.
공간구성정보 인지부(1030)는 상기 거리영상정보를 기반으로 공간구성정보를 획득한다. 상기 공간구성정보는 영상투영장치 및 투사면의 위치 정보를 포함할 수 있다. 공간구성정보 인지부(1030)는 상기 영상투영장치가 설치된 공간의 벽, 바닥과 같은 기본적 구조의 위치와 각도 등에 대한 정보를 더 인지할 수 있다.
사용자 검출부(1040)는 사용자를 검출하고 사용자의 위치 정보를 제공한다. 이 경우 사용자 위치 검출부(1040)는 상기 거리영상정보를 기반으로 사용자를 검출하고 사용자의 위치를 검출할 수 있다.
투사면 상태검출부(1050)는 입력영상이 투영되는 상기 투사면의 상태정보를 검출한다. 여기서 상기 투사면의 상태정보는 투사면의 형상, 재질, 색상, 및 조명조건에 대한 정보 중 적어도 하나를 포함한다. 이 경우 투사면 상태검출부(1050)는 상기 투사면의 재질에 대한 정보 및 색상에 대한 정보 중 적어도 하나를 기반으로 상기 투사면에 대한 영역분할을 수행할 수 있다.
상대좌표 계산부(1060)는 상기 공간구성정보 및 상기 사용자 위치 정보를 기반으로 사용자에 대한 투사면의 상대적인 위치를 계산하고, 이를 기반으로 가상평면을 생성할 수 있다.
입력영상 보정부(1070) 상기 가상평면 및 상기 투사면의 상태 정보를 기반으로 입력영상을 보정한다. 보정된 입력영상은 영상투영장치를 통하여 상기 투사면에 출력될 수 있다.
도 11은 임의의 투사면에 대한 영상투영에 있어, 본 발명에 따른 영상보정을 수행한 예이다.
도 11을 참조하면, 본 발명에 따른 영상보정을 수행하지 않은 좌측의 경우 투영된 영상이 투사면의 형태, 색상 및 밝기 등의 환경에 영향을 받아 영상의 화질이 저하되나 본 발명에 따른 영상보정을 수행한 우측의 경우 투영된 영상이 사용자의 시점을 고려하여 영상 왜곡이 줄어들고, 색상 및 밝기 등의 성능이 개선되는 것을 확인할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

  1. 영상투영장치를 사용하여 입력영상을 투사함에 있어서
    적어도 하나의 영상센서를 통하여 상기 입력영상이 투영될 투사면(projection surface)에 대한 정보와 사용자의 위치에 대한 정보를 획득하는 단계;
    상기 투사면에 대한 정보와 상기 사용자의 위치에 대한 정보를 기반으로 상기 입력영상에 대한 기하학적 보정을 수행하는 단계;
    상기 투사면에 대한 정보를 기반으로 상기 입력영상에 대한 색상 보정을 수행하는 단계; 및
    상기 투사면에 대한 정보를 기반으로 상기 입력영상에 대한 밝기 보정을 수행하는 단계를 포함함을 특징으로 하는, 영상보정 방법.
  2. 제 1항에 있어서,
    상기 투사면에 대한 정보는 상기 투사면의 위치, 형상, 재질, 색상, 조명조건에 대한 정보 중 적어도 하나를 포함함을 특징으로 하는, 영상보정 방법.
  3. 제 2항에 있어서,
    상기 적어도 하나의 영상센서는 스테레오 비전, TOF 또는 구조광(structured light)에 기반함을 특징으로 하는, 영상보정 방법.
  4. 제 2항에 있어서,
    상기 사용자와 상기 투사면의 상대적 위치 정보를 계산하는 단계; 및
    상기 사용자와 상기 투사면의 상대적 위치 정보를 기반으로 상기 사용자에 대한 가상평면을 설정하는 단계를 더 포함하되,
    상기 가상평면을 기반으로 상기 입력영상에 대한 기하학적 보정을 수행함을 특징으로 하는, 영상보정 방법.
  5. 제 4항에 있어서, 상기 투사면의 재질에 대한 정보 및 색상에 대한 정보 중 적어도 하나를 기반으로 상기 투사면에 대한 영역분할을 수행하고, 상기 각각의 영역별로 상기 입력영상에 대한 상기 색상 보정을 수행함을 특징으로 하는, 영상보정 방법.
  6. 제 5항에 있어서,
    상기 각각의 영역별로 RGB(red-green-blue) 게인(gain), 밝기(Brightness) 게인, 및 명암(contrast) 게인 중 적어도 하나를 조정하여 상기 입력영상에 대한 상기 색상 보정을 수행함을 특징으로 하는, 영상보정 방법.
  7. 영상투영장치를 사용하여 입력영상을 투사함에 있어서
    적어도 하나의 영상센서를 통하여 상기 입력영상이 투영될 투사면(projection surface)의 형상 및 위치에 대한 정보와 사용자의 위치에 대한 정보를 획득하는 단계; 및
    상기 투사면의 형상 및 위치에 대한 정보와 상기 사용자의 위치에 대한 정보를 기반으로 상기 입력영상에 대한 기하학적 보정을 수행하는 단계를 포함하되,
    상기 기하학적 보정을 수행함에 있어, 상기 투사면의 위치에 대한 정보와 상기 사용자의 위치에 대한 정보를 기반으로 상기 사용자에 대한 상기 투사면의 상대적인 위치 정보를 검출하고, 상기 상대적인 위치 정보를 기반으로, 상기 사용자에 대한 가상평면을 설정하고, 상기 가상평면을 기반으로 상기 입력영상에 대한 상기 기하학적 보정을 수행함을 특징으로 하는, 영상보정 방법.
  8. 제 7항에 있어서,
    상기 사용자를 기준으로 상기 투사면과 상기 가상평면에 대한 거리차 △d를 구하고, 상기 거리차 △d를 기반으로 상기 입력영상에 대한 상기 기하학적 보정을 수행함을 특징으로 하는, 영상보정 방법.
  9. 제 7항에 있어서,
    상기 적어도 하나의 영상센서를 통하여 상기 투사면의 재질에 대한 정보 및 색상에 대한 정보 중 적어도 하나를 획득하는 단계;
    상기 투사면의 재질에 대한 정보 및 색상에 대한 정보 중 적어도 하나를 기반으로 상기 입력영상에 대한 색상 보정을 수행하는 단계를 포함함을 특징으로 하는, 영상보정 방법.
  10. 제 9항에 있어서,
    상기 투사면의 재질에 대한 정보 및 색상에 대한 정보 중 적어도 하나를 기반으로 상기 투사면에 대한 영역분할을 수행하고, 상기 각각의 영역별로 상기 입력영상에 대한 상기 색상 보정을 수행함을 특징으로 하는, 영상보정 방법.
  11. 제 10항에 있어서,
    상기 각각의 영역별로 RGB 게인, 밝기 게인, 및 명암 게인 중 적어도 하나를 조정하여 상기 입력영상에 대한 상기 색상 보정을 수행함을 특징으로 하는, 영상보정 방법.
  12. 제 9항에 있어서,
    상기 적어도 하나의 영상센서를 통하여 상기 투사면의 조명조건에 대한 정보를 획득하는 단계;
    상기 투사면의 조명조건에 대한 정보를 기반으로 상기 입력영상에 대한 밝기 보정을 수행하는 단계를 포함함을 특징으로 하는, 영상보정 방법.
  13. 제 12항에 있어서,
    상기 적어도 하나의 영상센서는 스테레오 비전, TOF(Time of Flight) 또는 구조광에 기반함을 특징으로 하는, 영상보정 방법.
  14. 영상투영장치를 위한 영상보정장치로서,
    상기 영상투영장치를 통하여 입력영상이 투영될 투사면에 대한 정보와 사용자의 위치에 대한 정보를 획득하는 적어도 하나의 영상센서;
    상기 투사면에 대한 정보와 상기 사용자의 위치에 대한 정보를 기반으로 상기 사용자에 대한 상기 투사면의 상대적인 위치를 계산하고, 가상평면을 생성하는 상대좌표 계산부;
    상기 투사면에 대한 정보를 기반으로 투사면의 형상, 재질, 색상, 및 조명조건에 대한 정보 중 적어도 하나를 검출하는 투사면 상태검출부; 및
    상기 가상평면 및 상기 투사면의 상태정보를 기반으로 입력영상을 보정하는 입력영상 보정부를 포함함을 특징으로 하는, 영상보정장치.
  15. 제 14항에 있어서,
    상기 적어도 하나의 영상센서는 상기 투사면의 위치, 형상, 재질, 색상, 및 조명조건에 대한 정보 중 적어도 하나를 포함하는 상기 투사면에 대한 정보를 획득함을 특징으로 하는, 영상보정장치
  16. 제 15항에 있어서,
    상기 상대좌표 계산부는 상기 사용자를 기준으로 상기 투사면과 상기 가상평면에 대한 거리차 △d를 구하고,
    상기 입력영상 보정부는 상기 거리차 △d를 기반으로 상기 입력영상에 대한 기하학적 보정을 수행함을 특징으로 하는, 영상보정장치.
  17. 제 15항에 있어서,
    상기 투사면 상태검출부는 상기 투사면의 재질에 대한 정보 및 색상에 대한 정보 중 적어도 하나를 기반으로 상기 투사면에 대한 영역분할을 수행하고,
    상기 입력영상 보정부는 상기 각각의 영역별로 상기 입력영상에 대한 색상 보정을 수행함을 특징으로 하는, 영상보정장치.
  18. 제 15항에 있어서,
    상기 입력영상 보정부는 상기 투사면의 조명조건에 대한 정보를 기반으로 상기 입력영상에 대한 밝기 보정을 수행함을 특징으로 하는, 영상보정장치.
KR1020140000064A 2014-01-02 2014-01-02 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법 KR20150080678A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140000064A KR20150080678A (ko) 2014-01-02 2014-01-02 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법
US14/449,017 US9596441B2 (en) 2014-01-02 2014-07-31 Apparatus and method for correcting image for image projection device with cognitive function on user and environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140000064A KR20150080678A (ko) 2014-01-02 2014-01-02 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150080678A true KR20150080678A (ko) 2015-07-10

Family

ID=53483411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000064A KR20150080678A (ko) 2014-01-02 2014-01-02 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법

Country Status (2)

Country Link
US (1) US9596441B2 (ko)
KR (1) KR20150080678A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125525A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Projected interactive display surface interactivity determination
KR102494896B1 (ko) * 2021-12-30 2023-02-06 주식회사 닷밀 IoT 티켓을 이용한 초실감 콘텐츠 전시 공간의 운영 시스템
WO2023027285A1 (ko) * 2021-08-23 2023-03-02 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11991484B2 (en) 2021-07-12 2024-05-21 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6176014B2 (ja) * 2013-09-12 2017-08-09 カシオ計算機株式会社 投影装置、投影制御方法及びプログラム
EP3126932A1 (en) * 2014-04-01 2017-02-08 Sony Corporation Harmonizing a projected user interface
JP6730787B2 (ja) * 2015-08-10 2020-07-29 株式会社ネイキッド 投影装置
CA3223178A1 (en) * 2021-06-11 2022-12-15 Humane, Inc. Dynamic optical projection with wearable multimedia devices
CN113824938A (zh) * 2021-09-16 2021-12-21 北京字节跳动网络技术有限公司 投影控制方法、装置、终端及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
US7632185B2 (en) * 2005-10-28 2009-12-15 Hewlett-Packard Development Company, L.P. Portable projection gaming system
KR100849309B1 (ko) 2005-12-29 2008-07-29 삼성전자주식회사 영상 투사기의 투사 화면 조절 방법 및 그 장치
US8269902B2 (en) * 2009-06-03 2012-09-18 Transpacific Image, Llc Multimedia projection management

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125525A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Projected interactive display surface interactivity determination
US10331276B2 (en) 2016-12-30 2019-06-25 Intel Corporation Projected interactive display surface interactivity determination
US11991484B2 (en) 2021-07-12 2024-05-21 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
WO2023027285A1 (ko) * 2021-08-23 2023-03-02 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102494896B1 (ko) * 2021-12-30 2023-02-06 주식회사 닷밀 IoT 티켓을 이용한 초실감 콘텐츠 전시 공간의 운영 시스템

Also Published As

Publication number Publication date
US9596441B2 (en) 2017-03-14
US20150189248A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
KR20150080678A (ko) 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법
US10218951B2 (en) MEMS scan controlled keystone and distortion correction
US9723281B2 (en) Projection apparatus for increasing pixel usage of an adjusted projection area, and projection method and program medium for the same
JP5266954B2 (ja) 投写型表示装置および表示方法
JP5266953B2 (ja) 投写型表示装置および表示方法
US9654750B2 (en) Image processing system, image processing apparatus, and image processing method to respectively display images obtained by dividing one image on first and the second display media
JP6459194B2 (ja) プロジェクター、及び投写画像制御方法
EP3139600B1 (en) Projection method
US20140267593A1 (en) Method for processing image and electronic device thereof
TWI439788B (zh) 投影校正系統及方法
CN110741412B (zh) 图像处理装置和方法
US20170142381A1 (en) Image processing apparatus and method
US20130222776A1 (en) Image projector, method of image projection, and computer-readable storage medium storing program for causing computer to execute image projection
US9030553B2 (en) Projector image correction device and method
US10721447B2 (en) Projection display and image correction method
US9696613B2 (en) Image processing apparatus, projector and image processing method
KR20160031966A (ko) 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법
KR20180103277A (ko) 멀티 프로젝터의 영상처리수단 및 그 방법
US20170352133A1 (en) Image processing device, image processing method, and recording medium
US11074715B2 (en) Image processing apparatus and method
US9473709B2 (en) Image blending system and method for image blending
JP2011176629A (ja) 制御装置および投写型映像表示装置
US10574952B2 (en) Image projection apparatus, projection imaging system, and correction method
JP2016075883A (ja) 投影システム、投影装置、投影方法、及びプログラム
WO2013088657A1 (ja) 投射型投影装置、光防眩方法、および光防眩用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application