KR20140057522A - 디스플레이 광원 장면 조명을 사용하여 신뢰할만한 객체 반사 감지를 위한 방법 및 시스템 - Google Patents

Abstract

적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법은 주변 광 및 디스플레이 장치에 의해 생성된 광에 의해 조명된 다수의 장면의 이미지를 감지하는 단계 - 여기서, 각각의 다수 이미지는 실질적으로 일정한 주변 광량 및 디스플레이 장치에 의해 생성된 기설정된 양의 광량을 포함하고, 기설정된 광량은 다수의 이미지에서 적어도 두 개의 연속적인 이미지에서 변함 - 와, 디스플레이 장치 생성 광의 알려진 지시를 사용하여, 주변 광에서 디스플레이 생성 광을 분리하여, 조명된 장면의 일부만을 추출하는 단계와, 추출된 일부에 응답하여 제어 신호를 생성하는 단계를 포함한다.

Description

디스플레이 광원 장면 조명을 사용하여 신뢰할만한 객체 반사 감지를 위한 방법 및 시스템{METHOD AND SYSTEM FOR RELIABLE REFLECTIVE OBJECT DETECTION USING DISPLAY LIGHT SCENE ILLUMINATION}

본 발명은 유저 인터페이스, 이미지 센서, 비디오 처리, 이미지 분석, 디스플레이 기술 및 디스플레이 백라이트 제어의 분야에 적용된다.

리모콘 상의 버튼은 대게 화질이나 음성을 조절하기 위하여 TV 또는 셋톱박스로 명령을 보내거나 채널등을 바꾸기 위하여 사용된다. 좀 더 정상적이고 부유한 사용자는 다른 센서(가령, 카메라)를 사용하여 사용자 및 장치 제어에 사용되는 어떤 물체의 포즈를 감지(가령, 사용자가 입체 3D 데이터를 나타낼 수 있는 디스플레이상의 입체 3D 데이터를 보는데 사용되는 안경을 쓰고, 2D 모드와 3D 모드로 자동 변환하는 지를 감지)할 수 있다. 카메라를 사용하면서, 강건하고 신뢰할만한 사용자/객체를 감지하는 것은 종종 어려움이 따른다. 주된 이유는 전형적인 거실과 같이 매우 가변적인 주변환경에서 관심객체를 감지하는데 요구되는 복잡한 알고리즘이다. 게다가, 주변환경에서 기대될 수 있는 매우 가변적인 불빛 조건들은 이러한 감지를 더욱 어렵게 만든다.

상기 설명한 제한사항들을 극복하기 위한 해결책이 제시된다. 디스플레이는 광원이다. 일 실시예에서, 디스플레이에서 나오는 디스플레이 광원(좀 더 구체적으로는 디스플레이 백라이트)과 광량에 대한 정보는 미지의(주변) 광원과 디스플레이 생성 광을 분리하여 객체 감지 시스템 기반의 카메라의 성능을 향상시키는데 사용된다.

일 실시예에서, 시간적 변조가 디스플레이 광원, 가령, 강도 혹은 파장과 같은 특성에 도입된다. 바람직한 일 실시예에서, 비가시적인 광의 시간적 변조가 사용된다. 시간적 변조는 카메라(광 센서) 신호에서 감지되고, 디스플레이 광원에 해당하는 신호의 부분만 추출하는데 사용된다. 이러한 방법으로, 주변 광원의 영향이 제거된다. 그리고 나서, 사용자 또는/및 객체 및 그들의 포즈를 감지하고, 하나 또는 그 이상의 장치를 제어하기 위하여 이 "복조" 신호(이미지)가 분석된다. 가깝고 빛을 반사하는 객체는 발광된 디스플레이 광원의 강한 반사를 제공할 것이고, 더욱 쉽게 감지될 것인데, 왜냐하면, 상기 객체는 변조된 디스플레이 광원과 같이 강하게 반사되지 않은 배경으로부터 분리되기 때문이다.

도 1은 사용자 인식 디스플레이의 전체 시스템의 예시적인 실시예를 도시한 것이다. 사용자는 디스플레이를 주시한다. 광원(가령, 카메라) 데이터는 장면을 분석하는데 사용된다. 장면에서의 빛의 일부는 디스플레이 그 자체에서 나온다. 카메라 데이터는 사용자뿐만 아니라 다른 관련 객체, 예를 들어, 입체 3D를 볼 수 있도록 할 수 있는 안경, 혹은 리모콘 또는 카메라를 이용하여 제어하는데 사용되는 특별한 장치와 같은 객체들을 감지하는데 사용될 것이다. 감지되어야 하는 객체는 정확한 감지를 돕기 위하여 특별한 물질의 일부를 가지거나 가까이, 가령, 손 동작 제어를 위하여 가까이 있어야 할 것이다.

도 2는 기본 원리를 도시한 것이다. 광변조는 디스플레이(가령, 디스플레이 백라이트를 제어함에 의해)에 의해 도입된다. 바람직하게는, 인간의 눈에 보이지 않는 고-주파수 광변조가 사용된다. 카메라는 광원에 의해 비춰진 이미지를 캡쳐한다. 다수의 카메라 이미지는 다른(주변) 광원과 디스플레이 생성 광을 분리하기 위하여 사용되고 합쳐진다.

도 3은 기본적인 처리 블록과 데이터 흐름의 한 예를 도시한 것이다. 다수의 카메라 이미지는 사용되어 복조 블럭에서 다른 (주변) 광원과 디스플레이 생성 광을 분리하기 위하여 사용되고 합쳐진다. 결과는 디스플레이 생성 광에 해당하는 이미지 (신호)이고, 미지의 주변 광 영향은 제거된다. 장면 분석 엔진은 복조된 데이터를 분석하고, 사용자 및/또는 다른 객체를 감지한다. 사용자 및/또는 객체에 대한 추출된 정보는 TV (또는 셋-톱 박스)를 제어하는데 사용될 수 있다. 디스플레이 (디스플레이 제어 유닛에서 가능함)에서 나온 관에 대한 정보는 복조를 제어하는데 사용된다. 광 센서도 제어, 가령, 디스플레이 조명(illumination)과 상기 광 센서의 데이터 캡쳐 시간을 동기화할 수 있다. 또한, 장면 분석 엔진은 디스플레이된 내용에 의존하는 생성 디스플레이 광원에 대한 정보를 사용할 수 있고, 장면 분석 엔진은 감지가 어려울 수 있는 광량이 적은 곳에서 시간 주기를 인식할 수 있다.

도 4는 두 개의 이미지 차감에 의하여 변조의 한 예시를 나타낸 것이다. 두 개의 이미지는 디스플레이 상에 나타내지고, 카메라는 도 1과 같이 디스플레이의 상단에 있다. 디스플레이된 이미지 중 하나는 어둡고, 다른 하나는 밝다. 그 결과, 디스플레이로부터 나온 광량은 변하고, 그 것이 카메라에 의해 캡쳐된다. 가까운 객체(가령, 사용자)와 두 개의 장면에서, 매우 반사가 잘되는 객체(최상단 줄의 안경과 최하단 줄의 사용자의 손안의 객체)는 두 개의 캡쳐된 이미지의 차이를 명확하게 보여준다. 디스플레이 광원 색깔과 객체 반사 특성에 대한 정보는 장면 분석 엔진에 의해 사용되어서 특정 관심 객체에 대한 감지를 더욱 향상시킬 수 있다.

시간적 변조된 광 추출하는 것

시간적 변조된 광 신호를 추출하기위한 기본적인 원리 및 예시적인 방법이 우선 기술된다. 변조의 다른 타입이 가능하나, 본 명세서에서는 실제로 가장 흔한 구형파에 초점을 맞출 것이다.

'I' 를 장면에서 객체에 해당하는 어떤 픽셀에서 카메라(또는 다른 광 센서)에 의해 관찰되는 광량이라고 하자. 반사된 빛의 일부는 주변 광원(I_ambient)에서 나온 것이고, 또 다른 일부인 반사된 디스플레이 광(I_display)은 전체 관측된 양이 된다.

I = I_ambient + I_display (1)

얼마나 다른 광원이 반사되었는지의 예는 도 2에 나타난다. 디스플레이로부터 나온 광량이 변하면, 객체로부터의 반사된 디스플레이 광원(I_display)도 역시 같은 동기식으로 변한다(도 4 및 5a 참조). 주변 광은 일정하다고 가정하고, 객체는 정지해 있다고 가정한다. 따라서, 주변 광(I_ambient)에 해당하는 일부는 일정하다.

저조도(low light)에서 객체의 가시성을 증가시키기 위하여, 객체의 일부는 특수 반사 물질로 제조될 수 있다. 디스플레이로부터 충분한 빛이 나오면, 이러한 객체는 저조도에서도 카메라에 의해 가시화될 것이다. 매우 반사가 잘되는 객체와 가까운 객체는 I_display 에서 많은 변화를 나타내고, 이러한 방식으로, 다른 객체와 구분될 수 있다. 두 개의 사전 결정된 시점(time instance)에서 캡쳐된 이미지의 차이가 있는 실행에 대한 도면 4를 참조하고, 이는 디스플레이 광원을 변화시키는 영향을 추출하는데 사용된다.

디스플레이로부터 나오는 광량은 제시된 비디오 자료에서의 변수 때문에 변할 것이다. 또한, 인간의 눈에 보이지 않는 특수한 고 주파수 시간적 광변조가 디스플레이된 이미지에 도입되는 것이 가능하다. 이러한 방식으로, 알려진 광변조는 비디오 자료에서 독립하여 항상 존재할 것이다(디스플레이로부터 나오는 빛이 없을 경우 비디오가 완전히 검을 때를 제외함). 변조는 디스플레이된 비디오 자료, 디스플레이된 그래픽, 디스플레이 백라이트 또는 추가 광원을 사용하여 도입될 수 있다.

" 플래싱 ( flashing )" 라이트에 의한 감도 증가시키는 것

광 센서는 어떤 다이내믹 레인지(dynamic range)를 가질 것이고, 이는 주변 광(I_ambient)에 대하여 최소 측정가능한 반사 디스플레이 광원(I_display)을 결정한다. 저조도 상황에서, 디스플레이 광(식 (1)에서의 I_display)의 영향은 현저해질 것이다. 주변 광이 많다면, I_ambient 는 식 (1)에서 주요 부분이 될 것이고, 이는, 제한된 정확성 때문에, 이미지를 캡쳐하는데 사용되는 I_display의 변화 측정이 어렵게 될 수 있다. 주변 광이 연속적이라고 가정하며, 주변 광에 대한 디스플레이 생성 광의 비율은 다음 방식으로 증가될 수 있다. 연속적으로 발산되는 광 대신에, 디스플레이 광원은 더 높은 진폭을 가지고, 더 짧은 광 펄스로 발산된다. 이러한 시스템의 실제 실현은 디스플레이 백라이트에 "플레싱"을 가함에 의해 이루어지고, 여기서, 디스플레이 백라이트는 더 높은 진폭을 가지고 더 짧은 펄스 동안 광을 발산하도록 제어되며, 여기서, 평균 밝기 레벨은 보존된다. 그러므로, "플레싱"은 디스플레이 백라이트에 "플레싱" 함에 의해 실현된다고 가정할 것이나, 다른 가능한 장비를 제외시키지 않는다. 도 5b는 디스플레이가 항상 발광하는 도 5a에 제시된 상황에 대해서, 얼마나 짧은 광 펄스가 I_display/I_ambient 비율을 증가시키는데 사용될 수 있는지를 나타낸다. 도 5b에서 25%의 백라이트 듀티 사이클로 광 펄스 동안에 비율 (I_display/I_ambient)은 도 5a에서 보다 4배 정도 높을 것이다. 카메라(광 센서) 노출은 광 펄스의 시간 인터벌에 제한되어야 한다. 카메라가 광을 축적하기 때문에, 더 긴 카메라 노출은 비율(I_display/I_ambient)을 감소시킬 것이다.

주변 광의 영향을 제거하기 위하여 플레싱 광과 기준 노출을 사용하는 것

디스플레이로부터 나오는 빛이 없을 때의 기준 노출은 Iambient를 측정하는데 사용될 수 있고, 주변 광 레벨은 식 (1)에서 그것을 차감하여 제거될 수 있다. 이러한 방식으로 Idisplay 는 측정 I 로부터 추출된다. 플래싱 광을 사용하여, 기준 노출 측정은 광 펄스 사이에서 수행될 수 있다. 도 6b는 광 펄스 사이에서의 펄스 변조와 기준 노출의 사용을 나타내는 것이다. 광 펄스 및 펄스사이 동안에 카메라는 측정한다. 펄스 사이의 카메라 측정은 기준 주변 광 측정으로서 사용된다.

디스플레이 백라이트의 더 긴 듀티 사이클은 실제로 더 바람직한데, 왜냐하면, 대부분의 광원에 대해서, 더 많은 광이 디스플레이에 의해 생성될 수 있기 때문이다. 도 6a 및 도 6b에서, 듀티 사이클(주기 A1)은 프레임 주기(주기 A1+A2)의 50% 라고 가정한다. 백라이트의 듀티 사이클을 더 길게 하기 위하여, 기준 노출 주기는 감소되어야 한다. 동일한 노출 주기는 디스플레이 광원이 온되는 주기 동안에 측정하기 위해 사용되어야 한다. 도 7은 듀티 사이클이 75%일 때의 예를 나타낸다.

라이트가 온될 때와 오프될 때 노출 주기가 동일하지 않는다면, 측정된 레벨은 주기의 역 비율에 의해 보정될 필요가 있다. 예를 들어, 시간 A2가 25%이고 A1인 75%이라면, 측정된 기준 노출은 A1/A2=3이 곱해져야 한다. 이러한 방식으로, 두 개의 주기 I_ambient*A1과 I_ambient*A2에 해당하는 면적은 동일하다.

디스플레이상의 이미지에 의한 파동( fluctuation )을 감소시키는 것

밝은 이미지가 디스플레이되면, 측정된 Idisplay는 어두운 이미지가 디스플레이상에 온 될 때보다 더 커질 것이다. 가령, 동작 제어와 사람 감지와 같은 추가 처리는 I_display의 파동을 감소시키는데 필요할 수도 있다. 이는 디스플레이된 이미지가 알려졌기 때문에 가능하다.

도 6c는 디스플레이 상의 이미지에 의해 캡쳐된 파동의 보상을 나타낸다. 도 6b에서, 주변 광 레벨은 제거되고, 추출된 디스플레이 광 반사인 두 개의 주기, I_display (A) 및 I_diplay (B)가 디스플레이 상에 의존한다. 변조는 I_display를 디스플레이 이미지의 공간 평균 밝기로 나눔에 의해 보상된다.

더 먼 거리 조명 및 센서 다이내믹 레인지

보통 제한된 광량은 디스플레이로부터 나와서, 객체로부터 멀리 떨어지고 반사가 잘 되지 않은 객체 상의 디스플레이 영향을 신뢰할 만하게 측정하기 어렵다. 디스플레이에 가까운 사용자를 감지하기 위해서, 이는 배경으로부터 사용자를 구분하는데 실제로 도움이 된다.

그러나, 다른 응용분야에서, 더 먼 거리에서 디스플레이 조명을 측정하는 요구 사항이 있을 수 있다. 광 센서 감도는 증가되어야 하고 신호 잡음비는 이하에서 기술되는 바와 같이 증가할 수 있다. 또 다른 문제점은 센서 아날로그 디지털 변환기(ADC)가 보통 제한된 다이내믹 레인지를 가질 것이라는 점이다. 장면이 다중이라기 보다는 정적이라고 가정할 때, 측정(노출)은 다이내믹 레인지를 확장시키는데 사용될 수 있다.

광 센서의 제한된 다이내믹 레이지를 해결하려는 또 다른 접근법은 관심이 있는 신호의 레인지에 초점을 맞추는 것이다. 예를 들어, 손 동작 인터페이스를 만들기 위해, 인간 피부를 감지하는 것이 관심인 것이다. 센서 감도는 설정되어서, 인간 피부 상에서 반사된 디스플레이 광원 변조는 센서의 다이내믹 레인지를 초과하지 않는다. 다른 더 밝은 객체에 대해서, 이는 과다 노출을 일으키나 이는 감지에 있어 중요하지 않다.

피부 반사의 레인지는 초기화될 수 있고, 피부 색깔 영역을 감지하기 위한 어떤 과정을 사용함에 의하여 적응될 수 있다. 예를 들어, 얼굴 감지기가 사용될 수 있다. 얼굴이 감지되고, 감지된 얼굴 영역에서 픽셀 정보에 근거하여, 현 카메라 설정, 피부에 따른 다이내믹 레인지가 추정될 수 있다.

동기화

보통 인간 눈에 비가시적인 고주파 광변조가 사용된다. 그러나, 광 센서는 동일한 고주파에서 측정될 필요는 없고, 어떤 프레임을 스킵핑(skipping)함에 의해 더 낮은 주파수에서 작동할 수 있다. 예를 들어, 도 6에서, 광 센서는 주기 A1 동안에 측정될 수 있고, 그리고 나서, 주기 B2 동안에 제1 기준 주변 광을 취할 수 있다.

변조된 신호의 가장 높은 진폭을 측정할 수 있기 위하여, 도 6을 참조하면, 광 센서는 어떠한 방식으로 디스플레이 광원 조명과 동기화될 필요가 있다. 이는 가령, 광 센서 및 광원에 어떤 트리거 신호(trigger signal)를 사용하여 동기화될 수 있다. 또 다른 방법은 어떤 자동 처리가 사용되는 곳에서 측정된 신호를 분석하는 가령, 페이즈 락 루브(PLL) 접근과 같이 적응형 동기화이다.

롤링 셔터( rolling shutter ) 카메라 실행

광 센서로서의 롤링 셔터 카메라는 이러한 카메라의 낮은 가격때문에 중요한 사용 경우이다. 이러한 시스템에서, 라인들이 리셋, 노출 및 순차적으로 리드아웃되기 때문에, 각각의 이미지 라인은 서로 다른 시간 주기에 걸쳐 통합된다. 순차적으로 이미지 라인을 리딩한 결과, 디스플레이 광원 변조의 천이에 걸쳐 통합되는 이미지 라인일 될 것이고, 따라서, 변조된 신호의 가장 높은 진폭을 측정하지 않는다. 더 큰 노출 주기에 대하여, 더 많은 이미지 라인이 영향을 받게 될 것이다. 디스플레이 광원 변조의 천이에 걸쳐 통합되는 라인이 또한 사용되나, 이들은 더 나쁜 신호 잡음 비를 가질 것이다. 해결책은 다중 캡쳐된 카메라 이미지를 합치고, 적절한 두 개의 사전 결정된 시점에서 캡쳐된 이미지 라인을 선택하여 각각의 라인에 대해 변조된 신호의 가장 높은 전폭을 측정할 수 있도록 하는 것이다. 다수의 이미지 후에, 모든 이미지 라인들이 가장 높은 진폭과 가장 낮은 진폭을 갖는 것을 보장하기 위하여, 카메라의 주파수와 디스플레이 광원 변조는 달라야 한다.

도 8은 롤링 셔터 카메라에 의해 캡쳐된 다수의 이미지를 합친 예시적인 복조를 나타낸다. 디스플레이 백라이트는 90Hz에서 구형파를 발산하였고, 카메라는 20%의 노출 시간으로 120Hz에서 캡쳐링하였다. 네 개의 캡쳐된 이미지가 나타난다. 이미지의 왼쪽면에 보이는 흰색 객체는 카메라에 가깝게 존재하였고, 디스플레이 백라이트가 온(밝은 것)일 때, 어떤 이미지 라인이 캡쳐되고, 라이트가 오프(어두운 것)일 때 어떤 것이 캡쳐되는지 나타낸다. 천이는 노출 시간 때문에 부드럽게 일어난다. 4 개의 캡쳐된 이미지를 사용하여, 비교될 적절한 라인을 선택하므로써, 변조된 신호의 가장 높은 진폭을 측정할 수 있다. 화살표는 어떤 이미지부터 가장 높은 진폭을 갖는지 대략적으로 나타낸다. 변조된 디스플레이 광원 반사를 보여주는 결과로 나온 이미지는 오른쪽에 나타난다. 모든 라인들이 최고의 진폭으로 변조된 것이 관측된다.

듀얼 모드 작동

실제적으로, 디스플레이 백라이트가 대부분, 가령 80% 턴온되어서, 디스플레이로부터 나오는 광량을 최대화하는 것이 바람직하다. 변조를 도입하는 것은 디스플레이로부터 나오는 광량을 줄일 수 있는 어두운 주기를 요한다. 만일 짧은 어두운 주기가 사용된다면, 시스템은 변조된 이미지를 생성하기 위하여, 더 많은 이미지와 더 긴 시간을 필요로 할 것이다. 짧은 밝은 주기는, 가령, 백라이트에서 디밍 장치에서도 동일하게 유효하다. 그 결과, 움직이는 객체의 감지는 더욱 까다로울 것이다. 더구나, 사용자 동작의 감지는 더욱 느릴 것이다.

20% 내지 80%의 듀티 사이클은 디밍 장치에 대해 전형적으로 유용한 레인지이다.

듀얼 모드 작동은 다음과 같은 해결책으로서 사용될 수 있다.

- 사용자 감지 스탠바이 모드(비디오 모드) : 사용자가 유저 인터페이스를 사용하지 않고, 가령 비디오를 볼 경우이다. 짧고 어두운 주기가 픽쳐 품질을 높이는데 사용된다. 예를 들어, 80% 듀티 사이클로 백라이트를 플래싱한다. 그 결과, 많은 이미지는 변조에 사용되고, 사용자 감지는 더 느려지나, 시스템은 사용자가 이 인터렉티브 모드로 바꾸기 원하는 것을 감지해야만 한다. 대안책은 듀티 사이클을 증가시키는 것이 아니라, 광이 절대 턴오프되지 않는 고 레벨과 저 레벨 사이의 광 레벨 변조를 생성하는 것이다. 그 결과, 변조된 디스플레이 광원이 진폭은 더욱 작아져서 더욱 감지하기 어려워질 것이다.

- 인터렉티브 모드(디스플레이 메뉴 모등) : 인터렉션 모드로 바뀔 때, 사용자는 디스플레이를 제어하고, 어떤 선택을 수행하길 원한다고 추측되어서, 스크린의 최대 밝기는 그리 중요하지 않다. 길고 어두운 주기는 사용자 감지의 반응 속도를 증가시키는데 사용된다. 그 결과, 스크린의 밝기는 낮아질수 있으나, 또한, 이는 디스플레이가 인터렉션 모드(디스플레이 메뉴 모드)에 있다는 자연스러운 표시로서의 역할도 한다.

스캐닝 백라이트 실행

스캐닝 백라이트가 디스플레이에 적용될 수 있다. 전형적인 디밍 장치에서, 세그먼트는 비디오 리프레시 속도에 고정된 스캐닝 오더에서, 칼럼당 리프레시된다. 모든 비디오 프레임은 서로 다른 광 레벨을 유지할 수 있다. 정적이고 짧고 어두운 주기는 수 밀리 초 동안에 동시에 모든 칼럼을 스위칭함에 의해 이루어질 수 있다. 도 11에서의 예를 참조하라. 실제적인 해결책으로서, 대게 광 레벨은 도 11c에 나타난 바와 같이, 더 높은 주파수, 가령 600Hz의 펄스 폭 변조(PWM) 신호에 의해 제어된다.

또 다른 디스플레이 백라이트 스캐닝 기술은 순차적인 크로스토크 감소와 움직임 묘사 개선(motion portrayal improvement)을 위해 사용된다. 이러한 경우에, PWM 신호의 듀티 사이클은 이미 낮고(가령, 50%), 도 10a를 참조하면, 주파수는 비디오의 주파수(가령, 60Hz)로 고정되어 동일하다. 이 실시예에서, "라이트 온" 주기는 쪼개지거나 및/또는 타임 시프트되어 모든 백라이트 칼럼에 대한 흑색 주기에 삽입된다. 이러한 예는 도 10b와 도 10c에서 나타난다. 이는 픽쳐에 어떤 결과를 가질 수 있는데, 왜냐하면 이상적인 스캐닝이 방해받기 때문이다. 또한, 이 실시예는 디밍을 사용하는 시스템과 결합될 수 있다.

프레임 순차 3D TV 실행

플래싱 광변조와 순차적 3D 시스템의 조합은 종종 이로운데, 이는 왼쪽 눈 이미지와 오른쪽 눈 이미지 사이에서 스위칭할 때, 대게 이미 어두운 주기를 가져서, 두 이미지 사이의 크로스 토크를 감소시키기 때문이다. 그리고 나서, 이들 어두운 주기는 사용된다. 3D 기술에 의존하여, 어두운 주기는 더 길게 이루어져야할 필요가 있을 수 있다. 유사한 조합은 다른 순차적 기술(가령, 어떤 색깔-순차적 실행)에 대해 사용될 수 있고, 여기서, 어두운 주기는 대게 순차적으로 디스플레이되는 서로 다른 이미지 사이의 크로스 토크를 감소시키기 위해 도입된다.

추가적 실행 언급

도 4에 도시된 간단한 실행을 위하여, 객체가 정적임을 가정한다. 측정이 고주파에서 행해질 경우에, 캡쳐된 프레임 사이의 움직임은 작을 것이다. 더 낮은 측정 주파수에 대하여, 디스플레이 광원 변화 때문에, 외관 변화에 대해 확인되기 전에, 움직이는 객체가 우선 추적되고 정렬될 수 있다.

도 2 및 도 6에 도시된 실시예에서, 기준 노출(도 6의 A2와 B2) 간의 차이는 움직임에 따른 변화를 감지하는데 사용될 수 있다. 이들 프레임에서의 변화 영역은 움직임에 해당하고, 분석에서 제외될 수 있다. 또 다른 방법은 객체 추적 및 보상에 기반한 움직임에 대한 기준 노출(A2 및 B2)을 사용하는 것이다.

발산된 광의 다른 성질(가령, 색깔 또는 극성)이 변해도, 동일한 원리를 적용할 수 있다. 더구나, 적외선(IR)광은, 적외선 감지 카메라와 결합하여 사용자에게 보이지 않은 조명을 제공하는 또 다른 방법이다. 본 명세서에 기술된 기술은 이러한 시스템에 적용될 수 있다.

장면 및 사용자 분석 엔진

제시된 본 발명인 광변조/복조 방법은 알려진 디스플레이 광원에 해당하는 신호 일부만을 추출하는데 사용되고, 이러한 방식으로 미지의 주변 광의 영향에 대해 강건하다. 가깝고 반사가 잘되는 객체는, 발산된 디스플레이 광원의 강한 반사를 제공하기 때문에, 결과 이미지에서 강하게 보일 것이다. 본 명세서에 사용되는 바와 같이, 용어 "가까운"은 0 미터에서 가령 2 내지 3 미터 내의 범위의 객체를 포함하는 것으로 의도된다. 서로 다른 반사되는 객체들 간을 구별하기 위하여, 및/또는 그들의 포즈와 다른 특성을 추출하기 위하여, 추가 처리가 요구된다.

복조된 이미지에 기초한 현 시스템과 방법이 더욱 강건해지고, 더 낮은 계산 비용을 가진다고 예상되고, 시스템은 미지의 주변 광 영향을 직접 제거하지 않고 카메라에 작용한다.

제시된 광변조 시스템에 기초한 다양한 장치가 실현될 수 있다. 본 명세서에서 좀 더 자세한 사항이 몇몇의 장치에 대해 주어진다.

손 감지 유저 인터페이스

사용자와 그의 손을 감지하는 것은 유저 인터페이스를 실현하는데 매우 중요하다. 손은 대게 많은 빛을 반사하고, 이는 적은 광량이 디스플레이에 의해 발산됨에도 불구하고 디스플레이에 가까운 손을 감지하는 것이 가능하다.

이러한 방식으로, 터치 스크린 디스플레이에 대한 "터치-프리" 대체물(replacement)이 일반적인 카메라와 일반적인 디스플레이를 사용하여 실현된다. 이러한 시스템은 TV 세트의 기본적인 제어 버튼(온/오프 버튼 제외)을 완전히 대체하는데 사용될 수 있고, 이는 비용 감소로 이어진다.

사용자 손 감지를 위한 처리 실행의 한 예의 좀 더 상세히 기술

첫째로, 디스플레이 광원은 가까운 객체만 비출 것이므로, 제1 문턱값은 멀리 있는 배경에 속한 픽셀을 제거하는데 적용된다. 보통, 이 간단한 절차는 만족스러울 것이다. 추가로, 배경에서 정적인 객체, 예를 들어, 장면의 긴 시간적 평균 이미지를 제거하기 위하여 배경의 모델을 만드는 것이 가능하다. 그 결과는 이미지 픽셀이 전경 픽셀 및 배경 픽셀로 레이블(labed)된 세그멘테이션(segmentation)이다.

둘째로, 전경 픽셀로 레이블된 픽셀만을 참조하여 추가 이미지 세그멘테이션이 수행된다. 연결된 영역은 감지되고, 적게 연결된 영역은 제거된다. 연결된 영역은 서로 연결된 전경 픽셀의 그룹이고, 여기서 서로 연결은 적어도 이웃하는 픽셀도 전경으로 레이블 되었다는 것을 의미한다. 적게 연결된 영역은 객체가 가지기로 기대된 것보다 적은 픽셀을 가진 영역이다. 예를 들어, 어떤 카메라에 대해 3 미터의 최대 거리에서 인간 손의 최소 크기는 계산될 수 있고, 이 다수의 픽셀은 더 적은 픽셀을 가지고 모든 영역을 제거하는데 사용될 수 있다. 각각의 연결된 영역은 필요하면, D. Comanicu, P. Meer의 "Mean Shift :A robust approach toward feature space analysis", IEEE Trans. Pattern Anal. Machine In- tell., May 2002" 에서 정의된 "Mean Shift" [2] 와 같은 어떤 세그멘테이션 알고리즘을 사용 하여 더욱 분리될 수 있다. 복조된 이미지 및 세그멘테이션의 결과의 예는 도 9에 제시된다. 두 개의 연결된 영역은 오른쪽 이미지에 제시되고 감지되며, 다른 회색값이 각각의 영역에 속하는 픽셀을 표시하는데 사용된다.

셋째로, 감지된 연결된 세그먼트의 윤곽이 추출된다. 세그먼트의 윤곽은 서로 다른 모양을 구별짓는데 사용될 수 있는 일련의 피쳐(feature)에 의해 기술된다. 일 실시예에서, M. K. Hu, "Visual Pattern Recognition by Moment Invariants", IRE Trans. Info. Theory, vol. IT-8, pp.179-187, 1962 and Wu, M.-F.에 기술된 Hu 모멘트 [1]를 사용하였다. 또한, 이는 본 명세서에 참조로서 포함된다.

넷째로, 추출된 피쳐는 특수 모양을 감지하기 위하여 감지기로 전달된다. 예를 들어, 반사 마커의 특수 모양이 감지될 수 있다. 이러한 경우, 사용자 손은 감지기에 의해 감지될 필요가 있는데, 가령, 개방된 손의 모양, 가리키는 손 모양, 폐쇄된 손의 모양이 사용될 수 있다.

다섯째로, 사용자 감지기의 출력도 일시적으로 필터링된다. 어떤 시간 동안 안정적인 감지는 진정한 감지로 간주된다. 사용자 손과 그들의 모양이 감지되면, 이 정보는 어떤 터치-프리 유저 인터페이스를 설계하는데 사용된다. 특수 마커가 해당 3D 시청 안경에 해당하도록 감지되면, 이는 자동적으로 디스플레이의 2D 또는 3D 시청 모드로 자동 선택되도록 하는데 사용될 수 있다.

상기 모양 감지기는 통계적 패턴 인식 분류 함수(statistical pattern recognition classifier function)를 사용하여 구성된다. 분류 함수는 통계적 패턴 인식 기술 AdaBoost를 사용하여 자동적으로 구성된다. 통계적 패턴 인식 기술은 두 개의 큰 세트의 이미지(하나는 감지되어야 할 모양예를 포함하는 데이터 세트(가령, 개방된 손)이고, 다른 하나는 랜덤 모양을 포함함)를 구성한다.

더구나, 카메라뿐만 아니라, 다른 센서도 감지와 추적을 개선하는데 사용될 수도 있다.

3D 안경 감지

디스플레이의 2D 내지 3D를 자동적으로 스위칭 하기 위한 3D 시청 안경을 감지하는 것이 또 다른 장치이다. 안경이 매우 높은 반사광 물질로 제조된다면, 광 조건에 대해 강건하게 제조될 수 있다. 도 4의 예는 매우 반사가 잘되는 객체가 복조된 이미지에서 매우 선명히 보여서, 쉽게 감지할 수 있다는 것을 보여준다.

광변조용 그래픽

디스플레이 백라이트를 사용하는 대신, 광변조도 제시된 그래픽에 의해서도 직접 도입될 수 있다. 현재 많은 디스플레이는 그래픽의 빠른 업데이트(가령, 240Hz 스크린)를 가능케 하고, 이는 또한 제시된 그래픽으로 직접 변조가 가능하게 한다. 이러한 시스템의 이점은 백라이트의 특별한 제어가 필요없다는 점이다.

또 다른 이점은 스크린의 일부만 그래픽 변조함으로서, 디스플레이 백라이트가 이를 직접 지원하지 않아도, 스크린의 일부에 대한 "국소적 광변조"를 생성하는 것이 가능하다는 것이다. 스크린의 일부로부터의 광을 변조하는 것은 여러 다른 목적을 가질 수 있다. 예를 들어, "메뉴 객체"가 변조된 광을 생성하기만 하면, 객체에 가까이 가면 인간 손 또는 손가락을 비출 수 있고, 이러한 방식으로 감지를 좀 더 강건하게 할 수 있다.

국소적인 디스플레이 조명을 사용한 3D 깊이 복원( depth reconstruction )

E. Prados, 0. Fau- geras, Shape From Shading: a well-posed problem?, IEEE conference CVPR, 2005 및 C. Hernandez, G. Vogiatzis, G. J. Brostow, B. Stenger, R. Cipolla, Non-rigid Photometric Stereo with Colored Lights, 2007, [3], [4](본 명세서에 참조로서 포함됨)에 기술된 광도계의 스테레오는 얼마나 알려진 광이 객체로부터 반사되는 지를 분석하고, 도입된 그림자를 분석함에 의해 3D 구조를 복원시키는 기술이다. 3D 복원에 대해서, 대게 서로 다른 방향으로부터의 알려진 광원에 의해 비춰진 객체의 다수의 이미지가 요구된다. 유사한 처리 원리를 사용한 3D 복원이 국소적인 디스플레이 광원 조명(상기 기술된 디스플레이 백라이트 또는 그래픽에 의해서도)을 사용하여 실현되어, 서로 다른 방향으로부터의 알려진 광원에 의해 비춰진 한 세트의 객체의 이미지를 생성할 수 있다. 스캐닝 백라이트는 디스플레이 광원이 서로 다른 시간에 스크린의 서로 다른 부분으로부터 발산된 예시적인 경우이다.

이러한 시스템의 예시적인 실행은 다음의 바람직한 실시예에서 수행된다.

디스플레이의 한 코너의 일부 작은 지역으로부터의 변조된 광을 생성하고 복조한다.

이를 네 개의 모든 코너에 반복한다. 대안적으로, 이는 서로 다른 변조/복조(서로 다른 주파수나 위상 혹은 서로 다른 광 색깔)가 디스플레이의 각 코너에 대해 사용된다면, 동시에 수행될 수 있다.

그 결과는 네 개의 서로 다른 알려진 광원으로부터 조명된 객체의 네 개의 이미지이다.

[3], [4]와 같은 일부 처리 기술을 적용하여, 디스플레이에의해 조명된 객체의 3D 구조를 추정한다.

본 발명의 범위 내에서 대안적인 실행도 포함될 수도 있다. 이들 대안적인 실행에서, 함수는 나타나거나 논의된 순서로 실행될 수도 있고, 기능적으로 관련된 것에 의존하여 실질적으로 동시에 또는 그 반대로 실행될 수도 있는 것을 포함한다. 상기 기술들은 설명과 묘사의 목적으로 제시되었다. 논의된 정확한 형태로 본 발명을 제한하거나 망라하도록 의도되지 않는다. 명백한 수정 혹은 변형은 상기 개시의 관점에서 가능하다. 그러나, 논의된 실행은 본 발명의 원리를 설명하는데 기술되고 선택되며, 그러므로 그 실제적 응용은 당업자가 본 명세서를 보고 실행하고, 특별한 사용에 맞는 다양한 수정예가 상정될 수 있다. 이러한 모든 수정예와 변형예는, 상당히 그리고 법적으로 정해진 범위에 따른 해석은 첨부된 청구항에 의해 발명의 범위가 결정된다.

Claims (15)

1. 주변 광 및 디스플레이 장치에 의해 생성된 광에 의해 조명된 다수의 장면의 이미지를 감지하는 단계 - 여기서, 각각의 다수 이미지는 실질적으로 일정한 주변 광량 및 디스플레이 장치에 의해 생성된 기설정된 양의 광량을 포함하고, 기설정된 광량은 다수의 이미지에서 적어도 두 개의 연속적인 이미지에서 변함 - 와,
   디스플레이 장치 생성 광의 알려진 지시를 사용하여, 주변 광에서 디스플레이 생성 광을 분리하여, 조명된 장면의 일부만을 추출하는 단계와,
   추출된 일부에 응답하여 제어 신호를 생성하는 단계를 포함하는,
   적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법.
2. 제 1 항에 있어서,
   다수의 이미지를 감지하는 단계는,
   디스플레이에 의해 생성된 제1 광을 사용하여 가까운 객체를 조명하는 단계와,
   조명된 가까운 객체와 배경 객체를 포함하는 장면의 일부 또는 제1 이미지를 캡쳐하는 단계와,
   디스플레이에 의해 생성된 제2 광을 사용하여 가까운 객체를 조명하는 단계와,
   조명된 가까운 객체와 배경 객체를 포함하는 장면의 일부 또는 제2 이미지를 캡쳐하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법.
3. 제 2 항에 있어서, 조명하는 단계는 기설정된 시간 주기 동안에,
   - 디스플레이된 비디오 자료
   - 디스플레이된 픽쳐
   - 디스플레이된 그래픽
   - 디스플레이 장치의 백라이트 유닛에 의해 생성된 백라이트
   - 추가적인 광원
   - 발광 디스플레이 상의 플래싱 콘텐츠
   중 적어도 어느 하나의 광휘(luminosity)를 변화시키는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법.
4. 제 2 항 또는 제3 항에 있어서, 조명하는 단계는,
   - 비디오 자료에 이미 존재하는 변화에 의한 디스플레이 광원 변조,
   - "플래싱 라이트"로 감도 증가에 의한 디스플레이 광원 변조,
   - 비디오 자료에서의 변화에 독립적이기 위한 기준 측정을 포함하는 것에 의한 디스플레이 광원 변조,
   - 디스플레이 상의 이미지에 의한 파동을 줄이는 것에 의한 디스플레이 광원 변조,
   - 롤링 셔터 카메라 장치로 이미지를 취할 때, 카메라 센서 감도 변화 - 여기서, 이미지의 일부가 사용되고, 서로 다른 주파수가 카메라 캡쳐 및 디스플레이 광원 변조를 위해 사용됨 - 및/또는
   - 다음 중 적어도 하나를 포함하는 디스플레이 생성 광을 분리,
   - 움직임 때문에 주변 광의 거짓 감지를 감소시키기 위하여 두 개의 노출을 움직임 보상하는 것
   - 듀얼-모드 작동, 여기서, 한 모드는 높은 화질을 가지고, 다른 모드는 사용자 액션을 감지하기 위한 고감도임
   중 적어도 어느 하나를 포함하는 것을 특징으로 하는 적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 디스플레이 생성 광을 분리하는 단계는,
   - 복수의 감지된 이미지 중 적어도 2개를 비교하는 단계와,
   - 제1 문턱값을 적용함에 의하여 이미지로부터 배경 객체를 제거하는 단계와,
   - 이미지를 세그멘팅(segmenting)하여, 연결된 영역을 감지함에 의하여 잡음 결과를 제거하고, 적게 연결된 영역을 제거하는 단계 - 여기서, 이미지는 캡쳐된 이미지 혹은 합쳐진 이미지 중 하나이고, 특히 적어도 두 개의 캡쳐된 이미지의 차이에 근거한 이미지임 - 와,
   - 감지된 세그먼트의 윤곽을 추출하는 단계 - 상기 윤곽은 복수의 서로 다르게 기설정된 모양을 구분하기에 적용된 한 세트의 피쳐를 기술함 - 와,
   - 복수의 기설정된 모양의 중 적어도 하나를 감지하기 위하여, 추출된 윤곽을 감지기로 전달하는 단계
   를 포함하는 것을 특징으로 하는 적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 제어 신호를 생성하는 단계는,
   적어도 하나의 감지되고 기설정된 모양의 추출된 윤곽을 시간적으로 필터링하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   - 제어 신호에 응답하여 디스플레이의 2D 또는 3D 시청 모드를 선택하는 단계,
   - 터치-프리 유저 인터페이스를 선택 또는 활성화시키는 단계
   중 적어도 하나를 더 포함하는 것을 특징으로 하는 적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 복수의 기설정된 모양은,
   - 손 또는 이러한 손의 일부, 특히 개방된 손, 가리키는 손 또는 폐쇄된 손과,
   - 팔과,
   - 머리와,
   - 안경과,
   - 3D 시청 안경에 따른 기설정된 마커
   - 제어 장치 (가령, 포인터)
   - 제어 장치에 따른 기설정된 마커
   중 적어도 하나를 포함하는 것을 특징으로 하는 적어도 하나의 시청자의 움직임 또는 포즈에 특별히 기초하여 제어 신호를 생성하는 방법.
9. 처리 장치에 있어서,
   - 디스플레이 장치가 연결되고, 상기 디스플레이 장치에 의해 생성된 광량을 조절하도록 구성된 비디오 처리 시스템과,
   - 상기 디스플레이에 의한 서로 다른 조명하에서의 장면의 적어도 두 개의 이미지를 캡쳐하기 위한 카메라 - 여기서, 상기 장면은 가까운 객체와 배경 객체 중 적어도 하나를 포함함 - 와,
   - 카메라와 연결되고, 적어도 두 개의 캡쳐된 픽쳐들 간의 차이에 기초한 복수의 기설정된 모양 중 적어도 하나의 모양을 결정하도록 구성된 평가 장치를 포함하는 것을 특징으로 하는 처리 장치.
10. 제 9 항에 있어서, 비디오 처리 시스템은 프레임 주기의 적어도 일부 동안에 디스플레이 장치의 광휘를 변조하도록 구성되고, 상기 변조는,
    - 디스플레이된 비디오 자료와,
    - 디스플레이된 픽쳐와,
    - 디스플레이된 그래픽과,
    - 디스플레이 장치의 백라이트 유닛에 의해 생성된 백라이트
    중 적어도 하나에 도입되는 것을 특징으로 하는 처리 장치.
11. 제 10 항에 있어서,
    광휘의 변조는 디스플레이의 사용자에게 비가시적인 것을 특징으로 하는 처리 장치.
12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서, 평가 장치는,
    - 제1 문턱값을 적용함에 의하여 이미지로부터 배경 객체를 제거하기와,
    - 캡쳐된 이미지 중 하나를 세그멘팅(segmenting)하여, 연결된 영역을 감지함에 의하여 잡음 결과를 제거하고, 적게 연결된 영역을 제거하기와,
    - 감지된 세그먼트의 윤곽을 추출하기 - 상기 윤곽은 복수의 서로 다르게 기설정된 모양을 구분하기에 적용된 한 세트의 피쳐를 기술함 - 와,
    - 복수의 기설정된 모양의 중 적어도 하나를 감지하기 위하여, 추출된 윤곽을 감지기로 전달하기를 포함하는 것을 특징으로 하는 처리 장치.
13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서, 평가 장치는,
    - 캡쳐된 이미지나 서로 다른 조명하에서 캡쳐된 적어도 두 개의 이미지 간의 차이에 근거한 화합하는 영역을 감지하기 위한 에지 감지 장치와
    - 복수의 서로 다른 기설정된 모양을 구별하도록 구성된 한 세트의 피쳐를 기술하는 윤곽을 저장하기 위한 저장부를 포함하는 것을 특징으로 하는 처리 장치.
14. 제 9 항 내지 제 13 항 중 어느 한 항에 있어서, 다수의 기설정된 모양은,
    - 손 또는 이러한 손의 일부, 특히 개방된 손, 가리키는 손 또는 폐쇄된 손과,
    - 팔과,
    - 머리와,
    - 안경과,
    - 포인터와,
    - 3D 시청 안경에 따른 기설정된 마커
    중 적어도 하나를 포함하는 것을 특징으로 하는 처리 장치.
15. 제 9 항 내지 제 14 항 중 어느 한 항에 있어서,
    평가 장치는 통계적 패턴 인식 분류 함수, 특히, 통계적 패턴 인식 기술 AdaBoost를 사용하여 구성되는 것을 특징으로 하는 처리 장치.

Images