KR101994358B1 - 오브젝트 센싱 장치 및 방법, 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법 - Google Patents

오브젝트 센싱 장치 및 방법, 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법 Download PDF

Info

Publication number
KR101994358B1
KR101994358B1 KR1020140059071A KR20140059071A KR101994358B1 KR 101994358 B1 KR101994358 B1 KR 101994358B1 KR 1020140059071 A KR1020140059071 A KR 1020140059071A KR 20140059071 A KR20140059071 A KR 20140059071A KR 101994358 B1 KR101994358 B1 KR 101994358B1
Authority
KR
South Korea
Prior art keywords
pattern
camera
image
light source
region
Prior art date
Application number
KR1020140059071A
Other languages
English (en)
Other versions
KR20150009428A (ko
Inventor
김남준
서성주
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/328,258 priority Critical patent/US9778796B2/en
Publication of KR20150009428A publication Critical patent/KR20150009428A/ko
Application granted granted Critical
Publication of KR101994358B1 publication Critical patent/KR101994358B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

디스플레이에 오브젝트가 터치된 영역을 센싱할 수 있는 오브젝트 센싱 장치 및 방법이 개시된다. 오브젝트 센싱 장치는 디스플레이상의 패턴이 촬영된 패턴 영상에 기초하여 오브젝트 센싱 장치에 포함된 광원 또는 카메라의 동작을 제어할 수 있다. 오브젝트 센싱 장치는 패턴 영상에 나타난 패턴을 분석하여 현재 광원의 밝기 또는 카메라의 노출 시간이 적절한 것인지 결정할 수 있다. 오브젝트 센싱 장치는 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시키지 않는 경우, 광원의 밝기를 증가시키거나 또는 카메라의 노출 시간을 증가시킴으로써 최적의 오브젝트 센싱 조건을 결정할 수 있다.

Description

오브젝트 센싱 장치 및 방법, 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법{APPARATUS AND METHOD FOR SENSING OBJECT, METHOD FOR IDENTIFYING CALIBRATION PATTERN IN OBJECT SENSING APPARATUS}
아래의 설명은 디스플레이에 터치된 오브젝트를 센싱하는 오브젝트 센싱 장치에 관한 것이다.
종래의 마우스나 키보드 등의 입력 장치를 대체하여 사용자가 손가락이나 펜 등을 이용하여 스크린 상에 직접 정보를 입력할 수 있는 멀티 터치 interaction 기술이 보편화되고 있다. 스크린을 통한 터치 interaction 기술은 카메라, 감압식 터치 스크린, 정전식 터치 스크린 등을 이용하거나 또는 터치 스크린의 패턴을 촬영하여 터치 지점을 인식하는 디지털 펜을 이용한다.
디지털 펜을 이용한 터치 입력 방식은 적외선(infrared rays, IR)을 방사하는 광원 및 IR 카메라를 구비하는 디지털 펜을 이용한다. 구체적으로, 디스플레이 장치의 패턴을 인식하기 위해 디지털 펜이 적외선을 방사하고, 디스플레이 스크린 아래에 위치하는 infrared (IR) emmiter 장치에 의해 내부적으로 반사(internal reflection)된 적외선을 카메라를 통해 촬영함으로써 surface display상에 터치 오브젝트 또는 hover 오브젝트의 위치가 computer vision 기법을 통해 인식된다.
또한, 광원 및 카메라를 내장하고 있는 interactive 디스플레이 장치가 surface display상의 오브젝트에 반사되어 생성된 반사광을 카메라를 통해 센싱하여 오브젝트가 터치된 위치를 인식하는 방식이 있다.
일실시예에 따른 오브젝트 센싱 장치는, 디스플레이; 상기 디스플레이를 향해 광을 방사하는 광원; 상기 디스플레이상의 위치를 식별하기 위한 패턴을 포함하는 패턴 레이어; 상기 패턴에 반사되어 되돌아온 반사광에 기초하여 패턴 영상을 생성하는 카메라; 및 상기 패턴 영상에 나타난 패턴에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 제어부를 포함할 수 있다.
다른 실시예에 따른 오브젝트 센싱 장치는, 오브젝트가 촬영된 오브젝트 영상으로부터 오브젝트 터치 영역을 추출하는 오브젝트 터치 영역 추출부; 상기 오브젝트 영상을 복수 개의 서브 영역들로 분할하고, 상기 서브 영역들 중에서 기준 서브 영역을 결정하는 기준 서브 영역 결정부; 및 상기 기준 서브 영역에 포함된 오브젝트 터치 영역에 기초하여 상기 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정하고, 제거하는 것으로 결정된 오브젝트 터치 영역을 상기 오브젝트 영상에서 제거하는 오브젝트 터치 영역 결정부를 포함할 수 있다.
일실시예에 따른 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법은, 디스플레이 상의 패턴 영상을 촬영하는 단계; 및 상기 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시키지 않은 경우, 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계를 포함할 수 있다.
일실시예에 따른 오브젝트 센싱 방법은, 오브젝트 센싱 장치에 의해 촬영된 오브젝트 영상으로부터 오브젝트 터치 영역을 추출하는 단계; 상기 오브젝트 영상을 복수 개의 서브 영역들로 분할하고, 상기 서브 영역들 중에서 기준 서브 영역을 결정하는 단계; 상기 기준 서브 영역에 포함된 오브젝트 터치 영역에 기초하여 상기 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정하는 단계; 및 제거하는 것으로 결정된 오브젝트 터치 영역을 상기 오브젝트 영상에서 제거하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 오브젝트 센싱 장치의 구성을 도시한 도면이다.
도 2는 일실시예에 따른 오브젝트 센싱 장치의 내부 구조를 도시한 도면이다.
도 3은 일실시예에 따른 오브젝트 센싱 장치에 내장된 카메라 어레이의 일례를 도시한 도면이다.
도 4a 내지 도 4d는 일실시예에 따른 오브젝트 센싱 장치의 전체적인 동작을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 패턴 영상에 포함된 패턴의 일례들을 도시한 도면이다.
도 6은 일실시예에 따른 패턴 영상으로부터 카메라 기준 캘리브레이션 좌표들을 탐색하는 과정을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 중앙 수직/수평 방향의 기준 패턴들에 기초하여 나머지 패턴들을 탐색하는 과정을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법을 설명하기 위한 흐름도이다.
도 9는 일실시예에 따른 오브젝트 센싱 장치의 디스플레이 표면상의 캘리브레이션 패턴 영상으로부터 카메라 기준 캘리브레이션 패턴들을 탐색하는 방법을 보다 상세하게 설명하기 위한 흐름도이다.
도 10은 일실시예에 따른 복수의 카메라들에 대해 병렬적으로 디스플레이 표면상의 캘리브레이션 패턴 영상으로부터 카메라 기준 캘리브레이션 패턴들을 탐색하는 방법을 설명하기 위한 흐름도이다.
도 11은 다른 실시예에 따른 오브젝트 센싱 장치의 구성을 도시한 도면이다.
도 12는 일실시예에 따른 오브젝트 영상에서 오브젝트 터치 영역을 추출하는 과정을 설명하기 위한 흐름도이다.
도 13은 일실시예에 따른 캘리브레이션 및 스티칭(stiching) 과정이 수행된 이후의 오브젝트 영상의 일례를 도시한 도면이다.
도 14a 내지 도 14b는 일실시예에 따른 오브젝트 터치 영역의 방향성을 결정하는 과정을 설명하기 위한 도면이다.
도 15a 내지 도 15b는 다른 실시예에 따른 오브젝트 터치 영역의 방향성을 결정하는 과정을 설명하기 위한 도면이다.
도 16은 일실시예에 따른 오브젝트 터치 영역의 제거 여부를 결정하는 과정을 설명하기 위한 도면이다.
도 17은 다른 실시예에 따른 오브젝트 터치 영역의 제거 여부를 결정하는 과정을 설명하기 위한 도면이다.
도 18은 또 다른 실시예에 따른 오브젝트 터치 영역의 제거 여부를 결정하는 과정을 설명하기 위한 도면이다.
도 19는 일실시예에 따른 오브젝트 센싱 방법을 설명하기 위한 흐름도이다.
도 20은 다른 실시예에 따른 오브젝트 센싱 방법을 설명하기 위한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 오브젝트 센싱 장치(110)의 구성을 도시한 도면이다.
오브젝트 센싱 장치(110)는 디스플레이(120)상에 오브젝트(object)가 터치(touch)된 영역을 나타내는 오브젝트 터치 영역 및 디스플레이(120)상에 인접한 오브젝트 영역을 나타내는 오브젝트 근접 영역(또는, 호버(hover) 영역)을 센싱할 수 있다. 오브젝트 센싱 장치(110)는 오브젝트 터치 영역 또는 오브젝트 근접 영역을 센싱하기 위해 복수 개의 광원(130)들 및 카메라(140)들을 포함할 수 있다. 오브젝트 센싱 장치(110)는 카메라(140)들에 의해 촬영된 오브젝트 영상을 분석하여 컴퓨터 비전(computer vision) 기법을 이용하여 오브젝트가 디스플레이(120)상에 터치된 위치를 결정할 수 있다. 오브젝트 영상은 광원(130)이 방사한 빛이 디스플레이(120)상의 오브젝트에 반사되어 생성된 반사광에 카메라(140)가 반응하여 생성된 영상을 나타낸다.
오브젝트 센싱 장치(110) 내부의 광원(130)들의 배치 및 카메라(140)들이 가지는 고유의 특성, 또는 오브젝트 센싱 장치(110) 내 광원(130)들 및 카메라(140)들의 위치 및 분포 관계에 따라 서로 다른 특성을 가지는 오브젝트 영상이 촬영될 수 있다. 광원(130) 및 카메라(140)의 고유 조건에 따라 오브젝트 영상이 왜곡될 수 있다. 예를 들어, 광원(130) 및 카메라(140)가 가지는 고유 조건에 따라 오브젝트 영상이 어둡게 나오거나 또는 낮은 해상도를 가질 수 있다. 오브젝트 영상이 어둡게 나오거나 또는 낮은 해상도를 가지는 경우, 오브젝트 영상으로부터 오브젝트가 터치된 디스플레이(120)상의 위치를 식별하기가 어려울 수 있다.
오브젝트 센싱 장치(110)는 각각의 카메라(140)들이 출력하는 오브젝트 영상들의 왜곡을 보정하고, 보정된 오브젝트 영상들을 결합(또는, stitching)하여 하나의 오브젝트 영상을 생성할 수 있다. 오브젝트 센싱 장치(110)는 생성된 하나의 오브젝트 영상으로부터 오브젝트 터치 영역 및 오브젝트 근접 영역을 식별할 수 있다. 오브젝트 영상들을 결합하기 위해서는 오브젝트 영상 내 위치와 디스플레이(120)상의 위치를 매핑(mapping)시키는 과정이 수행되어야 한다.
오브젝트 센싱 장치(110)는 오브젝트의 카메라 영상 내 위치와 디스플레이(120)상의 위치를 정확히 매핑시키기 위해 광원(130)의 조절 또는 카메라(140) 노출 시간(exposure time) 조정을 통해 최적의 캘리브레이션(calibration) 조건을 결정할 수 있다. 예를 들어, 오브젝트 센싱 장치(110)는 적절한 밝기를 가지고, 선명도가 높은 오브젝트 영상을 촬영하기 위해 광원(130)의 밝기를 조절하거나 카메라(140)의 노출 시간, 셔터 스피드 등을 조정할 수 있다. 오브젝트 센싱 장치(110)는 최적의 캘리브레이션 조건을 결정하기 위해 디스플레이(120)상의 위치를 식별하기 위한 패턴을 촬영한 패턴 영상을 이용할 수 있다.
도 1을 참조하면, 오브젝트 센싱 장치(110)는 디스플레이(120), 광원(130), 카메라(140) 및 제어부(150)를 포함할 수 있다. 또한, 오브젝트 센싱 장치(110)는 디스플레이(120) 상의 위치를 식별하기 위한 패턴을 포함하는 패턴 레이어(pattern layer, 미도시)를 포함할 수 있다. 예를 들어, 패턴 레이어는 디스플레이(120) 상에 위치한 패턴 시트(pattern sheet)일 수 있고, 복수 개의 캘리브레이션 포인트(calibration point)를 포함할 수 있다. 패턴 레이어의 패턴은 블럽(blob) 형태의 패턴이 일정한 규칙을 가지고 배열된 형태일 수 있다. 패턴 레이어의 패턴은 주변 패턴보다 크기가 큰 기준 패턴을 포함할 수 있다. 패턴 레이어는 오브젝트 센싱 장치(110)가 캘리브레이션 동작을 수행하는 경우에만 포함될 수 있고, 그 외의 오브젝트 센싱 장치(110)가 오브젝트를 센싱하는 동작에서는 포함되지 않을 수 있다. 예를 들어, 패턴 레이어는 오브젝트 센싱 장치(110)의 제작 과정에서 이용되거나 또는 사용 중 별도의 캘리브레이션 동작을 수행할 때에만 이용될 수 있다.
광원(130)은 디스플레이(120)를 향해 광을 방사할 수 있다. 카메라(140)는 패턴에 반사되어 되돌아온 반사광에 기초하여 패턴 영상을 생성할 수 있다. 예를 들어, 광원(130)은 디스플레이(120)를 향해 적외선을 방사할 수 있고, 카메라(140)는 패턴 레이어의 패턴에 반사되어 카메라(140)에 입력되는 적외선에 반응하여 패턴 영상을 생성할 수 있다. 광원(130)이 방사한 광은 오브젝트 센싱 장치(110) 내 확신 시트(diffuser sheet, 미도시)를 통과하여 디스플레이에 도달될 수 있다. 카메라(140)는 디스플레이(120)상에 터치된 오브젝트 또는 디스플레이(120)상에 인접한 오브젝트에 반사된 반사광에 기초하여 오브젝트 영상을 생성할 수 있다. 오브젝트 센싱 장치(110)는 복수 개의 카메라(140)가 어레이(array) 형식으로 배열된 구조를 가질 수 있다.
제어부(150)는 디스플레이(120)상의 위치에 대응되는 정확한 카메라(140) 캘리브레이션 좌표를 획득하기 위해 패턴 영상에 기초하여 카메라 캘리브레이션 과정을 수행할 수 있다. 카메라(140) 캘리브레이션 좌표는 카메라(140)가 생성하는 영상 내에서 디스플레이(120)상의 실제 위치에 대응되는 좌표를 나타낸다. 제어부(150)는 패턴 영상에 나타난 패턴에 기초하여 광원(130) 및 카메라(140) 중 적어도 하나의 동작을 조정할 수 있다. 제어부(150)는 오브젝트 센싱 장치(110)에 포함된 카메라(140)들이 가지는 서로 다른 특성을 보상하기 위해 각각의 카메라(140)별로 광원(130)의 밝기를 조정하거나 카메라(140)의 동작을 조정할 수 있다.
제어부(150)는 패턴 영상에 나타난 패턴을 분석하기 위해 카메라(140)로부터 패턴 레이어까지의 거리(또는, 카메라(140)로부터 디스플레이(120)까지의 거리), 패턴 레이어에 포함된 패턴들 간의 대칭성, 카메라 렌즈의 왜곡 모델(distortion model) 등을 이용할 수 있다. 카메라 렌즈의 왜곡 모델은 카메라(140)가 촬영한 영상이 전체적으로 볼록한 굴곡을 가지고 출력되는 barrel 왜곡, 카메라(140)가 촬영한 영상이 사다리꼴 형태로 출력되는 trapezoidal 왜곡 등이 고려된 카메라 렌즈의 distortion map을 나타낸다. 카메라 렌즈의 왜곡 모델은 카메라 렌즈의 제조사로부터 제공될 수 있다. 제어부(150)는 패턴 영상에서 패턴을 탐색하는 과정에서 카메라 렌즈의 왜곡 모델을 고려할 수 있다.
제어부(150)는 패턴 영상에 나타난 패턴에 기초하여 광원(130)의 밝기 및 카메라(140)의 노출 시간(또는, 셔터 스피드) 중 적어도 하나를 조정할 수 있다. 제어부(150)는 조정된 광원(130)의 밝기 또는 조정된 카메라(140)의 노출 시간에 기초하여 촬영된 패턴 영상을 분석하고, 현재 광원(130) 또는 카메라(140)의 설정이 미리 설정된 조건을 만족하는지 여부를 결정할 수 있다. 제어부(150)는 광원(130)의 밝기 또는 카메라(140)의 노출 시간이 미리 설정된 조건을 만족할 때까지 광원(130)의 밝기 또는 카메라(140)의 노출 시간을 조정할 수 있다. 제어부(150)는 미리 설정된 조건을 만족하는 광원(130)의 밝기 또는 카메라(140)의 노출 시간이 결정되면, 결정된 광원(130)의 밝기 또는 카메라(140)의 노출 시간을 저장할 수 있다. 오브젝트 센싱 장치(110)는 캘리브레이션 패턴을 이용하여 최적의 카메라 캘리브레이션 포인트(calibration point)들을 얻도록 결정된 광원(130)의 밝기, 카메라(140)의 노출 시간에 기초하여 오브젝트 터치 영상을 생성하고, 생성된 오브젝트 터치 영상으로부터 오브젝트 터치 영역을 추출할 수 있다.
제어부(150)는 패턴 영상에 나타난 패턴의 분포, 패턴의 개수, 패턴의 밝기, 패턴의 해상도 및 패턴의 모양 중 적어도 하나에 기초하여 광원(130), 카메라(140)의 동작을 조정할 수 있다. 예를 들어, 제어부(150)는 패턴 영상에 나타난 패턴의 분포, 패턴의 개수, 패턴의 밝기 등이 일정한 기준을 만족시키는지 여부를 판단할 수 있다. 제어부(150)는 패턴 영상의 패턴이 일정한 기준을 만족시키지 않는 경우, 광원(130)의 밝기 또는 카메라(140)의 노출 시간을 조절하고, 재촬영된 패턴 영상의 패턴이 위 기준을 만족시키는지 여부를 다시 판단할 수 있다.
제어부(150)는 패턴 영상에 나타난 패턴을 분석하기 전에 패턴 영상을 이진화하여 이진화된 패턴 영상을 생성할 수 있다. 제어부(150)는 이진화된 패턴 영상에 기초하여 각각의 패턴 영역들의 중심점을 추출할 수 있다. 제어부(150)는 이진화된 패턴 영상으로부터 추출된 중심점의 개수, 위치, 중심점들 간의 위치 관계 등이 미리 설정된 조건을 만족하는지 여부를 판단할 수 있고, 판단 결과에 기초하여 광원(130), 카메라(140)의 동작을 조정할 수 있다. 제어부(150)는 이진화된 패턴 영상으로부터 디스플레이(120) 표면(또는, 스크린)상의 기준이 되는 초기(initial) 위치에 대응되는 카메라(140)상의 좌표를 결정할 수 있다.
제어부(150)는 패턴 영상에서 기준 패턴의 식별이 가능하지 여부를 판단하여 현재 광원(130)의 밝기 또는 카메라(140)의 노출 시간이 적절한지 여부를 결정할 수 있다. 예를 들어, 제어부(150)는 패턴 영상에 나타난 패턴 중 가장 크기가 큰 패턴을 탐색하고, 탐색된 가장 크기가 큰 패턴의 크기가 미리 설정된 조건을 만족하는지 여부에 기초하여 기준 패턴의 식별이 가능한지 여부를 판단할 수 있다. 제어부(150)는 패턴 영상에서 기준 패턴을 식별하지 못한 경우, 광원(130)의 밝기를 증가시키거나 또는 카메라(140)의 노출 시간을 증가시킬 수 있다.
광원(130)의 밝기 또는 카메라(140)의 노출 시간이 작은 경우, 카메라(140)가 촬영한 패턴 영상이 어둡게 나올 수 있고, 패턴 영상에 패턴이 제대로 출력되지 않을 수 있다. 제어부(150)는 패턴 영상에 나타난 패턴의 개수가 미리 설정된 조건을 만족하는지 여부에 기초하여 광원(130) 및 카메라(140) 중 적어도 하나의 동작을 조정할 수 있다. 제어부(150)는 패턴 영상에 나타난 패턴들의 개수가 미리 설정된 개수보다 적은 경우, 광원(130)의 밝기를 증가시키거나 또는 카메라(140)의 노출 시간을 증가시킬 수 있다. 제어부(150)는 카메라(140)의 뷰(view) 영역에 대해 미리 정의된 패턴의 개수와 실제 카메라(140)에 의해 촬영된 패턴 영상에 나타난 패턴의 개수를 비교하여 현재 광원(130)의 밝기 또는 현재 카메라(140)의 노출 시간이 적절한지 여부를 결정할 수 있다.
예를 들어, 제어부(150)는 기준 패턴이 식별된 경우, 기준 패턴을 기준으로 수직 방향에 위치한 패턴들(수직 기준 패턴들) 및 수평 방향에 위치한 패턴들(수평 기준 패턴들)의 식별이 가능한지 여부를 판단할 수 있다. 제어부(150)는 수직 기준 패턴들 및 수평 기준 패턴들의 개수가 미리 설정된 조건을 만족하는지 여부를 판단하여 현재 광원(130)의 밝기 또는 현재 카메라(140)의 노출 시간이 적절한지 여부를 결정할 수 있다. 디스플레이상의 위치를 식별하기 위해 이용되는 패턴 레이어의 패턴들의 위치 좌표들은 미리 오브젝트 센싱 장치(110)에 제공될 수 있다. 예를 들어, 오브젝트 센싱 장치(110)는 패턴 레이어의 패턴들의 분포, 위치 등에 관한 정보를 미리 제공받을 수 있다. 제어부(150)는 패턴 레이어의 패턴들의 위치 좌표들이 카메라 영상 좌표에 제대로 매칭되는지를 확인하기 위해 카메라(140) 정보 및 카메라(140)로부터 디스플레이(120)까지의 거리 정보를 이용할 수 있다. 예를 들어, 제어부(150)는 카메라(140)의 화각(view angle) 정보 및 카메라(140)로부터 디스플레이(120)까지의 거리 정보에 기초하여 미리 인지하고 있는 디스플레이 표면 상의 패턴들 간의 거리에 대응하는 카메라 영상 내 패턴 블럽(blob)들 간의 거리를 추정할 수 있다. 제어부(150)는 추정된 카메라 영상 내 패턴 블럽들 간의 거리를 실제 카메라에서 획득된 패턴 블럽들의 거리와 비교하여 그 차이가 크면 카메라가 디스플레이 표면상의 패턴 블럽을 잘못 식별한 것으로 판단할 수 있다.
제어부(150)는 디스플레이 표면상의 패턴 레이어에 포함된 패턴들 간의 거리 비율에 기초하여 기준 패턴, 수직 기준 패턴들, 수평 기준 패턴들을 제외한 나머지 패턴들의 패턴 영상 내 위치를 결정할 수 있다. 디스플레이 표면상의 패턴 레이어에 포함된 패턴들 간의 거리 비율은 미리 획득이 가능한 정보이고, 제어부(150)는 패턴 레이어에 포함된 패턴들 간의 거리 비율과 기준 패턴, 수직 기준 패턴들, 수평 기준 패턴들의 위치를 이용하여 나머지 패턴들의 패턴 영상 내 위치를 결정할 수 있다. 예를 들어, 제어부(150)는 barycentric coordinates 알고리즘에 기반한 보간(interpolation) 기법을 이용하여 나머지 패턴들의 패턴 영상 내 위치를 결정할 수 있다. 제어부(150)는 패턴 영상에서 예측된 위치에 나머지 패턴들의 식별이 가능한지 여부를 판단하고, 식별된 나머지 패턴들의 위치, 개수가 미리 설정된 조건을 만족하는지 여부를 판단할 수 있다. 제어부(150)는 나머지 패턴들의 패턴들의 위치, 개수가 미리 설정된 조건을 만족시키지 않는 경우, 나머지 패턴들이 제대로 식별될 때까지 광원(130)의 밝기 또는 카메라(140)의 노출 시간을 조정할 수 있다.
제어부(150)는 각각의 카메라(140)들에 대응되는 광원(130)이 가지는 밝기 또는 카메라(140)의 노출 시간을 결정하고, 결정된 광원(130)의 밝기, 카메라(140)의 노출 시간에 기초하여 오브젝트 센싱 장치(110)를 초기화할 수 있다. 오브젝트 센싱 장치(110)는 광원(130), 카메라(140)가 최적의 조건으로 조정된 상태에서 출력된 오브젝트 영상을 분석함으로써 오브젝트 터치 영역을 보다 정확히 추출할 수 있다.
도 2는 일실시예에 따른 오브젝트 센싱 장치의 내부 구조를 도시한 도면이다.
도 2를 참조하면, 오브젝트 센싱 장치(200)는 복수의 적외선 비디오 카메라를 이용하는 DI(diffused illumination) 방식의 멀티 터치 인터랙티브 디스플레이 장치일 수 있다. 오브젝트 센싱 장치(200)는 기판(예를 들어, PCB)(230)위에 위치하는 카메라(215), 카메라(215) 주변에 위치하는 광원(210)을 포함할 수 있다. 기판(230) 위에는 에어 갭(air gap, 240)과 광원(210)으로부터 방사된 빛이 균일하게 분산되는 제1 확산 시트(250)가 위치할 수 있다.
광원(210)이 방사한 빛은 제2 확산 시트(260)을 통과한 후, 디스플레이(예를 들어, LCD 레이어)(220) 및 디스플레이(220)상에 위치하는 패턴 레이어(225)를 통과하고, 사용자의 손과 같은 오브젝트(205)에 반사될 수 있다. 오브젝트(205)에 반사되어 생성된 반사광은 오브젝트 센싱 장치(220)의 카메라(215)에 입력되어 오브젝트 영상이 생성될 수 있다. 생성된 오브젝트 영상은 패턴 레이어(225)의 패턴이 촬영된 패턴 영상을 포함할 수 있다. 예를 들어, 광원(210)은 적외선을 방사하고, 카메라(215)는 오브젝트(205)에 반사된 적외선에 반응하여 오브젝트 영상을 생성할 수 있다.
오브젝트 센싱 장치(200)는 카메라(215)에 의해 촬영된 오브젝트 영상에 대해 컴퓨터 비전 기법을 이용하여 디스플레이(200)상의 오브젝트(205)가 터치되었는지 여부 또는 근접하였는지 여부를 결정할 수 있다. 오브젝트 센싱 장치(200)는 컴퓨터 비전 기법을 통해 오브젝트의 터치 개수에 제한을 받지 않고, 외광에 강인하게 오브젝트 터치 영역을 인식할 수 있다. 오브젝트 센싱 장치(200)는 디스플레이(220) 위에 디스플레이(220)를 보호하기 위한 프로텍션 글래스(protection glass, 미도시)를 추가로 포함할 수 있다.
예를 들어, 디스플레이(220)는 LCD(liquid crystal display) 또는 LED(light emitting diode) 등으로 구성되어 영상을 출력할 수 있다. 오브젝트 센싱 장치(200)는 LCD 또는 LED 스크린상에 영상을 나타내기 위해 백색 광원(270)을 포함할 수 있다. 예를 들어, 백색 광원(270)은 white LED emitter 등을 포함할 수 있고, 오브젝트 센싱 장치(200)의 기판(230)상에 구비될 수 있다.
도 3은 일실시예에 따른 오브젝트 센싱 장치에 내장된 카메라 어레이의 일례를 도시한 도면이다.
도 3을 참조하면, 오브젝트 센싱 장치의 하단 기판상에 구비된 40개의 카메라 어레이(310)가 도시되어 있다. 오브젝트 센싱 장치 내에서 가로 방향으로 4개의 카메라가 배치되고, 세로 방향으로 10개의 카메라가 배치될 수 있다.
그림(320)은 카메라 어레이(310)의 각각의 카메라들이 담당하는 영역을 나타낸다. 예를 들어, 제1 카메라(325)가 담당하는 제1 영역(330)과 제2 카메라(335)가 담당하는 제2 영역(340)이 있을 수 있고, 제1 영역(330)과 제2 영역(340)는 일정 영역이 중첩될 수 있다. 카메라 어레이(310)에 포함된 각각의 카메라들은 각자가 담당하는 디스플레이 영역을 촬영할 수 있다. 오브젝트 센싱 장치는 각각의 카메라들이 생성한 영상을 결합(또는, stitching or splicing)하여 하나의 영상을 생성할 수 있다.
도 4a 내지 도 4d는 일실시예에 따른 오브젝트 센싱 장치의 전체적인 동작을 설명하기 위한 도면이다.
도 4a는 오브젝트 센싱 장치의 전체적인 동작을 나타내는 흐름도이다. 단계(410)에서, 오브젝트 센싱 장치는 디스플레이 표면상의 기준 위치에 대응되는 카메라 좌표를 획득하기 위해, 패턴 영상을 이용하여 전처리 과정을 수행할 수 있다.
단계(420)에서, 오브젝트 센싱 장치는 카메라가 가지는 왜곡을 캘리브레이션하고, 복수의 카메라들이 출력한 영상을 결합(스티치, stitch)하여 하나의 영상으로 생성할 수 있다. 오브젝트 센싱 장치는 카메라가 가지는 barrel 왜곡, trapezoidal 왜곡 등을 보정하고, 카메라들에 의해 출력된 영상들을 결합하여 디스플레이 크기의 영상을 생성할 수 있다. 오브젝트 센싱 장치는 생성된 하나의 영상에서 카메라 신호 특성이 약한 영역을 보정하고, 픽셀값들을 정규화(normalize)하는 세기 보상(intensity compensation)을 수행할 수 있다.
단계(430)에서, 오브젝트 센싱 장치는 오브젝트 영상에서 오브젝트 터치 영역을 추출하고, 사용자가 의도하는 오브젝트 방향에 기초하여 사용자가 의도하지 않은 오브젝트 터치 영역을 추정할 수 있다. 오브젝트 센싱 장치는 추출된 오브젝트 터치 영역들 중 사용자가 의도하지 않은 오브젝트 터치 영역을 제거할 수 있다.
단계(440)에서, 오브젝트 센싱 장치는 프레임 단위로 오브젝트 터치 영역을 추적(tracking)할 수 있다. 오브젝트 센싱 장치는 오브젝트 영상에서 추출된 오브젝트 터치 영역을 프레임별로 추적하여, 프레임마다 오브젝트 터치 영역에 대한 정보를 업데이트할 수 있다. 오브젝트 센싱 장치는 오브젝트 터치 영역이 프레임에 따라 어떻게 이동하는지를 추적함으로써 보다 용이하게 오브젝트 터치 영역을 추정할 수 있다. 오브젝트 센싱 장치는 단계(410) 내지 단계(440)을 통해 여러 사용자들의 멀티 터치를 프레임에 따라 효과적으로 업데이트할 수 있다.
도 4b는 도 4a의 단계(410)의 전처리 과정을 보다 구체적으로 설명하기 위한 흐름도이다.
단계(412)에서, 오브젝트 센싱 장치는 카메라를 통해 패턴 영상이 출력되면, 출력된 패턴 영상을 이진화된 패턴 영상으로 변환할 수 있다. 단계(414)에서, 오브젝트 센싱 장치는 패턴 영상에서 패턴 영역들이 서로 붙어있는 경우, 모폴로지 연산(morphological operation) 등을 이용하여 붙어있는 패턴 영역들을 분리시킬 수 있다. 오브젝트 센싱 장치는 붙어있는 패턴 영역들을 분리시킴으로써 패턴 영역들의 중심점을 효과적으로 추출할 수 있다. 단계(416)에서, 오브젝트 센싱 장치는 패턴 영역들의 중심점(또는, 중심 좌표)을 추출할 수 있다. 단계(418)에서, 오브젝트 센싱 장치는 패턴 블럽의 중심점에 대응되는 좌표를 카메라상의 캘리브레이션 포인트 좌표로 결정할 수 있다. 오브젝트 센싱 장치는 카메라 영상에서의 패턴 영역의 중심 좌표(또는, 카메라 캘리브레이션 좌표)를 디스플레이상의 패턴 레이어에 포함된 캘리브레이션 패턴의 기준 좌표에 매핑시킴으로써 카메라와 디스플레이 표면 사이의 distortion map을 얻을 수 있다.
도 4c는 도 4a의 단계(420)의 캘리브레이션 및 스티치 과정을 보다 구체적으로 설명하기 위한 흐름도이다.
단계(422)에서, 오브젝트 센싱 장치는 디스플레이가 차지하는 디스플레이 영역별로 카메라를 할당할 수 있다. 단계(424)에서, 오브젝트 센싱 장치는 디스플레이상의 좌표와 카메라상의 좌표를 매핑하는 distortion map을 획득할 수 있다. 오브젝트 센싱 장치는 단계(410)에서 획득된 캘리브레이션 포인트 좌표와 보간 기법에 기초하여 디스플레이상의 나머지 좌표들을 카메라상의 좌표와 매핑시킬 수 있다. 단계(426)에서, 오브젝트 센싱 장치는 카메라 중첩 영역을 이용하기 위해 카메라 중첩 영역에 대한 가중화된 평균 맵(weighted average map)을 생성할 수 있다. 단계(428)에서, 오브젝트 센싱 장치는 하나로 결합된 영상의 픽셀값들을 정규화하기 위해 세기 보상을 수행할 수 있다.
도 4d는 도 4a의 단계(430)의 오브젝트 터치 영역을 추출하는 과정을 보다 구체적으로 설명하기 위한 흐름도이다.
단계(432)에서, 오브젝트 센싱 장치는 오브젝트 영상에서 배경 영역을 추출할 수 있다. 오브젝트 센싱 장치는 고정된 배경 영역이 아닌 입력 영상의 변화에 따라 적응적으로 배경 영역을 업데이트할 수 있다.
현재 배경 영역은 다음의 수학식 1에 따라 업데이트될 수 있다.
Figure 112014046212598-pat00001
여기서, Bk(x,y)는 현재 배경 영역을 나타내고, Bk - 1(x,y)는 현재 배경 영역에 대한 이전 배경 영역을 나타낸다. beta는 배경 영역의 업데이트에 대한 가중치를 나타내고, Dk(x,y)는 차영상(difference image)을 나타낸다. 오브젝트 센싱 장치는 일정 시간 동안 변화하지 않는 영역을 배경 영역으로 추정할 수 있다.
단계(434)에서, 오브젝트 센싱 장치는 추정된 배경 영역에 기초하여 차영상을 생성할 수 있다. 오브젝트 센싱 장치는 입력 영상에서 추정된 배경 영역을 제거하여 차영상을 생성할 수 있다. 단계(436)에서, 오브젝트 센싱 장치는 차영상에서 오브젝트 터치 영역 및 오브젝트 근접 영역을 추출할 수 있다.
오브젝트 센싱 장치는 각각의 카메라들의 출력 영상들이 하나로 결합된 영상(stitched image)에서 오브젝트 터치 영역을 효과적으로 추출하기 위해 각각의 카메라 내 픽셀들의 특성(동적인 특성)을 고려하여 오브젝트 터치 영역을 추출하기 위한 임계값을 적응적으로 결정할 수 있다. 오브젝트 센싱 장치는 오브젝트 터치 영역을 추출하기 위한 임계값을 적응적으로 결정함으로써 오브젝트가 카메라 영역들의 경계면을 통과하거나 걸쳐있는 경우에도, 각각의 카메라들에 대해 오브젝트 터치 영역을 균일(uniform)하게 추출할 수 있다.
오브젝트 센싱 장치는 각각의 카메라들 내 픽셀들의 특성을 고려하여 각각의 픽셀 특성에 따라 오브젝트 터치 영역을 추출하기 위한 임계값을 적응적으로 결정하는 adaptive threshold 기법을 이용할 수 있다. adaptive threshold 기법은 다음의 수학식 2와 같이 나타낼 수 있다.
Figure 112014046212598-pat00002
여기서, T(x,y)는 (x, y)좌표 위치에서의 오브젝트 터치 영역을 추출하기 위한 적응적 임계값(adaptive threshold)을 나타낸다. Imax(x,y)는 (x, y)좌표에 있는 픽셀이 가질 수 있는 최대 세기(intensity)를 나타내고, Imin(x,y)는 (x, y)좌표에 있는 픽셀이 가질 수 있는 최소 세기를 나타낸다. R은 0보다 크고 1보다 작은 상수이다.
오브젝트 센싱 장치는 추출된 오브젝트 터치 영역이 유효한지 여부를 체크할 수 있다. 단계(438)에서, 오브젝트 센싱 장치는 추출된 오브젝트 터치 영역들 중 사용자가 의도하지 않은 오브젝트 터치 영역을 결정하고, 결정된 오브젝트 터치 영역을 제거할 수 있다.
도 5는 일실시예에 따른 패턴 영상에 포함된 패턴의 일례들을 도시한 도면이다.
도 5는 광원의 다양한 밝기에 따라 생성된 패턴 영상들 내 패턴 모양들을 나타내고 있다. 패턴(510)은 패턴 레이어에 포함된 원래의 패턴을 나타내고, 광원의 밝기가 적절한 경우, 패턴(520)과 같이 원래의 패턴과 유사한 패턴이 패턴 영상에 나타날 수 있다. 광원의 밝기가 적정 기준보다 너무 낮은 경우, 패턴(530)과 같이 패턴(510)의 일부분만 인식되어서 잘못된 카메라 캘리브레이션 포인트(패턴 영역의 중심점)가 획득될 수 있다. 오브젝트 센싱 장치는 패턴 영상의 패턴이 패턴(530)과 같이 나타나면, 광원의 밝기 또는 카메라의 노출 시간을 높일 수 있다. 광원의 밝기가 적정 기준보다 너무 높은 경우, 패턴(540)과 같이 패턴(510)의 영역보다 큰 영역을 패턴 영역으로 인식되어 잘못된 캘리브레이션 포인트가 획득될 수 있다. 오브젝트 센싱 장치는 패턴 영상의 패턴이 패턴(540)과 같이 나타나면, 광원의 밝기 또는 카메라의 노출 시간을 낮출 수 있다.
도 6은 일실시예에 따른 패턴 영상으로부터 카메라 기준 캘리브레이션 좌표들을 탐색하는 과정을 설명하기 위한 도면이다.
오브젝트 센싱 장치는 블럽 형태의 패턴을 이용하여 블러(blur)가 있는 영상에서도 캘리브레이션 포인트를 효과적으로 추출할 수 있다. 오브젝트 센싱 장치는 패턴 영역의 중심점을 가장 큰 블럽으로 생성하여 기준점(criterion point)으로 이용하기 때문에, 블러가 있는 영상에서도 영상의 이진화 과정을 통해 패턴 영역의 중심점을 용이하게 추출할 수 있다.
그림(610)은 카메라가 생성된 패턴 영상의 일례를 나타낸다. 그림(610)에서, 패턴은 주변 패턴보가 크기가 큰 기준 패턴(615)을 포함할 수 있다. 패턴 영역에서 추출된 중심점은 '+'로 표시되어 있다. 그림(620)는 이진화된 패턴 영상의 일례를 나타낸다. 예를 들어, 오브젝트 센싱 장치는 relaxation threshold 방법 등을 통해 패턴 영상을 이진화된 패턴 영상으로 변환할 수 있다.
그림(630)은 패턴 영상에서 기준 패턴(615)의 중심점으로부터 수직 방향에 위치한 수직 기준 패턴들(635)을 식별하는 동작을 설명하기 위한 그림이다. 오브젝트 센싱 장치는 기준 패턴의 중심점으로부터 상하로 미리 정의된 개수만큼의 수직 기준 패턴들(635)을 식별할 수 있다. 그림(640)은 패턴 영상으로부터 수평 방향에 위치한 수평 기준 패턴들(645)을 식별하는 동작을 설명하기 위한 그림이다. 오브젝트 센싱 장치는 기준 패턴(615)의 중심점으로부터 좌우로 미리 정의된 개수만큼의 수평 기준 패턴들(645)을 식별할 수 있다.
도 7은 일실시예에 따른 중앙 수직/수평 방향의 기준 패턴들에 기초하여 나머지 패턴들을 탐색하는 과정을 설명하기 위한 도면이다.
오브젝트 센싱 장치는 수직 기준 패턴들 및 수평 기준 패턴들에 기초하여 기준 패턴, 수직 기준 패턴들, 수평 기준 패턴들을 제외한 나머지 패턴들의 위치를 탐색할 수 있다. 그림(710)은 패턴 영상 내에 기준 패턴, 수직 기준 패턴들, 수평 기준 패턴들이 식별되어 있다. 오브젝트 센싱 장치는 그림(720)에서와 같이 식별된 수직 기준 패턴(726)의 위치, 수평 기준 패턴(724)의 위치에 기초하여 나머지 패턴(728)의 위치를 식별할 수 있다. 오브젝트 센싱 장치는 그림(730)에서와 같이 이전에 식별된 패턴(728)의 위치에 기초하여 인접한 패턴(734)의 위치를 식별할 수 있다.
오브젝트 센싱 장치는 다음의 수학식 3을 이용하여 나머지 패턴들의 위치를 탐색할 수 있다.
Figure 112014046212598-pat00003
수학식 3에서 Nx, Ny는 아래와 같다.
Nx: (수평 기준 패턴의 개수 - 1)/2,
Ny: (수직 기준 패턴의 개수- 1)/2
abs(z)는 z의 절대값을 나타내는 함수이고, min(z)는 z가 가질 수 있는 최소값을 나타내는 함수이다. P(x, y)는 구하려는 패턴의 위치를 나타낸다. P(x-1, y)는 수평 방향을 기준으로 이전 결과에서 도출된 패턴의 위치를 나타내고, P(x, y-1)은 수직 방향을 기준으로 이전 결과에서 도출된 패턴의 위치를 나타낸다. dif x는 수평 방향을 기준으로 구하려는 패턴의 위치와 이전 결과에서 도출된 패턴의 위치 간 차이에 대한 절대값을 나타내고, dif y는 수직 방향을 기준으로 구하려는 패턴의 위치와 이전 결과에서 도출된 패턴의 위치 간 차이에 대한 절대값을 나타낸다.
카메라의 barrel 왜곡을 고려하면 Px(x, y), Py(x, y)는 다음의 수학식 4를 만족한다.
Figure 112014046212598-pat00004
여기서, Px(a, b)는 P(a, b)의 x축 상의 좌표를 나타내고, Py(a, b)는 P(a, b)의 y축 상의 좌표를 나타낸다. barrel 왜곡에 의해 P(x, y)의 x축 상의 좌표는 P(x, y+1)의 x축 상의 좌표 이상의 값을 가지고, P(x, y)의 y축 상의 좌표는 P(x+1, y)의 y축 상의 좌표 이상의 값을 가질 수 있다. 수학식 4는 barrel 왜곡에 의해, 수평 기준 패턴들을 기준으로 수직 방향으로 올라갈수록 패턴들의 x축 상의 좌표가 점점 수직 기준 패턴에 가까워질 수 있고, 수직 기준 패턴들을 기준으로 수평 방향으로 멀어질수록 패턴의 y축 상의 좌표는 점점 수평 기준 패턴에 가까워질 수 있다는 것을 나타낸다. 이에 따라, 패턴 영상에 포함된 패턴들의 분포는 barrel 형태를 가질 수 있다.
도 8은 일실시예에 따른 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법을 설명하기 위한 흐름도이다.
단계(810)에서, 오브젝트 센싱 장치는 디스플레이 상의 패턴 영상을 촬영할 수 있다. 광원으로부터 출력된 광이 디스플레이상의 패턴에 반사된 후 카메라에 입력되어 패턴 영상이 생성될 수 있다.
오브젝트 센싱 장치는 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시키는지 여부를 판단하고, 패턴 영상에 나타나낸 패턴이 미리 설정된 조건을 만족시키지 않는 경우 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정할 수 있다. 이하, 단계(820) 내지 단계(860)에서는 일실시예에 따른 오브젝트 센싱 장치가 기준 패턴에 기초하여 캘리브레이션 패턴을 식별하는 방법을 설명하도록 한다.
단계(820)에서, 오브젝트 센싱 장치는 디스플레이 상의 위치를 식별하기 위한 패턴이 촬영된 패턴 영상으로부터 기준 패턴을 식별할 수 있다. 오브젝트 센싱 장치는 패턴 영상을 이진화된 패턴 영상으로 변환하고, 이진화된 패턴 영상에 나타난 패턴 영역 크기에 기초하여 다른 패턴들보다 크기가 가장 큰 기준 패턴을 식별할 수 있다. 예를 들어, 오브젝트 센싱 장치는 패턴 영상에 나타난 패턴들 중 크기가 가장 큰 제1 패턴을 식별하고, 제1 패턴을 제외한 나머지 패턴들 중 크기가 가장 큰 제2 패턴을 식별할 수 있다. 오브젝트 센싱 장치는 제1 패턴과 2 패턴 간의 크기 비율이 미리 설정된 조건을 만족하는지 여부를 판단함으로써 제1 패턴이 기준 패턴인지 여부를 결정할 수 있다.
단계(830)에서, 오브젝트 센싱 장치는 패턴 영상에서 기준 패턴이 식별되었는지 여부를 결정할 수 있다. 기준 패턴을 식별하지 못한 경우, 단계(860)에서 오브젝트 센싱 장치는 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정할 수 있다. 기준 패턴을 식별하지 못한 경우, 오브젝트 센싱 장치는 광원의 밝기를 증가시키거나 또는 카메라의 노출 시간을 증가시킬 수 있다.
패턴 영상에서 기준 패턴을 식별한 경우, 단계(840)에서 오브젝트 센싱 장치는 패턴 영상에 포함된 패턴 개수가 미리 설정된 조건을 만족하는지 여부를 판단할 수 있다. 오브젝트 센싱 장치는 기준 패턴을 중심으로 수직 방향 및 수평 방향에 위치한 패턴들 중 미리 설정된 개수의 패턴을 식별할 수 있다.
단계(850)에서, 오브젝트 센싱 장치는 패턴 영상에 나타난 패턴의 개수가 미리 설정된 조건을 만족하는지 여부에 따라 캘리브레이션 과정을 종료하거나 단계(860) 과정을 수행할 수 있다. 패턴 영상에 나타난 패턴의 개수가 미리 설정된 조건을 만족하지 않는 경우, 단계(860)에서 오브젝트 센싱 장치는 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정할 수 있다. 오브젝트 센싱 장치는 기준 패턴을 중심으로 수직 방향 및 수평 방향에 위치한 패턴들 중 미리 설정된 개수의 패턴을 식별하지 못한 경우, 광원의 밝기를 증가시키거나 또는 카메라의 노출 시간을 증가시킬 수 있다. 오브젝트 센싱 장치는 광원의 밝기를 증가시키고 동시에 카메라의 노출 시간도 함께 증가시킬 수도 있다.
다른 실시예에 따르면, 단계(840)에서 오브젝트 센싱 장치는 패턴 영상에 나타난 패턴의 개수, 패턴의 분포, 패턴의 해상도 및 패턴의 모양 중 적어도 하나가 미리 설정된 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 오브젝트 센싱 장치는 패턴의 분포가 미리 설정된 기준을 만족시키지 못하거나, 패턴의 해상도가 미리 설정된 기준보다 낮게 판단되거나, 또는 패턴의 모양의 왜곡이 미리 설정된 기준보다 큰 경우 오브젝트 센싱 장치는 미리 설정된 조건이 만족되지 않는 것으로 판단할 수 있다. 미리 설정된 조건이 만족되지 않는 것으로 판단된 경우, 단계(860)에서 오브젝트 센싱 장치는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정할 수 있다. 그 후, 오브젝트 센싱 장치는 조정된 광원의 밝기 및 조정된 카메라의 노출 시간 중 적어도 하나에 기초하여 디스플레이 상의 패턴 영상을 재촬영할 수 있다. 오브젝트 센싱 장치는 재촬영된 패턴 영상 내 패턴에서 기준 패턴을 식별하고, 패턴 영상 내 패턴이 미리 설정된 조건을 만족시키는지 여부를 다시 판단할 수 있다. 오브젝트 센싱 장치는 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시킬 때까지 단계(810) 내지 단계(860)의 과정을 반복하여 수행할 수 있다.
도 9는 일실시예에 따른 오브젝트 센싱 장치의 디스플레이 표면상의 캘리브레이션 패턴 영상으로부터 카메라 기준 캘리브레이션 패턴들을 탐색하는 방법을 보다 상세하게 설명하기 위한 흐름도이다.
단계(910)에서, 오브젝트 센싱 장치는 패턴 영상에서 기준 패턴을 탐색할 수 있다. 예를 들어, 오브젝트 센싱 장치는 패턴 영상에서 가장 큰 크기를 갖는 패턴(제1 패턴)을 찾고, 다음으로 크기가 큰 패턴(제2 패턴)을 찾은 후, 제1 패턴의 크기가 제2 패턴의 크기보다 k(미리 정해진 임의의 수) 배수 이상이 되면, 제1 패턴을 기준 패턴으로 결정할 수 있다.
단계(920)에서, 오브젝트 센싱 장치는 기준 패턴이 식별되었는지 여부를 판단할 수 있다. 기준 패턴을 식별할 수 없는 경우, 단계(990)에서 오브젝트 센싱 장치는 광원의 밝기 또는 카메라의 노출 시간을 조정하고 다시 기준 패턴을 탐색(910)할 수 있다.
기준 패턴이 식별된 경우, 단계(930)에서, 오브젝트 센싱 장치는 기준 패턴의 수직 방향에 위치한 수직 기준 패턴들을 탐색할 수 있다.
단계(940)에서, 오브젝트 센싱 장치는 수직 기준 패턴들이 식별되었는지 여부를 판단할 수 있다. 수직 기준 패턴들을 식별할 수 없는 경우, 단계(990)에서 오브젝트 센싱 장치는 광원의 밝기 또는 카메라의 노출 시간을 조정하고 다시 수직 기준 패턴들을 탐색(930)할 수 있다.
수직 기준 패턴이 식별된 경우, 단계(950)에서, 오브젝트 센싱 장치는 기준 패턴의 수평 방향에 위치한 수평 기준 패턴들을 탐색할 수 있다.
단계(960)에서, 오브젝트 센싱 장치는 수평 기준 패턴들이 식별되었는지 여부를 판단할 수 있다. 수평 기준 패턴들을 식별할 수 없는 경우, 단계(990)에서 오브젝트 센싱 장치는 광원의 밝기 또는 카메라의 노출 시간을 조정하고 다시 수평 기준 패턴들을 탐색(950)할 수 있다.
수평 기준 패턴이 식별된 경우, 단계(970)에서, 오브젝트 센싱 장치는 기준 패턴, 수직 기준 패턴, 수평 기준 패턴을 제외한 나머지 패턴들을 탐색할 수 있다.
단계(980)에서, 오브젝트 센싱 장치는 나머지 패턴들이 식별되었는지 여부를 판단할 수 있다. 나머지 패턴들을 식별할 수 없는 경우, 단계(990)에서 오브젝트 센싱 장치는 광원의 밝기 또는 카메라의 노출 시간을 조정하고 다시 나머지 기준 패턴들을 탐색(970)할 수 있다.
단계(930, 950, 970)에서, 오브젝트 센싱 장치는 카메라 뷰 영역에 대해 미리 정의된 패턴들의 개수와 실제 카메라가 촬영한 패턴 영상의 패턴들의 개수를 비교하여 패턴을 탐색할 수 있다. 오브젝트 센싱 장치는 패턴을 식별하는 과정에서 이진화된 패턴 영상에 나타난 패턴의 개수가 미리 설정된 조건을 만족하는지 여부를 검사하는 것 이외에도, 패턴 레이어에 포함된 패턴들의 대칭성 또는 카메라에 내장된 렌즈의 왜곡 모델을 이용하여 패턴 식별의 성공 여부를 결정할 수 있다.
다른 실시예에 따르면, 수평 기준 패턴을 탐색하는 단계(950)이 수직 기준 패턴을 탐색하는 단계(930)보다 먼저 수행될 수 있다. 오브젝트 센싱 장치는 광원의 밝기 또는 카메라의 노출 시간을 조정하여 카메라별로 최상의 캘리브레이션 포인트 좌표를 획득할 수 있다.
도 10은 복수의 카메라들(카메라 1, 카메라 2, ... 카메라 n)에 대해 병렬적으로 디스플레이 표면상의 캘리브레이션 패턴 영상으로부터 카메라 기준 캘리브레이션 패턴들을 탐색하는 방법을 설명하기 위한 흐름도이다. 단계(910, 920, 930)에서, 오브젝트 센싱 장치는 오브젝트 센싱 장치에 포함된 카메라들이 출력하는 패턴 영상에 기초하여 각각의 카메라들에 대해 광원 또는 카메라 노출 시간의 조정이 필요한지 여부를 판단할 수 있다.
단계(1015, 1025, 1035)에서, 오브젝트 센싱 장치는 단계(1010, 1020, 1030)에서의 판단 결과에 기초하여 광원 또는 카메라 노출 시간을 조정(1040)하거나 캘리브레이션 과정을 종료할 수 있다. 오브젝트 센싱 장치는 카메라별로 광원 또는 카메라 노출 시간을 조정하는 과정이 필요한지 여부를 판단하고, 각각의 카메라에 적용되는 최적의 기준 캘리브레이션 좌표를 얻기 위해 필요한 밝기 조건을 결정할 수 있다. 특정 광원에서 단계(1015, 1025, 1035)에서의 캘리브레이션 패턴 식별의 성공 조건들을 만족하여 캘리브레이션 패턴 식별 과정이 종료되면, 해당 카메라는 다음 단계에서 캘리브레이션 패턴의 식별 과정이 다시 수행되지 않는다. 다음 단계에서는 단계(1015, 1025, 1035)를 만족시키지 못한 카메라들에 대해서만 캘리브레이션 패턴의 식별 과정이 수행된다.
도 11은 다른 실시예에 따른 오브젝트 센싱 장치(1110)의 구성을 도시한 도면이다.
오브젝트 센싱 장치(1110)는 오브젝트 터치 영역을 포함하는 오브젝트 영상으로부터 사용자가 의도한 오브젝트 터치 영역을 결정할 수 있다. 예를 들어, 오브젝트 센싱 장치(1110)는 카메라에 의해 촬영된 오브젝트 영상에서 사용자의 손가락이 디스플레이상에 터치된 오브젝트의 터치 영역을 식별할 수 있다.
복수의 카메라들이 촬영한 오브젝트 영상의 중첩(overlap) 영역에서는 오브젝트 근접 영역에 의해 왜곡이 발생할 수 있다. 중첩 영역에 나타난 오브젝트 근접 영역은 카메라들이 생성한 오브젝트 영상들을 결합하는 과정에서 왜곡을 발생시킬 수 있다. 오브젝트 센싱 장치(1110)는 위와 같은 왜곡에 의해 발생하는 의도하지 않은 오브젝트 터치 영역을 제거함으로써 사용자가 의도한 오브젝트 터치 영역을 탐색할 수 있다.
도 11을 참조하면, 오브젝트 센싱 장치(1110)는 오브젝트 터치 영역 추출부(1120), 기준 서브 영역 결정부(1130) 및 오브젝트 터치 영역 결정부(1140)를 포함할 수 있다.
오브젝트 터치 영역 추출부(1120)는 오브젝트가 촬영된 오브젝트 영상으로부터 오브젝트 터치 영역을 추출할 수 있다. 오브젝트 터치 영역 추출부(1120)는 오브젝트가 촬영된 오브젝트 영상에서 미리 설정된 시간동안 움직임이 없는 배경 영역을 추정할 수 있다. 오브젝트 터치 영역 추출부(1120)는 오브젝트 영상에서 배경 영역을 차감하여 차영상(difference image)을 생성할 수 있다. 오브젝트 터치 영역 추출부(1120)는 오브젝트 영상에서 배경 영역을 제외한 나머지 영역에서 오브젝트 터치 영역을 추출할 수 있다. 예를 들어, 오브젝트 터치 영역 추출부(1120)는 가우시안(Gaussian) 필터링, 미디안(median) 필터링 및 하이패스(highpass) 필터링 중 적어도 하나의 필터링 과정과 증폭 과정을 통해 영상에서 터치 블럽(touch blob)과 관련된 salient region을 추출하는 것에 의해 오브젝트 터치 영역을 추출할 수 있다.
오브젝트 터치 영역 추출부(1120)는 오브젝트 영상을 생성하는 카메라가 가지는 고유 특성에 기초하여 오브젝트 터치 영역을 추출하기 위한 임계값을 적응적으로 결정할 수 있다. 예를 들어, 오브젝트 터치 영역 추출부(1120)는 카메라에 포함된 픽셀이 가질 수 있는 최대 세기 특성 및 최소 세기 특성에 기초하여 오브젝트 터치 영역을 추출하기 위한 임계값을 각각의 픽셀마다 적응적으로 결정할 수 있다.
기준 서브 영역 결정부(1130)는 오브젝트 영상을 복수 개의 서브 영역들로 분할하고, 서브 영역들 중에서 기준 서브 영역을 결정할 수 있다. 기준 서브 영역 결정부(1130)는 분할된 서브 영역들 중에서 오브젝트 터치 영역을 가장 많이 포함하는 서브 영역을 기준 서브 영역으로 결정할 수 있다. 기준 서브 영역 결정부(1130)는 기준 서브 영역의 위치에 기초하여 오브젝트 터치 영역의 방향성을 결정할 수 있다.
오브젝트 터치 영역을 가장 많이 포함하는 서브 영역이 복수 개가 존재하는 경우, 기준 서브 영역 결정부(1130)는 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점을 기준으로 분할된 서브 영역들을 일정 각도만큼 회전시킬 수 있다. 기준 서브 영역 결정부(1130)는 회전된 서브 영역들에 포함된 오브젝트 터치 영역의 개수에 기초하여 기준 서브 영역을 결정하고, 오브젝트 터치 영역의 방향성을 결정할 수 있다.
오브젝트 터치 영역 결정부(1140)는 기준 서브 영역에 포함된 오브젝트 터치 영역에 기초하여 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 오브젝트 터치 영역 결정부(1140)는 오브젝트 터치 영역의 방향성에 기초하여 제거할 오브젝트 터치 영역을 결정할 수 있다. 오브젝트 터치 영역 결정부(1140)는 기준 서브 영역에 포함된 오브젝트 터치 영역과 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점에 기초하여 기준 서브 영역에 포함된 오브젝트 터치 영역의 방향성을 결정할 수 있다. 오브젝트 터치 영역 결정부(1140)는 기준 서브 영역에 포함된 오브젝트 터치 영역의 방향성에 기초하여 오브젝트 영상에 적용할 조건을 결정할 수 있다. 예를 들어, 오브젝트 터치 영역 결정부(1140)는 판별식에 기초하여 오브젝트 터치 영역의 방향성에 반대되는 오브젝트 터치 영역을 결정하고, 오브젝트 터치 영역의 방향성에 반대되는 오브젝트 터치 영역을 제거할 오브젝트 터치 영역으로 결정할 수 있다.
오브젝트 터치 영역 결정부(1140)는 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점과 기준 서브 영역에 포함된 오브젝트 터치 영역 간의 거리에 기초하여 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 오브젝트 센싱 장치(1110)는 "기준 서브 영역에 포함된 오브젝트 터치 영역들과 오브젝트 근접 영역의 중심점 간의 거리들을 평균한 거리 평균값 ave_dist"과 "오브젝트 터치 영역의 방향성에 반대되는 오브젝트 터치 영역들 중 이들과 오브젝트 근접 영역의 중심점 간의 거리 a_dist"를 비교하여 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 예를 들어, 오브젝트 센싱 장치(1110)는 a_dist 값이 ave_dist를 특정 상수로 나눈 결과값보다 크면, 오브젝트 터치 영역의 방향성에 반대되는 오브젝트 터치 영역일지라도 이를 유지하는 것으로 결정할 수 있다.
오브젝트 터치 영역 결정부(1140)는 기준 서브 영역에 포함된 오브젝트 터치 영역들 중 인접한 오브젝트 터치 영역들의 사이가 모두 오브젝트 근접 영역에 포함되는 경우, 인접한 오브젝트 터치 영역들 중 오브젝트 근접 영역의 중심점으로부터 거리가 가장 먼 오브젝트 터치 영역을 제외한 나머지 오브젝트 터치 영역들을 제거하는 것으로 결정할 수 있다.
오브젝트 터치 영역 결정부(1140)는 인접한 오브젝트 터치 영역들의 사이가 모두 오브젝트 근접 영역에 포함되는 경우, 오브젝트 근접 영역의 중심점과 인접한 오브젝트 터치 영역들의 위치가 이루는 각도에 기초하여 제거할 오브젝트 터치 영역을 결정할 수 있다. 예를 들어, 오브젝트 터치 영역 결정부(1140)는 오브젝트 근접 영역의 중심점과 인접한 오브젝트 터치 영역들의 위치가 이루는 각도가 미리 설정된 각도 이상인 경우, 오브젝트 근접 영역의 중심점으로부터 거리가 가장 먼 오브젝트 터치 영역이 아닌 오브젝트 터치 영역이라도 유지하는 것으로 결정할 수 있다.
오브젝트 터치 영역 결정부(1140)는 최종적으로 제거하는 것으로 결정된 오브젝트 터치 영역을 오브젝트 영상에서 제거할 수 있다. 오브젝트 터치 영역 결정부(1140)는 오브젝트 영상에 포함된 오브젝트 터치 영역들 중 사용자가 의도하지 않은 오브젝트 터치 영역들을 제거할 수 있다.
도 12는 일실시예에 따른 오브젝트 영상에서 오브젝트 터치 영역을 추출하는 과정을 설명하기 위한 흐름도이다.
단계(1210)에서, 오브젝트 센싱 장치는 오브젝트 영상에서 배경 영역을 추출하고, 오브젝트 영상에서 배경 영역을 제거하는 것에 의해 차영상을 생성할 수 있다.
단계(1220)에서, 오브젝트 센싱 장치는 차영상에 가우시안 필터링, 미디안 필터링, 하이패스 필터링 중 적어도 하나를 수행할 수 있다.
단계(1230)에서, 오브젝트 센싱 장치는 단계(1220)의 필터링이 수행된 영상에 대해 필터링된 결과를 증폭할 수 있다.
단계(1240)에서, 오브젝트 센싱 장치는 필터링 및 증폭 과정이 수행된 영상에서 터치 블럽(touch blob)과 관련된 salient region을 추출함에 의해 오브젝트 터치 영역들을 손쉽게 추출할 수 있다.
도 13은 일실시예에 따른 캘리브레이션이 수행되기 전에 촬영된 오브젝트 영상의 일례를 도시한 도면이다. 도 13을 참조하면, 사용자의 손이 디스플레이를 터치하는 것을 촬영한 오브젝트 영상이 도시되어 있고, 오브젝트 터치 영역들(1320-1332), 오브젝트 근접 영역(1310)과 오브젝트 근접 영역의 중심점(1312)이 나타나 있다.
카메라의 중첩 영역에서 촬영된 영상들이 하나의 영상으로 결합되는 과정에서, 오브젝트 근접 영역에 대한 영상이 왜곡될 수 있다. 오브젝트 터치 영역들(1320-1328)은 사용자가 의도한 오브젝트 터치 영역들이나, 오브젝트 터치 영역들(1330, 1332)는 영상의 왜곡에 의해 잘못 추출된 오브젝트 터치 영역들로서, 사용자가 의도하지 않은 오브젝트 터치 영역들을 나타낸다. 오브젝트 센싱 장치는 의도하지 않은 오브젝트 터치 영역들(1330, 1332)를 오브젝트 영상에서 제거함으로써 사용자의 제어 명령을 정확히 인식할 수 있다.
도 13의 오브젝트 영상은 네 개의 카메라 영역을 포함하고 있고, 촬영된 오브젝트는 네 개의 카메라 영역들의 경계 영역에 걸쳐있다. 도 13에서 점선(dashed line)으로 둘러 쌓인 영역(1340)은 네 개의 카메라 영역이 중첩된 영역을 나타낸다. 중첩된 영역에서의 frustrated hover 영상으로 인해 사용자가 의도하지 않는 오브젝트 터치 영역들(1330, 1332)이 나타날 수 있다. 오브젝트가 카메라 영역들의 경계에 걸쳐있을 경우, 카메라들 사이에서 오브젝트 터치 영역과 오브젝트 근접 영역을 균일(uniform)하게 추출하기 위해 수학식 2의 adaptive threshold 기법이 이용될 수 있다.
도 14a 내지 도 14b는 일실시예에 따른 오브젝트 터치 영역의 방향성을 결정하는 과정을 설명하기 위한 도면이다.
도 14a를 참조하면, 오브젝트 센싱 장치는 오브젝트 영상에서 오브젝트 터치 영역들(1440, 1442, 1444, 1446, 1448)을 추출한 후, 오브젝트 영상을 복수 개의 서브 영역들(1420, 1425, 1430, 1435)로 분할할 수 있다. 또는, 오브젝트 센싱 장치는 오브젝트 영상을 복수 개의 서브 영역들(1420, 1425, 1430, 1435)로 분할한 다음에 오브젝트 터치 영역들(1440, 1442, 1444, 1446, 1448)을 추출할 수도 있다. 오브젝트 센싱 장치는 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점(1410)에 기초하여 오브젝트 영상을 복수 개의 서브 영역들(1420, 1425, 1430, 1435)로 분할할 수 있다. 오브젝트 센싱 장치는 분할된 서브 영역들(1420, 1425, 1430, 1435) 중 오브젝트 터치 영역을 가장 많이 포함하고 있는 서브 영역을 기준 서브 영역으로 결정하고, 오브젝트 근접 영역에 속하는 오브젝트 터치 영역들의 방향성을 결정할 수 있다. 도 14a에서는 4개의 오브젝트 터치 영역들(1440, 1442, 1444, 1446)을 포함하고 있는 서브 영역(1430)이 기준 서브 영역으로 결정될 수 있다.
도 14b를 참조하면, 기준 서브 영역이 결정된 경우, 오브젝트 센싱 장치는 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점(1410)에 기초하여 오브젝트 터치 영역의 방향성(1450)을 결정할 수 있다. 오브젝트 센싱 장치는 오브젝트 터치 영역의 방향성을 이용하여 사용자가 의도하지 않은 오브젝트 터치 영역들을 구별할 수 있다.
도 15a 내지 도 15b는 다른 실시예에 따른 오브젝트 터치 영역의 방향성을 결정하는 과정을 설명하기 위한 도면이다.
오브젝트 영상이 분할된 서브 영역들(1520, 1525, 1530, 1540)에 최대 개수의 오브젝트 터치 영역들을 포함하고 있는 서브 영역들이 복수 개가 존재하는 경우, 오브젝트 터치 영역의 방향성을 결정하기가 어려울 수 있다. 이 경우, 오브젝트 센싱 장치는 오브젝트 터치 영역들(1542, 1544, 1546, 1548, 1550)의 좌표를 특정 각도로 회전하고, 회전된 오브젝트 터치 영역들을 기준으로 다시 오브젝트 터치 영역의 방향성을 탐색할 수 있다.
오브젝트 센싱 장치는 오브젝트 근접 영역의 중심점(1510)을 영점으로 하는 좌표로 오브젝트 터치 영역들 오브젝트 터치 영역들(1542, 1544, 1546, 1548, 1550)의 좌표를 이동시키고, 2D(dimensional) 회전 매트릭스를 이용하여 오브젝트 터치 영역들(1542, 1544, 1546, 1548, 1550)의 좌표를 회전시킬 수 있다. 그 후, 오브젝트 센싱 장치는 각 서브 영역에 포함된 오브젝트 터치 영역들의 개수에 기초하여 오브젝트 터치 영역의 방향성을 결정할 수 있다.
예를 들어, 오브젝트 센싱 장치는 오브젝트 근접 영역의 중심점(1510)을 영점으로 하여 오브젝트 터치 영역들(1542, 1544, 1546, 1548, 1550)의 좌표를 45도로 회전시킬 수 있다. 도 15b에서와 같이, 오브젝트 센싱 장치는 좌표축을 오브젝트 근접 영역의 중심점(1510)을 중심으로 45도로 회전시키고, 회전된 좌표축을 기준으로 오브젝트 터치 영역들(1542, 1544, 1546, 1548, 1550)의 좌표를 식별할 수 있다. 오브젝트 센싱 장치는 45도씩 회전된 오브젝트 터치 영역들(1542, 1544, 1546, 1548, 1550)에 기초하여 45도 회전된 새로운 좌표에서의 오브젝트 터치 영역들이 가지는 방향성(1560)을 결정할 수 있다.
도 16은 일실시예에 따른 오브젝트 터치 영역의 제거 여부를 결정하는 과정을 설명하기 위한 도면이다.
도 16을 참조하면, 오브젝트 영상이 분할된 서브 영역들(1630, 1635, 1640, 1645)과 추출된 오브젝트 터치 영역들(1610, 1612, 1614, 1616, 1617, 1618)이 도시되어 있다. 오브젝트 터치 영역(1618)이 사용자의 옷에 의해 의도하지 않게 생성된 오브젝트 터치 영역이라고 가정하면, 오브젝트 터치 영역은 오브젝트 터치 영역들의 방향성을 이용하여 의도하지 않은 오브젝트 터치 영역을 제거할 수 있다.
오브젝트 센싱 장치는 오브젝트 터치 영역들(1610, 1612, 1614, 1616)을 포함하고 있는 서브 영역(1640)을 기준 서브 영역을 결정할 수 있고, 기준 서브 영역의 위치에 따라 오브젝트 터치 영역들의 방향성을 결정할 수 있다. 예를 들어, 오브젝트 근접 영역의 중심점(1605)을 기준으로 서브 영역(1640)의 방향성이 SW(south west)라 한다면, 오브젝트 센싱 장치는 오브젝트 터치 영역들의 방향성을 기준 서브 영역의 방향성인 SW으로 결정할 수 있다.
오브젝트 센싱 장치는 오브젝트 터치 영역들의 방향성에 기초하여 판별 기준선(1620)을 결정하고, 판별 기준선(1620)을 기준으로 기준 서브 영역(1640)에 포함된 오브젝트 터치 영역들(1610, 1612, 1614, 1616)의 반대편에 위치한 오브젝트 터치 영역(1618)을 제거할 수 있다. 예를 들어, 판별 기준선(1620)은 판별식(discriminant) 'y-x<0'과 같이 나타낼 수 있고, 오브젝트 센싱 장치는 판별식을 만족하는 오브젝트 터치 영역(1618)을 제거할 수 있다. 판별식을 이용하여 의도하지 않은 오브젝트 터치 영역을 제거하는 과정에서, 판별식을 만족하는 오브젝트 터치 영역을 제거하지 말아야 할 예외적인 경우가 있을 수 있다.
오브젝트 센싱 장치는 기준 서브 영역(1640)에 포함된 오브젝트 터치 영역들(1610, 1612, 1614, 1616)과 오브젝트 근접 영역의 중심점(1605) 간의 거리에 기초하여 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 예를 들어, 오브젝트 센싱 장치는 기준 서브 영역(1640)에 포함된 오브젝트 터치 영역들(1610, 1612, 1614, 1616)과 오브젝트 근접 영역의 중심점(1605) 간의 거리들을 평균하여 거리 평균값(ave_dist)를 계산할 수 있다. 오브젝트 센싱 장치는 판별식 조건을 만족하는 오브젝트 터치 영역과 오브젝트 근접 영역의 중심점(1605) 간의 거리를 계산하고, 거리가 거리 평균값(ave_dist)을 특정 상수로 나눈 결과보다 크면 판별식 조건을 만족하는 오브젝트 터치 영역을 제거하지 않을 수 있다.
오브젝트 센싱 장치는 기준 서브 영역(1640)에 포함된 오브젝트 터치 영역들(1610, 1612, 1614, 1616)과 오브젝트 근접 영역의 중심점(1605) 간의 거리에 기초하여 제거해야 할 오브젝트 터치 영역을 판단함으로써, 특정 오브젝트 터치 영역이 오브젝트 터치 영역의 제거 여부를 판단하는 판별식을 만족하더라도, 이를 제거하지 않고 유지하는 것으로 결정할 수 있다. 위와 같은 방법을 통해 오브젝트 센싱 장치는 제거해야 할 오브젝트 터치 영역을 정확히 구별할 수 있다.
도 17은 다른 실시예에 따른 오브젝트 터치 영역의 제거 여부를 결정하는 과정을 설명하기 위한 도면이다.
오브젝트 센싱 장치는 오브젝트 영상에 나타난 오브젝트 터치 영역들(1730-1742) 중 인접한 오브젝트 터치 영역들 사이가 모두 오브젝트 근접 영역(1710)에 속하는지 여부에 기초하여 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 예를 들어, 도 17에서와 같이 인접한 오브젝트 터치 영역들(1736, 1740, 1742)의 사이가 오브젝트 근접 영역(1710)에 모두 포함되는 경우, 오브젝트 센싱 장치는 오브젝트 근접 영역의 중심점(1720)으로부터 거리가 가장 먼 오브젝트 터치 영역(1736)만 유지하고, 나머지 오브젝트 터치 영역들(1740, 1742)을 제거할 수 있다.
도 18은 또 다른 실시예에 따른 오브젝트 터치 영역의 제거 여부를 결정하는 과정을 설명하기 위한 도면이다.
도 17의 인접한 오브젝트 터치 영역들에서 사용자가 의도하지 않은 오브젝트 터치 영역을 제거하는 과정에서 예외적인 경우가 존재할 수 있다. 예를 들어, 사용자의 두 손가락에 대한 오브젝트 영상이 중첩되게 생성되는 경우, 오브젝트 터치 영역은 두 손가락 모두에 존재하는데 반해, 오브젝트 근접 영역의 중심점에서 거리가 가장 먼 오브젝트 터치 영역만 유지되고, 다른 오브젝트 터치 영역은 제거될 수 있다.
오브젝트 센싱 장치는 오브젝트 터치 영역 A(1820)과 B(1830)사이가 모두 오브젝트 근접 영역(1810)에 모두 포함되는 경우, 오브젝트 터치 영역 A(1820)과 오브젝트 근접 영역의 중심점(1815)이 이루는 선분과 오브젝트 터치 영역 A(1820)과 오브젝트 터치 영역 B(1825)가 이루는 선분 사이의 사이 각(1830)에 기초하여 오브젝트 터치 영역 B(1825)를 제거할지 여부를 결정할 수 있다. 예를 들어, 오브젝트 센싱 장치는 사이 각(1830)이 미리 설정된 각도 이상이면 오브젝트 터치 영역 B(1825)를 유지하고, 사이 각(1830)이 미리 설정된 각도 미만이면 오브젝트 터치 영역 B(1825)를 제거할 수 있다.
도 19는 일실시예에 따른 오브젝트 센싱 방법을 설명하기 위한 흐름도이다.
단계(1910)에서, 오브젝트 센싱 장치는 오브젝트가 촬영된 오브젝트 영상으로부터 오브젝트 터치 영역을 추출할 수 있다. 오브젝트 센싱 장치는 오브젝트가 촬영된 오브젝트 영상에서 미리 설정된 시간동안 움직임이 없는 배경 영역을 추정하고, 배경 영역에 기초하여 차영상을 생성할 수 있다. 오브젝트 센싱 장치는 가우시안 필터링, 미디안 필터링 및 하이패스 필터링 중 적어도 하나의 필터링 과정과 증폭 과정을 통해 오브젝트 터치 영역을 추출할 수 있다.
단계(1920)에서, 오브젝트 센싱 장치는 오브젝트 영상을 복수 개의 서브 영역들로 분할하고, 서브 영역들 중에서 기준 서브 영역을 결정할 수 있다. 오브젝트 센싱 장치는 분할된 서브 영역들 중에서 오브젝트 터치 영역을 가장 많이 포함하는 서브 영역을 기준 서브 영역으로 결정할 수 있다. 오브젝트 센싱 장치는 기준 서브 영역의 위치에 기초하여 오브젝트 터치 영역의 방향성을 결정할 수 있다. 오브젝트 센싱 장치는 위와 같은 방법을 통해 기준 서브 영역을 결정하지 못하는 경우, 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점을 기준으로 분할된 서브 영역들을 일정 각도만큼 회전시켜서 오브젝트 터치 영역들의 방향성을 결정할 수 있다. 오브젝트 센싱 장치는 회전된 서브 영역들에 포함된 오브젝트 터치 영역의 개수에 기초하여 기준 서브 영역을 결정하고, 오브젝트 터치 영역의 방향성을 결정할 수 있다.
단계(1930)에서, 오브젝트 센싱 장치는 기준 서브 영역에 포함된 오브젝트 터치 영역에 기초하여 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 오브젝트 센싱 장치는 오브젝트 터치 영역의 방향성에 기초하여 제거할 오브젝트 터치 영역을 결정할 수 있다. 오브젝트 센싱 장치는 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점과 기준 서브 영역에 포함된 오브젝트 터치 영역 간의 거리에 기초하여 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 오브젝트 센싱 장치는 인접한 오브젝트 터치 영역들의 사이가 모두 오브젝트 근접 영역에 포함되는 경우, 인접한 오브젝트 터치 영역들 중 오브젝트 근접 영역의 중심점으로부터 거리가 가장 먼 오브젝트 터치 영역을 제외한 나머지 오브젝트 터치 영역을 제거하는 것으로 결정할 수 있다. 오브젝트 센싱 장치는 인접한 오브젝트 터치 영역들의 사이가 모두 오브젝트 근접 영역에 포함되는 경우, 오브젝트 근접 영역의 중심점과 인접한 오브젝트 터치 영역들의 위치가 이루는 각도에 기초하여 제거할 오브젝트 터치 영역을 결정할 수 있다.
단계(1940)에서, 오브젝트 센싱 장치는 최종적으로 제거하는 것으로 결정된 오브젝트 터치 영역을 오브젝트 영상에서 제거할 수 있다. 오브젝트 센싱 장치는 오브젝트 영상에 포함된 오브젝트 터치 영역들 중 사용자가 의도하지 않은 오브젝트 터치 영역들을 제거할 수 있다.
도 20은 다른 실시예에 따른 오브젝트 센싱 방법을 설명하기 위한 흐름도이다.
단계(2010)에서, 오브젝트 센싱 장치는 오브젝트 근접 영역을 식별할 수 있다. 오브젝트 센싱 장치는 오브젝트 영상에 적용될 임계값을 조정하여 오브젝트 근접 영역의 범위를 결정할 수 있다. 예를 들어, 오브젝트 센싱 장치는 오브젝트 영상에 대해 필터링을 수행함으로써 오브젝트 영상에서 오브젝트 근접 영역을 추출할 수 있다. 오브젝트 센싱 장치는 수학식 2를 통해 결정된 adaptive threshold 값을 이용하여 오브젝트 근접 영역을 추출할 수 있다.
단계(2020)에서, 오브젝트 센싱 장치는 오브젝트 근접 영역의 중심을 식별할 수 있다. 단계(2030)에서, 오브젝트 센싱 장치는 오브젝트가 디스플레이상에 터치된 오브젝트 터치 영역을 식별할 수 있다.
단계(2040)에서, 오브젝트 센싱 장치는 오브젝트 터치 영역의 방향성을 결정할 수 있다. 오브젝트 센싱 장치는 오브젝트 영상을 복수 개의 서브 영역들로 분할하고, 서브 영역들에 포함된 오브젝트 터치 영역들의 개수에 기초하여 기준 서브 영역을 결정할 수 있다. 오브젝트 센싱 장치는 기준 서브 영역과 오브젝트 근접 영역의 중심점에 기초하여 오브젝트 터치 영역의 방향성을 결정할 수 있다.
단계(2050)에서, 오브젝트 센싱 장치는 '방향성 조건'에 기초하여 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 오브젝트 센싱 장치는 대상 오브젝트 터치 영역이 오브젝트 터치 영역의 방향성에 반대되는 방향성을 가지는 경우, 대상 오브젝트 터치 영역을 제거하는 것으로 결정할 수 있다. 예를 들어, 오브젝트 센싱 장치는 오브젝트 터치 영역의 방향성에 기초하여 오브젝트 영상에 적용할 판별식을 결정하고, 판별식을 만족하는 오브젝트 터치 영역을 제거하는 것으로 결정할 수 있다.
단계(2060)에서, 오브젝트 센싱 장치는 '중심점으로부터의 거리 조건'에 기초하여 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 오브젝트 센싱 장치는 인접한 오브젝트 터치 영역들의 사이가 모두 오브젝트 근접 영역에 포함되는 경우, 오브젝트 근접 영역의 중심점으로부터 거리가 가장 먼 오브젝트 영역만을 유지하는 것으로 결정하고, 나머지 오브젝트 영역들은 제거하는 것으로 결정할 수 있다.
단계(2070)에서, 오브젝트 센싱 장치는 '중심점과의 각도 조건'에 기초하여 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 오브젝트 센싱 장치는 단계(2060)에서 제거하는 것으로 결정된 오브젝트 터치 영역이라도, 단계(2060)에서 유지하는 것으로 결정된 오브젝트 터치 영역의 중심점, 단계(2060)에서 제거하는 것으로 결정된 오브젝트 터치 영역의 중심점, 오브젝트 근접 영역의 중심점이 이루는 사이 각이 미리 설정된 각도 이상이면, 단계(2060)에서 제거하는 것으로 결정된 오브젝트 터치 영역을 유지하는 것으로 결정할 수 있다.
단계(2080)에서, 오브젝트 센싱 장치는 '기준 서브 영역 내 오브젝트 터치 영역들과 오브젝트 근접 영역의 중심점 간의 거리 조건'에 기초하여 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 오브젝트 센싱 장치는 단계(2050)에서 제거하는 것으로 결정된 오브젝트 터치 영역이라도, 기준 서브 영역에 포함된 오브젝트 터치 영역들과 오브젝트 근접 영역의 중심점 간의 거리에 기초하여 단계(2050)에서 제거하는 것으로 결정된 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 예를 들어, 오브젝트 센싱 장치는 "기준 서브 영역에 포함된 오브젝트 터치 영역들과 오브젝트 근접 영역의 중심점 간의 거리들을 평균한 거리 평균값 ave_dist"과 "단계(2050)에서 제거하는 것으로 결정된 오브젝트 터치 영역과 오브젝트 근접 영역의 중심점 간의 거리 a_dist"를 비교하여 오브젝트 터치 영역의 제거 여부를 결정할 수 있다. 단계(2050)에서 제거하는 것으로 결정된 터치 오브젝트 영역의 거리 a_dist가 터치 오브젝트 영역들의 거리 평균값 ave_dist을 특정 상수로 나눈 결과보다 큰 경우, 오브젝트 센싱 장치는 단계(2050)에서 제거하는 것으로 결정된 터치 오브젝트 영역을 유지하는 것으로 결정할 수 있다.
단계(2090)에서, 오브젝트 센싱 장치는 유지하는 것으로 결정된 오브젝트 터치 영역들을 오브젝트 영상에서 유지할 수 있다. 단계(2095)에서, 오브젝트 센싱 장치는 제거하는 것으로 결정한 오브젝트 터치 영역을 오브젝트 영상에서 제거할 수 있다. 단계(2010) 내지 단계(2095)의 과정을 통해 오브젝트 영상에서 사용자가 의도하지 않은 오브젝트 터치 영역들이 제거될 수 있다.
오브젝트 센싱 장치는 단계(2050) 내지 단계(2080) 중 적어도 하나의 단계를 수행할 수 있고, 위 설명된 내용에 의해 실시예의 범위가 단계(2050) 내지 단계(2080)을 모두 수행하는 것으로 해석되어서는 안된다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (34)

  1. 디스플레이;
    상기 디스플레이를 향해 광을 방사하는 광원;
    상기 디스플레이 상의 위치를 식별하기 위한 패턴을 포함하는 패턴 레이어;
    상기 패턴에 반사되어 되돌아온 반사광에 기초하여 패턴 영상을 생성하는 카메라; 및
    상기 패턴 영상으로부터 기준 패턴이 식별가능한지 여부에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작이 적절한지 여부를 결정하고, 상기 패턴 영상에 나타난 패턴에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 제어부
    를 포함하는 오브젝트 센싱 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 패턴 영상에 나타난 패턴에 기초하여 상기 광원의 밝기 및 상기 카메라의 노출 시간 중 적어도 하나를 조정하는 오브젝트 센싱 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 패턴 영상에 나타난 패턴의 분포, 패턴의 개수, 패턴의 밝기, 패턴의 해상도 및 패턴의 모양 중 적어도 하나에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 오브젝트 센싱 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 패턴 영상에 나타난 패턴들 중 주변 패턴들보다 크기가 큰 기준 패턴을 식별하지 못한 경우, 상기 광원의 밝기를 증가시키거나 또는 상기 카메라의 노출 시간을 증가시키는 오브젝트 센싱 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 패턴 영상에 나타난 패턴들의 개수가 미리 설정된 개수보다 적은 경우, 상기 광원의 밝기를 증가시키거나 또는 상기 카메라의 노출 시간을 증가시키는 오브젝트 센싱 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 패턴 영상에 나타난 기준 패턴의 크기가 미리 설정된 조건을 만족하는지 여부에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 오브젝트 센싱 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 패턴 영상에 나타난 패턴의 개수가 미리 설정된 조건을 만족하는지 여부에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 오브젝트 센싱 장치.
  8. 디스플레이;
    상기 디스플레이를 향해 광을 방사하는 광원;
    상기 디스플레이 상의 위치를 식별하기 위한 패턴을 포함하는 패턴 레이어;
    상기 패턴에 반사되어 되돌아온 반사광에 기초하여 패턴 영상을 생성하는 카메라; 및
    상기 패턴 영상에 나타난 패턴에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 제어부
    를 포함하고,
    상기 제어부는,
    상기 패턴 영상에 나타난 각각의 패턴 영역에서 중심점을 추출하고, 추출된 중심점의 개수 및 위치 중 적어도 하나가 미리 설정된 조건을 만족하는지 여부에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 오브젝트 센싱 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 패턴 영상을 이진화된 패턴 영상으로 변환하고, 상기 이진화된 패턴 영상에 기초하여 패턴 영역의 중심점을 추출하는 오브젝트 센싱 장치.
  10. 디스플레이;
    상기 디스플레이를 향해 광을 방사하는 광원;
    상기 디스플레이 상의 위치를 식별하기 위한 패턴을 포함하는 패턴 레이어;
    상기 패턴에 반사되어 되돌아온 반사광에 기초하여 패턴 영상을 생성하는 카메라; 및
    상기 패턴 영상에 나타난 패턴에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 제어부
    를 포함하고,
    상기 제어부는,
    상기 카메라의 화각(view angle) 정보 및 상기 카메라로부터 상기 디스플레이까지의 거리 정보에 기초하여 상기 패턴 레이어에 포함된 패턴들 간의 거리를 카메라 영상 좌표상에서 추정하는 오브젝트 센싱 장치.
  11. 디스플레이;
    상기 디스플레이를 향해 광을 방사하는 광원;
    상기 디스플레이 상의 위치를 식별하기 위한 패턴을 포함하는 패턴 레이어;
    상기 패턴에 반사되어 되돌아온 반사광에 기초하여 패턴 영상을 생성하는 카메라; 및
    상기 패턴 영상에 나타난 패턴에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 제어부
    를 포함하고,
    상기 제어부는,
    상기 패턴 레이어에 포함된 패턴들 간의 거리 비율에 기초하여 상기 패턴 영상 내 위치에 대응하는 디스플레이 상의 위치를 식별하는 오브젝트 센싱 장치.
  12. 디스플레이;
    상기 디스플레이를 향해 광을 방사하는 광원;
    상기 디스플레이 상의 위치를 식별하기 위한 패턴을 포함하는 패턴 레이어;
    상기 패턴에 반사되어 되돌아온 반사광에 기초하여 패턴 영상을 생성하는 카메라; 및
    상기 패턴 영상에 나타난 패턴에 기초하여 상기 광원 및 상기 카메라 중 적어도 하나의 동작을 조정하는 제어부
    를 포함하고,
    상기 패턴 레이어의 패턴은
    블럽(blob) 형태의 패턴이 일정한 규칙을 가지고 배열되고, 주변 패턴보다 크기가 큰 기준 패턴을 포함하는 오브젝트 센싱 장치.
  13. 제1항에 있어서,
    상기 광원은, 디스플레이를 향해 적외선을 방사하고,
    상기 카메라는, 상기 오브젝트에 반사되어 카메라에 입력되는 적외선에 반응하여 오브젝트 영상을 생성하는 오브젝트 센싱 장치.
  14. 디스플레이 상의 패턴 영상을 촬영하는 단계;
    상기 패턴 영상으로부터 기준 패턴이 식별가능한지 여부에 기초하여 광원 및 카메라 중 적어도 하나의 동작이 적절한지 여부를 결정하는 단계; 및
    결정 결과에 기초하여, 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계
    를 포함하는 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  15. 제14항에 있어서,
    상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계는,
    상기 패턴 영상에 나타난 패턴들 중 주변 패턴들보다 크기가 큰 기준 패턴을 식별하는 단계; 및
    상기 기준 패턴을 식별하지 못한 경우, 광원의 밝기를 증가시키거나 또는 카메라의 노출 시간을 증가시키는 단계
    를 포함하는 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  16. 제14항에 있어서,
    상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계는,
    상기 패턴 영상에 나타난 패턴의 분포, 패턴의 개수, 패턴의 밝기, 패턴의 해상도 및 패턴의 모양 중 적어도 하나에 기초하여 상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계
    를 포함하는 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  17. 디스플레이 상의 패턴 영상을 촬영하는 단계; 및
    상기 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시키지 않은 경우, 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계
    를 포함하고,
    상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계는,
    상기 패턴 영상에 나타난 패턴의 분포, 패턴의 개수, 패턴의 밝기, 패턴의 해상도 및 패턴의 모양 중 적어도 하나가 미리 설정된 조건을 만족시키는지 여부를 판단하는 단계;
    상기 판단 결과에 따라 상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계;
    상기 조정된 적어도 하나의 광원의 밝기 및 카메라의 노출 시간에 기초하여 상기 디스플레이 상의 패턴 영상을 재촬영하는 단계; 및
    상기 재촬영된 패턴 영상 내 패턴이 상기 미리 설정된 조건을 만족시키는지 여부를 판단하는 단계
    를 포함하는 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  18. 디스플레이 상의 패턴 영상을 촬영하는 단계; 및
    상기 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시키지 않은 경우, 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계
    를 포함하고,
    상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계는,
    상기 패턴 영상에 나타난 패턴들 중 주변 패턴들보다 크기가 큰 기준 패턴을 식별하는 단계; 및
    상기 기준 패턴을 식별하지 못한 경우, 광원의 밝기를 증가시키거나 또는 카메라의 노출 시간을 증가시키는 단계
    를 포함하고,
    상기 기준 패턴을 식별하는 단계는,
    상기 패턴 영상을 이진화된 패턴 영상으로 변환하는 단계; 및
    상기 이진화된 패턴 영상에 나타난 패턴 영역에 기초하여 주변 패턴보다 크기가 큰 기준 패턴을 식별하는 단계
    를 포함하는 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  19. 디스플레이 상의 패턴 영상을 촬영하는 단계; 및
    상기 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시키지 않은 경우, 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계
    를 포함하고,
    상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계는,
    상기 패턴 영상에 나타난 패턴들 중 주변 패턴들보다 크기가 큰 기준 패턴을 식별하는 단계; 및
    상기 기준 패턴을 식별하지 못한 경우, 광원의 밝기를 증가시키거나 또는 카메라의 노출 시간을 증가시키는 단계
    상기 기준 패턴을 식별하는 단계는,
    상기 패턴 영상에 나타난 패턴들 중 크기가 가장 큰 제1 패턴을 식별하는 단계;
    상기 제1 패턴을 제외한 나머지 패턴들 중 크기가 가장 큰 제2 패턴을 식별하는 단계; 및
    상기 제1 패턴과 상기 제2 패턴 간의 크기 비율에 기초하여 상기 제1 패턴이 기준 패턴인지 여부를 결정하는 단계
    를 포함하는 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  20. 디스플레이 상의 패턴 영상을 촬영하는 단계; 및
    상기 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시키지 않은 경우, 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계
    를 포함하고,
    상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계는,
    상기 패턴 영상에 나타난 패턴들 중 주변 패턴들보다 크기가 큰 기준 패턴을 식별하는 단계; 및
    상기 기준 패턴을 식별한 경우, 상기 패턴 영상에 포함된 패턴 개수가 미리 설정된 조건을 만족하는지 여부에 기초하여 상기 광원의 밝기 및 상기 카메라의 노출 시간 중 적어도 하나를 조정하는 단계
    를 포함하는 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  21. 디스플레이 상의 패턴 영상을 촬영하는 단계; 및
    상기 패턴 영상에 나타난 패턴이 미리 설정된 조건을 만족시키지 않은 경우, 광을 방사하는 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계
    를 포함하고,
    상기 광원의 밝기 및 카메라의 노출 시간 중 적어도 하나를 조정하는 단계는,
    상기 패턴 영상에 나타난 패턴들 중 주변 패턴들보다 크기가 큰 기준 패턴을 식별하는 단계;
    상기 기준 패턴을 식별한 경우, 상기 기준 패턴을 중심으로 수직 방향 및 수평 방향에 위치한 패턴들 중 미리 설정된 개수의 패턴을 식별하는 단계; 및
    상기 기준 패턴을 중심으로 수직 방향 및 수평 방향에 위치한 패턴들 중 미리 설정된 개수의 패턴을 식별하지 못한 경우, 상기 광원의 밝기를 증가시키거나 또는 상기 카메라의 노출 시간을 증가시키는 단계
    를 포함하는 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  22. 제14항에 있어서,
    상기 패턴 영상은,
    상기 광원으로부터 출력된 광이 상기 디스플레이 상의 패턴에 반사된 후 상기 카메라에 입력되어 생성된 영상인, 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법.
  23. 오브젝트 센싱 장치에 의해 촬영된 오브젝트 영상으로부터 오브젝트 터치 영역을 추출하는 단계;
    상기 오브젝트 영상을 복수 개의 서브 영역들로 분할하고, 상기 서브 영역들 중에서 기준 서브 영역을 결정하는 단계;
    상기 기준 서브 영역에 포함된 오브젝트 터치 영역에 기초하여 상기 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정하는 단계; 및
    제거하는 것으로 결정된 오브젝트 터치 영역을 상기 오브젝트 영상에서 제거하는 단계
    를 포함하는 오브젝트 센싱 방법.
  24. 제23항에 있어서,
    상기 오브젝트 터치 영역의 제거 여부를 결정하는 단계는,
    상기 기준 서브 영역에 포함된 오브젝트 터치 영역의 방향성에 기초하여 상기 오브젝트 영상에 적용할 조건을 결정하는 단계
    를 포함하는 오브젝트 센싱 방법.
  25. 제24항에 있어서,
    상기 오브젝트 영상에 적용할 조건을 결정하는 단계는,
    상기 기준 서브 영역에 포함된 오브젝트 터치 영역과 상기 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점에 기초하여 상기 기준 서브 영역에 포함된 오브젝트 터치 영역의 방향성을 결정하는 단계
    를 포함하는 오브젝트 센싱 방법.
  26. 제23항에 있어서,
    상기 오브젝트 터치 영역의 제거 여부를 결정하는 단계는,
    상기 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점과 상기 기준 서브 영역에 포함된 오브젝트 터치 영역 간의 거리에 기초하여 상기 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정하는 단계
    를 포함하는 오브젝트 센싱 방법.
  27. 제23항에 있어서,
    상기 오브젝트 터치 영역의 제거 여부를 결정하는 단계는,
    인접한 오브젝트 터치 영역들 사이가 모두 오브젝트 근접 영역에 포함되는 경우, 인접한 오브젝트 터치 영역들 중 상기 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점으로부터 거리가 가장 먼 오브젝트 터치 영역을 제외한 나머지 오브젝트 터치 영역을 제거하는 것으로 결정하는 단계
    를 포함하는 오브젝트 센싱 방법.
  28. 제27항에 있어서,
    상기 오브젝트 터치 영역의 제거 여부를 결정하는 단계는,
    인접한 오브젝트 터치 영역들 사이가 모두 오브젝트 근접 영역에 포함되는 경우, 상기 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점과 인접한 오브젝트 터치 영역들의 위치가 이루는 각도에 기초하여 제거할 오브젝트 터치 영역을 결정하는 단계
    를 포함하는 오브젝트 센싱 방법.
  29. 제23항에 있어서,
    상기 기준 서브 영역을 결정하는 단계는,
    상기 분할된 서브 영역들 중에서 오브젝트 터치 영역을 가장 많이 포함하는 서브 영역을 기준 서브 영역으로 결정하는 단계
    를 포함하는 오브젝트 센싱 방법.
  30. 제23항에 있어서,
    상기 기준 서브 영역을 결정하는 단계는,
    상기 오브젝트 영상을 복수 개의 서브 영역들로 분할하는 단계;
    상기 오브젝트 영상에 나타난 오브젝트 근접 영역의 중심점을 기준으로 상기 분할된 서브 영역들 또는 오브젝트 터치 영역을 일정 각도만큼 회전시키는 단계; 및
    상기 회전시킨 결과에 기초하여 기준 서브 영역을 결정하는 단계
    를 포함하는 오브젝트 센싱 방법.
  31. 제23항에 있어서,
    상기 오브젝트 터치 영역을 추출하는 단계는,
    오브젝트가 촬영된 오브젝트 영상에서 미리 설정된 시간동안 움직임이 없는 배경 영역을 추정하는 단계; 및
    상기 배경 영역을 제외한 나머지 영역에서 오브젝트 터치 영역을 추출하는 단계
    를 포함하는 오브젝트 센싱 방법.
  32. 오브젝트가 촬영된 오브젝트 영상으로부터 오브젝트 터치 영역을 추출하는 오브젝트 터치 영역 추출부;
    상기 오브젝트 영상을 복수 개의 서브 영역들로 분할하고, 상기 서브 영역들 중에서 기준 서브 영역을 결정하는 기준 서브 영역 결정부; 및
    상기 기준 서브 영역에 포함된 오브젝트 터치 영역에 기초하여 상기 오브젝트 영상에 나타난 오브젝트 터치 영역의 제거 여부를 결정하고, 제거하는 것으로 결정된 오브젝트 터치 영역을 상기 오브젝트 영상에서 제거하는 오브젝트 터치 영역 결정부
    를 포함하는 오브젝트 센싱 장치.
  33. 제32항에 있어서,
    상기 오브젝트 터치 영역 추출부는,
    오브젝트 영상을 생성하는 카메라가 가지는 고유 특성에 기초하여 오브젝트 터치 영역을 추출하기 위한 임계값을 적응적으로 결정하는 오브젝트 센싱 장치.
  34. 제33항에 있어서,
    상기 오브젝트 터치 영역 추출부는,
    상기 카메라에 포함된 픽셀이 가질 수 있는 최대 세기 특성 및 최소 세기 특성에 기초하여 오브젝트 터치 영역을 추출하기 위한 임계값을 결정하는 오브젝트 센싱 장치.
KR1020140059071A 2013-07-15 2014-05-16 오브젝트 센싱 장치 및 방법, 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법 KR101994358B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/328,258 US9778796B2 (en) 2013-07-15 2014-07-10 Apparatus and method for sensing object, and method of identifying calibration pattern in object sensing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130083006 2013-07-15
KR1020130083006 2013-07-15

Publications (2)

Publication Number Publication Date
KR20150009428A KR20150009428A (ko) 2015-01-26
KR101994358B1 true KR101994358B1 (ko) 2019-07-01

Family

ID=52572666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140059071A KR101994358B1 (ko) 2013-07-15 2014-05-16 오브젝트 센싱 장치 및 방법, 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법

Country Status (1)

Country Link
KR (1) KR101994358B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404452B1 (ko) * 2016-02-28 2022-05-31 임성현 전자 칠판 시스템을 위한 화각 설정 방법, 그를 수행하는 단말 장치 및 적외선 기반 전자 칠판 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344069A (ja) 2000-03-31 2001-12-14 Seiko Epson Corp 画像処理を用いた指示位置の検出
US20060010400A1 (en) * 2004-06-28 2006-01-12 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2011141834A (ja) 2010-01-08 2011-07-21 Fandf Co Ltd 情報入力装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242848A1 (en) * 2010-04-06 2011-10-06 SKC Haas Display Film Co., Ltd. Printed double-sided light guide plate

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344069A (ja) 2000-03-31 2001-12-14 Seiko Epson Corp 画像処理を用いた指示位置の検出
US20060010400A1 (en) * 2004-06-28 2006-01-12 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2011141834A (ja) 2010-01-08 2011-07-21 Fandf Co Ltd 情報入力装置

Also Published As

Publication number Publication date
KR20150009428A (ko) 2015-01-26

Similar Documents

Publication Publication Date Title
JP5680976B2 (ja) 電子黒板システム及びプログラム
JP6089722B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10839537B2 (en) Depth maps generated from a single sensor
US20140225826A1 (en) Method for detecting motion of input body and input device using same
JP5943084B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20140253513A1 (en) Operation detection device, operation detection method and projector
US20160054859A1 (en) User interface apparatus and control method
JP5874831B2 (ja) 立体物検出装置
US10042426B2 (en) Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium
US11700365B2 (en) Position detection method, position detection device, and display device
US20140306934A1 (en) Optical touch panel system, optical apparatus and positioning method thereof
CN112507767B (zh) 脸部辨识方法及其相关电脑系统
JP6311354B2 (ja) 情報処理装置、二値化用閾値の決定方法、及びプログラム
US9778796B2 (en) Apparatus and method for sensing object, and method of identifying calibration pattern in object sensing apparatus
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
KR101994358B1 (ko) 오브젝트 센싱 장치 및 방법, 오브젝트 센싱 장치의 캘리브레이션 패턴 식별 방법
CN108227923A (zh) 一种基于体感技术的虚拟触控系统和方法
KR101476503B1 (ko) 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법
US20160019424A1 (en) Optical touch-control system
JP2010286995A (ja) 車両用画像処理システム
JP2017199148A (ja) 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
JP2018055685A (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体
US20170109569A1 (en) Hybrid face recognition based on 3d data
JP6057407B2 (ja) タッチ位置入力装置及びタッチ位置入力方法
JP2017068437A (ja) 物体検出装置、物体検出方法、及び物体検出プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant