KR101184868B1 - 시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치 - Google Patents

시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치 Download PDF

Info

Publication number
KR101184868B1
KR101184868B1 KR1020120002572A KR20120002572A KR101184868B1 KR 101184868 B1 KR101184868 B1 KR 101184868B1 KR 1020120002572 A KR1020120002572 A KR 1020120002572A KR 20120002572 A KR20120002572 A KR 20120002572A KR 101184868 B1 KR101184868 B1 KR 101184868B1
Authority
KR
South Korea
Prior art keywords
image
viewer
size
dimensional position
module
Prior art date
Application number
KR1020120002572A
Other languages
English (en)
Other versions
KR20120060173A (ko
Inventor
김현
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020120002572A priority Critical patent/KR101184868B1/ko
Publication of KR20120060173A publication Critical patent/KR20120060173A/ko
Application granted granted Critical
Publication of KR101184868B1 publication Critical patent/KR101184868B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치가 개시된다. 상기 3차원 위치 측정 장치는, 대상물이 포함된 이미지를 촬영하는 영상 획득 모듈; 상기 영상 획득 모듈로부터 촬영된 이미지로부터 상기 대상물을 검출하고, 상기 대상물의 상기 이미지 상에서의 크기 및 좌표를 계산하는 검출 모듈; 및 계산된 상기 대상물의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는 위치 계산 모듈;을 포함한다.

Description

시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치 {Apparatus, method for measuring 3 dimensional position of a viewer and display device having the apparatus}
본 발명은 디스플레이 장치에서의 시청자의 3차원 시청 위치를 측정하기 위한 기술과 관련된다.
최근 TV 디스플레이 장치 분야에서는 디스플레이 화면의 디지털화, 고선명화뿐만 아니라 여러 가지 다른 기능들의 복합화가 급속도로 진행되고 있다. 이에 따라, 외부의 주변 디지털 가전 기기와의 연결이 다양해지고 있으며 이들과 주고 받는 신호의 형태도 다양해지고 있다. 향후에는 가전 기기뿐만 아니라 조명 기기, 가스 기기, 난방 기기, 방범 기기 등을 연결하여 홈 네트워킹을 구성하고 제어하기 위한 주 제어장치로 TV가 사용될 전망이다.
예를 들어, 종래의 전통적인 TV는 안테나로부터 수신되는 지상파 방송 또는 케이블을 통해 수신되는 케이블 방송을 디스플레이하는 방송 디스플레이장치로만 적용되었다. 그러나 최근의 TV는, 그에 연결되는 주변 가전 기기들이 급속도로 디지털화가 진행되면서, 다양한 포맷의 디지털 입력 신호를 표시할 수 있는 복합 디스플레이 장치의 역할이 요구되고 있다. 예를 들어, 최근 TV는 전통적인 아날로그 방송 신호뿐만 아니라 디지털 방송 신호, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface) 및 PC 입력 등 다양한 포맷의 입력신호를 디스플레이 하도록 요구되고 있다.
보다 최근에는 3차원 디스플레이가 가능한 TV 들이 속속 등장하고 있다. 3차원 디스플레이의 경우 2차원 영상을 3차원으로 변환해 표시하는 방식 및 3차원 영상을 3차원으로 표시하는 방식 등 다양한 요구들이 존재한다. 그러나, 3차원 TV의 경우 아직 기술적 성숙도가 떨어져서 다양한 시청 거리에 있는 시청자들에게 편안한 시청을 할 수 있는 디스플레이 기술이 부족한 게 현실이다. 이에 따라 시청 거리에 따라 어지럼증을 유발시키거나 장시간 시청 시 눈의 피로도를 증가시켜 시청자로 하여금 큰 불편함을 느끼게 만든다.
본 발명의 실시예들은 디스플레이 장치에 있어서 시청자의 시청 위치를 3차원적으로 검출함으로써, 시청 위치에 따른 최적의 시청 환경을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 위치 측정 장치는, 대상물이 포함된 이미지를 촬영하는 영상 획득 모듈; 상기 영상 획득 모듈로부터 촬영된 이미지로부터 상기 대상물을 검출하고, 상기 대상물의 상기 이미지 상에서의 크기 및 좌표를 계산하는 검출 모듈; 및 계산된 상기 대상물의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는 위치 계산 모듈;을 포함한다.
이때, 상기 대상물은 사용자의 얼굴, 상반신 혹은 손 등과 같은 신체의 일부일 수 있다.
그리고 상기 위치 계산 모듈은, 다음의 수학식
Figure 112012002157619-pat00001
Figure 112012002157619-pat00002
Figure 112012002157619-pat00003
(이때, Xd, Yd, Zd는 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치 좌표, Fs는 기 설정된 상기 대상물의 기준 가로 길이, Fx는 기 설정된 상기 대상물의 상기 이미지 내에서의 가로 길이, Ix는 상기 이미지의 가로 크기, Iy는 상기 이미지의 세로 크기, θx는 상기 이미지의 가로 화각, θy는 상기 이미지의 세로 화각, Dx , Dy는 상기 이미지 내에서의 상기 대상물의 2차원 좌표)
을 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산할 수 있다.
한편, 상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 3차원 위치 측정 장치는, 대상물이 포함된 이미지를 촬영하는 영상 획득 모듈; 상기 영상 획득 모듈로부터 촬영된 이미지로부터 대상물을 검출하고, 상기 대상물의 상기 이미지 상에서의 크기 및 좌표를 계산하는 검출 모듈; 상기 검출 모듈에서 계산된 상기 대상물의 상기 이미지 상에서의 크기 정보를 이용하여 기 저장된 상기 대상물의 기준 크기값을 보정하는 보정 모듈; 및 보정된 상기 대상물의 기준 크기값 및 상기 대상물의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는 위치 계산 모듈;을 포함한다.
이때 상기 대상물은 사용자의 얼굴, 상반신 혹은 손 등과 같은 신체의 일부일 수 있다.
그리고 상기 보정 모듈은, 상기 검출 모듈에서 계산된 상기 대상물의 상기 이미지 상에서의 가로 크기 정보를 이용하여 상기 대상물의 세로 크기를 추정하고, 추정된 상기 대상물의 세로 크기를 상기 검출 모듈에서 계산된 상기 대상물의 상기 이미지 상에서의 세로 크기와 비교함으로써 상기 대상물의 기준 크기값을 보정할 수 있다.
이때 상기 추정된 상기 대상물의 세로 크기는, 다음의 수학식
Figure 112012002157619-pat00004
Figure 112012002157619-pat00005
(이때, Fyc는 상기 대상물의 추정된 세로 크기, Fsx는 기 설정된 상기 대상물의 기준 가로 길이, Fsy는 기 설정된 상기 대상물의 기준 세로 길이, Ix는 상기 이미지의 가로 크기, Iy는 상기 이미지의 세로 크기, θx는 상기 이미지의 가로 화각, θy는 상기 이미지의 세로 화각, Fxd는 기 설정된 상기 대상물의 상기 이미지 내에서의 가로 길이)
을 이용하여 계산될 수 있다.
또한 상기 위치 계산 모듈은, 다음의 수학식
Figure 112012002157619-pat00006
Figure 112012002157619-pat00007
Figure 112012002157619-pat00008
(이때, Xd, Yd, Zd는 상기 대상물의 3차원 공간 내에서의 실제 위치, Dx , Dy는 상기 이미지 내에서의 상기 대상물의 2차원 좌표)
을 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산할 수 있다.
한편, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 디스플레이 장치는 영상을 표시하는 디스플레이 모듈; 상기 디스플레이 모듈에 표시된 영상을 시청하는 시청자를 포함하는 이미지를 촬영하는 영상 획득 모듈; 상기 영상 획득 모듈로부터 촬영된 이미지로부터 상기 시청자를 검출하고, 상기 시청자의 상기 이미지 상에서의 크기 및 좌표를 계산하는 검출 모듈; 및 계산된 상기 시청자의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치를 계산하는 위치 계산 모듈;을 포함한다.
또한, 상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 디스플레이 장치는, 영상을 표시하는 디스플레이 모듈; 상기 디스플레이 모듈에 표시된 영상을 시청하는 시청자를 포함하는 이미지를 촬영하는 영상 획득 모듈; 상기 영상 획득 모듈로부터 촬영된 이미지로부터 상기 시청자를 검출하고, 상기 시청자의 상기 이미지 상에서의 크기 및 좌표를 계산하는 검출 모듈; 상기 검출 모듈에서 계산된 상기 시청자의 상기 이미지 상에서의 크기 정보를 이용하여 기 저장된 상기 시청자의 기준 크기값을 보정하는 보정 모듈; 및 보정된 상기 시청자의 기준 크기값 및 상기 시청자의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치를 계산하는 위치 계산 모듈;을 포함한다.
한편, 본 발명의 일 실시예에 따른 3차원 위치 측정 방법은, 3차원 위치 측정 장치에서, 대상물이 포함된 이미지를 촬영하는 단계; 상기 3차원 위치 측정 장치에서, 상기 영상 획득 모듈로부터 촬영된 이미지로부터 상기 대상물을 검출하고, 상기 대상물의 상기 이미지 상에서의 크기 및 좌표를 계산하는 단계; 및 상기 3차원 위치 측정 장치에서, 계산된 상기 대상물의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는 단계;를 포함한다.
이때, 상기 대상물은 사용자의 얼굴, 상반신 혹은 손 등과 같은 신체의 일부일 수 있다.
그리고 상기 위치 계산 단계는, 다음의 수학식
Figure 112012002157619-pat00009
Figure 112012002157619-pat00010
Figure 112012002157619-pat00011
(이때, Xd, Yd, Zd는 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치 좌표, Fs는 기 설정된 상기 대상물의 기준 가로 길이, Fx는 기 설정된 상기 대상물의 상기 이미지 내에서의 가로 길이, Ix는 상기 이미지의 가로 크기, Iy는 상기 이미지의 세로 크기, θx는 상기 이미지의 가로 화각, θy는 상기 이미지의 세로 화각, Dx , Dy는 상기 이미지 내에서의 상기 대상물의 2차원 좌표)
을 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산할 수 있다.
한편, 본 발명의 다른 실시예에 따른 3차원 위치 측정 방법은, 3차원 위치 측정 장치에서, 대상물이 포함된 이미지를 촬영하는 단계; 상기 3차원 위치 측정 장치에서, 상기 영상 획득 모듈로부터 촬영된 이미지로부터 대상물을 검출하고, 상기 대상물의 상기 이미지 상에서의 크기 및 좌표를 계산하는 단계; 상기 3차원 위치 측정 장치에서, 상기 검출 모듈에서 계산된 상기 대상물의 상기 이미지 상에서의 크기 정보를 이용하여 기 저장된 상기 대상물의 기준 크기값을 보정하는 단계; 및 상기 3차원 위치 측정 장치에서, 보정된 상기 대상물의 기준 크기값 및 상기 대상물의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는 단계;를 포함한다.
이때 상기 대상물은 사용자의 얼굴, 상반신 혹은 손 등과 같은 신체의 일부일 수 있다.
그리고 상기 보정 단계는, 상기 검출 모듈에서 계산된 상기 대상물의 상기 이미지 상에서의 가로 크기 정보를 이용하여 상기 대상물의 세로 크기를 추정하고, 추정된 상기 대상물의 세로 크기를 상기 검출 모듈에서 계산된 상기 대상물의 상기 이미지 상에서의 세로 크기와 비교함으로써 상기 대상물의 기준 크기값을 보정할 수 있다.
또한 상기 추정된 상기 대상물의 세로 크기는, 다음의 수학식
Figure 112012002157619-pat00012
Figure 112012002157619-pat00013
(이때, Fyc는 상기 대상물의 추정된 세로 크기, Fsx는 기 설정된 상기 대상물의 기준 가로 길이, Fsy는 기 설정된 상기 대상물의 기준 세로 길이, Ix는 상기 이미지의 가로 크기, Iy는 상기 이미지의 세로 크기, θx는 상기 이미지의 가로 화각, θy는 상기 이미지의 세로 화각, Fxd는 기 설정된 상기 대상물의 상기 이미지 내에서의 가로 길이)
을 이용하여 계산될 수 있다.
그리고 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치는, 다음의 수학식
Figure 112012002157619-pat00014
Figure 112012002157619-pat00015
Figure 112012002157619-pat00016
(이때, Xd, Yd, Zd는 상기 대상물의 3차원 공간 내에서의 실제 위치, Dx , Dy는 상기 이미지 내에서의 상기 대상물의 2차원 좌표)
을 이용하여 계산될 수 있다.
본 발명의 실시예들은 디스플레이 장치에 있어서 시청자의 시청 위치를 3차원적으로 검출함으로써, 시청자가 좀 더 편안하게 디스플레이 장치를 시청할 수 있도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치(100)를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 위치 측정부(104)의 구성을 나타낸 블록도이다.
도 3 및 도 4a, 4b는 본 발명의 일 실시예에 따른 시청자의 3차원 위치 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 3차원 위치 측정부(104)의 구성을 나타낸 블록도이다.
도 6은 상기 보정 모듈(504)에서의 시청자의 기준 크기값 보정 과정(600)을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 위치 측정 방법(700)을 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른 3차원 위치 측정 방법(800)을 나타낸 도면이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치(100)를 나타낸 도면이다.
도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 디스플레이부(102) 및 3차원 위치 측정부(104)를 포함한다.
디스플레이부(102)는 영상 이미지를 표시하는 구성요소로서, 예를 들어 모니터, TV 등이 될 수 있다.
3차원 위치 측정부(104)는 디스플레이부(102)에 표시된 영상을 시청하는 시청자의 3차원 공간 상에서의 위치를 계산한다. 3차원 위치 측정부(104)는 상기 시청자의 이미지를 촬영하기 위한 카메라(106)를 포함할 수 있으며, 카메라(106)로 촬영된 이미지에 포함된 상기 사용자의 크기 및 위치를 이용하여 상기 시청자의 3차원 공간 상에서의 위치를 계산하게 된다. 카메라(106)는 예를 들어 디스플레이부(102)의 상단에 위치할 수 있으나, 디스플레이부(102)의 전방을 촬영할 수 있는 위치라면 어디에 위치하더라도 관계 없다. 3차원 위치 측정부(104)는 또한 조도가 낮은 상황에서도 카메라(106)가 이미지를 획득할 수 있도록 별도의 IR(Infra Red) 광원 소자를 더 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 3차원 위치 측정부(104)의 구성을 나타낸 블록도이다.
도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 위치 측정부(104)는 영상 획득 모듈(200), 검출 모듈(202) 및 위치 계산 모듈(204)을 포함한다.
영상 획득 모듈(200)은 카메라(104)를 이용하여 디스플레이부(102)에 표시된 영상을 시청하는 시청자의 이미지를 촬영한다.
검출 모듈(202)은 영상 획득 모듈(200)로부터 촬영된 이미지로부터 상기 시청자를 검출하고, 상기 시청자의 상기 이미지 상에서의 크기 및 좌표를 계산한다. 상기 시청자의 검출을 위하여 검출 모듈(202)은 얼굴 검출 알고리즘을 포함할 수 있다. 디지털 이미지로부터 사람의 얼굴을 검출하는 얼굴 검출 알고리즘은 본 기술분야에서는 일반적으로 알려진 기술이므로 여기서는 그 상세한 설명을 생략한다. 검출 모듈(202)은 상기 시청자의 얼굴만을 검출할 수도 있으며, 또는 신체의 일부(예를 들어, 상반신 또는 손 등)을 검출할 수도 있다. 또한 본 발명의 실시예에서는 이미지로부터 시청자(즉, 사람)를 검출하는 것으로 가정하였으나, 본 발명은 이에 한정되는 것은 아니며 사람 이외의 특정 대상물을 검출하여 그 위치를 계산하는 것 또한 가능하다.
위치 계산 모듈(204)은 계산된 상기 시청자의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치를 계산한다. 위치 계산 모듈(204)에서의 구체적인 시청자의 위치 계산 과정에 대해서는 이하에서 상세히 설명한다.
도 3 및 도 4a, 4b는 본 발명의 일 실시예에 따른 시청자의 3차원 위치 과정을 설명하기 위한 도면이다.
도시된 바와 같이, 시청자(300)가 카메라(104) 렌즈로부터 (Xd, Yd, Zd) cm 만큼 떨어져서 시청하는 경우, 카메라(104)의 센서면의 중심으로부터 (Dx, Dy) 픽셀만큼 떨어진 곳에 상기 시청자의 이미지(302)가 형성된다. 도면에서, θx는 카메라(104)의 가로 화각, θy는 카메라(104)의 세로 화각, Ix는 촬영된 이미지의 가로 크기(pixel), Iy는 상기 이미지의 세로 크기(pixel), Fx는 상기 이미지 내에서의 시청자 이미지(302)의 가로 크기(pixel), Fy는 상기 이미지 내에서의 시청자 이미지(302)의 세로 크기(pixel)이다.
위치 계산 모듈(204)에 저장된 시청자(300)의 기준 가로 길이를 Fs라 하면, 시청자(300)의 3차원 위치 좌표인 (Xd, Yd, Zd)은 다음의 수학식과 같이 계산될 수 있다.
Figure 112012002157619-pat00017
Figure 112012002157619-pat00018
Figure 112012002157619-pat00019

즉, 본 발명의 실시예에서 위치 계산 모듈(204)은 Ix, Iy, θx, θy, Fs 값을 미리 저장하여 두었다가, 이미지로부터 시청자의 얼굴, 상반신, 혹은 손과 같은 신체의 일부가 검출되면, 상기 시청자의 검출 위치 (Dx, Dy)및 크기 (Fx, Fy)와 기 저장된 상기 정보들을 이용하여 시청자의 3차원 위치 좌표를 계산하게 된다.
이때 상기 Fs 값은 시청자의 3차원 위치 계산을 위한 기준값이다. 예를 들어, 한국 남성의 얼굴의 평균 가로 폭은 16cm 정도이므로, 시청자의 얼굴을 기준으로 시청자의 3차원 위치를 계산할 경우 Fs 값을 16cm로 설정할 수 있다. 만약 시청자의 상반신을 기준으로 3차원 위치를 계산할 경우에는 Fs 값을 시청자의 평균 상반신 가로 길이로 설정할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 3차원 위치 측정부(104)의 구성을 나타낸 블록도이다.
도시된 바와 같이, 본 발명의 다른 실시예에 따른 3차원 위치 측정부(104)는 영상 획득 모듈(500), 검출 모듈(502), 보정 모듈(504) 및 위치 계산 모듈(506)을 포함한다.
영상 획득 모듈(500)은 카메라(104)를 이용하여 디스플레이부(102)에 표시된 영상을 시청하는 시청자의 이미지를 촬영한다.
검출 모듈(502)은 영상 획득 모듈(500)로부터 촬영된 이미지로부터 상기 시청자를 검출하고, 상기 시청자의 상기 이미지 상에서의 크기 및 좌표를 계산한다. 상기 시청자의 검출을 위하여 검출 모듈(502)은 얼굴 검출 알고리즘을 포함할 수 있다. 검출 모듈(502)은 상기 시청자의 얼굴만을 검출할 수도 있으며, 또는 신체의 일부(예를 들어, 상반신)을 검출할 수도 있다.
보정 모듈(504)은 검출 모듈(502)에서 계산된 상기 시청자의 상기 이미지 상에서의 크기 정보를 이용하여 기 저장된 상기 시청자의 기준 크기값을 보정한다.
도 2 내지 도 4b에 도시된 실시예의 경우, 전술한 바와 같이 시청자의 3차원 위치를 계산하기 위해서는 시청자의 기준 가로 길이(Fs)를 미리 알고 있어야 한다. 그러나 시청자에 따라 얼굴 또는 상반신의 가로 길이는 다를 수 있으므로, 모든 시청자에 대하여 기준 가로 길이를 동일하게 적용할 경우 검출된 3차원 위치 값에 오차가 발생하게 된다.
따라서 본 실시예에서는 이와 같은 오차를 최소화하기 위하여 보정 모듈(504)에서 상기 시청자의 기준 크기값을 보정하게 된다.
도 6은 상기 보정 모듈(504)에서의 시청자의 기준 크기값 보정 과정(600)을 설명하기 위한 도면이다.
먼저, 시청자의 기준 얼굴 크기가 (Fsx, Fsy)로 설정된 상태에서 이미지로부터 시청자의 얼굴 및 얼굴 크기(Fxd, Fyd)가 검출된 상황을 가정한다(602, 604). 본 실시예에서는 시청자의 얼굴을 기준으로 설명하였으나, 전술한 바와 같이 본 발명은 얼굴 뿐만 아니라 상반신, 손 등에도 동일하게 적용될 수 있다.
이와 같이 이미지로부터 시청자의 얼굴 크기가 검출되면, 보정 모듈(504)은 검출 모듈(502)에서 계산된 상기 시청자의 상기 이미지 상에서의 가로 크기(Fxd) 정보를 이용하여 상기 시청자의 세로 크기(Fyc)를 추정한다(606). 이와 같은 시청자의 세로 크기(Fyc) 추정은 다음의 수학식에 의하여 이루어질 수 있다.
Figure 112012002157619-pat00020
Figure 112012002157619-pat00021

이때, Zdc는 상기 대상물이 위치한 공간 내에서 상기 대상물의 z방향에 대하여 추정된 위치 좌표, Fyc는 상기 시청자의 추정된 세로 크기, Fsx는 기 설정된 상기 시청자의 기준 가로 길이, Fsy는 기 설정된 상기 시청자의 기준 세로 길이, Ix는 상기 이미지의 가로 크기, Iy는 상기 이미지의 세로 크기, θx는 상기 이미지의 가로 화각, θy는 상기 이미지의 세로 화각, Fxd는 기 설정된 상기 시청자의 상기 이미지 내에서의 가로 길이이다.
다음으로, 보정 모듈(504)은 추정된 Fyc 값을 검출 모듈(502)에서 실제 검출된 세로 크기(Fyd)와 비교한다(608). 만약 두 값이 동일하다면 더 이상 보정을 할 필요가 없다(610). 그러나 만약 두 값이 다른 경우, 보정 모듈(504)은 두 값이 동일해질 때까지 Fsx, Fsy 값을 일정 크기(?) 만큼 변화시키면서 상기 604 내지 608 단계를 반복한다.
한편, 위치 계산 모듈(506)은 계산된 상기 시청자의 상기 이미지 상에서의 크기 및 좌표 정보 및 보정된 Fsx, Fsy 값을 이용하여 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치를 계산한다. 위치 계산 모듈(506)에서의 위치 계산은 다음의 수학식에 의하여 이루어진다.
Figure 112012002157619-pat00022
Figure 112012002157619-pat00024

이때, Xd, Yd, Zd는 상기 시청자의 3차원 공간 내에서의 실제 위치, Dx , Dy는 상기 이미지 내에서의 상기 시청자의 2차원 좌표이다.
도 7은 본 발명의 일 실시예에 따른 3차원 위치 측정 방법(700)을 나타낸 도면이다.
먼저, 3차원 위치 측정 장치(104)에서, 시청자가 포함된 이미지를 촬영한다(702).
다음으로, 상기 영상 획득 모듈로부터 촬영된 이미지로부터 상기 시청자를 검출하고(704), 상기 시청자의 상기 이미지 상에서의 크기 및 좌표를 계산한다(706).
다음으로, 계산된 상기 시청자의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치를 계산한다(708).
도 8은 본 발명의 다른 실시예에 따른 3차원 위치 측정 방법(800)을 나타낸 도면이다.
먼저, 3차원 위치 측정 장치(104)에서, 시청자가 포함된 이미지를 촬영한다(802).
다음으로, 상기 촬영된 이미지로부터 상기 시청자를 검출하고(804), 상기 시청자의 상기 이미지 상에서의 크기 및 좌표를 계산한다(806).
다음으로, 상기 시청자의 상기 이미지 상에서의 크기 정보를 이용하여 기 저장된 상기 시청자의 기준 크기값을 보정한다(808).
다음으로, 계산된 상기 시청자의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치를 계산한다(810).
상기와 같은 본 발명에 따르면 이미지 상의 시청자를 검출함으로써 시청자의 실제 3차원 좌표를 계산해 낼 수 있으며, 이와 같이 계산된 상기 3차원 좌표는 시청자의 시청 편의 및 시청 품질을 높이는 데 사용될 수 있다.
예를 들어, 디스플레이 장치(100)가 3차원 입체 영상을 재생 가능한 장치인 경우를 가정할 수 있다. 기존의 3D TV는 일반적으로 TV 화면으로부터 사전 설정된 특정 거리에 사용자가 위치한다고 가정하고 3차원 영상을 생성하게 된다. 따라서 시청자가 TV의 중앙에 위치하지 않거나, 디스플레이로부터 너무 가까이 또는 너무 멀리 위치할 경우에는 만족스러운 3차원 영상을 제공받기 어렵다. 그러나 본 발명에 따를 경우, 시청자의 위치를 실시간으로 계산할 수 있으므로, 시청자의 위치에 따라 3D TV의 초점 거리를 동적으로 변화시켜 어떤 위치에서도 안락한 3D 시청 환경을 제공할 수 있다.
또한 본 발명의 경우 동시에 다수의 시청자를 검출하는 것도 가능하므로 서로 다른 거리에서 TV를 시청하는 다수의 시청자들에게 각각 개별적으로 가장 적합한 3차원 영상의 디스플레이를 동시에 제공하는 것도 가능해진다.
한편, 본 발명에서 제안한 시청자의 3차원 거리 계산 방법을 이용하는 경우, 시청자에게 가장 적합한 TV 음성을 제공하는 것도 가능하다. 예를 들어, 가까운 거리에 시청자가 있는 경우 볼륨을 줄이고 먼 거리에 시청자가 있는 경우 볼륨을 높이는 것도 가능하다. 그리고 특정 방향에 시청자들이 몰려 있는 경우는 그 방향으로 볼륨의 출력을 높여 TV 시청을 하지 않는 사람들에게 소음 방해를 줄일 수도 있다.
또한, 카메라에서 일정 시간동안 전혀 시청자를 검출하지 않은 경우 자동으로 TV의 전원이 Off 되고 반대로 일정 시간 얼굴 검출이 발생하는 경우 TV 를 자동으로 On 하는 기능도 제공할 수 있다. 어린이 시청자의 경우 시청 거리가 가까우면 경고 메시지를 TV 에 표시하거나 경고음을 들려주어 충분한 시청 거리에서 TV 시청을 하도록 유도할 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 디스플레이 장치 102 : 디스플레이부
104 : 3차원 위치 측정부 200 : 영상 획득 모듈
202 : 검출 모듈 204 : 위치 계산 모듈
500 : 영상 획득 모듈 502 : 검출 모듈
504 : 보정 모듈 506 : 위치 계산 모듈

Claims (14)

  1. 대상물이 포함된 이미지를 촬영하는 영상 획득 모듈;
    상기 영상 획득 모듈로부터 촬영된 이미지로부터 상기 대상물을 검출하고, 상기 대상물의 상기 이미지 상에서의 크기 및 좌표를 계산하는 검출 모듈; 및
    계산된 상기 대상물의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는 위치 계산 모듈;
    을 포함하고,
    상기 위치 계산 모듈은, 다음의 수학식
    Figure 112012059552890-pat00043

    Figure 112012059552890-pat00044

    Figure 112012059552890-pat00045

    (이때, Xd, Yd, Zd는 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치 좌표, Fs는 기 설정된 상기 대상물의 기준 가로 길이, Fx는 기 설정된 상기 대상물의 상기 이미지 내에서의 가로 길이, Ix는 상기 이미지의 가로 크기, Iy는 상기 이미지의 세로 크기, θx는 상기 이미지의 가로 화각, θy는 상기 이미지의 세로 화각, Dx, Dy는 상기 이미지 내에서의 상기 대상물의 2차원 좌표)
    을 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는, 3차원 위치 측정 장치.
  2. 제1항에 있어서,
    상기 대상물은 사용자의 얼굴, 상반신, 혹은 신체의 일부인, 3차원 위치 측정 장치.
  3. 삭제
  4. 제1항에 있어서,
    조도의 변화에 관계없이 상기 영상 획득 모듈이 이미지를 획득할 수 있도록 하는 IR(infra Red) 광원 소자를 더 포함하는 3차원 위치 측정 장치.
  5. 제2항에 있어서,
    상기 검출 모듈은 디지털 이미지로부터 사용자의 얼굴을 검출하는 얼굴 검출 알고리즘에 의하여 상기 사용자의 얼굴을 검출하는 3차원 위치 측정 장치.
  6. 영상을 표시하는 디스플레이 모듈;
    상기 디스플레이 모듈에 표시된 영상을 시청하는 시청자를 포함하는 이미지를 촬영하는 영상 획득 모듈;
    상기 영상 획득 모듈로부터 촬영된 이미지로부터 상기 시청자를 검출하고, 상기 시청자의 상기 이미지 상에서의 크기 및 좌표를 계산하는 검출 모듈; 및
    계산된 상기 시청자의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치를 계산하는 위치 계산 모듈;
    을 포함하고,
    상기 위치 계산 모듈은, 다음의 수학식
    Figure 112012059552890-pat00046

    Figure 112012059552890-pat00047

    Figure 112012059552890-pat00048

    (이때, Xd, Yd, Zd는 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치 좌표, Fs는 기 설정된 상기 시청자의 기준 가로 길이, Fx는 기 설정된 상기 시청자의 상기 이미지 내에서의 가로 길이, Ix는 상기 이미지의 가로 크기, Iy는 상기 이미지의 세로 크기, θx는 상기 이미지의 가로 화각, θy는 상기 이미지의 세로 화각, Dx, Dy는 상기 이미지 내에서의 상기 시청자의 2차원 좌표)
    을 이용하여 상기 시청자가 위치한 공간 내에서의 상기 시청자의 3차원 위치를 계산하는, 디스플레이 장치.
  7. 삭제
  8. 제6항에 있어서,
    조도의 변화에 관계없이 상기 영상 획득 모듈이 이미지를 획득할 수 있도록 하는 IR(infra Red) 광원 소자를 더 포함하는 디스플레이 장치.
  9. 제6항에 있어서,
    상기 검출 모듈은 디지털 이미지로부터 사용자의 얼굴을 검출하는 얼굴 검출 알고리즘에 의하여 상기 사용자의 얼굴을 검출하는 디스플레이 장치.
  10. 3차원 위치 측정 장치에서, 대상물이 포함된 이미지를 촬영하는 단계;
    상기 3차원 위치 측정 장치에서, 영상 획득 모듈로부터 촬영된 이미지로부터 상기 대상물을 검출하고, 상기 대상물의 상기 이미지 상에서의 크기 및 좌표를 계산하는 단계; 및
    상기 3차원 위치 측정 장치에서, 계산된 상기 대상물의 상기 이미지 상에서의 크기 및 좌표 정보를 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는 단계;
    를 포함하고,
    상기 위치 계산 단계는, 다음의 수학식
    Figure 112012059552890-pat00049

    Figure 112012059552890-pat00050

    Figure 112012059552890-pat00051

    (이때, Xd, Yd, Zd는 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치 좌표, Fs는 기 설정된 상기 대상물의 기준 가로 길이, Fx는 기 설정된 상기 대상물의 상기 이미지 내에서의 가로 길이, Ix는 상기 이미지의 가로 크기, Iy는 상기 이미지의 세로 크기, θx는 상기 이미지의 가로 화각, θy는 상기 이미지의 세로 화각, Dx, Dy는 상기 이미지 내에서의 상기 대상물의 2차원 좌표)
    을 이용하여 상기 대상물이 위치한 공간 내에서의 상기 대상물의 3차원 위치를 계산하는, 3차원 위치 측정 방법.
  11. 제10항에 있어서,
    상기 대상물은 사용자의 얼굴, 상반신, 혹은 신체의 일부인, 3차원 위치 측정 방법.
  12. 삭제
  13. 제10항에 있어서,
    상기 이미지를 촬영하는 단계에서,
    조도의 변화에 관계없이 상기 영상 획득 모듈이 이미지를 획득할 수 있도록 하는 IR(infra Red) 광원 소자에 의하여 상기 이미지를 촬영하는 단계를 더 포함하는 3차원 위치 측정 방법.
  14. 제11항에 있어서,
    상기 검출 모듈은 디지털 이미지로부터 사용자의 얼굴을 검출하는 얼굴 검출 알고리즘에 의하여 상기 사용자의 얼굴을 검출하는 3차원 위치 측정 방법.
KR1020120002572A 2012-01-09 2012-01-09 시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치 KR101184868B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120002572A KR101184868B1 (ko) 2012-01-09 2012-01-09 시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120002572A KR101184868B1 (ko) 2012-01-09 2012-01-09 시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100065857A Division KR101128637B1 (ko) 2010-07-08 2010-07-08 시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20120060173A KR20120060173A (ko) 2012-06-11
KR101184868B1 true KR101184868B1 (ko) 2012-09-21

Family

ID=46611162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120002572A KR101184868B1 (ko) 2012-01-09 2012-01-09 시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR101184868B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102041320B1 (ko) * 2019-10-01 2019-11-06 주식회사 아이디어캐슬 정밀 위치 기반의 최적화 3d 지도 제공 시스템

Also Published As

Publication number Publication date
KR20120060173A (ko) 2012-06-11

Similar Documents

Publication Publication Date Title
KR101128637B1 (ko) 시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치
CN107172417B (zh) 一种裸眼3d屏幕的图像显示方法、装置及系统
CN107005670B (zh) 影像显示装置、影像显示系统以及影像显示方法
US9288482B2 (en) Method for processing images in display device outputting 3-dimensional contents and display device using the same
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
US20120218321A1 (en) Image display system
CN102802014B (zh) 一种多人跟踪功能的裸眼立体显示器
CN102954836B (zh) 环境光传感器、用户使用装置及显示装置
WO2019158808A3 (en) Imaging system and method for producing stereoscopic images using more than two cameras and gaze direction
KR100862352B1 (ko) 영상 기기의 자동 전원 제어 장치 및 그 방법
US20170223321A1 (en) Projection of image onto object
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
TW201310970A (zh) 三維影像擷取方法與裝置及三維影像顯示裝置
KR101888082B1 (ko) 영상표시장치 및 그 동작방법
KR101184868B1 (ko) 시청자의 3차원 위치 측정 장치, 방법 및 상기 장치를 포함하는 디스플레이 장치
JP2014135714A (ja) 立体映像信号処理装置及び立体映像撮像装置
US20190028690A1 (en) Detection system
JP2009092950A (ja) 表示システム
JP5539146B2 (ja) 立体映像処理装置及びその制御方法
JP2009192552A (ja) 映像表示装置
KR101668117B1 (ko) 스테레오 카메라의 주시각 제어 장치 및 그가 구비된 3차원 영상 처리 시스템
KR20120046937A (ko) 영상 장치에서 쓰리디 효과를 제공하기 위한 장치 및 방법
WO2012053480A1 (ja) 画像表示装置
KR101300139B1 (ko) 3ｄ 텔레비젼
WO2015103717A1 (zh) 一种显示器的白平衡装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150707

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee