KR20120015564A - 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 - Google Patents

하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 Download PDF

Info

Publication number
KR20120015564A
KR20120015564A KR1020100077749A KR20100077749A KR20120015564A KR 20120015564 A KR20120015564 A KR 20120015564A KR 1020100077749 A KR1020100077749 A KR 1020100077749A KR 20100077749 A KR20100077749 A KR 20100077749A KR 20120015564 A KR20120015564 A KR 20120015564A
Authority
KR
South Korea
Prior art keywords
posture
information
user
display system
final position
Prior art date
Application number
KR1020100077749A
Other languages
English (en)
Other versions
KR101699922B1 (ko
Inventor
성기영
남동경
김윤태
박주용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100077749A priority Critical patent/KR101699922B1/ko
Priority to US13/067,600 priority patent/US9171371B2/en
Publication of KR20120015564A publication Critical patent/KR20120015564A/ko
Application granted granted Critical
Publication of KR101699922B1 publication Critical patent/KR101699922B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법이 개시된다. 디스플레이 시스템은 복수의 카메라로부터 수신된 정보를 이용하여 생성되는 사용자의 얼굴 또는 양쪽 눈의 위치 정보와 복수의 센서로부터 수신된 정보를 이용하여 생성되는 자세 정보를 이용하여 사용자의 최종 위치를 결정할 수 있다.

Description

하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법{DISPLAY SYSTEM AND METHOD USING HYBRID USER TRACKING SENSOR}
본 발명의 실시예들은 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법에 관한 것이다.
입체적인 느낌을 제공하는 3차원 영상을 효과적으로 구현하기 위해서는 사람의 좌, 우 시각에 서로 다른 시점의 영상을 표현해야 한다. 안경과 같은 필터를 사용하지 않고 이를 구현하기 위해서는 3차원 영상을 시점(view point)에 따라 공간적으로 분할하여 표현해야 하는데, 이와 같은 방식을 무안경식 3차원 디스플레이(autostereoscopic display)라고 한다. 무안경식 3차원 디스플레이에서는 광학적인 수단을 이용하여 영상을 공간에 분할하여 표현하며, 대표적으로 광학 렌즈나 광학 배리어를 이용한다. 렌즈의 경우는 렌티큘러 렌즈(Lenticular lens)를 이용하여 각각의 픽셀 영상이 특정 방향으로만 표현되도록 하며, 배리어(barrier)의 경우엔 디스플레이 전면에 슬릿을 배치시켜 특정 방향에서 특정 픽셀만 볼 수 있도록 한다. 렌즈나 배리어를 이용한 무안경식 스테레오 디스플레이의 경우 기본적으로 좌, 우 두 시점의 영상을 표현하는데, 이 경우 매우 좁은 입체 시청 영역(sweet spot)이 형성된다. 입체 시청 영역은 시청 거리와 시청 각도로 표현되는데, 전자는 렌즈 혹은 슬릿의 폭(pitch)에 의하여 결정되며, 후자는 표현 시점 수에 의해 결정되는데, 시점 수를 증가시켜 시청 각도를 넓힌 것을 무안경식 다시점 디스플레이(multi-view display)라 한다.
렌티큘러 렌즈나 가변형 패럴랙스 배리어(Variable Parallax Barrier)를 이용한 다시점 3차원 디스플레이의 경우 최적 시청거리에 각 시점영상들이 일정한 간격으로 수렴하여 각각의 시점 영상들을 형성하기 때문에 3차원 시청영역이 제한될 수 있다. 즉, 제한된 각도, 특정 거리에서만 왜곡 없는 3차원 영상을 시청 할 수 있으며, 사용자가 얼굴을 기울여서 시청하거나, 비스듬히 누워서 시청할 경우 제대로 된 3차원 영상을 볼 수 없게 된다.
본 명세서에서는 보다 효과적으로 영상을 제공하기 위한 디스플레이 시스템 및 방법이 제안된다.
복수의 카메라로부터 수신된 정보를 이용하여 생성되는 사용자의 얼굴 또는 양쪽 눈의 위치 정보를 제공하는 위치 정보 제공부, 복수의 센서로부터 수신된 정보를 이용하여 생성되는 자세 정보를 제공하는 자세 정보 제공부 및 위치 정보 및 자세 정보 중 적어도 하나에 기초하여 사용자의 최종 위치를 결정하는 최종 위치 결정부를 포함하는 디스플레이 시스템이 제공된다.
일측에 따르면, 복수의 센서는 가속도 센서 및 지자기 센서를 포함할 수 있다. 이때, 자세 정보 제공부는 가속도 센서로부터 수신된 정보를 이용하여 중력 방향에 대해 기울어진 자세각을 계산하는 자세각 계산부, 지자기 센서로부터 수신된 정보를 이용하여 방위각을 계산하는 방위각 계산부 및 자세각 및 방위각을 적어도 포함하는 자세 정보를 제공하는 제공부를 포함할 수 있다. 또한, 자세각은 피치(pitch) 및 롤(roll)을 포함할 수 있고, 방위각은 요(yaw)를 포함할 수 있다.
다른 측면에 따르면, 복수의 카메라는 두 개의 카메라로 구성된 스테레오 카메라(stereo camera)를 포함할 수 있다. 이때, 위치 정보 제공부는 스테레오 카메라로부터 수신되는 스테레오 영상을 이용하여 사용자의 3차원 위치 정보인 위치 정보를 생성하는 위치 정보 생성부를 포함할 수 있다.
또 다른 측면에 따르면, 최종 위치 결정부는 자세 정보에 기초하여 스스로의 자세(posture)가 변경되었는지 여부를 판단하는 자세 변경 판단부 및 자세의 변경 여부에 따라 최종 위치를 결정하는 결정부를 포함할 수 있다.
또 다른 측면에 따르면, 결정부는 자세가 변경되지 않은 경우, 위치 정보에 따른 위치를 최종 위치로 결정하는 제1 결정부, 자세가 변경된 경우, 자세 정보를 이용하여 사용자와의 상대적 위치를 계산하는 상대적 위치 계산부 및 상대적 위치에 기초하여 최종 위치를 결정하는 제2 결정부를 포함할 수 있다. 이때, 제2 결정부는 복수의 카메라로부터 수신된 정보를 통해 상대적 위치와 기선정된 거리 이내에 존재하는 사용자의 얼굴 또는 양쪽 눈의 위치 정보를 생성하고, 생성된 위치 정보를 이용하여 최종 위치를 결정할 수 있다.
또 다른 측면에 따르면, 디스플레이 시스템은 최종 위치에 기초하여 다시점 영상을 생성하는 디스플레이부를 더 포함할 수 있다. 이때, 디스플레이부는 렌티큘러 렌즈(Lenticular lens)를 이용한 서브 픽셀 렌더링을 통해 시점 영상을 최종 위치에 따라 변경하여 디스플레이하거나 또는 가변형 패럴랙스 배리어(variable parallax barrier)의 주기, 폭 및 가변형 패럴랙스 배리어를 이용한 서브 픽셀 렌더링을 통해 시점 영상을 최종 위치에 따라 변경하여 디스플레이할 수 있다.
복수의 카메라로부터 수신된 정보를 이용하여 생성되는 사용자의 얼굴 또는 양쪽 눈의 위치 정보를 제공하는 단계, 복수의 센서로부터 수신된 정보를 이용하여 생성되는 자세 정보를 제공하는 단계 및 위치 정보 및 자세 정보 중 적어도 하나에 기초하여 사용자의 최종 위치를 결정하는 단계를 포함하는 디스플레이 방법이 제공된다.
복수의 카메라와 복수의 센서를 이용하여 사용자의 위치를 보다 정확하게 측정하고, 이를 영상의 디스플레이에 이용할 수 있다.
특히, 휴대용 장치에서 다시점 3차원 영상을 디스플레이 하는 경우, 사용자의 동공 위치뿐만 아니라, 휴대용 장치 자체의 자세까지 반영하여 측정한 사용자의 동공 위치를 이용하여 자연스러운 입체 영상을 제공할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 디스플레이 시스템의 개괄적인 모습을 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 디스플레이 시스템의 스테레오 카메라와 사용자를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 있어서, 디스플레이 시스템의 자세 정보를 설명하기 위한 일례이다.
도 4는 본 발명의 일실시예에 있어서, 디스플레이 시스템과 사용자를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 있어서, 디스플레이 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 일실시예에 있어서, 디스플레이 방법을 도시한 흐름도이다.
도 7은 본 발명의 일실시예에 있어서, 최종 위치를 결정하여 시점 영상을 디스플레이하는 방법을 도시한 흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 디스플레이 시스템의 개괄적인 모습을 도시한 도면이다. 본 실시예에 따른 디스플레이 시스템(110)은 스테레오 카메라(111, 112)와 디스플레이 시스템(110) 자체의 움직임을 통해 변경된 자세 정보를 획득할 수 있는 센서(113)를 포함할 수 있다. 이때, 디스플레이 시스템(110)은 스테레오 카메라(111, 112)뿐만 아니라 센서(113)로부터 수신되는 정보를 조합하여 사용자의 위치를 고속으로 정밀하게 추적할 수 있다. 여기서, 센서(113)는 가속도 센서와 지자기 센서 또는 가속도 센서, 지자기 센서 및 자이로 센서를 통해 구성될 수 있다.
즉, 스테레오 카메라(111, 112)를 통해서는 사용자(140)의 얼굴이나, 양쪽 눈(보다 구체적으로는 사용자(140)의 양쪽 동공)의 3차원 위치에 대한 정보를 얻을 수 있고, 센서(113)로부터는 디스플레이 시스템(110) 자체의 움직임에 관한 3차원 정보를 얻을 수 있기 때문에 디스플레이 시스템(110)은 디스플레이 시스템(110)에 대한 사용자(140)의 정확한 상대적 위치를 얻을 수 있다. 스테레오 카메라(111, 112)를 통해 입력되는 영상만을 이용하여 사용자(140)의 움직임을 추적할 때 디스플레이 시스템(110)이 움직이는 경우, 사용자(140)가 상대적으로 어느 방향으로 움직였는지 알 수 없기 때문에 카메라를 통해 얻어진 영상 전체에서 원하는 위치(예를 들어, 사용자(140)의 얼굴 위치, 양쪽 눈 위치 또는 양쪽 동공 위치 등)를 탐색해야 한다. 그러나, 센서(113)를 조합하여 이용하는 경우, 센서(113)로부터 센싱되는 자세 정보를 이용하여 디스플레이 시스템(110)에 대한 사용자(140)의 상대적 위치를 계산할 수 있다. 따라서, 영상 전체를 탐색하는 경우에 비해 오류 및 탐색 시간을 줄일 수 있다.
또한, 도 1에서 범위(120)는 시야각(Field Of View, FOV)를 나타내고 있고, 직선(130)는 디스플레이 시스템(110)이 제공하는 다시점 중 하나를 나타내고 있다. 이러한 다시점은 렌티큘러 렌즈(Lenticular lens)나 가변형 패럴랙스 배리어(variable parallax barrier)를 이용하여 생성될 수 있다. 예를 들어, FPD(Flat Panel Display) 전면에 렌티큘러 렌즈가 부착되고, 렌티큘러 렌즈의 특성에 따라 FPD에 구현된 픽셀 정보들이 렌티큘러 렌즈에 의해 위치별로 정해진 특정 방향으로 발산되어 다시점 영상이 생성될 수 있다. 즉, 2 시점 스테레오스코픽(stereoscopic) 영상을 구현하고자 하는 경우, 각 렌티큘러 렌즈 아래에 있는 칼럼(column) 픽셀 정보들은 렌티큘러 렌즈에 의해 서로 다른 방향으로 진행하게 된다. 즉, 렌티큘러 렌즈 아래에 있는 왼쪽 칼럼 픽셀 정보들은 사용자(140)가 특정 시청 위치에 존재하는 경우 사용자(140)의 오른쪽 눈 방향으로 진행하고, 렌티큘러 렌즈 아래에 있는 오른쪽 칼럼 픽셀 정보들은 사용자(140)의 왼쪽 눈 방향으로 진행하게 된다. 즉, 사용자(140)는 좌우 눈에 다른 시점 영상을 시청하게 됨으로써, 입체감을 느낄 수 있다. 이때, 특정 시청 위치에 사용자(140)가 존재하지 않는 경우에도, 상술한 바와 같이 사용자(140)의 얼굴 위치나 양쪽 눈 위치 등의 위치를 이용하여 시점 영상을 생성함으로써, 현재 사용자(140)의 위치가 최적 시청 위치가 되도록 조절할 수 있다.
도 2는 본 발명의 일실시예에 있어서, 디스플레이 시스템의 스테레오 카메라와 사용자를 나타낸 도면이다. 우선, 도 2에 나타낸 기호들의 의미를 설명한다. 'CL'은 스테레오 카메라 중 왼쪽 카메라를, 'CR'은 스테레오 카메라 중 오른쪽 카메라를 각각 의미할 수 있다. 또한, '(X, Y, Z)'는 기선정된 3차원 좌표계에서 사용자의 얼굴이나 눈 등의 측정하고자 하는 점의 좌표를 나타낼 수 있다. 도 2에서 3차원 좌표계는 사용자가 바라보는 이미지 플랜(image plane) 상에서 가로 방향이 x-축 방향을, 세로 방향이 y-축 방향을, 이미지 플랜과 수직한 방향이 z-축 방향을 나타낸다고 가정한다.
또한, 'PL(xl, yl)' 및 왼쪽 카메라의 위치를 나타내는 점과 측정하고자 하는 점을 연결한 가상의 선이 이미지 플랜(image plane)에 따른 가상의 선과 만나는 점을, 'PR(xr, yr)'는 왼쪽 카메라의 위치를 나타내는 점과 측정하고자 하는 점을 연결한 가상의 선이 이미지 플랜에 따른 가상의 선과 만나는 점을 각각 의미할 수 있다. 'b'는 왼쪽 카메라의 위치를 나타내는 점과 오른쪽 카메라의 위치를 나타내는 점간의 거리를, 'Z'는 왼쪽 카메라의 위치를 나타내는 점과 오른쪽 카메라의 위치를 나타내는 점을 연결한 가상의 선과 측정하고자 하는 점간의 거리를 각각 의미할 수 있다. 'f'는 왼쪽 카메라의 위치를 나타내는 점과 오른쪽 카메라의 위치를 나타내는 점을 연결한 가상의 선과 이미지 플랜에 따른 가성의 선간의 거리를 의미할 수 있다.
이때, 측정하고자 하는 점의 x-축 좌표값인 'X'는 아래 수학식 1을 이용하여 계산되거나 삼각법을 이용하여 아래 수학식 2와 같이 계산될 수 있다.
Figure pat00001
Figure pat00002
또한, 측정하고자 하는 점의 y-축 좌표값인 'Y'는 아래 수학식 3을 이용하여 계산되거나 삼각법을 이용하여 아래 수학식 4와 같이 계산될 수 있다.
Figure pat00003
Figure pat00004
이때, 측정하고자 하는 점의 z-축 좌표값인 'Z'는 상술한 수학식 1 및 수학식 2 를 통해 아래 수학식 5와 같이 계산될 수 있다.
Figure pat00005
도 3은 본 발명의 일실시예에 있어서, 디스플레이 시스템의 자세 정보를 설명하기 위한 일례이다. 도 3은 디스플레이 시스템에 대한 가상의 3차원 좌표계에서 z-축 회전, y-축 회전 및 x-축 회전에 따라 각각 측정되는 요(yaw), 피치(pitch) 및 롤(roll)을 각각 나타내고 있다. 이때, 피치와 롤은 가속도 센서를 이용하여 중력 방향에 대해 기울어진 각을 이용하여 계산될 수 있다. 또한, 요는 지자기 센서를 이용하여 계산될 수 있다. 즉, 지자기 센서는 북쪽(N) 방향을 알 수 있는 센서로서 방위각 성분인 요 값을 계산할 수 있다.
자이로 센서는 축방향의 회전속도를 검출할 수 있다. 그러나, 자이로 센서는 기준좌표에 대한 정보 없이 임의의 축 방향으로의 회전 속도(각속도)만 검출되기 때문에 디스플레이 시스템 자체의 자세를 알 수 없고, 짧은 시간 내의 회전 속도만 알 수 있기 때문에 장시간 사용할 경우 오차가 누적되어 신뢰할 수 있는 정보를 얻기 어렵다. 따라서, 가속도 센서와 지자기 센서를 이용하여 요, 피치 및 롤을 각각 계산하여 디스플레이 시스템에 대한 자세 정보를 얻을 수 있다. 물론 필요에 따라 자이로 센서가 보다 정확한 자세 정보를 얻기 위해 추가적으로 이용될 수도 있다.
도 4는 본 발명의 일실시예에 있어서, 디스플레이 시스템과 사용자를 나타낸 도면이다. 도 4는 디스플레이 시스템(410)과 사용자(420)가 각각 개별적으로 움직일 수 있음을 나타낸다. 즉, 사용자(420)가 디스플레이 시스템(410)과 같은 휴대용 장치를 이용하여 3차원 입체 영상을 시청하는 동안, 사용자(420)의 움직임과 디스플레이 시스템(410)의 움직임 각각에 의해 사용자(420)의 두 눈에 입력되는 시점 영상이 변경될 수 있다. 이때, 시점 영상들은 공간상의 한 지점으로 수렴하여 각 시차영상을 형성하기 때문에 최적 시청 위치가 아닌 경우, 어지러운 영상을 보게 되거나 많은 크로스톡(crosstalk)으로 인해 화질이 떨어져 시각 피로가 발생할 수 있다.
따라서, 본 실시예에 따른 디스플레이 시스템(410)은 복수의 카메라를 이용하여 사용자(420)의 얼굴이나 양쪽 눈(또는 동공)의 위치에 대한 정보를 얻음과 동시에 디스플레이 시스템(410)에 움직임이 발생하는 경우, 복수의 센서를 통해 얻을 수 있는 자세 정보를 피드백하여 보다 정확한 사용자의 위치를 측정할 수 있고, 이러한 사용자(420)의 위치에 따라 시점영상을 생성함으로써, 사용자(420)와 디스플레이 시스템(410)의 움직임과 관계없이 자연스러운 입체 영상을 제공할 수 있다.
도 5는 본 발명의 일실시예에 있어서, 디스플레이 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 다른 디스플레이 시스템(500)은 도 5에 도시된 바와 같이 위치 정보 제공부(510), 자세 정보 제공부(520) 및 최종 위치 결정부(530)를 포함한다.
위치 정보 제공부(510)는 복수의 카메라로부터 수신된 정보를 이용하여 생성되는 사용자의 얼굴 또는 양쪽 눈의 위치 정보를 제공한다. 예를 들어, 복수의 카메라는 두 개의 카메라로 구성된 스테레오 카메라(stereo camera)를 포함할 수 있다. 이때, 위치 정보 제공부(510)는 스테레오 카메라로부터 수신되는 스테레오 영상을 이용하여 사용자의 3차원 위치 정보인 위치 정보를 생성하는 위치 정보 생성부(미도시)를 포함할 수 있다. 예를 들어, 위치 정보 생성부(미도시)는 도 2를 통해 설명한 방법을 이용하여 스테레오 카메라를 이용하여 위치 정보를 생성할 수 있다.
자세 정보 제공부(520)는 복수의 센서로부터 수신된 정보를 이용하여 생성되는 자세 정보를 제공한다. 이때, 복수의 센서는 가속도 센서 및 지자기 센서를 포함할 수 있다. 이 경우, 자세 정보 제공부(520)는 가속도 센서로부터 수신된 정보를 이용하여 중력 방향에 대해 기울어진 자세각을 계산하는 자세각 계산부(미도시), 지자기 센서로부터 수신된 정보를 이용하여 방위각을 계산하는 방위각 계산부(미도시) 및 자세각 및 방위각을 적어도 포함하는 자세 정보를 제공하는 제공부(미도시)를 포함할 수 있다. 여기서, 자세각은 피치(pitch) 및 롤(roll)을 포함할 수 있고, 방위각은 요(yaw)를 포함할 수 있다.
최종 위치 결정부(530)는 위치 정보 및 자세 정보 중 적어도 하나에 기초하여 사용자의 최종 위치를 결정한다. 이때, 최종 위치 결정부(530)는 자세 정보에 기초하여 스스로의 자세(posture)가 변경되었는지 여부를 판단하는 자세 변경 판단부 및 자세의 변경 여부에 따라 최종 위치를 결정하는 결정부(미도시)를 포함할 수 있다. 또한, 자세의 변경 여부에 따라 최종 위치를 결정하기 위해 결정부(미도시)는 자세가 변경되지 않은 경우, 위치 정보에 따른 위치를 최종 위치로 결정하는 제1 결정부(미도시), 자세가 변경된 경우, 자세 정보를 이용하여 사용자와의 상대적 위치를 계산하는 상대적 위치 계산부(미도시) 및 상대적 위치에 기초하여 최종 위치를 결정하는 제2 결정부(미도시)를 포함할 수 있다. 즉, 디스플레이 시스템(500)은 디스플레이 시스템(500)의 자세가 변경되지 않은 경우에는 위치 정보만을 이용하여 사용자(또는 사용자의 양쪽 눈이나 양쪽 눈의 동공)의 최종 위치를 결정할 수 있다. 또한, 디스플레이 시스템(500)은 디스플레이 시스템(500)의 자세가 변경된 경우에는 자세 정보를 이용하여 사용자와의 상대적 위치를 계산하고, 상대적 위치에 따라 최종 위치를 결정할 수 있다. 이를 위해, 제2 결정부(미도시)는 복수의 카메라로부터 수신된 영상 중 상대적 위치에 따라 결정되는 기선정된 범위 내의 영상에서 사용자의 얼굴 또는 양쪽 눈의 위치를 탐색하여 최종 위치로서 결정할 수 있다. 따라서, 자이로 센서에 비해 매우 저렴한 가속도 센서와 지자기 센서 그리고 스테레오 카메라를 이용하여 사용자의 위치를 고속으로, 정확하게 측정할 수 있다.
또한, 디스플레이 시스템(500)은 최종 위치에 기초하여 다시점 영상을 생성하는 디스플레이부(미도시)를 더 포함할 수 있다. 일례로, 디스플레이부(미도시)는 렌티큘러 렌즈(Lenticular lens)를 이용한 서브 픽셀 렌더링을 통해 시점 영상을 상기 최종 위치에 따라 변경하여 디스플레이할 수 있다. 다른 예로, 디스플레이부(미도시)는 가변형 패럴랙스 배리어(variable parallax barrier)의 주기, 폭 및 상기 가변형 패럴랙스 배리어를 이용한 서브 픽셀 렌더링을 통해 시점 영상을 상기 최종 위치에 따라 변경하여 디스플레이할 수 있다. 즉, 디스플레이 시스템(500)이 다시점 3차원 디스플레이 장치와 같이 입체 영상을 제공하기 위해 복수의 시점 영상을 제공하는 경우 상술한 최종 위치에 따라 다시점 영상을 생성하여 디스플레이함으로써, 사용자가 입체 영상을 시청하는 위치와 무관하게 지속적으로 최적의 입체 영상을 제공할 수 있다. 뿐만 아니라, 장치가 움직이는 경우에도 최적의 입체 영상을 제공하는 것이 가능해진다.
도 6은 본 발명의 일실시예에 있어서, 디스플레이 방법을 도시한 흐름도이다. 본 실시예에 따른 디스플레이 방법은 도 5를 통해 설명한 디스플레이 시스템(500)에 의해 수행될 수 있다. 도 6에서는 디스플레이 시스템(500)에 의해 각각의 단계가 수행되는 과정을 설명함으로써, 디스플레이 방법을 설명한다.
단계(610)에서 디스플레이 시스템(500)은 복수의 카메라로부터 수신된 정보를 이용하여 생성되는 사용자의 얼굴 또는 양쪽 눈의 위치 정보를 제공한다. 예를 들어, 복수의 카메라는 두 개의 카메라로 구성된 스테레오 카메라(stereo camera)를 포함할 수 있다. 이때, 디스플레이 시스템(500)은 스테레오 카메라로부터 수신되는 스테레오 영상을 이용하여 사용자의 3차원 위치 정보인 위치 정보를 생성할 수 있다. 예를 들어, 디스플레이 시스템(500)은 도 2를 통해 설명한 방법을 이용하여 스테레오 카메라를 이용하여 위치 정보를 생성할 수 있다.
단계(620)에서 디스플레이 시스템(500)은 복수의 센서로부터 수신된 정보를 이용하여 생성되는 자세 정보를 제공한다. 이때, 복수의 센서는 가속도 센서 및 지자기 센서를 포함할 수 있다. 이 경우, 디스플레이 시스템(500)은 가속도 센서로부터 수신된 정보를 이용하여 중력 방향에 대해 기울어진 자세각을 계산하고, 지자기 센서로부터 수신된 정보를 이용하여 방위각을 계산할 수 있다. 이때, 디스플레이 시스템(500)은 자세각 및 방위각을 적어도 포함하는 자세 정보를 제공할 수 있다. 여기서, 자세각은 피치 및 롤을 포함할 수 있고, 방위각은 요를 포함할 수 있다.
단계(630)에서 디스플레이 시스템(500)은 위치 정보 및 자세 정보 중 적어도 하나에 기초하여 사용자의 최종 위치를 결정한다. 이때, 디스플레이 시스템(500)은 자세 정보에 기초하여 스스로의 자세(posture)가 변경되었는지 여부를 판단하는 자세 변경 판단부 및 자세의 변경 여부에 따라 최종 위치를 결정할 수 있다. 또한, 자세의 변경 여부에 따라 최종 위치를 결정하기 위해 디스플레이 시스템(500)은 자세가 변경되지 않은 경우, 위치 정보에 따른 위치를 최종 위치로 결정할 수 있다. 만약, 자세가 변경된 경우에는 자세 정보를 이용하여 사용자와의 상대적 위치를 계산하고, 상대적 위치에 기초하여 최종 위치를 결정할 수 있다. 즉, 디스플레이 시스템(500)은 디스플레이 시스템(500)의 자세가 변경되지 않은 경우에는 위치 정보만을 이용하여 사용자(또는 사용자의 양쪽 눈이나 양쪽 눈의 동공)의 최종 위치를 결정할 수 있다. 또한, 디스플레이 시스템(500)은 디스플레이 시스템(500)의 자세가 변경된 경우에는 자세 정보를 이용하여 사용자와의 상대적 위치를 계산하고, 상대적 위치에 따라 최종 위치를 결정할 수 있다. 이를 위해, 디스플레이 시스템(500)은 복수의 카메라로부터 수신된 영상 중 상대적 위치에 따라 결정되는 기선정된 범위 내의 영상에서 사용자의 얼굴 또는 양쪽 눈의 위치를 탐색하여 최종 위치로서 결정할 수 있다. 따라서, 자이로 센서에 비해 매우 저렴한 가속도 센서와 지자기 센서 그리고 스테레오 카메라를 이용하여 사용자의 위치를 고속으로, 정확하게 측정할 수 있다.
또한, 디스플레이 시스템(500)은 최종 위치에 기초하여 다시점 영상을 생성하는 단계(미도시)를 더 포함할 수 있다. 일례로, 디스플레이 시스템(500)은 렌티큘러 렌즈(Lenticular lens)를 이용한 서브 픽셀 렌더링을 통해 시점 영상을 상기 최종 위치에 따라 변경하여 디스플레이할 수 있다. 다른 예로, 디스플레이 시스템(500)은 가변형 패럴랙스 배리어(variable parallax barrier)의 주기, 폭 및 상기 가변형 패럴랙스 배리어를 이용한 서브 픽셀 렌더링을 통해 시점 영상을 상기 최종 위치에 따라 변경하여 디스플레이할 수 있다. 즉, 디스플레이 시스템(500)이 다시점 3차원 디스플레이 장치와 같이 입체 영상을 제공하기 위해 복수의 시점 영상을 제공하는 경우 상술한 최종 위치에 따라 다시점 영상을 생성하여 디스플레이함으로써, 사용자가 입체 영상을 시청하는 위치와 무관하게 지속적으로 최적의 입체 영상을 제공할 수 있다. 뿐만 아니라, 장치가 움직이는 경우에도 최적의 입체 영상을 제공하는 것이 가능해진다.
도 7은 본 발명의 일실시예에 있어서, 최종 위치를 결정하여 시점 영상을 디스플레이하는 방법을 도시한 흐름도이다. 도 7의 실시예에 따른 방법은 본 발명의 실시예들이 적용된 휴대기기를 통해 수행될 수 있다. 이러한 휴대기기는 도 5를 통해 설명한 디스플레이 시스템(500)에 대응될 수 있다.
단계(701)에서 휴대기기는 시청자 영상을 획득할 수 있다. 즉, 휴대기기는 입체 영상의 시청이 시작되면, 스테레오 카메라를 이용하여 촬영된 시청자 영상을 입력 받을 수 있다.
휴대기기는 단계(702)에서 시청자 동공을 검출할 수 있고, 단계(703)에서 위치 정보를 검출할 수 있다. 보다 자세하게, 휴대기기는 입력된 영상에서 시청자의 동공을 검출하고, 동공의 위치에 기초하여 위치 정보를 검출할 수 있다.
단계(704)에서 휴대기기는 휴대기기의 자세를 검출한다. 이러한 단계(704)는 단계(701) 내지 단계(703)이 수행된 후에 수행되거나 단계(701) 내지 단계(703)이 수행되는 도중에 함께 수행될 수 있다. 단계(704)에서 휴대기기는 가속도 센서와 지자기 센서와 같은 복수의 센서를 통해 휴대기기 자체의 자세 정보를 검출할 수 있다.
단계(705)에서 휴대기기는 휴대기기의 자세가 변경된 경우 단계(706)을 수행할 수 있고, 휴대기기의 자세가 변경되지 않은 경우 단계(709)를 수행할 수 있다. 이때, 자세의 변경 여부는 단계(704)에서 검출된 자세 정보에 기초하여 결정될 수 있다.
휴대기기는 단계(706)에서 상대위치를 계산하고, 단계(707)에서 상대위치 주변의 시청자 동공을 검출한다. 또한, 휴대기기는 단계(708)에서 최종 위치 정보를 검출한다. 여기서, 상대위치는 휴대기기에 대한 사용자의 상대적 위치를 의미할 수 있다. 즉, 휴대기기는 자세 정보를 통해 계산된 사용자의 상대적 위치를 이용하여 스테레오 카메라를 통해 입력된 영상 중 상대적 위치 주변의 범위 내에서 사용자의 동공 검출을 시도할 수 있다. 즉, 전체 영상에서 동공의 위치를 추적하기 위해서는 많은 연산량을 필요로 하고, 인식률이 낮으나 상술한 바와 같이 상대적 위치 주변의 범위 내에서만 동공을 검출함으로써, 인식 오류를 줄이고 연산량을 줄여 시스템 자원을 절약할 수 있을 뿐만 아니라 검출 시간도 단축시킬 수 있다.
단계(709)에서 휴대기기는 시점영상을 디스플레이 한다. 이때, 휴대기기는 단계(705)에서 휴대기기의 자세가 변경된 것으로 판단된 경우, 단계(708)에서 검출된 최종 위치 정보를 통해 시점 영상을 생성하여 디스플레이할 수 있다. 또한, 단계(705)에서 휴대기기의 자세가 변경되지 않은 것으로 판단된 경우에는 단계(703)에서 검출된 위치 정보를 최종 위치로서 이용하여 시점 영상을 생성 및 디스플레이할 수 있다.
휴대기기는 단계(710)에서 동공 위치나 휴대기기의 자세가 변화되었는지 기선정된 기간마다 확인하여 변화되지 않은 경우 단계(709)를 수행할 수 있고, 변화된 경우 단계(701) 및 단계(704) 중 적어도 하나의 단계를 재수행할 수 있다. 즉, 휴대기기는 동공의 위치가 변화된 경우에는 단계(701)을, 휴대기기의 자세가 변화된 경우에는 단계(704)를 각각 수행할 수 있다. 또한, 동공의 위치와 휴대기기의 자세가 모두 변화된 경우에는 단계(701)과 단계(704)를 모두 수행할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 복수의 카메라와 복수의 센서를 이용하여 사용자의 위치를 보다 정확하게 측정하고, 이를 영상의 디스플레이에 이용할 수 있고, 특히, 휴대용 장치에서 다시점 3차원 영상을 디스플레이 하는 경우, 사용자의 동공 위치뿐만 아니라, 휴대용 장치 자체의 자세까지 반영하여 측정한 사용자의 동공 위치를 이용하여 자연스러운 입체 영상을 제공할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
500: 디스플레이 시스템
510: 위치 정보 제공부
520: 자세 정보 제공부
530: 최종 위치 결정부

Claims (18)

  1. 복수의 카메라로부터 수신된 정보를 이용하여 생성되는 사용자의 얼굴 또는 양쪽 눈의 위치 정보를 제공하는 위치 정보 제공부;
    복수의 센서로부터 수신된 정보를 이용하여 생성되는 자세 정보를 제공하는 자세 정보 제공부; 및
    상기 위치 정보 및 상기 자세 정보 중 적어도 하나에 기초하여 상기 사용자의 최종 위치를 결정하는 최종 위치 결정부
    를 포함하는 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 복수의 센서는 가속도 센서 및 지자기 센서를 포함하고,
    상기 자세 정보 제공부는,
    상기 가속도 센서로부터 수신된 정보를 이용하여 중력 방향에 대해 기울어진 자세각을 계산하는 자세각 계산부;
    상기 지자기 센서로부터 수신된 정보를 이용하여 방위각을 계산하는 방위각 계산부; 및
    상기 자세각 및 상기 방위각을 적어도 포함하는 자세 정보를 제공하는 제공부
    를 포함하는, 디스플레이 시스템.
  3. 제2항에 있어서,
    상기 자세각은 피치(pitch) 및 롤(roll)을 포함하고,
    상기 방위각은 요(yaw)를 포함하는, 디스플레이 시스템.
  4. 제1항에 있어서,
    상기 복수의 카메라는 두 개의 카메라로 구성된 스테레오 카메라(stereo camera)를 포함하고,
    상기 위치 정보 제공부는,
    상기 스테레오 카메라로부터 수신되는 스테레오 영상을 이용하여 상기 사용자의 3차원 위치 정보인 상기 위치 정보를 생성하는 위치 정보 생성부
    를 포함하는, 디스플레이 시스템.
  5. 제1항에 있어서,
    상기 최종 위치 결정부는,
    상기 자세 정보에 기초하여 스스로의 자세(posture)가 변경되었는지 여부를 판단하는 자세 변경 판단부; 및
    상기 자세의 변경 여부에 따라 상기 최종 위치를 결정하는 결정부
    를 포함하는, 디스플레이 시스템.
  6. 제5항에 있어서,
    상기 결정부는,
    상기 자세가 변경되지 않은 경우, 상기 위치 정보에 따른 위치를 상기 최종 위치로 결정하는 제1 결정부;
    상기 자세가 변경된 경우, 상기 자세 정보를 이용하여 상기 사용자와의 상대적 위치를 계산하는 상대적 위치 계산부; 및
    상기 상대적 위치에 기초하여 상기 최종 위치를 결정하는 제2 결정부
    를 포함하는, 디스플레이 시스템.
  7. 제6항에 있어서,
    상기 제2 결정부는,
    상기 복수의 카메라로부터 수신된 영상 중 상기 상대적 위치에 따라 결정되는 기선정된 범위 내의 영상에서 상기 사용자의 얼굴 또는 양쪽 눈의 위치를 탐색하여 상기 최종 위치로서 결정하는, 디스플레이 시스템.
  8. 제1항에 있어서,
    상기 최종 위치에 기초하여 다시점 영상을 생성하는 디스플레이부
    를 더 포함하는, 디스플레이 시스템
  9. 제8항에 있어서,
    상기 디스플레이부는,
    렌티큘러 렌즈(Lenticular lens)를 이용한 서브 픽셀 렌더링을 통해 시점 영상을 상기 최종 위치에 따라 변경하여 디스플레이하는, 다시점 디스플레이 시스템.
  10. 제8항에 있어서,
    상기 디스플레이부는,
    가변형 패럴랙스 배리어(variable parallax barrier)의 주기, 폭 및 상기 가변형 패럴랙스 배리어를 이용한 서브 픽셀 렌더링을 통해 시점 영상을 상기 최종 위치에 따라 변경하여 디스플레이하는, 다시점 디스플레이 시스템.
  11. 복수의 카메라로부터 수신된 정보를 이용하여 생성되는 사용자의 얼굴 또는 양쪽 눈의 위치 정보를 제공하는 단계;
    복수의 센서로부터 수신된 정보를 이용하여 생성되는 자세 정보를 제공하는 단계; 및
    상기 위치 정보 및 상기 자세 정보 중 적어도 하나에 기초하여 상기 사용자의 최종 위치를 결정하는 단계
    를 포함하는 디스플레이 방법.
  12. 제11항에 있어서,
    상기 복수의 센서는 가속도 센서 및 지자기 센서를 포함하고,
    상기 자세 정보를 제공하는 단계는,
    상기 가속도 센서로부터 수신된 정보를 이용하여 중력 방향에 대해 기울어진 자세각을 계산하는 단계;
    상기 지자기 센서로부터 수신된 정보를 이용하여 방위각을 계산하는 단계; 및
    상기 자세각 및 상기 방위각을 적어도 포함하는 자세 정보를 제공하는 단계
    를 포함하는, 디스플레이 방법.
  13. 제11항에 있어서,
    상기 복수의 카메라는 두 개의 카메라로 구성된 스테레오 카메라(stereo camera)를 포함하고,
    상기 위치 정보를 제공하는 단계는,
    상기 스테레오 카메라로부터 수신되는 스테레오 영상을 이용하여 상기 사용자의 3차원 위치 정보인 상기 위치 정보를 생성하는 단계
    를 포함하는, 디스플레이 방법.
  14. 제11항에 있어서,
    상기 최종 위치를 결정하는 단계는,
    상기 자세 정보에 기초하여 스스로의 자세(posture)가 변경되었는지 여부를 판단하는 단계; 및
    상기 자세의 변경 여부에 따라 상기 최종 위치를 결정하는 단계
    를 포함하는, 디스플레이 방법.
  15. 제14항에 있어서,
    상기 최종 위치를 결정하는 단계는,
    상기 자세가 변경되지 않은 경우, 상기 위치 정보에 따른 위치를 상기 최종 위치로 결정하는 단계;
    상기 자세가 변경된 경우, 상기 자세 정보를 이용하여 상기 사용자와의 상대적 위치를 계산하는 단계; 및
    상기 상대적 위치에 기초하여 상기 최종 위치를 결정하는 단계
    를 포함하는, 디스플레이 방법.
  16. 제15항에 있어서,
    상기 상대적 위치에 기초하여 상기 최종 위치를 결정하는 단계는,
    상기 복수의 카메라로부터 수신된 영상 중 상기 상대적 위치에 따라 결정되는 기선정된 범위 내의 영상에서 상기 사용자의 얼굴 또는 양쪽 눈의 위치를 탐색하여 상기 최종 위치로서 결정하는, 디스플레이 방법.
  17. 제11항에 있어서,
    상기 최종 위치에 기초하여 다시점 영상을 생성하는 단계
    를 더 포함하는, 디스플레이 방법.
  18. 제11항 내지 제17항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020100077749A 2010-08-12 2010-08-12 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 KR101699922B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100077749A KR101699922B1 (ko) 2010-08-12 2010-08-12 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법
US13/067,600 US9171371B2 (en) 2010-08-12 2011-06-13 Display system and method using hybrid user tracking sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100077749A KR101699922B1 (ko) 2010-08-12 2010-08-12 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120015564A true KR20120015564A (ko) 2012-02-22
KR101699922B1 KR101699922B1 (ko) 2017-01-25

Family

ID=45564494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100077749A KR101699922B1 (ko) 2010-08-12 2010-08-12 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법

Country Status (2)

Country Link
US (1) US9171371B2 (ko)
KR (1) KR101699922B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130131786A (ko) * 2012-05-24 2013-12-04 엘지전자 주식회사 영상표시장치 및 그 동작방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9283429B2 (en) 2010-11-05 2016-03-15 Nike, Inc. Method and system for automated personal training
US9852271B2 (en) 2010-12-13 2017-12-26 Nike, Inc. Processing data of a user performing an athletic activity to estimate energy expenditure
US9457256B2 (en) 2010-11-05 2016-10-04 Nike, Inc. Method and system for automated personal training that includes training programs
US9977874B2 (en) 2011-11-07 2018-05-22 Nike, Inc. User interface for remote joint workout session
CA2816589A1 (en) 2010-11-05 2012-05-10 Nike International Ltd. Method and system for automated personal training
US9223936B2 (en) 2010-11-24 2015-12-29 Nike, Inc. Fatigue indices and uses thereof
US10420982B2 (en) 2010-12-13 2019-09-24 Nike, Inc. Fitness training system with energy expenditure calculation that uses a form factor
US20120314899A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Natural user interfaces for mobile image viewing
US9811639B2 (en) 2011-11-07 2017-11-07 Nike, Inc. User interface and fitness meters for remote joint workout session
US9274597B1 (en) * 2011-12-20 2016-03-01 Amazon Technologies, Inc. Tracking head position for rendering content
JP2013197625A (ja) * 2012-03-15 2013-09-30 Omron Corp 端末、表示画面描画方向補正方法、プログラム、及びコンピュータ読み取り可能な記録媒体
WO2013184679A1 (en) 2012-06-04 2013-12-12 Nike International Ltd. Combinatory score having a fitness sub-score and an athleticism sub-score
US8526677B1 (en) * 2012-07-16 2013-09-03 Google Inc. Stereoscopic camera with haptic feedback for object and location detection
US9690384B1 (en) * 2012-09-26 2017-06-27 Amazon Technologies, Inc. Fingertip location determinations for gesture input
CN103905709A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 一种控制电子设备的方法及电子设备
US9621795B1 (en) 2016-01-08 2017-04-11 Microsoft Technology Licensing, Llc Active speaker location detection
CN105719586A (zh) * 2016-03-18 2016-06-29 京东方科技集团股份有限公司 透明显示方法和透明显示装置
JP6335237B2 (ja) * 2016-09-15 2018-05-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
JP6463319B2 (ja) * 2016-10-19 2019-01-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
US10531187B2 (en) 2016-12-21 2020-01-07 Nortek Security & Control Llc Systems and methods for audio detection using audio beams
CN107219889A (zh) 2017-05-25 2017-09-29 京东方科技集团股份有限公司 护眼显示装置和显示屏调整方法
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN113347410B (zh) * 2021-06-01 2022-12-30 广东未来科技有限公司 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060066576A (ko) * 2004-12-13 2006-06-16 삼성전자주식회사 입체영상장치
KR20090078085A (ko) * 2008-01-14 2009-07-17 에스케이 텔레콤주식회사 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
WO2009136235A1 (en) * 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
KR20100066299A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 디지털 영상의 3차원 공간좌표 계산이 가능한 디지털 촬영 장치 및 그 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPN003894A0 (en) 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
JPH08287291A (ja) 1995-04-13 1996-11-01 Fanuc Ltd 画像表示方式
JPH0984000A (ja) 1995-09-07 1997-03-28 Toshiba Corp 画像表示システム
EP1168830A1 (en) * 2000-06-30 2002-01-02 Wells & Verne Investments Ltd Computer aided image capturing system
US8120625B2 (en) * 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
US20040228505A1 (en) * 2003-04-14 2004-11-18 Fuji Photo Film Co., Ltd. Image characteristic portion extraction method, computer readable medium, and data collection and processing device
GB2412431B (en) * 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
IL170404A (en) * 2004-08-26 2012-03-29 C2Cure Inc Wireless determination of endoscope orientation
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
JP5219184B2 (ja) * 2007-04-24 2013-06-26 任天堂株式会社 トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法
JP4871315B2 (ja) * 2008-03-26 2012-02-08 富士フイルム株式会社 複眼撮影装置およびその制御方法並びにプログラム
KR101546774B1 (ko) * 2008-07-29 2015-08-24 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
US9445193B2 (en) * 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US8686953B2 (en) * 2008-09-12 2014-04-01 Qualcomm Incorporated Orienting a displayed element relative to a user
CN102203850A (zh) * 2008-09-12 2011-09-28 格斯图尔泰克公司 相对于用户而定向所显示的元素
WO2010038653A1 (ja) * 2008-10-01 2010-04-08 日本電気株式会社 携帯端末装置及びそれに用いる画像表示方法並びにそのプログラムを記録した記憶媒体
KR101526998B1 (ko) * 2008-10-16 2015-06-08 엘지전자 주식회사 이동통신 단말기 및 그 절전 방법
KR101450580B1 (ko) * 2008-11-19 2014-10-14 삼성전자주식회사 이미지 합성 방법 및 장치
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
JP2010193031A (ja) * 2009-02-17 2010-09-02 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
US8379056B2 (en) * 2009-02-27 2013-02-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for providing a video signal of a virtual image
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
CN101876815B (zh) * 2009-04-28 2012-09-19 深圳富泰宏精密工业有限公司 婴儿睡眠监控系统及方法
WO2010127285A2 (en) * 2009-04-30 2010-11-04 Tetracam, Inc. Method and apparatus for providing a 3d image via media device
US8179449B2 (en) * 2009-05-20 2012-05-15 Sony Ericsson Mobile Communications Ab Portable electronic apparatus including a display and method for controlling display content based on movement of the display and user position
JP5397081B2 (ja) * 2009-08-12 2014-01-22 富士通モバイルコミュニケーションズ株式会社 携帯端末
JP5491101B2 (ja) * 2009-08-26 2014-05-14 キヤノン株式会社 撮像装置
US20120169596A1 (en) * 2009-09-29 2012-07-05 Zhuang Longpeng Method and apparatus for detecting a fixation point based on face detection and image measurement
KR101714781B1 (ko) * 2009-11-17 2017-03-22 엘지전자 주식회사 컨텐츠 재생 방법
US8189964B2 (en) * 2009-12-07 2012-05-29 Google Inc. Matching an approximately located query image against a reference image set
US8427476B2 (en) * 2009-12-14 2013-04-23 Acer Incorporated System and method for automatically adjusting visual setting of display device
US8427591B2 (en) * 2010-03-17 2013-04-23 3Dv Co. Ltd. 3D liquid crystal display system
US8581905B2 (en) * 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060066576A (ko) * 2004-12-13 2006-06-16 삼성전자주식회사 입체영상장치
KR20090078085A (ko) * 2008-01-14 2009-07-17 에스케이 텔레콤주식회사 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
WO2009136235A1 (en) * 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
KR20100066299A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 디지털 영상의 3차원 공간좌표 계산이 가능한 디지털 촬영 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130131786A (ko) * 2012-05-24 2013-12-04 엘지전자 주식회사 영상표시장치 및 그 동작방법

Also Published As

Publication number Publication date
US9171371B2 (en) 2015-10-27
US20120038627A1 (en) 2012-02-16
KR101699922B1 (ko) 2017-01-25

Similar Documents

Publication Publication Date Title
KR101699922B1 (ko) 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법
JP5729915B2 (ja) 多視点映像表示装置、多視点映像表示方法及び記憶媒体
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
EP2597597B1 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
US20180018791A1 (en) Computer program, head-mounted display device, and calibration method
EP3584682A1 (en) Three-dimensional tracking of a user control device in a volume
CN103871045B (zh) 显示系统和方法
CN102395036A (zh) 用于提供3d增强现实图像的设备和方法
US20150254224A1 (en) Method and apparatus for displaying 3d image
CN104765156B (zh) 一种三维显示装置和三维显示方法
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
CN104134235A (zh) 真实空间和虚拟空间的融合方法和融合系统
KR101419044B1 (ko) 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US11070782B2 (en) Method of outputting three-dimensional image and electronic device performing the method
US20150195512A1 (en) Stereoscopic map display system
CN109564682A (zh) 路面估计装置、车辆控制装置、路面估计方法以及程序
EP3275182B1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
KR20200056721A (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
KR20220022340A (ko) 컨텐츠를 시각화하는 장치 및 방법
CN102200445A (zh) 实时扩增实境装置及其实时扩增实境方法
CN110969706A (zh) 增强现实设备及其图像处理方法、系统以及存储介质
US20130286164A1 (en) Glassless 3d image display apparatus and method thereof
US10296098B2 (en) Input/output device, input/output program, and input/output method
US8837813B2 (en) Mobile three dimensional imaging system
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 4