KR20120016386A - 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법 - Google Patents

3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법 Download PDF

Info

Publication number
KR20120016386A
KR20120016386A KR1020100078703A KR20100078703A KR20120016386A KR 20120016386 A KR20120016386 A KR 20120016386A KR 1020100078703 A KR1020100078703 A KR 1020100078703A KR 20100078703 A KR20100078703 A KR 20100078703A KR 20120016386 A KR20120016386 A KR 20120016386A
Authority
KR
South Korea
Prior art keywords
user
face
data
portable device
photographing
Prior art date
Application number
KR1020100078703A
Other languages
English (en)
Inventor
임종우
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100078703A priority Critical patent/KR20120016386A/ko
Priority to US12/983,597 priority patent/US20120038750A1/en
Priority to EP11172985.1A priority patent/EP2421272A3/en
Publication of KR20120016386A publication Critical patent/KR20120016386A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

3D 객체 표시가 가능한 휴대용 장치 및 그 방법이 제공된다. 촬영부 는 사용자의 얼굴을 서로 다른 방향에서 촬영하여 얼굴 데이터를 출력하며, 작성부는 출력되는 얼굴 데이터로부터 사용자의 얼굴 비례 데이터를 작성하며, 저장부는 사용자의 얼굴 비례 데이터를 촬영된 방향 별로 저장하며, 제어부는 상기 저장된 얼굴 비례 데이터와, 상기 촬영부에 의해 현재 촬영되는 상기 사용자의 촬영 데이터를 비교하여, 상기 사용자의 시선을 관찰하고, 상기 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성할 수 있다.

Description

3Ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법{Portable Apparatus and Method for Displaying 3D Object}
본 발명은 3D 객체 표시가 가능한 휴대용 장치 및 그 방법에 관한 것으로서, 사용자의 얼굴 비례 데이터를 이용하여 3D 객체를 보다 입체적으로 표시할 수 있는 3D 객체 표시가 가능한 휴대용 장치 및 그 방법에 관한 것이다.
사용자 단말기는 3D(dimension) 기반의 UI(User Interface)를 이용하여 다양한 메뉴를 제공할 수 있다. 그러나, 기존의 3D UI 기술은 좌측과 우측의 시각차에 따라 분리된 영상을 이용하여 입체감을 줄 뿐, 사용자의 시선이 변경되어도 동일한 화면을 보여준다. 즉, 기존의 3D UI 기술은 사용자의 위치와 상관없이 동일한 UI를 보여준다.
또한, 기존의 헤드 트랙킹(Head Tracking)을 이용하는 3D UI 기술은, 시선에 따라 변경되는 UI를 보여주나, TV와 같이 고정된 장치를 사용하는 경우로 제한적이다. 또한, 헤드 트랙킹을 이용하는 3D UI 기술은 휴대용 기기와 같이 움직임이 있는 기기에서는 적외선 장치가 달린 안경과 같은 별도의 장치를 이용하여야 하므로, 3D UI 기술에 적용하기 어렵다.
따라서, 상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 사용자의 시선에 따라 적응적으로 3D 객체의 입체감을 변경하여 보여줄 수 있는 3D 객체 표시가 가능한 휴대용 장치 및 그 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 3D(dimension) 객체 표시가 가능한 휴대용 장치는, 사용자의 얼굴을 서로 다른 방향에서 촬영하여 얼굴 데이터를 출력하는 촬영부; 상기 출력되는 얼굴 데이터로부터 상기 사용자의 얼굴 비례 데이터를 작성하는 작성부; 상기 사용자의 얼굴 비례 데이터를 상기 촬영된 방향 별로 저장하는 저장부; 및 상기 저장된 얼굴 비례 데이터와, 상기 촬영부에 의해 현재 촬영되는 상기 사용자의 촬영 데이터를 비교하여, 상기 사용자의 시선을 관찰하고, 상기 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성하는 제어부를 포함할 수 있다.
상기 사용자의 얼굴을 촬영하기 위하여 상기 촬영부가 회전된 방향을 센싱하는 방향 센서를 더 포함할 수 있다.
상기 사용자의 얼굴을 촬영하는 방향에서 상기 촬영부의 기울기를 센싱하는 기울기 센서를 더 포함할 수 있다.
상기 얼굴 비례 데이터를 상기 촬영부의 회전된 방향 및 상기 촬영부의 기울기 중 적어도 하나에 매핑하여 상기 저장부에 저장하는 제어부를 더 포함할 수 있다.
상기 사용자가 다수인 경우, 상기 다수의 사용자 별로 얼굴 비례 데이터를 작성하여 저장하도록 상기 작성부 및 상기 저장부를 제어하는 제어부를 더 포함할 수 있다.
상기 작성부는 상기 사용자의 얼굴 중 눈, 코 및 입들 간의 비례 데이터를 이용하여 상기 얼굴 비례 데이터를 작성할 수 있다.
한편, 본 발명의 다른 실시예에 따른 3D(dimension) 객체 표시가 가능한 휴대용 장치는, 사용자의 얼굴을 서로 다른 방향에서 촬영하여 얼굴 데이터를 출력하는 촬영부; 상기 출력되는 얼굴 데이터로부터 상기 사용자의 얼굴 비례 데이터를 작성하는 작성부; 상기 사용자의 얼굴을 촬영하는 방향을 센싱하는 방향 센서; 상기 사용자의 얼굴 비례 데이터를 상기 센싱된 방향 별로 저장하는 저장부; 및 상기 저장된 얼굴 비례 데이터와, 상기 촬영부에 의해 현재 촬영되는 상기 사용자의 촬영 데이터를 비교하여, 상기 사용자의 시선을 관찰하고, 상기 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성하는 제어부를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 휴대용 장치의 3D(dimension) 객체 표시 방법은, 사용자의 얼굴을 서로 다른 방향에서 촬영하여 얼굴 데이터를 출력하는 단계; 상기 출력되는 얼굴 데이터로부터 상기 사용자의 얼굴 비례 데이터를 작성하는 단계; 상기 사용자의 얼굴 비례 데이터를 상기 촬영된 방향 별로 저장하는 단계; 및 상기 저장된 얼굴 비례 데이터와, 상기 촬영부에 의해 현재 촬영되는 상기 사용자의 촬영 데이터를 비교하여, 상기 사용자의 시선을 관찰하고, 상기 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성하는 단계를 포함할 수 있다.
상기 사용자의 얼굴을 촬영한 상기 서로 다른 방향을 센싱하는 단계를 더 포함할 수 있다.
상기 작성하는 단계는, 상기 사용자의 얼굴 중 눈, 코 및 입들 간의 비례 데이터를 이용하여 상기 얼굴 비례 데이터를 작성할 수 있다.
제안되는 본 발명의 일 실시예에 따르면, 사용자 단말기와 같이 고정되지 않고 움직이는 휴대용 장치에서, 사용자의 얼굴을 기촬영하여 얼굴 비례 데이터를 저장할 수 있다. 휴대용 장치가 3D 객체를 표시하는 모드로 동작하는 경우, 휴대용 장치는 기저장된 얼굴 비례 데이터와 촬영되는 얼굴 데이터를 이용하여, 사용자의 시선에 대응하는 3D 객체를 보다 정확하게 표시할 수 있다. 즉, 휴대용 장치는 사용자의 시선에 따라 소실점이 변경되는 입체적인 3D 객체를 표시할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 적은 수의 센서를 이용하여, 시선에 따라 표시되는 3D 객체의 구현 정확도를 향상시킬 수 있으므로 비용 절감 및 제품의 경량화가 가능하다.
또한, 사용자의 시선에 따른 3D 객체의 입체적인 피드백을 통해, 사용자가 차량을 통해 이동하고 있는 경우에도, 3D 메뉴의 오동작 방지 기능을 구현할 수 있으며, 동작 인식의 정확도를 높일 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 일반적인 헤드 트랙킹과 달리 거리에 따른 소실점 변경은 고려하지 않고, 시선에 따른 소실점 변경만을 고려하므로, 보다 적은 계산량으로 3D 객체를 표시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D(dimension) 객체 표시가 가능한 제1휴대용 장치를 도시한 블록도이다.
도 2는 제1휴대용 장치를 이용하여 얼굴 비례 데이터를 측정하는 방법을 설명하기 위한 도면이다.
도 3a 내지 도 3c는 상대 각도의 일 예를 설명하기 위한 도면이다.
도 4a 및 도 4b는 상대 각도에 따라 소실점이 변경되는 3D 객체의 일 예를 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 3D(dimension) 객체 표시가 가능한 제2휴대용 장치를 도시한 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 3D(dimension) 객체 표시가 가능한 제3휴대용 장치를 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 휴대용 장치의 3D(dimension) 객체 표시 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 3D(dimension) 객체 표시가 가능한 제1휴대용 장치(100)를 도시한 블록도, 도 1은 본 발명의 일 실시예에 따른 얼굴 비례 데이터를 측정하는 방법을 설명하기 위한 도면이다.
도 1에 도시된 제1휴대용 장치(100)는 사용자와의 인터렉션이 가능한 객체를 3D 형태로 표시하며, 스마트폰, 모바일폰, 표시기기, 퍼스널 컴퓨터 등 모든 전자기기에 적용될 수 있다. 도 2의 제1휴대용 장치(100)는 도 1의 휴대용 장치(100)일 수 있다.
도 1을 참조하면, 제1휴대용 장치(100)는 제1표시패널(110), 제1촬영부(120), 제1센싱부(130), 제1작성부(140), 제1저장부(150) 및 제1제어부(160)를 포함한다.
제1표시패널(110)은 제1제어부(160)의 제어에 의해 2D 객체 또는 3D 객체를 표시하고, 제1휴대용 장치(100)에 저장된 다양한 영상들을 표시할 수 있다. 객체는 제1표시패널(110)에 표시되는 모든 영상을 의미하며, 메뉴들을 표시하는 GUI(Graphic User Interface)를 포함한다. 3D 객체는 입체적으로 표시되는 객체이며, 2D 객체는 평면적으로 표시되는 객체이다.
제1표시패널(110)은 제1촬영부(120)에 의해 촬영되는 사용자의 얼굴을 표시할 수 있다. 또한, 제1표시패널(110)은 사용자의 시선과 제1휴대용 장치(100)의 상대각도에 따라 표시형태가 변하는 3D 객체를 표시할 수 있다. 예를 들어, 사용자가 제1휴대용 장치(100)의 우측에서 제1휴대용 장치(100)를 바라보면, 제1표시패널(110)은 3D 객체의 기울기와 표시형태가 변경된 3D 객체를 표시한다.
제1촬영부(120)는 피사체를 촬영하는 장치로서, 내장형 카메라일 수 있다. 사용자는 사용자의 얼굴 비례 데이터를 작성하기 위하여, 제1촬영부(120)를 이용하여 사용자의 얼굴을 촬영한다. 제1촬영부(120)는 사용자의 움직임에 따라 여러 방향에서 사용자의 얼굴을 촬영하고, 촬영된 얼굴의 데이터를 출력한다.
얼굴 비례 데이터는 휴대용 장치(100)에서 바라본 사용자 얼굴 중 눈, 코, 입 등의 얼굴 구성 요소들이 이루는 비례 데이터를 의미한다. 예를 들어, 도 2에서, 제1촬영부(120)가 사용자의 얼굴보다 위에서 얼굴을 촬영하는 경우와, 정면에서 얼굴을 촬영하는 경우, 얼굴 비례 데이터는 서로 다르다.
먼저, 도 2에 도시된 바와 같이 사용자는 얼굴을 고정시키고 정면을 바라보는 상태에서, 제1촬영부(120)를 이용하여 얼굴의 정면을 촬영한다. 그리고, 사용자는 정면을 원점으로 하여 휴대용 장치(100)를 상하좌우로 이동하면서 얼굴을 추가적으로 촬영한다. 이 때, 사용자의 얼굴은 정면 방향을 유지한다. 이로써, 제1촬영부(120)는 사용자 얼굴을 상하좌우 각각에서 바라볼 때 촬영되는 촬영 데이터를 출력한다. 본 명세서에서, 제1휴대용 장치(100)를 이동하는 것은 곧 제1휴대용 장치(100)가 회전하는 것과 동일한 의미로 사용될 수도 있다.
도 2에서 '위'는 제1휴대용 장치(100)가 사용자의 얼굴을 내려다보면서 촬영한 경우, '아래'는 제1휴대용 장치(100)가 사용자의 얼굴을 올려다보면서 촬영한 경우, '정면'은 사용자의 정면에서 얼굴을 촬영한 경우를 의미한다.
제1센싱부(130)는 얼굴 비례 데이터를 작성하기 위하여, 사용자의 얼굴을 촬영할 때, 제1촬영부(120) 또는 제1휴대용 장치(100)의 회전 방향, 회전 속도 등을 센싱할 수 있다. 이를 위하여, 제1센싱부(130)는 제1기준 센서(131), 제1방향 센서(133) 및 제1기울기 센서(135)를 포함한다.
제1기준센서(131)는 x 축 또는 y축의 기준 좌표계를 설정하기 위하여 사용되며, 디지털 나침반을 사용할 수 있다. 기준 좌표계는 제1휴대용 장치(100)의 회전 방향, 기울기 등을 센싱할 때, 또는 사용자 시선의 변화 유무를 관찰할 때 기준점으로 사용될 수 있다.
제1방향 센서(133)는 제1촬영부(120) 또는 제1휴대용 장치(100)의 회전 방향을 센싱하기 위한 센서로서, 가속도 센서를 사용할 수 있다. 회전 방향은 제1휴대용 장치(100)가 사용자에 의해 이동되는 방향으로서, 예를 들어, 사용자의 정면 얼굴을 기준으로 좌, 우, 위, 또는 아래 방향일 수 있다.
제1기울기 센서(135)는 제1촬영부(120) 또는 제1휴대용 장치(100)의 기울기를 센싱하기 위한 센서로서, 자이로스코프를 사용할 수 있다. 이하에서는, 제1촬영부(120)를 예로 들어 설명한다. 제1휴대용 장치(100)의 제1표시패널(110)과 사용자 얼굴이 서로 대향하는 경우, 기울기는 0°로 센싱되며, 서로 대향하는 상태에서 제1촬영부(120)가 우측으로 기울어지면, 기울기는 변한다.
제1작성부(140)는 제1촬영부(120)에서 출력되는 얼굴 데이터로부터 사용자의 얼굴 비례 데이터를 작성할 수 있다. 제1작성부(140)는 사용자의 얼굴 중 눈, 코 및 입들간의 거리를 이용하여 얼굴 비례 데이터를 작성할 수 있다.
제1작성부(140)는 사용자의 정면에서 촬영한 얼굴 비례 데이터를 기준 데이터로 정하고, 기준 데이터를 기초로, 다른 방향에서 촬영된 얼굴 데이터로부터 얼굴 비례 데이터를 작성할 수 있다. 예를 들어, '정면'에서 촬영한 눈과 코 사이의 거리:코와 입 사이의 거리의 비율이 2:1인 경우, '위'에서 촬영한 경우 비율은 1:1일 수 있다. 이 때, '위'에서 촬영한 경우의 비율은 기준 데이터를 기초로 산출된다.
제1저장부(150)는 제1작성부(140)에서 작성된 사용자의 얼굴 비례 데이터를 기울기 또는 회전 각도에 따라 구분하여 저장할 수 있다. 기울기는 제1휴대용 장치(100)의 기울기이며, 회전 각도는 제1휴대용 장치(100)와 사용자의 얼굴이 이루는 각도이다. 회전 각도는 제1휴대용 장치(100)의 회전 방향에 따라 변경된다. 회전 각도는 제1휴대용 장치(100)가 사용자의 얼굴을 정면에서 바라보는 위치를 기준으로 산출될 수 있다. 즉, 사용자 얼굴을 정면에서 촬영한 경우, 회전 각도는 0°이며, 이를 기준 각도로 사용할 수 있다. 이로써, 회전 각도는 제1휴대용 장치(100)와 사용자 시선이 이루는 각도와 방향에 대한 정보를 포함할 수 있다.
[표 1]은 도 1에 의해 작성된 사용자의 얼굴 비례 데이터를 회전 각도 별로 저장하는 일 예를 보여준다.
사용자 1 얼굴 비례 데이터
회전각도 10° 얼굴 비례 데이터1 얼굴 비례 데이터4 얼굴 비례 데이터7
20° 얼굴 비례 데이터2 얼굴 비례 데이터5 얼굴 비례 데이터8
-10° 얼굴 비례 데이터3 얼굴 비례 데이터6 얼굴 비례 데이터9
[표 1]에서, 회전 각도가 10°임은 사용자가 정면을 바라보면서, 사용자와 제1휴대용 장치(100)가 서로 대향하는 상태를 0°라고 할 때, 제1휴대용 장치(100)가 우측으로 10°만큼 이동한 경우 산출되는 각도이다. 회전 각도가 -10°임은 사용자는 정면을 바라보고 있고, 제1휴대용 장치(100)가 좌측으로 10°만큼 이동한 경우 산출되는 각도이다.
[표 2]는 도 1에 의해 작성된 사용자의 얼굴 비례 데이터를 기울기와 회전 각도 별로 구분하여 저장하는 일 예를 보여준다.
사용자 1 기울기(-180°~+180°)
0° 30° -30°
회전각도 10° 얼굴 비례 데이터11 얼굴 비례 데이터14 얼굴 비례 데이터17
20° 얼굴 비례 데이터12 얼굴 비례 데이터15 얼굴 비례 데이터18
-10° 얼굴 비례 데이터13 얼굴 비례 데이터16 얼굴 비례 데이터19
[표 2]에서 기울기 0°는 제1휴대용 장치(100)의 제1표시패널(110)과 사용자 얼굴이 서로 대향하는 경우, 제1휴대용 장치(100)의 기울기이다. 기울기 30°는 제1휴대용 장치(100)의 제1표시패널(110)과 사용자 얼굴이 서로 대향하는 상태에서, 제1표시패널(110)이 우측으로 30° 기울어졌음을 의미한다.
한편, 제1제어부(160)는 제1기준 센서(131), 제1방향 센서(133) 및 제1기울기 센서(135)로부터 출력되는 센싱 데이터를 분석하여, 제1휴대용 장치(100)의 회전 방향 및 제1휴대용 장치(100)의 기울기를 산출한다.
제1제어부(160)는 산출된 회전 방향과 기울기 중 적어도 하나와 작성된 얼굴 비례 데이터를 매핑하여 제1저장부(150)에 저장한다. 사용자가 다수인 경우, 제1제어부(160)는 사용자 별로 얼굴 비례 데이터를 매핑하여 제1저장부(150)에 저장할 수 있다.
이하에서는, 사용자의 얼굴 비례 데이터가 작성되어 저장된 후, 제1휴대용 장치(100)가 3D 객체를 표시하는 3D 모드로 동작하는 상태에 대해 설명한다.
3D 모드로 동작하면, 제1촬영부(120)는 사용자의 얼굴을 지속적으로 촬영하여 촬영 데이터를 출력한다. 제1촬영부(120)는 사용자의 얼굴을 항시 촬영하기 위하여 넓은 시야각을 가질 수 있다. 제1제어부(160)는 제1촬영부(120)로부터 출력되는 촬영 데이터를 기초로 사용자의 시선을 관찰하고, 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성할 수 있다.
구체적으로 설명하면, 제1촬영부(120)가 사용자를 촬영하는 동안, 제1제어부(160)는 제1휴대용 장치(100)의 회전 방향과 기울기를 센싱하도록 제1센싱부(130)를 제어한다. 제1제어부(160)는 제1촬영부(120)로부터 출력되는 촬영 데이터로부터 사용자의 얼굴 데이터를 검출하고, 검출된 얼굴 데이터를 분석하여 사용자의 시선 변화를 관찰할 수 있다. 제1제어부(160)는 검출된 얼굴 데이터와 가장 유사하거나 일치하는 얼굴 비례 데이터를 제1저장부(150)로부터 확인한다.
제1제어부(160)는 확인된 얼굴 비례 데이터에 대응하는 회전 각도를 확인하고, 확인된 회전 각도가 0°보다 크거나 작으면 시선의 변화가 있는 것으로 판단할 수 있다. 그리고, 제1제어부(160)는 확인된 회전 각도를 사용자의 시선 방향, 또는, 사용자의 시선 각도로 판단한다.
또한, 제1제어부(160)는 제1방향 센서(133)와 제1기울기 센서(135)로부터 출력되는 센싱 데이터를 이용하여 제1휴대용 장치(100)의 회전 방향과 기울기를 산출한다.
제1제어부(160)는 확인된 사용자의 시선 방향, 제1휴대용 장치(100)의 회전 방향 및 제1휴대용 장치(100)의 기울기를 비교하여, 소실점이 변경되는 3D 객체를 생성할 수 있다. 즉, 제1제어부(160)는 확인된 사용자의 시선 방향과 산출된 회전 방향 및 기울기를 비교하여, 제1휴대용 장치(100)와 사용자의 시선이 이루는 상대 각도를 산출한다.
도 3a 내지 도 3c는 상대 각도의 일 예를 설명하기 위한 도면, 도 4a 및 도 4b는 상대 각도에 따라 소실점이 변경되는 3D 객체의 일 예를 설명하기 위한 도면이다.
도 3a에 도시된 바와 같이, 사용자의 시선이 정면을 응시하고 있으며, 즉, 사용자의 시선의 변화가 없으며, 제1휴대용 장치(100)가 사용자의 시선과 대향하는 경우, 상대 각도는 0°이다. 이러한 경우, 제1제어부(160)는 정면에 대응하는 3D 객체를 생성한다. 이로써, 사용자는 도 4a에 도시된 바와 같이, 정면에서 바라보는 느낌의 3D 객체를 볼 수 있다.
도 3b에 도시된 바와 같이, 사용자의 시선이 정면을 응시하고 있으며, 제1휴대용 장치(100)가 우측으로 30° 이동한 경우, 상대 각도는 30°이다. 이러한 경우, 제1제어부(160)는 30°에 대응하는 3D 객체를 생성한다. 이로써, 사용자는 3D 객체의 좌측면을 더 명확히 볼 수 있다. 제1휴대용 장치(100)가 우측으로 30° 회전한 것은 제1방향 센서(133)와 제1기울기 센서(135)의 센싱 데이터로부터 알 수 있으며, 이는 주지된 기술로서 상세한 설명은 생략한다.
또한, 도 3c에 도시된 바와 같이, 사용자의 시선이 우측으로 20° 이동한 것으로 확인되고, 제1휴대용 장치(100)가 우측으로 30° 이동한 경우, 상대 각도는 10°이다. 이로써, 제1제어부(160)는 10°에 대응하는 3D 객체를 생성한다.
한편, 도 3c에서, 제1휴대용 장치(100)가 우측으로 30° 이동한 후, 그 위치에서 우측으로 10° 회전하면 제1휴대용 장치(100)의 기울기는 10°이다. 따라서, 제1제어부(160)는 상대 각도 10°와 기울기 10°에 대응하는 3D 객체를 생성한다.
또한, 도시되지는 않았으나, 사용자의 시선은 정면을 응시하고 있으며, 제1휴대용 장치가 좌측으로 30° 이동한 경우, 상대각도가 -30°이다. 이러한 경우, 제1제어부(160)는 -30°에 대응하는 3D 객체를 생성하며, 사용자는 도 4c에 도시된 바와 같이, 소실점이 변경된 3D 객체를 볼 수 있다.
도 5는 본 발명의 다른 실시예에 따른 3D(dimension) 객체 표시가 가능한 제2휴대용 장치(500)를 도시한 블록도이다.
도 5에 도시된 제2휴대용 장치(500)는 도 1의 휴대용 장치(100)일 수 있다.
도 5를 참조하면, 제2휴대용 장치(500)는 제2표시패널(510), 제2촬영부(520), 제2센싱부(530), 제2작성부(540), 제2저장부(550) 및 제2제어부(560)를 포함한다. 제2휴대용 장치(200)의 동작 및 기능 도 1을 참조하여 설명한 제1휴대용 장치(100)와 거의 동일하므로, 상세한 설명은 생략한다.
다만, 제2휴대용 장치(200)의 제2센싱부(530)는 제2기준 센서(540) 및 제2방향 센서(530)를 포함한다. 즉, 사용자의 얼굴 비례 데이터를 작성할 때, 그리고, 제2휴대용 장치(200)가 3D 모드로 동작할 때, 제2휴대용 장치(200)는 기울기 센서를 이용하지 않고, 제2휴대용 장치(200)의 회전 방향 및 기울기 중 적어도 하나를 산출할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 3D(dimension) 객체 표시가 가능한 제3휴대용 장치(600)를 도시한 블록도이다.
도 6에 도시된 제3휴대용 장치(600)는 도 1의 휴대용 장치(100)일 수 있다.
도 6을 참조하면, 제3휴대용 장치(600)는 제3표시패널(610), 제3촬영부(620), 제3기준 센서(630), 제3저장부(640) 및 제3제어부(650)를 포함한다. 제3휴대용 장치(600)의 동작 및 기능 도 1을 참조하여 설명한 제1휴대용 장치(100)와 거의 동일하므로, 상세한 설명은 생략한다.
다만, 제3휴대용 장치(600)는 제3기준 센서(630)만을 포함한다. 즉, 사용자의 얼굴 비례 데이터를 작성할 때, 그리고, 제3휴대용 장치(600)가 3D 모드로 동작할 때, 제3휴대용 장치(600)는 디지털 나침반 등의 제3기준 센서(630)를 이용하여 제3휴대용 장치(600)의 회전 방향을 산출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 휴대용 장치의 3D(dimension) 객체 표시 방법을 설명하기 위한 흐름도이다.
도 7의 3D 객체 표시 방법은 도 1을 참조하여 설명한 제1휴대용 장치(100)에 의해 동작될 수 있다.
710단계에서, 휴대용 장치는 카메라를 이용하여 사용자의 얼굴 중 정면을 촬영하고, 촬영된 얼굴 데이터를 출력한다. 710단계에서, 사용자는 정면을 바라보는 상태에서 얼굴을 고정시킨 후, 카메라를 이용하여 얼굴의 정면을 촬영한다.
720단계에서, 휴대용 장치는 출력되는 얼굴 데이터를 이용하여, 정면 얼굴에 대응하는 얼굴 비례 데이터를 작성한다.
730단계에서, 휴대용 장치는 정면이 아닌 다른 방향에서 사용자의 얼굴을 촬영하고, 촬영된 얼굴의 데이터를 출력한다. 즉, 사용자는 정면을 기준으로, 휴대용 장치를 상하좌우로 이동하면서 사용자의 얼굴을 촬영한다.
740단계에서, 휴대용 장치는 730단계에서 사용자의 얼굴을 촬영할 때, 카메라 또는 휴대용 장치의 회전 방향, 회전 속도 및 기울기 중 적어도 하나를 센싱할 수 있다.
750단계에서, 휴대용 장치는 730단계에서 출력되는 얼굴 데이터를 이용하여, 다른 방향에 대한 얼굴 비례 데이터를 작성한다.
760단계에서, 휴대용 장치는 상술한 710단계 내지 750단계에 의해 작성된 얼굴 비례 데이터를 저장한다. 휴대용 장치는 얼굴 비례 데이터를 휴대용 장치의 회전 방향 및 기울기 중 적어도 하나에 매핑하여 저장할 수 있다.
770단계에서, 사용자의 요청이 있으면, 또는 자동으로, 휴대용 장치는 카메라를 이용하여 사용자의 얼굴을 촬영하고, 촬영된 얼굴의 촬영 데이터를 출력할 수 있다.
780단계에서, 휴대용 장치는 760단계에서 저장된 얼굴 비례 데이터와, 770단계에서 출력되는 사용자의 촬영 데이터를 비교하여, 사용자의 시선을 관찰할 수 있다.
790단계에서, 휴대용 장치는 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성하여 화면상에 표시할 수 있다.
상술한 본 발명의 실시 예는 헤드 트랙킹에 의한 3D 화면을 구현하는 경우에도 적용할 수 있다. 또한, 카메라를 두 개 이상 구비하는 경우, 사용자의 시선 또는 시점 변화를 보다 정확히 인식할 수 있다.
또한, 본 발명의 실시 예는 휴대용 장치의 이동을 인식할 때, x 방향과 y 방향의 회전을 고려하였으나, 이 뿐만 아니라, 휠처럼 회전하는 동작, 흔드는 동작 등도 고려하여 3D 객체를 생성할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 제1휴대용 장치 210: 제1표시패널
220: 제1촬영부 230: 제1방향 센서
240: 제1기울기 센서 250: 제1기준 센서
260: 제1저장부 270: 제1제어부

Claims (12)

  1. 사용자의 얼굴을 서로 다른 방향에서 촬영하여 얼굴 데이터를 출력하는 촬영부;
    상기 출력되는 얼굴 데이터로부터 상기 사용자의 얼굴 비례 데이터를 작성하는 작성부;
    상기 사용자의 얼굴 비례 데이터를 상기 촬영된 방향 별로 저장하는 저장부; 및
    상기 저장된 얼굴 비례 데이터와, 상기 촬영부에 의해 현재 촬영되는 상기 사용자의 촬영 데이터를 비교하여, 상기 사용자의 시선을 관찰하고, 상기 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성하는 제어부
    를 포함하는 3D(dimension) 객체 표시가 가능한 휴대용 장치.
  2. 제1항에 있어서,
    상기 사용자의 얼굴을 촬영하기 위하여 상기 촬영부가 회전된 방향을 센싱하는 방향 센서
    를 더 포함하는 3D 객체 표시가 가능한 휴대용 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 사용자의 얼굴을 촬영하는 방향에서 상기 촬영부의 기울기를 센싱하는 기울기 센서
    를 더 포함하는 3D 객체 표시가 가능한 휴대용 장치.
  4. 제3항에 있어서,
    상기 얼굴 비례 데이터를 상기 촬영부의 회전된 방향 및 상기 촬영부의 기울기 중 적어도 하나에 매핑하여 상기 저장부에 저장하는 제어부
    를 더 포함하는 3D 객체 표시가 가능한 휴대용 장치.
  5. 제1항에 있어서,
    상기 사용자가 다수인 경우,
    상기 다수의 사용자 별로 얼굴 비례 데이터를 작성하여 저장하도록 상기 작성부 및 상기 저장부를 제어하는 제어부
    를 더 포함하는 3D 객체 표시가 가능한 휴대용 장치.
  6. 제1항에 있어서,
    상기 작성부는 상기 사용자의 얼굴 중 눈, 코 및 입들 간의 비례 데이터를 이용하여 상기 얼굴 비례 데이터를 작성하는, 3D 객체 표시가 가능한 휴대용 장치.
  7. 사용자의 얼굴을 서로 다른 방향에서 촬영하여 얼굴 데이터를 출력하는 촬영부;
    상기 출력되는 얼굴 데이터로부터 상기 사용자의 얼굴 비례 데이터를 작성하는 작성부;
    상기 사용자의 얼굴을 촬영하는 방향을 센싱하는 방향 센서;
    상기 사용자의 얼굴 비례 데이터를 상기 센싱된 방향 별로 저장하는 저장부; 및
    상기 저장된 얼굴 비례 데이터와, 상기 촬영부에 의해 현재 촬영되는 상기 사용자의 촬영 데이터를 비교하여, 상기 사용자의 시선을 관찰하고, 상기 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성하는 제어부를 포함하는 3D(dimension) 객체 표시가 가능한 휴대용 장치.
  8. 제7항에 있어서,
    상기 사용자의 얼굴을 촬영하는 방향에서 상기 촬영부의 기울기를 센싱하는 기울기 센서
    를 더 포함하는, 3D 객체 표시가 가능한 휴대용 장치.
  9. 제7항에 있어서,
    상기 작성부는 상기 사용자의 정면에서 촬영한 얼굴 비례 데이터를 기준 데이터로 정하며, 상기 기준 데이터를 기초로, 상기 촬영부가 상기 사용자의 얼굴을 촬영한 방향을 판단하는, 3D 객체 표시가 가능한 휴대용 장치.
  10. 휴대용 장치의 3D(dimension) 객체 표시 방법에 있어서,
    사용자의 얼굴을 서로 다른 방향에서 촬영하여 얼굴 데이터를 출력하는 단계;
    상기 출력되는 얼굴 데이터로부터 상기 사용자의 얼굴 비례 데이터를 작성하는 단계;
    상기 사용자의 얼굴 비례 데이터를 상기 촬영된 방향 별로 저장하는 단계; 및
    상기 저장된 얼굴 비례 데이터와, 상기 촬영부에 의해 현재 촬영되는 상기 사용자의 촬영 데이터를 비교하여, 상기 사용자의 시선을 관찰하고, 상기 관찰되는 사용자의 시선에 따라 소실점이 변경되는 3D 객체를 생성하는 단계
    를 포함하는 3D 객체 표시 방법.
  11. 제10항에 있어서,
    상기 사용자의 얼굴을 촬영한 상기 서로 다른 방향을 센싱하는 단계
    를 더 포함하는 3D 객체 표시 방법.
  12. 제10항에 있어서,
    상기 작성하는 단계는, 상기 사용자의 얼굴 중 눈, 코 및 입들 간의 비례 데이터를 이용하여 상기 얼굴 비례 데이터를 작성하는, 3D 객체 표시 방법.
KR1020100078703A 2010-08-16 2010-08-16 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법 KR20120016386A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100078703A KR20120016386A (ko) 2010-08-16 2010-08-16 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
US12/983,597 US20120038750A1 (en) 2010-08-16 2011-01-03 Apparatus and method for displaying three-dimensional (3d) object
EP11172985.1A EP2421272A3 (en) 2010-08-16 2011-07-07 Apparatus and method for displaying three-dimensional (3D) object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100078703A KR20120016386A (ko) 2010-08-16 2010-08-16 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120016386A true KR20120016386A (ko) 2012-02-24

Family

ID=44839448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078703A KR20120016386A (ko) 2010-08-16 2010-08-16 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20120038750A1 (ko)
EP (1) EP2421272A3 (ko)
KR (1) KR20120016386A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9426193B2 (en) 2014-10-14 2016-08-23 GravityNav, Inc. Multi-dimensional data visualization, navigation, and menu systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5841409A (en) * 1995-04-18 1998-11-24 Minolta Co., Ltd. Image display apparatus
GB2341231A (en) * 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
GB2458388A (en) * 2008-03-21 2009-09-23 Dressbot Inc A collaborative online shopping environment, virtual mall, store, etc. in which payments may be shared, products recommended and users modelled.
EP2279469A1 (en) * 2008-05-09 2011-02-02 Mbda Uk Limited Display of 3-dimensional objects
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
KR101562675B1 (ko) 2008-12-30 2015-10-22 주식회사 알티캐스트 위젯 서비스 제공 방법 및 장치
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking

Also Published As

Publication number Publication date
EP2421272A2 (en) 2012-02-22
EP2421272A3 (en) 2013-09-11
US20120038750A1 (en) 2012-02-16

Similar Documents

Publication Publication Date Title
KR101340797B1 (ko) 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
US9829989B2 (en) Three-dimensional user input
US9507431B2 (en) Viewing images with tilt-control on a hand-held device
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US8768043B2 (en) Image display apparatus, image display method, and program
US8388146B2 (en) Anamorphic projection device
US9041743B2 (en) System and method for presenting virtual and augmented reality scenes to a user
US11681360B2 (en) System and method for a blended reality user interface and gesture control system
US9958938B2 (en) Gaze tracking for a mobile device
EP3629133B1 (en) Interface interaction apparatus and method
US20150378159A1 (en) Display control device, display control program, and display control method
US20180300040A1 (en) Mediated Reality
US9906778B2 (en) Calibration device, calibration program, and calibration method
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
US20130222363A1 (en) Stereoscopic imaging system and method thereof
US20120268493A1 (en) Information processing system for augmented reality
EP3118722A1 (en) Mediated reality
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
US20170300121A1 (en) Input/output device, input/output program, and input/output method
KR20120016386A (ko) 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
US20170302904A1 (en) Input/output device, input/output program, and input/output method
CN114253389B (zh) 整合动作感测器的增强现实系统与增强现实显示方法
KR102176217B1 (ko) 3차원 컨텐츠를 생성 및 제공하는 방법 및 장치
Faaborg et al. METHODS AND APPARATUS TO SCALE ANNOTATIONS FOR DESIRABLE VIEWING IN AUGMENTED REALITY ENVIRONMENTS
JP2021177277A (ja) プログラム、情報処理方法、情報処理装置、及び情報処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal