KR101698212B1 - 그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기 - Google Patents

그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기 Download PDF

Info

Publication number
KR101698212B1
KR101698212B1 KR1020100083700A KR20100083700A KR101698212B1 KR 101698212 B1 KR101698212 B1 KR 101698212B1 KR 1020100083700 A KR1020100083700 A KR 1020100083700A KR 20100083700 A KR20100083700 A KR 20100083700A KR 101698212 B1 KR101698212 B1 KR 101698212B1
Authority
KR
South Korea
Prior art keywords
user
face
displaying
information
gui
Prior art date
Application number
KR1020100083700A
Other languages
English (en)
Other versions
KR20120020006A (ko
Inventor
박희연
박선주
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100083700A priority Critical patent/KR101698212B1/ko
Publication of KR20120020006A publication Critical patent/KR20120020006A/ko
Application granted granted Critical
Publication of KR101698212B1 publication Critical patent/KR101698212B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 휴대용 단말기에서 그래픽 유저 인터페이스(GUI, Graphical User Interface)를 표시하는 방법에 관한 것으로, 그 방법은 사용자의 얼굴을 인식하는 단계; 인식된 사용자 얼굴로부터 사용자 정보를 추출하는 단계; 및 추출된 사용자 정보에 대응되는 그래픽 유저 인터페이스(GUI)를 인식된 사용자 얼굴과 함께 표시하는 단계를 포함한다.

Description

그래픽 유저 인터페이스（ＧＵＩ）표시 방법 및 그를 이용한 휴대용 단말기{Method for displaying graphical user interface and portable terminal thereof}
본 발명은 휴대용 단말기에서 그래픽 유저 인터페이스(GUI)를 표시하는 방법에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television) 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV 서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
본 발명은 사용자에 적합한 그래픽 유저 인터페이스(GUI)를 표시하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 그래픽 유저 인터페이스(GUI) 표시 방법은, 사용자의 얼굴을 인식하는 단계; 상기 인식된 사용자 얼굴로부터 사용자 정보를 추출하는 단계; 및 상기 추출된 사용자 정보에 대응되는 그래픽 유저 인터페이스(GUI)를 상기 인식된 사용자 얼굴과 함께 표시하는 단계를 포함한다.
본 발명의 실시예에 따른 휴대용 단말기는, 카메라; 상기 카메라를 이용해 획득된 영상으로부터 사용자의 얼굴을 인식하는 얼굴 인식부: 상기 인식된 사용자 얼굴로부터 사용자 정보를 추출하는 정보 추출부; 상기 추출된 사용자 정보를 이용해 사용자 로그인을 수행하고, 상기 로그인된 사용자에 대응되는 그래픽 유저 인터페이스(GUI)를 결정하는 제어부; 상기 결정된 그래픽 유저 인터페이스(GUI)를 상기 인식된 사용자 얼굴과 함께 표시하는 디스플레이부를 포함한다.
한편, 상기 휴대용 단말기는 컨텐츠 재생 장치의 동작을 제어하기 위한 리모트 컨트롤러(remote controller)일 수 있다.
상기 그래픽 유저 인터페이스(GUI) 표시 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 실시예에 따르면, 사용자 얼굴로부터 추출된 사용자 정보에 따라 그에 적합한 그래픽 유저 인터페이스(GUI)를 제공함으로써, 휴대용 단말기 사용자의 편의성을 향상시킬 수 있으며, 직관적이고 용이한 사용자 인터페이스를 제공할 수 있다.
도 1은 디스플레이 시스템의 간략한 구성을 나타내는 도면이다.
도 2는 휴대용 단말기의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 휴대용 단말기의 구성을 나타내는 블록도이다.
도 4는 휴대용 단말기의 화면 구성에 대한 일실시예를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 그래픽 유저 인터페이스(GUI) 표시 방법을 나타내는 흐름도이다.
도 6 및 도 7은 사용자 정보에 따라 그래픽 유저 인터페이스(GUI)를 표시하는 방법에 대한 실시예를 나타내는 도면들이다.
도 8 및 도 9는 사용자의 얼굴 방향에 따라 아이콘을 변형시켜 표시하는 방법에 대한 실시예들을 나타내는 도면들이다.
도 10은 사용자의 나이 정보에 따라 그래픽 유저 인터페이스(GUI)를 표시하는 방법에 대한 실시예들을 나타내는 도면이다.
도 11 및 도 12는 사진으로부터 인식한 사용자 얼굴을 이용해 컨텐츠 정보를 표시하는 방법에 대한 실시예들을 나타내는 도면들이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 그래픽 유저 인터페이스(GUI) 표시 방법 및 그를 이용한 휴대용 단말기에 관하여 상세히 설명한다.
도 1은 디스플레이 시스템의 간략한 구성을 도시한 것으로, 도시된 시스템은 컨텐츠 재생 장치(10) 및 휴대용 단말기(20)를 포함할 수 있다.
도 1을 참조하면, 컨텐츠 재생 장치(10)는 TV 등과 같은 디스플레이 장치일 수 있으며, 좀 더 구체적으로는 네트워크 TV, HBBTV, 스마트 TV 등과 같이 인터넷 망을 이용하여 실시간 방송, COD(Contents on Demand), 게임, 뉴스, 화상 통신 등 다양한 종류의 컨텐츠 서비스를 사용자에게 제공할 수 있는 디지털 TV일 수 있다.
또한, 컨텐츠 재생 장치(10)는 상기 TV에 한정되지 아니하며, 디지털 방송용 단말기 또는 PC(Personal computer) 등과 같이 영상 또는 음성의 출력이 가능한 다양한 장치일 수 있다.
본 발명의 일실시예에 따르면, 휴대용 단말기(20)는 컨텐츠 재생 장치(10)의 동작을 제어하는 리모트 컨트롤러(remote controller)일 수 있으며, 그를 위해 컨텐츠 재생 장치(10)와 적외선 통신, WiFi(Wireless Lan), 블루투스(Blutooth), 지그비(ZigBee) 등의 근거리 무선 통신 방식을 이용해 제어 신호를 송수신할 수 있다.
그러나, 휴대용 단말기(20)는 상기 리모트 컨트롤러에 한정되지 아니하며, 휴대폰, 스마트 폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 또는 MP3 플레이어와 같은 다양한 장치일 수 있다.
상기 컨텐츠는 실시간 방송, 영화, 음악, 사진, 문서 파일, COD(Contents on Demand), 게임, 뉴스, 화상 전화, 어플리케이션(application) 등과 같은 다양한 형태일 수 있다.
도 2는 휴대용 단말기의 구성을 블록도로 도시한 것으로, 도시된 휴대용 단말기는 제어부(21), 디스플레이부(22), 저장부(23), 사용자 인터페이스부(24), 오디오 출력부(25), 통신부(26), 외부장치 인터페이스부(27) 및 A/V 입력부(28)를 포함할 수 있다.
도 2를 참조하면, 통신부(26)는 적외선 통신, WiFi(Wireless Lan), 블루투스(Blutooth), 지그비(ZigBee) 등의 근거리 무선 통신 방식을 이용해 컨텐츠 재생 장치(10)의 동작을 제어하기 위한 신호를 전송할 수 있다.
또한, 통신부(26)는 인터넷 등의 유무선 네트워크와 연결하기 위한 인터페이스를 제공할 수고 있다. 그를 위해, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
외부장치 인터페이스부(27)는 외부 장치와 휴대용 단말기(20)를 접속할 수 있으며, 예를 들어 DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다.
A/V 입력부(28)는 카메라 또는 마이크 등을 포함하여 사용자의 영상 또는 음성에 상응하는 데이터를 획득할 수 있으며, 상기 획득된 데이터는 제어부(12)로 전달될 수 있다.
또한, A/V 입력부(28)는 외부 장치의 영상 및 음성 신호를 컨텐츠 재생 장치(1)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
저장부(23)는, 제어부(21) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다. 한편, 저장부(23)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
사용자 입력 인터페이스부(24)는, 사용자가 입력한 신호를 제어부(21)로 전달하거나, 제어부(21)로부터의 신호를 사용자에게 전달한다. 예를 들어, 사용자 입력 인터페이스부(24)는 사용자 입력을 수신하기 위한 터치 스크린(touch screen)으로 구성될 수 있다.
제어부(21)는, 통신부(26) 또는 외부장치 인터페이스부(27)를 통하여 입력되는 데이터 스트림를 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
또한, GUI 생성부(24)는 디스플레이부(22)의 화면에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 표시하기 위한 그래픽 유저 인터페이스(GUI)를 생성할 수 있다. 상기 생성되는 그래픽 유저 인터페이스(GUI)는, 휴대용 단말기(20)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다.
한편, 제어부(21)는, 영상을 표시하도록 디스플레이부(22를 제어할 수 있다. 예를 들어, 외부장치 인터페이스부(210)를 통해 입력되는 외부 입력 영상 또는 네트워크 인터페이스부를 통해 입력되는 영상 또는 저장부(23)에 저장된 영상을 디스플레이부(22)에 표시하도록 제어할 수 있다. 이때, 디스플레이부(22)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
디스플레이부(22)는 제어부(21)에서 처리된 영상 신호, 데이터 신호, 그래픽 유저 인터페이스(GUI) 신호, 외부장치 인터페이스부(27)에서 수신되는 영상 신호, 데이터 신호 또는 A/V 입력부(28)에 구비된 카메라에 의해 획득된 영상 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다.
디스플레이부(22)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 다양한 디스플레이 방식을 이용해 영상을 표시할 수 있다. 한편, 디스플레이부(22)는 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(25)는 제어부(21)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력받아 음성으로 출력한다.
상기에서는 도 2를 참조하여 본 발명의 실시예에 따른 휴대용 단말기(20)의 구성에 대한 일실시예를 설명하였으나, 본 발명은 이에 한정되지 아니하며 컨텐츠 재생 장치의 주기능 또는 사양 등에 따라 도 2에 도시된 구성 요소들이 통합, 추가 또는 생략될 수 있다.
본 발명의 실시예에 따르면, 휴대용 단말기(20)는 A/V 입력부(28)를 통해 인식된 사용자의 얼굴로부터 사용자 정보를 추출하고, 상기 추출된 사용자 정보에 대응되는 그래픽 유저 인터페이스(GUI)가 디스플레이부(22)에서 표시되도록 함으로써, 사용자에게 적합한 그래픽 유저 인터페이스(GUI)를 제공하여 편의성을 향상시킬 수 있다.
도 3은 본 발명의 실시예에 따른 휴대용 단말기의 구성을 블록도로 도시한 것으로, 도시된 휴대용 단말기는 카메라(100), 얼굴 인식부(110), 정보 추출부(120), 제어부(130) 및 디스플레이부(140)를 포함할 수 있다. 도 3에 도시된 휴대용 단말기의 구성 중 도 1 및 도 2를 참조하여 설명한 것과 동일한 것에 대한 설명은 이하 생략하기로 한다.
도 3을 참조하면, 카메라(100)는 사용자가 위치하는 영역을 촬영하여 그에 대응되는 영상 데이터를 획득하며, 얼굴 인식부(110)는 상기 획득된 영상 데이터를 이용하여 상기 촬영된 영역 내에서 얼굴 영역을 검출하여 사용자 얼굴을 인식할 수 있다.
한편, 휴대용 단말기(20)는 카메라(100)에 의해 획득된 영상 데이터에 대해 화질을 개선하거나 특정 목적에 적합하도록 조정하는 등의 전처리를 수행하여 얼굴인식부(110)로 출력하는 전처리부(미도시)를 더 포함할 수 있다.
예를 들어, 상기 전처리부(미도시)는 상기 획득된 영상 데이터에 대해명암도 재조정, 잡음 제거, 평활화(smoothing), 예리화(sharpening) 등의 영상 처리를 수행할 수 있다.
정보 추출부(120)는 상기 인식된 사용자의 얼굴로부터 사용자 정보를 추출할 수 있다. 예를 들어, 상기 추출되는 사용자 정보는 상기 사용자 얼굴의 특징(feature) 정보일 수 있으며, 좀 더 구체적으로는 사용자별 얼굴 차이를 구분시킬 수 있는 얼굴 특징 벡터(vector)일 수 있다.
제어부(130)는 정보 추출부(120)에서 추출된 사용자 정보를 이용해 사용자 로그인(log-in)을 수행할 수 있다. 예를 들어, 제어부(130)는 상기 추출된 사용자 정보와 저장부(미도시)에 저장된 정보를 비교하여, 두 정보가 일치하는 경우 상기 얼굴이 인식된 사용자에 대한 로그인(log in)을 수행할 수 있다.
한편, 제어부(130)는 상기 추출된 사용자 정보를 이용해 상기 로그인된 사용자에 대응되는 그래픽 유저 인터페이스(GUI)를 결정할 수 있으며, 상기 결정된 그래픽 유저 인터페이스(GUI)는 상기 사용자 정보에 따라 사용자의 이력, 취향 또는 나이 등에 최적화된 형태를 가질 수 있다.
또한, 상기 사용자별로 지정된 그래픽 유저 인터페이스(GUI)에 대한 정보는 미리 저장부(미도시)에 저장되어 있을 수 있으며, 이 경우 제어부(130)는 정보 추출부(120)에서 추출된 사용자 정보와 일치하는 그래픽 유저 인터페이스(GUI)를 상기 저장부(미도시)에서 검색하여 결정할 수 있다.
디스플레이부(140)는 제어부(130)의 제어를 받아, 상기 추출된 사용자 정보에 따라 제어부(130)에서 결정된 그래픽 유저 인터페이스(GUI)를 상기 얼굴 인식부(110)에서 인식된 사용자 얼굴과 함께 표시할 수 있다.
도 4를 참조하면, 휴대용 단말기(20)는 전면에 사용자를 포함하는 영상을 획득하기 위한 카메라(100)를 구비할 수 있으며, 상기한 바와 같은 방법에 의해 인식된 사용자 얼굴(200)과, 사용자 입출력을 위한 복수의 버튼들, 텍스트 또는 아이콘 등을 포함하는 그래픽 유저 인터페이스(300)를 함께 표시할 수 있다.
또한, 디스플레이부(140)는 카메라(100)에 의해 획득된 영상 중 배경을 제거한 사용자 영역, 즉 사용자의 인체 부분만을 표시할 수 있으며, 그에 따라 휴대용 단말기(20)의 그래픽 유저 인터페이스(GUI)가 해당 사용자에게 최적화되었다는 감성적인 피드백(feedback)을 사용자에게 전달할 수 있다.
그를 위해, 제어부(130)는 카메라(100)에 의해 획득된 영상 중 사용자의 인체 영역을 검출하고, 상기 검출된 사용자 인체 영역을 제외한 나머지 배경 영역을 제거한 후 디스플레이부(140)로 출력할 수 있다. 한편, 상기 제거된 배경 영역은 투명하게 표시될 수 있다.
본 발명의 일실시예에 따르면, 휴대용 단말기(20)는 후방의 물체가 투시되는 투명 디스플레이를 이용해 상기 사용자 얼굴(200) 및 그래픽 유저 인터페이스(300)를 표시할 수 있다.
이하, 도 5 내지 도 12를 참조하여 본 발명의 실시예에 따른 그래픽 유저 인터페이스(GUI) 표시 방법에 대해 보다 상세히 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 그래픽 유저 인터페이스(GUI) 표시 방법을 흐름도로 도시한 것으로, 도시된 그래픽 유저 인터페이스(GUI) 표시 방법을 도 3에 도시된 휴대용 단말기의 구성을 나타내는 블록도와 결부시켜 설명하기로 한다.
도 5를 참조하면, 휴대용 단말기(20)의 얼굴 인식부(110)는 카메라(100)에 의해 획득된 영상으로부터 사용자의 얼굴을 인식한다(400 단계).
예를 들어, 얼굴 인식부(110)는 카메라(100)에 의해 획득된 영상 데이터를 입력받고, 상기 입력된 영상 데이터를 이용하여 상기 영상 데이터가 획득된 영역 내에 존재하는 사용자 얼굴 영역을 검출할 수 있다..
좀 더 구체적으로, 얼굴 인식부(110)는 윤곽선 검출, 레이블링, 구조 분석 등에 의해 상기 입력된 영상데이터를 각 피사체 별로 영역 분할(segmentation)하고, 상기 분할된 영상 데이터로부터 각 영역의 특징을 추출하여 미리 저장된 얼굴 특징 벡터와 비교함으로써 상기 사용자 얼굴을 인식할 수 있다.
상기 얼굴 영역의 검출을 위해, 얼굴 인식부(110)는 각 피사체별 영역에 대해 수학적, 구조적, 변환법적 수단 등을 적용해 색, 모양, 질감 등의 특징을 추출 및 가공하여 생성한 특징 벡터를 사용할 수 있다.
정보 추출부(120)는 상기 검출된 사용자 얼굴로부터 사용자 정보를 추출한다(410 단계). 예를 들어, 정보 추출부(120)는 상기 인식된 얼굴로부터 개인별 얼굴 차이를 구분시킬 수 있는 얼굴 특징 벡터를 생성할 수 있다.
즉, 정보 추출부(120)는 사람마다 얼굴 생김새 등이 다름에 근거하여 각 개인마다 고유한 얼굴 영역의 특징을 추출하며, 예를 들어 눈의 크기나 간격, 눈동자 색깔, 귀의 크기나 위치, 길이, 넓이, 입술 모양 및 크기, 턱, 얼굴 전체 윤곽, 헤어 스타일 등에 따라 해당 얼굴 영역의 특징을 추출할 수 있다.
상기와 같은 얼굴 영역의 특징을 추출함에 있어, 수학적 모델은 얼굴 전체 또는 특정 부분 또는 특정 부분간 간격 등을 측정한 수치들을 직접 사용하거나 통계 처리 등에 의해 가공하여 상기 특징 벡터를 생성할 수 있다.
한편, 정보 추출부(120)는 Hotelling(또는 Eigen벡터, 주요성분, 불연속 Karhunen-Loeve) 변환, 푸리에 변환, DCT 변환, Walsh 함수 변환, 웨이브릿 변환 등을 이용해 상기 얼굴 영역의 특징 정보를 추출할 수 있으며, 예를 들어 상기와 같은 방법은 상기 인식된 사용자 얼굴에 대한 질감 분석에 이용될 수 있다.
또한, 정보 추출부(120)는 상기 사용자 얼굴의 특징을 추출하기 위해 Kohonen의 자기 조직 특징 매핑(Self-organized feature mapping: SOFM) 네트워크 등과 같은 인공 신경망을 이용할 수 있다.
상기 SOFM 알고리즘은 입력 노드로부터 출력 노드로의 연결 가중치를 조정하여 벡터 계량기(vector quantizer)를 만드는 것으로, 상기 출력 노드는 일반적으로 2차원 격자모양으로 배열되며, 학습시 뉴런(neuron) 간을 국소적으로 연결함으로써 연결 상태를 확대할 수 있다.
그에 따라, 상기 SOFM 알고리즘은 높은 차원의 입력 벡터를 낮은 차원의 특징 벡터로 효율적으로 변환시킬 수 있으며, 상기 인공신경망의 출력이 상기 얼굴 영역의 특징 벡터로 사용될 수 있다.
그러나, 본 발명은 상기한 바와 같은 얼굴 인식 및 특징 정보 추출 방법에 한정되지 아니하며, 그 이외에 여러 공지된 기술들을 이용할 수 있다.
그 후, 제어부(130)는 상기 추출된 사용자 정보에 대응되는 그래픽 유저 인터페이스(GUI)를 결정하고(420 단계), 디스플레이부(140)는 상기 결정된 그래픽 유저 인터페이스(GUI)와 상기 인식된 사용자 얼굴을 함께 표시한다(430 단계).
예를 들어, 제어부(130)는 상기 추출된 사용자 정보와 미리 저장된 사용자 정보 사이의 유사성 또는 상관성 등을 비교하여 사용자 로그인을 수행할 수 있으며, 상기 로그인된 사용자에 최적화되어 저장부(미도시)에 저장된 그래픽 유저 인터페이스(GUI)를 결정할 수 있다.
좀 더 구체적으로, 제어부(130)는 역전파(Backporpagation: BP) 알고리즘을 사용하는 인공 신경망을 이용하여 상기 추출된 얼굴 영역의 특징 정보과 상기 저장된 등록 사용자의 얼굴 특징 정보를 비교 분석할 수 있다.
한편, 제어부(130)는 상기 추출된 얼굴 영역의 특징 정보과 상기 저장된 등록 사용자의 얼굴 특징 정보 사이의 상관성을 수학적으로 계산하여, 상기 계산된 결과에 따라 상기 두 정보의 일치 여부를 판단할 수도 있다.
상기 판단 결과, 상기 추출된 얼굴 영역의 특징 정보과 상기 저장된 등록 사용자의 얼굴 특징 정보가 일치하는 경우, 제어부(130)는 상기 인식된 사용자 얼굴에 대응되는 사용자에 대해 휴대용 단말기(20)에 대한 로그인을 수행할 수 있다.
한편, 상기에서 두 정보가 일치한다는 것은 상기 두 정보가 완벽하게 일치하는 경우 뿐 아니라, 미리 설정된 기준치 이상으로 유사성을 가지는 경우도 포함할 수 있다.
도 6의 (a)를 참조하면, 사용자가 휴대용 단말기(20)에 표시된 'Face in' 버튼(320)을 선택함에 따라, 상기한 바와 같은 방법에 따라 사용자 얼굴 인식이 수행될 수 있다.
도 6의 (b)에 도시된 바와 같이, 상기 인식된 사용자 얼굴로부터 추출된 사용자 정보를 이용해 그에 대응되는 사용자(예를 들어, 'Mandy')에 대한 로그인이 수행될 수 있다.
그 후, 도 6의 (c)에 도시된 바와 같이, 상기 인식된 사용자의 얼굴이 복수의 버튼들(310, 311), 예를 들어 볼륨(Volume) 조절 버튼(310) 및 채널 전환 버튼(311) 등과 함께 휴대용 단말기(20)의 화면상에 표시될 수 있다.
도 7의 (a) 및 (b)를 참조하면, 휴대용 단말기(20)에 표시된 사용자 영상 중에서 사용자 인체를 제외한 주변의 배경이 사라지고, 상기 배경 영역은 투명하게 표시될 수 있다.
그 후, 도 7의 (c)에 도시된 바와 같이, 상기 표시된 사용자 얼굴의 주변에는 해당 사용자에 대응되는 아이콘(icon, 330 내지 333)이 표시될 수 있으며, 상기 아이콘은 상기 추출된 사용자 정보에 대응되어 미리 저장된 정보에 따른 것일 수 있다.
사용자 얼굴 주변에 표시되는 복수의 아이콘들(330 내지 333)은 해당 사용자가 가장 최근 실행하였거나 또는 사용 빈도가 높은 기능을 나타내거나, 또는 사용자가 가장 최근 재생하였거나 또는 지정한 컨텐츠를 각각 나타낼 수 있다.
예를 들어, 복수의 아이콘들(330 내지 333)은 사용자가 즐겨 사용하는 어플리케이션(application)들에 각각 대응되는 제1, 2 아이콘들(330, 331), 선호 채널(favorite channel)을 나타내는 제3 아이콘(332) 및 사용자가 최근에 재생하였던 컨텐츠를 나타내는 제4 아이콘(333) 등을 포함할 수 있다.
한편, 사용자는 복수의 아이콘들(330 내지 333) 중 어느 하나를 선택하여 그에 대응되는 기능을 수행시킬 수 있으며, 예를 들어 제4 아이콘(333)을 선택하여 해당 컨텐츠에 대한 "이어보기"를 수행시킬 수 있다.
본 발명의 일실시예에 따르면, 사용자 얼굴의 움직임에 따라 상기한 바와 같은 아이콘의 표시 형태가 가변될 수 있다. 예를 들어, 디스플레이부(140)는 사용자 얼굴이 향하는 방향과 복수의 아이콘들(330 내지 333)이 향하는 방향이 일치하도록 표시할 수 있다.
도 8을 참조하면, 사용자가 얼굴을 좌측 방향으로 돌려 움직이는 경우, 정면을 향하여 표시되던 복수의 아이콘들(330 내지 333)이 상기 사용자 얼굴의 움직임에 따라 그에 동기화되어 좌측 방향을 향하도록 각도가 변경될 수 있다.
또한, 도 9에 도시된 바와 같이 사용자가 얼굴을 상측 방향으로 들면, 상기 사용자 얼굴의 움직임에 따라 복수의 아이콘들(330 내지 333)이 상측 방향을 향하도록 각도가 변경되어 표시될 수 있다.
상기와 같이 복수의 아이콘들(330 내지 333)이 향하는 각도를 사용자 얼굴의 움직임에 동기화하여 표시함으로써, 복수의 아이콘들(330 내지 333)이 해당 사용자에게 종속되었다는 감성적인 효과를 사용자에게 전달할 수 있으며, 그에 따라 휴대용 단말기(20)가 사용자에게 최적화된 그래픽 유저 인터페이스(GUI)를 제공한다는 직관적인 감성을 전달할 수 있다.
본 발명의 다른 실시예에 따르면, 정보 추출부(120)는 상기 인식된 사용자 얼굴로부터 사용자의 나이 정보를 획득할 수 있으며, 그를 위해 사용자의 피부 탄력도, 주름의 깊이 또는 얼굴 길이 등을 상기 인식된 사용자 얼굴로부터 검출할 수 있다.
한편, 제어부(130)는 상기 추출된 사용자의 나이 정보를 이용하여 사용자의 연령에 적합하도록 그래픽 유저 인터페이스(GUI)를 변경할 수 있다.
예를 들어, 제어부(130)는 상기 획득된 사용자의 나이 정보에 따라 그래픽 유저 인터페이스(GUI)에 포함된 텍스트 또는 버튼의 크기, 형태, 색상 등을 조정할 수 있다.
도 10의 (a)를 참조하면, 정보 추출부(120)에서 추출된 사용자 나이 정보에 따라 사용자의 연령이 7 ~ 12세인 경우, 버튼들(310, 311)을 도 10의 (b)에 도시된 24 ~ 40세의 경우보다 크게 표시하며, 색상을 원색 톤(tone)으로 표시할 수 있고, 또한 텍스트도 어른이들이 좋아하는 폰트(font)를 이용해 표시할 수 있다.
도 10의 (c)를 참조하면, 사용자의 연령이 51세 이상인 경우, 버튼들(310, 311)을 도 10의 (a) 또는 (b)에 도시된 것보다 크게 표시하며, 텍스트의 크기도 크게 표시할 수 있다.
상기와 같이 사용자 얼굴로부터 나이 정보를 추출하고 사용자의 연령에 따라그래픽 유저 인터페이스(GUI)를 변경하여 표시함으로써, 사용자의 편의성을 향상시킴과 동시에 입력 오류로 인한 오동작을 감소시킬 수 있다.
본 발명의 또 다른 실시예에 따르면, 사용자는 카메라(100)를 이용해 자신의 얼굴을 촬영하지 아니하고, 사진에 나타난 사용자의 얼굴을 촬영하여, 사용자의 얼굴이 인식되도록 표시할 수 있다.
도 11을 참조하면, 사용자가 사진(500)에 표시된 특정 인물의 얼굴 부분을 카메라(100)를 이용해 촬영하면, 얼굴 인식부(110)는 상기 사진으로부터 촬영된 사용자 얼굴을 인식할 수 있다.
그에 따라, 도 12에 도시된 바와 같이, 해당 사용자에 대한 사용자 정보가 상기 사진으로부터 획득된 사용자 얼굴로부터 추출되고, 사용자, 예를 들어 "USER 1"가 최근 재생한 컨텐츠들의 목록(350)이 그래픽 유저 인터페이스(GUI)로 표시될 수 있다.
한편, 도 11에 도시된 바와 같이, 해당 사용자가 암호를 설정해 놓은 경우, 상기 설정된 암호를 입력할 수 있는 창(340)이 그래픽 유저 인터페이스(GUI)로 표시될 수 있다.
또한, 상술한 본 발명에 따른 그래픽 유저 인터페이스(GUI) 표시 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 표시 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 휴대용 단말기에서 그래픽 유저 인터페이스(GUI, Graphical User Interface)를 표시하는 방법에 있어서,
    사용자의 얼굴을 인식하는 단계;
    상기 인식된 사용자 얼굴로부터 사용자 정보를 추출하는 단계; 및
    상기 추출된 사용자 정보에 대응되는 적어도 하나의 아이콘(icon)을 상기 인식된 사용자 얼굴과 함께 표시하는 단계를 포함하고,
    상기 표시하는 단계는,
    상기 사용자 얼굴의 움직임에 따라 상기 아이콘의 형태를 가변하여 표시하는 그래픽 유저 인터페이스(GUI) 표시 방법.
  2. 제1항에 있어서,
    상기 추출된 사용자 정보를 이용하여 사용자 로그인(log-in)을 수행하는 단계를 더 포함하는 그래픽 유저 인터페이스(GUI) 표시 방법.
  3. 제1항에 있어서, 상기 표시 단계는
    카메라(camera)에 의해 획득된 영상 중 배경 영역을 제거한 사용자 영역만을 표시하는 그래픽 유저 인터페이스(GUI) 표시 방법.
  4. 제3항에 있어서,
    상기 배경 영역은 투명하게 표시되는 그래픽 유저 인터페이스(GUI) 표시 방법.
  5. 삭제
  6. 제1항에 있어서, 상기 아이콘은
    사용자가 가장 최근 실행하였거나 또는 사용 빈도가 높은 기능을 나타내는 그래픽 유저 인터페이스(GUI) 표시 방법.
  7. 제1항에 있어서, 상기 아이콘은
    사용자가 가장 최근 재생하였거나 또는 지정한 컨텐츠를 나타내는 그래픽 유저 인터페이스(GUI) 표시 방법.
  8. 삭제
  9. 제1항에 있어서, 상기 표시 단계는
    상기 사용자 얼굴이 향하는 방향과 상기 아이콘이 향하는 방향이 일치하도록 표시하는 그래픽 유저 인터페이스(GUI) 표시 방법.
  10. 제1항에 있어서, 상기 추출 단계는
    상기 인식된 사용자 얼굴로부터 사용자의 피부 탄력도, 주름의 깊이 및 얼굴 길이 중 적어도 하나를 검출하여, 사용자의 나이 정보를 획득하는 단계를 포함하는 그래픽 유저 인터페이스(GUI) 표시 방법.
  11. 제10항에 있어서, 상기 표시 단계는
    상기 획득된 사용자의 나이 정보에 따라 표시되는 텍스트 또는 버튼의 크기, 형태 및 색상 중 적어도 하나를 조정하는 그래픽 유저 인터페이스(GUI) 표시 방법.
  12. 제1항에 있어서, 상기 얼굴 인식 단계는
    사진에 나타난 사용자의 얼굴을 인식하는 그래픽 유저 인터페이스(GUI) 표시 방법.
  13. 제12항에 있어서, 상기 표시 단계는
    상기 사용자가 최근 재생한 컨텐츠들에 대한 정보를 표시하는 그래픽 유저 인터페이스(GUI) 표시 방법.
  14. 제1항 내지 제4항, 제6항, 제7항, 및 제9항 내지 제13항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 카메라;
    디스플레이부;
    상기 카메라를 이용해 획득된 영상으로부터 사용자의 얼굴을 인식하는 얼굴 인식부:
    상기 인식된 사용자 얼굴로부터 사용자 정보를 추출하는 정보 추출부; 및
    상기 추출된 사용자 정보에 대응되는 적어도 하나의 아이콘을 상기 인식된 사용자 얼굴과 함께 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함하고,
    상기 적어도 하나의 아이콘은 상기 사용자 얼굴의 움직임에 따라 형태가 가변되는 휴대용 단말기.
  16. 제15항에 있어서, 상기 디스플레이부는
    상기 카메라에 의해 획득된 영상 중 배경 영역을 제거한 사용자 영역만을 표시하는 휴대용 단말기.
  17. 제15항에 있어서,
    상기 아이콘은 사용자가 가장 최근 실행하였거나 또는 사용 빈도가 높은 기능이나, 사용자가 가장 최근 재생하였거나 또는 지정한 컨텐츠를 나타내는 휴대용 단말기.
  18. 삭제
  19. 제15항에 있어서, 상기 디스플레이부는
    상기 사용자 얼굴로부터 획득된 사용자의 나이 정보에 따라, 표시되는 텍스트 또는 버튼의 크기, 형태 및 색상 중 적어도 하나를 조정하여 표시하는 휴대용 단말기.
  20. 제15항에 있어서,
    컨텐츠 재생 장치의 동작을 제어하기 위한 리모트 컨트롤러(remote controller)인 휴대용 단말기.
KR1020100083700A 2010-08-27 2010-08-27 그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기 KR101698212B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100083700A KR101698212B1 (ko) 2010-08-27 2010-08-27 그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100083700A KR101698212B1 (ko) 2010-08-27 2010-08-27 그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기

Publications (2)

Publication Number Publication Date
KR20120020006A KR20120020006A (ko) 2012-03-07
KR101698212B1 true KR101698212B1 (ko) 2017-01-19

Family

ID=46128788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100083700A KR101698212B1 (ko) 2010-08-27 2010-08-27 그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기

Country Status (1)

Country Link
KR (1) KR101698212B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
KR102158098B1 (ko) 2013-01-07 2020-09-22 삼성전자주식회사 이미지 인식을 이용한 이미지 레이아웃 방법 및 장치
KR102374861B1 (ko) * 2019-05-07 2022-03-17 주식회사 엘토브 O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법
KR102428955B1 (ko) * 2020-01-23 2022-08-04 최문정 딥 러닝을 이용한 인공지능 기반 3d 디스플레이 광고 영상 제공방법 및 시스템
KR102189405B1 (ko) * 2020-04-10 2020-12-11 주식회사 센스비전 실시간 영상에서 안면을 인식하는 시스템
KR102191044B1 (ko) * 2020-06-15 2020-12-14 주식회사 센스비전 인공지능 얼굴인식 기술을 기반으로 광고 분석 및 추천을 통하여 광고를 제공하는 시스템
KR102261336B1 (ko) * 2020-07-28 2021-06-07 주식회사 센스비전 인공지능 얼굴인식에 의한 광고 컨텐츠 매칭 및 이를 통한 광고 수익을 분배할 수 있는 광고 컨텐츠 공유 서비스 제공 시스템
KR20230111461A (ko) * 2022-01-18 2023-07-25 삼성전자주식회사 폴더블 디바이스 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275935A (ja) 2004-03-25 2005-10-06 Omron Corp 端末装置
JP2006268535A (ja) 2005-03-24 2006-10-05 Fuji Xerox Co Ltd ユーザインタフェイス制御装置および方法並びにプログラム
KR100784969B1 (ko) 2006-12-20 2007-12-11 삼성전자주식회사 휴대 단말기의 사용기록 기반 메뉴 표시 방법
JP2010131204A (ja) 2008-12-04 2010-06-17 Nintendo Co Ltd プログラムおよび情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275935A (ja) 2004-03-25 2005-10-06 Omron Corp 端末装置
JP2006268535A (ja) 2005-03-24 2006-10-05 Fuji Xerox Co Ltd ユーザインタフェイス制御装置および方法並びにプログラム
KR100784969B1 (ko) 2006-12-20 2007-12-11 삼성전자주식회사 휴대 단말기의 사용기록 기반 메뉴 표시 방법
JP2010131204A (ja) 2008-12-04 2010-06-17 Nintendo Co Ltd プログラムおよび情報処理装置

Also Published As

Publication number Publication date
KR20120020006A (ko) 2012-03-07

Similar Documents

Publication Publication Date Title
KR101698212B1 (ko) 그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기
WO2021109652A1 (zh) 文字虚拟礼物的赠送方法、装置、设备及存储介质
US10609334B2 (en) Group video communication method and network device
CN106502388B (zh) 一种互动式运动方法及头戴式智能设备
CN109637518A (zh) 虚拟主播实现方法及装置
CN106682632B (zh) 用于处理人脸图像的方法和装置
EP2925005A1 (en) Display apparatus and user interaction method thereof
KR102045575B1 (ko) 스마트 미러 디스플레이 장치
KR20100062207A (ko) 화상통화 중 애니메이션 효과 제공 방법 및 장치
TWI544336B (zh) 眼鏡、電子裝置與其配對的方法以及順暢內容播放的方法
KR102455966B1 (ko) 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102640234B1 (ko) 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치
KR20190024249A (ko) 광고를 제공하는 방법 및 전자 장치
CN105979035A (zh) 一种增强现实ar图像处理方法、装置及智能终端
US10140535B2 (en) Display device for displaying recommended content corresponding to user, controlling method thereof and computer-readable recording medium
KR20200063777A (ko) 디스플레이 장치 및 그 제어 방법
CN109272473B (zh) 一种图像处理方法及移动终端
CN111343512B (zh) 信息获取方法、显示设备及服务器
US20150181161A1 (en) Information Processing Method And Information Processing Apparatus
CN112492390A (zh) 一种显示设备及内容推荐方法
CN111818378A (zh) 显示设备及人物识别展示的方法
CN106063288A (zh) 显示装置及其频道地图管理方法
KR20220127568A (ko) 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치
KR20120108819A (ko) 캐릭터 커스터마이징을 지원하는 멀티미디어 콘텐츠 제작을 위한 시스템, 이를 위한 장치, 이를 위한 단말, 이를 위한 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체
US11846783B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20191210

Year of fee payment: 4