KR20130136174A - 그래픽 사용자 인터페이스 제공 방법 및 장치 - Google Patents

그래픽 사용자 인터페이스 제공 방법 및 장치 Download PDF

Info

Publication number
KR20130136174A
KR20130136174A KR1020120059793A KR20120059793A KR20130136174A KR 20130136174 A KR20130136174 A KR 20130136174A KR 1020120059793 A KR1020120059793 A KR 1020120059793A KR 20120059793 A KR20120059793 A KR 20120059793A KR 20130136174 A KR20130136174 A KR 20130136174A
Authority
KR
South Korea
Prior art keywords
menu
user
gui
displayed
face
Prior art date
Application number
KR1020120059793A
Other languages
English (en)
Inventor
강화영
유영삼
장은수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120059793A priority Critical patent/KR20130136174A/ko
Priority to EP13170244.1A priority patent/EP2672364A3/en
Priority to US13/909,773 priority patent/US20130326422A1/en
Publication of KR20130136174A publication Critical patent/KR20130136174A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

본 발명은 그래픽 사용자 인터페이스(GUI) 제공 방법 및 이를 적용한 디스플레이 장치를 제공된다. 본 발명의 일 실시예에 따른 GUI 제공방법에 따르면, 3차원 GUI에서 기준면의 메뉴를 화면에 표시하고, 기준면의 메뉴가 표시된 상태에서 사용자의 얼굴을 인식하고, 얼굴의 회전이 감지되면, 적어도 하나의 옆면 중 사용자의 조작의 방향에 대응되는 적어도 하나의 면의 메뉴를 표시하게 된다. 이에 따라, 사용자는 더욱 쉽고 편리하게 원하는 메뉴를 선택할 수 있게 된다.

Description

그래픽 사용자 인터페이스 제공 방법 및 장치{METHOD FOR PROVIDING GRAPHICAL USER INTERFACE AND APPARATUS FOR THE SAME}
본 발명은 그래픽 사용자 인터페이스 제공 방법 및 이를 적용한 디스플레이 장치에 관한 것으로, 특히, 검출된 모션에 따라 메뉴를 표시하는 그래픽 사용자 인터페이스 제공 방법 및 이를 적용한 디스플레이 장치에 관한 것이다.
최근 디스플레이를 구비한 모바일 장치들에 대한 기술이 날로 발전하고 있다. 그에 따라, 디스플레이 장치들은 다양한 기능을 제공할 수 있게 되었다. 예를 들어, 하나의 디스플레이 장치가 MP3 플레이어, 카메라, 휴대폰 등 의 기능을 모두 가지는 복합형 멀티미디어 기기가 대세가 되고 있다. 이와 같이, 디스플레이 장치의 기능들이 다양화됨에 따라, 사용자가 다양한 기능을 쉽게 사용할 수 있게 하기 위해 GUI(Graphical User Interface) 기술이 발전하고 있다. 특히, 다양한 사용자 조작을 입력받을 수 있는 센서들이 개발되고 있어, 사용자는 다양한 방식으로 원하는 명령을 입력할 수 있게 되었다. 예를 들어, 터치스크린을 이용하여 사용자는 화면을 터치함으로써 원하는 명령을 입력할 수 있게 되었다. 또한, 모션 센서를 이용하여 사용자는 디스플레이 장치에 특정 모션을 입력함으로써 원하는 명령을 입력할 수 있게 되었다.
이와 같이, 디스플레이 장치의 기능 다양화와 풀 터치 스크린의 제품이 보편화됨에 따라, 기존의 버튼 기반의 UI가 아닌 화면 상에서 그래픽으로 제공되는 GUI가 발전하고 있다. 이에 따라, 사용자가 디스플레이 장치의 기능들에 대한 메뉴를 쉽게 이용할 수 있게 하는 GUI를 제공하기 위한 방안의 모색이 요청된다.
이와 같이, 디스플레이 장치의 기능 다양화와 풀 터치 스크린의 제품이 보편화됨에 따라, 기존의 버튼 기반의 UI가 아닌 화면 상에서 그래픽으로 제공되는 GUI가 발전하고 있다. 이에 따라, 사용자가 디스플레이 장치의 기능들에 대한 메뉴를 쉽게 이용할 수 있게 하는 GUI를 제공하기 위한 방안의 모색이 요청된다.
본 발명은 상기한 문제점을 해결하기 위한 것으로, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다.
이에 따라, 본 발명은, 3차원 GUI에서 기준면의 메뉴를 화면에 표시하고, 기준면의 메뉴가 표시된 상태에서 사용자의 조작이 입력되면, 적어도 하나의 옆면중 사용자의 조작의 방향에 대응되는 적어도 하나의 면의 메뉴를 표시하는 GUI 제공방법 및 이를 적용한 디스플레이 장치를 제공함에 있다.
발명의 다양한 실시예들에 따르면, 3차원 GUI에서 기준면의 메뉴를 화면에 표시하고, 기준면의 메뉴가 표시된 상태에서 사용자의 조작이 입력되면, 적어도 하나의 옆면 중 사용자의 조작의 방향에 대응되는 적어도 하나의 면의 메뉴를 표시하는 GUI 제공방법 및 이를 적용한 디스플레이 장치를 제공할 수 있게 되어, 사용자는 더욱 쉽고 편리하게 원하는 메뉴를 선택할 수 있게 된다.
도1은 본 발명의 일 실시예에 따른 휴대용 장치의 구성을 나타낸 도면,
도2는 본 발명의 일 실시예에 따른 디지털 신호 변환부의 구성을 나타낸 도면,
도3은 본 발명의 일 실시예에 따른 이미지 센서의 구성을 나타낸 도면,
도4는 본 발명의 일 실시예에 따른, 3차원 GUI 제공 방법을 설명하기 위해 제공되는 흐름도,
도5내지 도7은 본 발명의 일 실시예에 따른, 좌측면의 메뉴가 표시되는 과정을 도시한 도면,
도8은 본 발명의 일 실시예에 따른, 3차원 GUI의 구조를 도시한 도면,
도9는 본 발명의 일 실시예에 따른, 비전 인식 GUI 모드 시작 버튼이 구비된 휴대폰을 도시한 도면,
도10 내지 도12는 본 발명의 일 실시예에 따른, 좌측면의 메뉴가 표시되는 경우와 좌측면과 상측면의 메뉴가 동시에 표시되는 경우를 도시한 도면,
도13내지 도16은 본 발명의 일 실시예에 따른, 기준면에 표시된 아이템을 사용자가 선택하는 과정을 도시한 도면,
도17내지 도20는 본 발명의 일 실시예에 따른, 좌측면에 표시된 메뉴의 아이템을 선택하는 과정을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 발명은 휴대폰, 텔레비전, 개인용 컴퓨터, 노트북, 디지털 음원 재생 장치, PMP와 같은 디지털 장치에 포함되어, 디지털 카메라의 영상으로부터 비전 인식 정보를 추출하고 이 정보를 바탕으로 사용자와 디지털 장치 간의 정보 입력, 상황 인식 등의 기능을 수행할 수 있게 한다.
본 발명은 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 제공 방법 및 이를 적용한 디스플레이 장치를 제공된다. 본 발명의 일 실시예에 따른 GUI 제공방법에 따르면, 3차원 GUI에서 기준면의 메뉴를 화면에 표시하고, 기준면의 메뉴가 표시된 상태에서 사용자의 얼굴(330)을 인식하고, 얼굴(330)의 회전이 감지되면, 적어도 하나의 옆면 중 사용자의 조작의 방향에 대응되는 적어도 하나의 면과 해당 데이터를 표시하게 된다. 이에 따라, 사용자는 더욱 쉽고 편리하게 원하는 메뉴를 선택할 수 있게 된다.
상기한 본 발명의 일예에 따른 디지털 장치의 구성을 도1에 도시하였다. 도1을 참조하면, 디지털 장치는 카메라부에 포함되는 렌즈(10), IR(Infrared Ray) 필터(20), 이미지 센서(30), 제1디지털 신호 변환부(40), 제2디지털 신호 변환부(70), 제1이미지 처리부(50), 제2이미지 처리부(80), 비전 인식 처리부(60), 센서 제어부(100), 리드 아웃 회로(110)를 포함한다. 그리고 디지털 장치는 제어부(90), 디스플레이부(120), GUI 생성부(130), 터치 감지부(140)를 포함하며, 미도시하였지만, 메모리부를 포함한다. 이러한 디지털 장치는 예를 들어, 휴대폰이나 텔레비전, 개인용 컴퓨터, 노트북, 디지털 음원 재생 장치, PMP(Portable Multimedia Player)등이 될 수 있다.
리드 아웃 회로(110)와, 제1디지털 신호 변한부(40)와, 제1이미지 처리부(50)와, 비전 인식 처리부(60)는 인식 영상 데이터를 생성하고, 인식 영상 데이터를 이용해 비전 인식을 수행하는 구성부이다. 그리고 제2디지털 신호 변환부(70)와, 제2이미지 처리부(80)는 촬영 영상 데이터를 생성하기 위한 구성부이다.
IR 필터(20)는 렌즈(10)를 통해 입력된 빛에서 적외선을 차단하기 위한 필터이다.
제어부(90)는 디지털 장치의 전반적인 동작을 제어하며, 본 발명의 일 실시예에 따라, 카메라부에 촬영 모드와 비전 인식 모드 중 어느 하나의 동작 모드를 설정한다. 그리고 설정된 모드에 따라 제어부(90)는 센서 제어부(100), 이미지 센서(30), 제1디지털 신호 변환부(40), 제2디지털 신호 변환부(70), 제1이미지 처리부(50), 제2이미지 처리부(80), 비전 인식 처리부(60)의 동작을 제어한다.
촬영 모드는 상기한 카메라부에 포함되는 각 구성부를 통해 스냅 사진과 같은 일반적인 정지 영상을 생성하거나, 기록용 동영상을 생성하는 동작 모드로서, 정지 영상 촬영 모드, 프리뷰 모드, 동영상 촬영 모드 등으로 세분할 수도 있다.
비전 인식 모드는 생성된 인식 영상 데이터에서 특정 오브젝트 또는 특정 오브젝트의 움직임을 검출 및 인식하고, 인식된 결과값에 대응하여 지정된 특정 동작이 수행되는 동작 모드이다. 비전 인식 모드에 따른 기능에는 예를 들어, 비전 인식 사용자 인터페이스, 증강 현실, 얼굴(330) 인식, 동작 인식, 화면 변화 감지 사용자 인터페이스 등이 있다. 구체적인 동작으로는, 예를 들어, 비전 인식 모드에서 디지털 장치는 인식 영상 데이터에서 손의 움직임을 검출하고, 검출된 손의 움직임에 대응하는 특정 명령을 수행할 수도 있다.
또한 제어부(90)는 본 발명의 일 실시예에 따라 디지털 장치에서 제공되는 GUI를 일반 GUI와, 3차원 GUI로 구분하여 제공되도록, 디지털 장치의 각 구성부를 제어한다. 일반 GUI는 2차원 평면으로 디지털 장치의 각종 표시 정보를 제공하는 GUI이다. 3차원 GUI는 디지털 장치의 각종 표시 정보를 입체적으로 제공하는 GUI로, 비전 인식 GUI 모드하에서 제공된다. 즉, 비전 인식을 통해 사용자 모션을 인식하고, 인식된 사용자 모션에 따라 디지털 장치의 각종 표시 정보를 입체적 3차원 GUI로 제공한다. 예를 들어, 디지털 장치는 본 발명의 일 실시예에 따라 얼굴(330)을 촬영한 인식 영상 데이터를 통해 안면 인식을 수행하고, 얼굴(330)의 회전 방향을 인식하여, 회전 방향에 대응하는 3차원 GUI를 디스플레이할 수도 있다.
센서 제어부(100)는 동작 모드에 따른 제어부(90)의 제어에 따라, 이미지 센서(30)의 동작 파라미터를 설정을 변경하고, 해당 이미지 센서 픽셀을 제어한다. 동작 파라미터는 실제 촬영에 따라 생성되는 영상 데이터의 해상도, 노출 시간, 이득, 프레임율 등을 결정하는 값들이다.
촬영 모드에서 특정 크기와 해상도를 가지는, 스냅 사진 데이터 또는 프리뷰 영상 데이터, 또는 동영상 데이터가 생성될 수 있도록, 각종 동작 파라미터의 값이 결정되며, 센서 제어부(100)는 결정된 값을 가지는 동작 파라미터를 이미지 센서(30)에 설정한다. 그리고, 센서 제어부(100)는 생성될 촬영 영상 데이터의 해상도에 따라 이미지 센서(30)에서 이용될 이미지 센서 픽셀을 선택하고, 활성화한다.
그리고 제어부(90)는 촬영 영상 데이터가 생성될 수 있도록 제2디지털 신호 변환부(70)와 제2이미지 처리부(80)를 제어한다.
그리고 비전 인식 모드에서 동작 파라미터의 값은 비전 인식 처리에 특화된 인식 영상 데이터의 포맷에 따라 결정된다. 즉, 비전 인식 처리시 확보되어야 하는 인식 영상 데이터의 해상도, 프레임율에 따라 각 동작 파라미터의 값이 결정되며, 센서 제어부(100)는 비전 인식 모드시 결정된 값을 가지도록 동작 파라미터를 이미지 센서(30)에 설정한다. 그리고, 센서 제어부(100)는 이미지 센서(30)에서 비전 픽셀을 활성화한다. 이때, 센서 제어부(100)는 저전력 모드로 동작한다.
그리고 제어부(90)는 인식 영상 데이터가 생성될 수 있도록, 리드 아웃 회로(110)와, 제1디지털 신호 변환부(40)와, 제2이미지 처리부(80)를 제어한다.
이미지 센서(30)는 빛이 컬러 필터를 통해 광 도전체로 들어오면 빛의 파장과 세기에 따라서 광 도전체에서 발생하는 전자-정공이 가변되고, 이를 신호 처리 가능한 레벨의 전압신호로 출력하는 소자이다. 이미지센서는 방식에 따라서 CCD(ChargeCoupled Device)형 이미지센서와 CMOS형 이미지센서로 구분될 수 있다.
이미지 센서(30)는 단위 픽셀로 사용되며, 소정 규격의 이미지를 얻기 위해서 다수의 이미지 센서 픽셀이 소정의 열과 행으로 배치된 이미지 센서 어레이가 사용된다. 그리고 이미지 센서(30) 내에는 렌즈(10)가 받아들인 빛을 원래의 천연색으로 구현하는 베이어 패턴(Bayer Patten)의 컬러 필터가 포함되어 있으며 도3에 도시된 이미지 센서(30)는 이를 위에서 바라본 것이다. 베이어 패턴은 1970년대 발표 이후 현재까지 디지털 이미지의 가장 중요한 기본 원리로, 이론의 시작은 자연계에 존재하는 실제 영상은 점(픽셀)으로 이루어진 것이 아닌데 반해, 디지털 영상은 점으로 구현될 수밖에 없다는 것에서 출발한다. 대상의 밝기와 색상을 모아 점으로 이루어진 이미지를 만들기 위해 2차원 평면상에 레드(R), 그린(G), 블루(B) 각각의 밝기를 받아들이는 필터들을 배치하며, 이를 베이어 패턴 컬러 필터라고 한다. 베이어 패턴 컬러 필터 아래서 격자망을 형성하는 각각의 픽셀들은 총 천연색을 인식하는 것이 아니라 레드(R), 그린(G), 블루(B) 중 할당된 색만을 인식하고 나중에 이를 보간하여 천연색을 유추해 낸다.
이미지 센서(30)를 구성하는 복수의 픽셀들에서 출력되는 신호는 제2디지털 신호 변환부(70)로 입력될 수 있도록 구성된다. 제2디지털 신호 변환부(70)로 입력된 광 정보를 포함하는 아날로그 신호들은 디지털 신호로 변경되어 제2이미지 처리부(80)로 출력되며, 제2이미지 처리부(80)는 촬영 영상 데이터를 생성하기 위한 신호 처리를 수행한다.
그리고 상기 복수의 픽셀 중 일부 픽셀들은 본 발명에 따라 비전 픽셀로 지정된다. 비전 픽셀은 비전 인식에 이용되는 영상 데이터를 생성할 때 이용되는 픽셀로서, 비전 픽셀에서 출력되는 신호는 제2디지털 신호 변환부(70)뿐만 아니라, 리드 아웃 회로(110)를 통해 제1디지털 신호 변환부(40)로 입력될 수 있도록 구성된다. 비전 픽셀로 지정되는 픽셀들의 수는 정상적인 비전 인식을 위한 인식 영상 데이터를 생성할 수 있는 최소한의 픽셀수 이상이 된다.
리드 아웃 회로(110)는 비전 픽셀 각각에 연결되어, 각 비전 픽셀의 출력 신호가 제1디지털 신호 변환부(40)로 입력될 수 있게 하는 회로이다.
기본적으로 이미지 센서(30)를 구성하는 복수의 픽셀 중 어느 픽셀이라도 비전 픽셀로 이용될 수 있다. 비전 인식 처리에서 사용되는 인식 영상 데이터는, 영상 데이터에 포함된 특정 오브젝트를 검출하고, 인식하는 것을 목표로 하기 때문에, 영상이 원래의 천연색으로 표현되지 않아도 되며, 오브젝트의 검출 및 인식을 용이하게 실시될 수 있도록 생성되는 것이 바람직하다. 이에 따라, 비전 픽셀은 저조도에서도 고감도 특성을 가질 수 있도록 구성되는 것이 좀 더 효율적이다.
예를 들어, 비전 픽셀은 레드(R), 그린(G), 블루(B) 각각의 밝기를 받아들이는 픽셀 중에 상대적으로 고감도 특성을 가지는 그린 픽셀들로만 구성할 수 있다.
다른 예로, 비전 픽셀은 고감도 픽셀인 화이트 픽셀로 구성될 수 있다. 화이트 픽셀은 베이어 패턴에서 해당 픽셀의 컬러 필터를 제거하여 구현할 수 있다. 이 경우, 화이트 픽셀에서 획득되는 광 정보가 촬영 영상 데이터 생성시 결점(defect)으로 작용되지 않게 하기 위한 픽셀 보간을 시행하여 촬영 영상 데이터에서도 비전 픽셀에 의해 획득되는 광 정보가 이용될 수 있게 한다.
그린 픽셀보다 화이트 픽셀이 노이즈 수준이 우수하기 때문에, 그린 픽셀들을 비전 픽셀로 이용하는 것보다, 화이트 픽셀을 비전 픽셀로 이용하는 것이 상대적으로 저조도 감도 향상을 야기할 수 있다. 이러한 비교 결과를 도6에 나타내었다. 도6에서 제1인식 영상(210)은 그린 픽셀을 비전 픽셀로 이용한 경우를 나타낸 것이고, 제2인식 영상(220)은 화이트 픽셀을 비전 픽셀로 이용한 경우를 나타낸 것이다.
이와 같이, 다양한 색의 픽셀로 구성되는 이미지 센서에서 상대적으로 고감도 특성을 가지는 색 픽셀을 비전 픽셀로 지정함으로써, 본 발명의 실시예에서는 단색의 인식 영상 데이터로 비전 인식을 수행할 수 있다.
또는 레드(R), 그린(G), 블루(B) 각각의 밝기를 받아들이는 픽셀을 이용하되, 두 개의 픽셀 값을 하나의 픽셀 값으로 이용하도록 구성할 수도 있다.
도3은 이러한 실시예 중에서, 화이트 픽셀을 비전 픽셀로 이용하는 경우, 이미지 센서(30)의 이미지 센서 어레이를 나타낸 것이다. 도3을 참조하면, 이미지 센서 어레이는 레드 픽셀, 그린 픽셀, 블루 픽셀, 화이트 픽셀로 구성되며, 레드 픽셀, 그린 픽셀, 블루 픽셀, 화이트 픽셀 각각의 출력값은 제2디지털 신호 변환부(70)로 입력되도록 구성되고, 이들 중 화이트 픽셀의 출력값은 리드 아웃 회로(110)를 통해 제1디지털 신호 변환부(40)에도 입력되도록 구성된다.도3에서 실선으로 도시된 리드 아웃 회로(110)는 이해를 돕기 위해 간략화하여 나타낸 것이다.
제1디지털 신호 변환부(40)와 제2디지털 신호 변환부(70)는 각각 이미지 센서(30)의 픽셀에서 입력되는 아날로그 신호들을 디지털 신호로 변환한다.
제1디지털 신호 변환부(40)는 인식 영상 데이터를 생성하기 위해 비전 픽셀에서 입력되는 아날로그 신호들을 디지털 신호로 변환하여 제1이미지 처리부(50)로 출력한다. 제2디지털 신호 변환부(70)는 촬영 영상 데이터를 생성하기 위해 이미지 센서(30)의 전체 픽셀에서 입력되는 아날로그 신호들을 디지털 신호로 변환하여 제2 이미지 처리부(80)로 출력한다.
제1디지털 신호 변환부(40)의 출력 비트(bit)수는 인식 영상에 최적화되어 결정되며, 제1디지털 신호 변환부(40)로 입력되는 픽셀 출력 수가 제2디지털 신호 변환부(70)보다 적기 때문에, 제1디지털 신호 변환부(40)는 제2디지털 신호 변환부(70)보다 적은 수의 출력 비트를 가진다. 이에 따라, 제1디지털 변환부(40)의 소모 전력은 제2디지털 신호 변환부(70)보다 적다.
이미지 센서(30)는 이미지센서는 방식에 따라서 CCD(Charge Coupled Device)형 이미지 센서와 CMOS형 이미지 센서로 구분될 수 있다. 이미지 센서(30)가 CMOS형 이미지 센서인 경우, 제1디지털 변환부(40)와 제2디지털 변환부(70)는 CDS(Correlated Double Sampling)부를 포함하게 된다. 이를 도2에 도시하였다.
도2는 이미지 센서(30)가 CMOS형 이미지 센서인 경우 제1디지털 변환부(40)의 구성을 나타낸 것이다. 도3을 참조하면, 제1디지털 신호 변환부(40)는 CDS부(41)와 ADC(Analog to Digital Converter)부(42)를 포함한다.
이미지 센서(30)가 CMOS형 이미지 센서인 경우 이미지 센서 어레이는 2차원 매트릭스 형태로 배열된 다수의 픽셀들을 구비하며, 상기 다수의 픽셀들 각각은 해당 픽셀을 선택하는 선택 신호들에 기초하여 리셋 신호와 감지 신호를 출력한다. 이에 따라, CDS부(41)는 비전 픽셀들에 대응하는 감지 신호들과 리셋 신호들을 수신하여 상호 연관된 이중 샘플링하여 아날로그 영상 신호들을 생성하고, 아날로그 영상 신호들을 ADC부(42)로 출력한다. ADC부(42)는 CDS부(41)에서 입력된 아날로그 영상 신호들을 디지털 영상 신호들로 변환하여 제1이미지 처리부(50)로 출력한다.
이미지 센서(30)가 CMOS형 이미지 센서인 경우 제2디지털 신호 변환부(70) 역시 제1디지털 신호 변환부(40)와 유사하게 구성될 수 있다. 다만, 제1디지털 신호 변환부(40)에 포함되는 CDS부(41)는 비전 픽셀에서 출력되는 신호들만을 샘플링하도록 구성되는 것에 반하여, 제2디지털 신호 변환부(70)에 포함되는 CDS부는 이미지 센서(30)의 전체 픽셀에서 출력되는 신호들을 샘플링할 수 있게 구성된다.
이에 따라, 제1디지털 신호 변환부(40)에 포함되는 CDS부(41)의 소모 전력은제2디지털 신호 변환부(70)에 포함되는 CDS부의 소모 전력보다 적을 것이다.
제1이미지 처리부(50)는 제1디지털 신호 변환부(40)에서 입력되는 디지털 신호를 처리하여, 인식 영상 포맷에 따른 인식 영상을 생성하여 비전 인식 처리부(60)로 출력한다.
비전 인식 처리부(60)는 인식 영상 데이터를 이용해 각종 비전 인식 기능을 수행한다. 즉, 비전 인식 처리부(60)는 인식 영상 데이터에서 특정 오브젝트 또는 특정 오브젝트의 움직임을 검출 및 인식하고, 제어부(90)와 연동하여, 인식된 결과 값에 대응하여 지정된 특정 동작이 수행되게 한다. 특히, 비전 인식 처리부(60)는 본 발명에 따라, 3차원 GUI를 디스플레이하기 위한 비전 인식 GUI 모드에서, 얼굴(330) 인식을 수행하고, 얼굴(330)의 상, 하, 좌, 우 움직임을 추출하여 제어부(90)로 전달한다.
제2이미지 처리부(80)는 제2디지털 신호 변환부(70)에서 입력되는 디지털 신호를 처리하여, 해당 촬영 영상 포맷에 따른 촬영 영상 데이터를 생성하여, 메모리부(미도시 함.)에 저장한다. 예를 들어, 제2이미지 처리부(80)는 정지 영상 데이터, 프리뷰 영상 데이터, 동영상 데이터 등을 생성할 수 있다.
GUI 생성부(140)는 제어부(90)의 제어에 따라, 사용자의 명령을 입력받기 위한 GUI(Graphic User Interface)를 생성한다. GUI 생성부(140)는 일반 GUI 모드에서는 평면의 2차원 GUI를 생성하고, 비전 인식 GUI 모드에서는기준면과 기준면의 모서리에 접해있는 적어도 하나의 옆면에 각각 메뉴 또는 정보가 표시되도록 구성된 3차원 GUI를 생성한다. 구체적으로, GUI 생성부(150)는 육면체의 5개의 면을 이용하여 구현된 3차원 GUI를 생성한다. 여기에서, 3차원 GUI는, 육면체의 어느 한 면을 기준면이라고 했을 때, 기준면과 기준면의 4개의 모서리에 접해 있는 상측면, 하측면, 좌측면 및 우측면에 각각 메뉴 또는 데이터가 표시되도록 구성된다. 기준면은 육면체 형태에서 디지털 장치의 화면 크기와 동일한 크기를 가지는 바닥면이다. 또한, 기준면은 일반적으로 표시되는 2차원 GUI 메뉴가 표시되는 영역에 해당된다. 상측면, 하측면, 좌측면 및 우측면은 기준면에 표시된 메뉴에 대한 상위 메뉴 또는 하위 메뉴가 표시될 수 있다. 다른 예로, 디지털 장치에서 제공되는 기능들 또는 디지털 장치에 구비된 각종 애플리케이션에 대한 바로가기 기능을 하는 아이콘들이 표시될 수도 있다. 또는, 디지털 장치에 구비된 각종 기능 및 애플리케이션과 관련된 알림 메시지나, 수신된 메시지가 디스플레이될 수도 있다. 또는 특정 애플리케이션 활성화 시 보여줄 화면이 나타나게 할 수도 있다. 또는 음악 파일의 재생과 관련된 제어 메뉴들, 예를 들어, 재생 아이콘, 다음 파일 선택 아이콘, 이전 파일 선택 아이콘, 정이 아이콘 등과 같은 메뉴들이 디스플레이될 수도 있다.
이와 같이, GUI 생성부(140)는 육면체의 기준면과 옆면들에 메뉴가 표시된 3차원 GUI를 생성하고, 생성된 3차원 GUI를 제어부(90)의 제어에 따라 디스플레이부(120)에 표시한다.
터치 검출부(140)는 사용자의 터치 조작 정보를 검출한다. 구체적으로, 터치 검출부(140)는 디스플레이 화면에 대한 사용자의 터치 조작을 검출하는 터치 스크린 형태로 구현될 수도 있다. 그리고, 터치 검출부(140)는 검출된 사용자의 터치 조작 정보를 제어부(90)로 전송한다.
저장부는 디지털 장치의 각종 기능을 수행하기 위한 프로그램들이 저장되어 있다. 이와 같은, 저장부는 하드디스크, 비휘발성 메모리 등으로 구현될 수 있다.
디스플레이부(120)는 디지털 장치의 기능을 제공하기 위한 영상을 디스플레이한다. 또한, 디스플레이부(120)는 사용자의 조작을 위한 GUI(Graphic User Interface)들을 화면에 디스플레이하게 된다. 구체적으로, 디스플레이부(120)는 GUI 생성부(130)에서 생성된 육면체의 기준면과 옆면들에 메뉴가 표시된 3차원 GUI를 사용자의 조작에 따라 디스플레이하게 된다.
제어부(90)는 디지털 장치의 전반적인 동작을 제어한다. 제어부(90)는 비전 인식 GUI 모드에서, 기준면의 메뉴가 화면에 표시된 상태에서 사용자의 조작이 입력되면, 적어도 하나의 옆면 중 사용자의 조작의 방향에 대응되는 적어도 하나의 면의 메뉴가 화면에 표시되도록 제어한다. 구체적으로, 제어부(190)는 기준면의 메뉴가 화면에 표시된 상태에서 사용자의 모션이 감지되면, 상측면, 하측면, 좌측면 및 우측면 중 사용자의 모션 방향에 대응되는 적어도 하나의 면의 메뉴가 화면에 표시되도록 제어한다.
이 때, 사용자 모션은, 디지털 장치를 정면으로 바라본 얼굴(330)을 촬영한 인식 영상 데이터를 통해 안면 인식을 수행하여 기준 데이터를 생성하고, 기준 데이터를 기준으로 얼굴(330)의 상,하,좌,우 움직임이 될 수 있으며, 제어부(90)는 얼굴(330)의 움직임 정도와 방향에 따라, 상측면, 하측면, 좌측면 및 우측면 중 움직이는 방향에 대응되는 적어도 하나의 면의 메뉴가 표시되도록 제어한다. 제어부(90)는 상측면, 하측면, 좌측면 및 우측면 중 움직임 방향에 대응되는 적어도 하나의 면의 메뉴를 표시하기 위해, 3차원 GUI가 움직임 방향으로 기울어지게 표시되도록 제어한다.
여기에서, 3차원 GUI가 기울어지는 각도는 얼굴(330)의 움직임 정도, 즉, 회전 각도에 비례한다. 따라서, 제어부(90)는 3차원 GUI를 직접 기울어지게 하는 것과 같은 효과를 낼 수 있게 된다.
또한, 제어부(90)는 비전 인식 GUI 모드의 시작을 나타내는 시작 이벤트가 발생하면, 비전 인식 처리부(60)는 얼굴(330)이 정면으로 촬영된 인식 영상 데이터에서 얼굴(330) 인식을 수행하여, 기준 데이터를 생성하고, 이를 기준으로, 이후에 검출된 얼굴(330)의 움직임 방향에 따라, 상측면, 하측면, 좌측면 및 우측면 중 움직임 방향에 대응되는 적어도 하나의 면의 메뉴가 표시되도록 제어할 수도 있다.
여기에서, 시작 이벤트는, 예를 들어, 사용자의 직접적인 입력일 수도 있고, 메시지 수신이나 특정 정보의 알람이 발생하는 경우가 될 수도 있다.
비전 인식 GUI 모드가 시작되면, 제어부(90)는 비전 인식 처리부(60)를 제어하여, 얼굴(330)이 정면에서 촬영된 인식 영상 데이터에서 얼굴(330) 인식을 수행하여, 기준 데이터를 생성한다. 기준 데이터는 얼굴(330)의 움직임 방향이나 움직임의 정도의 기준이 되는 얼굴(330)이 촬영되어야 하기 때문에, 가능한 얼굴(330)이 정면에서 촬영된 인식 영상 데이터가 필요하며, 이에 따라, 제어부(90)는 정면에서 얼굴(330)이 촬용되도록 사용자의 조작을 유도하는 알람을 발생할 수 있다. 예를 들어, 얼굴(330)이 이미지 센서(30)를 기준으로 적정 지점에 위치하는 것을 알리는 램프를 발광시킬 수 있다. 이 경우, 디스플레이부(120)의 화면에는 2차원 GUI의 디스플레이가 유지되고 있을 것이다.
또는 화면에 촬영되고 있는 영상과 함께, 촬영된 얼굴(330)의 위치를 유도하는 유도 프레임을 디스플레이할 수도 있다. 이러한 유도 프레임은 사각형의 외곽 프레임과, 그 내부에 눈, 코, 입의 대략적인 위치를 나타내는 인디케이터가 포함되도록 구성될 수 있다.
제어부(90)는 기준 데이터를 기준으로 상방향, 하방향, 좌방향, 및 우방향 중 어느 하나의 방향으로 얼굴(330), 즉 고개가 움직인 것이 감지되는 경우, 상측면, 하측면, 좌측면 및 우측면 중 움직임 방향에 대응되는 하나의 면의 메뉴가 표시되도록 제어한다. 얼굴(330)의 움직임은 기준 데이터 생성후, 촬영되는 트래킹 인식 영상 데이터를 이용해 파악될 수 있다. 예를 들어, 기준 데이터에서 획득된 눈의 위치를 기준으로 해서, 트래킹 인식 영상 데이터에서 획득된 눈의 위치를 비교하여, 그 변화량에 따른 모션 백터를 검출한다. 그리고 검출된 모션 벡터를 이용해 얼굴(330)의 움직임 방향이나 각도를 검출할 수 있다. 모션 벡터는 코의 위치 또는 입의 위치 등을 이용해 검출할 수도 있다.
제어부(90)는 기준 데이터를 기준으로 사용자가 고개를 듦에 따라, 상방향으로의 얼굴(330) 움직임이 감지되면, 상측면의 메뉴가 표시되도록 제어한다. 그리고, 제어부(90)는 기준 데이터를 기준으로 사용자가 고개를 숙임에 따라, 하방향으로 얼굴(330) 움직임이 감지되면, 하측면의 메뉴가 표시되도록 제어한다. 또한, 제어부(90)는 기준 데이터를 기준으로 사용자가 왼쪽으로 고개를 돌림에 따라, 좌방향으로 얼굴(330) 움직임이 감지되면, 좌측면의 메뉴가 표시되도록 제어한다. 제어부(90)는 기준 데이터를 기준으로 사용자가 오른쪽으로 고개를 돌림에 따라, 우방향으로 얼굴(330) 움직임이 감지되면, 우측면의 메뉴가 표시되도록 제어한다.
또한, 제어부(90)는 기준 데이터를 기준으로, 사용자 얼굴(330)이 상,하,좌,우 방향 중 어느 한 방향으로 움직인 후, 중앙으로 돌아오는, 즉, 기준 데이터와 일치하는 위치로 돌아오는 방향을 제외한 나머지 방향으로 얼굴(330)을 움직이면, 해당 방향에 대응하는 면의 메뉴가 함께 표시되도록 제어한다.
구체적으로, 제어부(90)는 사용자가 얼굴(330)을 왼쪽으로 돌린 후에, 고개를 위쪽으로 들면, 이를 인식하여, 좌측면 및 상측면의 메뉴가 표시되도록 제어한다. 그리고, 제어부(90)는 사용자가 얼굴(330)을 왼쪽으로 돌린 후에, 고개를 숙이면, 이를 인식하여, 좌측면 및 하측면의 메뉴가 표시되도록 제어한다. 또한, 제어부(90)는 사용자가 얼굴(330)을 오른쪽으로 돌린후에, 고개를 위쪽으로 들면, 이를 인식하여, 우측면 및 상측면의 메뉴가 표시되도록 제어한다. 그리고, 제어부(90)는 사용자가 얼굴(330)을 오른쪽으로 돌린후에, 고개를 숙이면, 우측면 및 하측면의 메뉴가 표시되도록 제어한다.
이와 같이, 디지털 장치는 육면체의 기준면과 옆면들에 메뉴가 표시된 3차원 GUI를 표시하고 얼굴(330) 움직임 방향을 인식하여, 3차원 GUI의 디스프레이를 제어하게 된다. 이에 따라, 사용자는 얼굴(330), 즉, 고개를 움직이는 것만으로, 새로운 메뉴를 표시할 수 있게 되어, 복잡한 메뉴를 더욱 쉽게 이용할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른, 3차원 GUI 제공 방법을 설명하기 위해 제공되는 흐름도이다.
디지털 장치의 제어부(90)는 비전 인식 GUI 모드가 설정되면, 기준면과 기준면의 모서리에 접해있는 적어도 하나의 옆면에 각각 메뉴가 표시되도록 구성된 3차원 GUI를 생성한다(S210). 구체적으로, 디지털 장치는 직육면체의 5개의 면을 이용하여 구현된 3차원 GUI를 생성한다. 여기에서, 3차원 GUI는 직육면체의 어느 한 면인 기준면과, 기준면의 4개의 모서리에 접해 있는 상측면, 하측면, 좌측면 및 우측면으로 구성된다. 기준면은 직육면체 형태에서 디스플레이부(120)의 화면 크기와 동일한 크기를 가지는 바닥면이다.
또한, 기준면은 비전 인식 GUI 모드가 아닌, 일반 GUI 모드에서 표시되는 GUI 메뉴가 표시되는 영역에 해당된다. 직육면체 형태의 3차원 GUI의 각각의 면, 즉, 상측면, 하측면, 좌측면 및 우측면에는 기준면에 표시된 메뉴에 대한 상위 메뉴 또는 하위 메뉴가 표시될수 있으며, 디지털 장치에서 제공되는 기능들에 대한 바로가기 기능을 하는 아이콘들이 표시될 수도 있다.그리고, 제어부(90)는 기준면의 메뉴를 화면에 표시한다(S220). 기준면의 메뉴가 표시된 상태에서 사용자의 얼굴(330) 움직임이 감지되면(S230-Y), 제어부(90)는 적어도 하나의 옆면 중 상기 사용자의 얼굴(330) 움직임의 방향에 대응되는 적어도 하나의 면의 메뉴 또는 데이터를 화면에 표시한다(S240). 이 때, 제어부(90)는 상측면, 하측면, 좌측면 및 우측면 중 기울임 방향에 대응되는 적어도 하나의 면의 메뉴를 표시하기 위해, 3차원 GUI가 얼굴(330) 움직임방향으로 기울어지게 표시한다.
여기에서, 3차원 GUI가 기울어지는 각도는 얼굴(330)이 움직이는 각도에 비례한다. 따라서, 제어부(90)는 3차원 GUI를 직접 기울어지게 하는 것과 같은 효과를 낼 수 있게 된다.
이하에서는, 도 5 내지 도 20를 참고하여, 디지털 장치의 화면에 표시되는 3차원 GUI들에 대해 상세하게 설명한다. 도5내지 도7은 본 발명의 일 실시예에 따른, 좌측면의 메뉴가 표시되는 과정을 도시한 도면이다.
도5는 3차원 GUI의 기준면(310)이 화면에 표시된 상태를 도시하고 있다. 도5에 도시된 바와 같이, 3차원GUI의 기준면(310)에는 일반적으로 제어부(90)에서 표시되는 2차원 GUI 화면이 표시된다. 즉, 도5는 현재 정면에서 촬영된 사용자 얼굴(330)을 인식하여, 기준 데이터를 생성한 후에, 사용자 얼굴(330)의 움직임이 감지 되지않은 상태에서의 디스플레이 화면을 도시한 도면이다. 도5에 도시된 바와 같이, 사용자의 얼굴(330)은 디지털 장치의 화면을 정면으로 바라보고 있다. 도5에서 얼굴(330) 밑의 바(340)는 얼굴(330)의 회전 방향 및 각도를 좀더 쉽게 나타내기 위한 것이다.
도6은 사용자가 얼굴(330)을 좌측으로 돌린 것을, 비전 인식 처리부(60)에 의해 인식한 결과가 반영된 디스플레이 화면을 도면이다. 도 6에 도시된 바와 같이, 사용자가 얼굴(330) 을 좌측으로 돌리면, 3차원 GUI의 좌측면(320)이 표시되는 것을 확인할 수 있다. 그리고, 도7은 3차원 GUI의 좌측면(320)이 전부 표시될 정도로 사용자가 얼굴(330)을 좌측으로 돌린 상태의 화면을 도시하고 있다. 도6의 바(340)와 도7의 바(350)의 회전 각도를 비교해보면, 도7에서의 얼굴 회전 각도가 더 큰 것을 알 수 있다.
이와 같이, 제어부(90)는 사용자 얼굴(330)의 움직임이 감지되면, 해당 방향의 면을 화면에 표시하게 된다.
도8은 본 발명의 일 실시예에 따른, 3차원 GUI(400)의 구조를 도시한 도면이다. 도8에 도시된 바와 같이, 3차원 GUI(400)는 직육면체의 5개의 면으로 구성되어 있다. 3차원 GUI(400)의 기준면(410)이 표시된 상태에서, 3차원 GUI(400)가 위쪽 방향으로 기울어지면 상측면(420)이 표시된다. 그리고, 3차원 GUI(400)의 기준면(410)이 표시된 상태에서, 3차원 GUI(400)가 아래쪽 방향으로 기울어지면 하측면(430)이 표시된다. 또한, 3차원 GUI(400)의 기준면(410)이 표시된 상태에서, 3차원 GUI(400)가 왼쪽 방향으로 기울어지면 좌측면(430)이 표시된다. 그리고, 3차원 GUI(400)의 기준면(410)이 표시된 상태에서, 3차원 GUI(400)는 오른쪽 방향으로 기울어지면 우측면(440)이 표시된다. 이러한 3차완 GUI(400)가 기울어지는 방향은 얼굴(330)의 움직임 방향에 대응된다.
이와 같이, 디스플레이부(120)은 직육면체의 5개의 면으로 구성된 3차원 GUI를 생성하여 화면에 표시하게 된다.
도9는 본 발명의 일 실시예에 따른, 비전 인식 GUI 모드 시작 버튼(500)이 구비된 휴대폰을 도시한 도면이다. 도9에 도시된 바와 같이, 사용자가 시작 버튼(500)을 누르면, 제어부(90)는 비전 인식 처리부(60)를 통해, 사용자 얼굴(330)의 정면이 촬영된 비전 인식 영상 데이터를 인식 처리하여, 기준 데이터를 생성하고, 이를 기준으로 사용자 얼굴(330)의 움직임을 검출을 시작한다.
도9에서는 디지털 장치에 모션 시작 버튼(500)이 구비된 것으로 설명하였으나, 제어부(90)는 이외에 다른 조작방식으로 모션 시작을 인식할 수도 있음은 물론이다.
도10 내지 도12는 본 발명의 일 실시예에 따른, 좌측면의 메뉴가 표시되는 경우와 좌측면과 상측면의 메뉴가 동시에 표시되는 경우를 도시한 도면이다. 도 10은 사용자 얼굴(330)이 정면에서 움직임이 없어, 기준면에 메뉴가 표시된 상태를 도시하고 있다. 이 상태에서, 좌측방향으로 사용자가 얼굴(330)을 돌리는 것이 검출되면, 도11과 같이 제어부(90)는 GUI 생성부(130)를 제어하여, 좌측면(610)의 메뉴를 표시한다. 그리고, 사용자가 얼굴(330)을 좌측 방향으로 돌린 상태에서, 고개를 위쪽으로 올리는 것이 비전 인식 처리부(60)를 통해 감지되면, 도12와 같이, 제어부(90)는 좌측면(610)의 메뉴와 상측면(620)의 메뉴를 함께 표시한다. 이와 같이, 제어부(90)는 연속적인 얼굴(330)의 움직임이 검출되면, 두 개의 면의 메뉴를 함께 표시하게 된다.
도12와 같은 화면은 사용자가 얼굴(330)을 위쪽으로 올린후 좌측 방향으로 돌리거나, 상단 좌측의 사선 방향(예를 들어, 11시 방향)으로 얼굴(330)을 움직이는 경우에도 디스플레이될 수 있다.
도13내지 도16은 본 발명의 일 실시예에 따른, 기준면에 표시된 아이템을 사용자가 선택하는 과정을 도시한 도면이다.
도13은 디스플레이부(120)의 화면에 3차원 GUI의 기준면(800)에 메인 메뉴의 아이콘들(801)이 표시된 상태를 도시한도면 이다. 이 상태에서, 사용자가 얼굴(330)을 좌측으로 돌리면, 제어부(90)는 비전 인식 처리부(60)를 통해 좌측 방향으로의 움직임을 검출하고, 도14에 도시된 바와 같이 3차원 GUI의 좌측면(810)을 화면에 표시한다. 이 상태에서, 사용자가 특정 메뉴 아이콘, 예를 들어, 카메라 아이콘(805)을 선택하면, 도15에 도시된 바와 같이 선택된 카메라 아이콘(805)을 제외한 나머지 아이콘들은 모두 좌측면(810)으로 이동된다. 그 후에, 도16와 같이, 제어부(90)는 기준면(800)에 카메라 아이콘에 대한 하위메뉴의 아이콘들(820)을 화면에 표시하게 된다. 이와 같은 과정을 통해, 제어부(90)은 사용자에 의해 선택된 아이콘의 하위 메뉴를 기준면(800)에 표시하고, 좌측면(810)에는 선택된 아이콘 이외에 다른 아이콘들을 표시하게 된다.
도17내지 도20는 본 발명의 일 실시예에 따른, 좌측면(910)에 표시된 메뉴의 아이템을 선택하는 과정을 도시한 도면이다. 도17은 3차원 GUI의 기준면(900)의 메인 메뉴가 제어부(90)의 화면에 표시된 상태를 도시하고 있다. 도17에 도시된 바와 같이, 사용자가 음악 아이콘(905)을 선택하면, 도18에 도시된 바와 같이, 제어부(90)는 기준면(900)에 음악 리스트(907)를 표시하게 된다. 그리고, 이 상태에서, 사용자가 얼굴(330)을 좌측으로 돌리면, 제어부(90)는 비전 인식 처리부(60)를 통해 좌측 방향으로의 움직임을 검출하고, 도19에 도시된 바와 같이 제어부(90)는 3차원 GUI의 좌측면(910)을 표시하게 된다. 이 때, 좌측면(910)에는 상위 메뉴인 메인 메뉴의 아이콘들이 표시되어 있다.
이 상태에서, 도19에 도시된 바와 같이 사용자가 좌측면(910)의 전화번호부 아이콘(915)을 선택하면, 도20에 도시된 바와 같이 제어부(90)은 기준면(900)에 전화번호부 아이콘(915)의 하위 메뉴에 해당하는 전화번호리스트(920)를 표시하게 된다.
이와 같이, 제어부(90)는 좌측면(910)에 현재 기준면(900)에 표시된 메뉴에 대한 상위 메뉴를 표시할 수도 있다. 따라서, 사용자는 고개를 좌측 방향으로 돌림으로써, 상위메뉴를 쉽게 확인할 수 있게 된다.
그리고, 기준면(900)과 함께 다른 옆면, 즉, 좌측면, 우측면, 상측면, 하측면 중 하나 이상의 옆면이 디스플레이된 상태에서, 외부로부터 메시지가 수신되거나, 디지털 장치의 어떤 기능 또는 애플리케이션과 관련하여 알림 메시지가 발생하면, 현재 디스플레이된 옆면 중 어느 하나의 옆면에 일정 시간 동안 메시지 내용이 디스플레이될 수 있다. 도19를 참조하여 설명한다면, 메시지가 수신되거나, 알림 메시지가 발생하면, 좌측면(910)에 일부 상위 메뉴 대신 메시지 내용이 정해진 시간동안 디스플레이된다. 그리고, 정해진 시간이 지난 후에는 다시 이전의 상위 메뉴가 디스플레이된다. 또한, 메시지 내용의 디스플레이가 유지되는 동안 사용자가 메시지 내용이 디스플레이된 영역을 터치 선택하면, 관련 애플리케이션이 실행되고, 그에 따른 화면이 기준면(900)에 디스플레이될 수도 있다.
본 발명에 따른 다른 실시예로, 얼굴(330)의 움직임 방향에 특정 어플리케이션을 지정하고, 4가지 옆면 중 하나 이상의 옆면이 디스플레이 될 때, 해당 애플리케이션 활성화 시 보여줄 화면이 해당 옆면에 디스플레이되게 할 수 있다. 또는 얼굴(330)의 움직임 방향에 특정 어플리케이션을 지정하고, 4가지 옆면 중 하나 이상의 옆면이 디스플레이 될 때, 해당 애플리케이션의 메뉴가 디스플레이되게 할 수도 있다.
또 다른 예로, 움직임 방향에 대응되는 옆면에 음악 재생과 같은 기능을 배치하여 앞으로, 뒤로, 정지 및 재생과 같은 간단한 메뉴를 제어하는 화면을 보여줄 수 있다.상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다.

Claims (20)

  1. 디지털 장치의 GUI(Graphic User Interface) 제공방법에 있어서,
    기준면과 상기 기준면의 모서리에 접해있는 적어도 하나의 옆면에 각각 메뉴가 표시되도록 구성된 3차원 GUI를 생성하는 과정과,
    상기 기준면의 메뉴를 화면에 표시하는 과정과,
    상기 기준면의 메뉴가 표시된 상태에서 비전 인식을 통해 사용자의 움직임이 감지되면, 상기 적어도 하나의 옆면 중 상기 사용자의 움직임 방향에 대응되는 적어도 하나의 면을 표시하고, 상기 적어도 하나의 면에 데이터를 표시하는 과정을 포함하는 GUI 제공방법.
  2. 제1항에 있어서, 상기 기준면은 직육면체의 한 면이고,
    상기 적어도 하나의 옆면은, 상기 기준면의 4개의 모서리에 접해있는 상측면, 하측면, 좌측면 및 우측면인 것을 특징으로 하는 GUI 제공방법.
  3. 제2항에 있어서, 상기 기준면의 메뉴 화면은 사용자 얼굴을 정면에서 촬영한 인식 영상 데이터를 인식한 기준 데이터를 기준으로 생성되며,
    상기 기준 데이터를 기준으로 사용자의 얼굴이 움직임에 따라, 상기 사용자의 움직임이 검출되고,
    상기 적어도 하나의 면에 데이터를 표시하는 과정은,
    상기 사용자 얼굴의 움직임 방향에 따라, 상기 상측면, 상기 하측면, 상기 좌측면 및 상기 우측면 중 상기 움직임 방향에 대응되는 적어도 하나의 면의 메뉴를 표시하는 과정임을 특징으로 하는 GUI 제공방법.
  4. 제3항에 있어서, 상기 적어도 하나의 면의 메뉴를 표시하는 과정은,
    상기 상측면, 하측면, 좌측면 및 우측면 중 상기 움직임 방향에 대응되는 적어도 하나의 면의 메뉴를 표시하기 위해, 상기 3차원 GUI를 상기 움직임 방향으로 기울어지도록 표시하는 것을 특징으로 하는 GUI 제공방법.
  5. 제4항에 있어서, 상기 3차원 GUI가 기울어지는 각도는 상기 사용자의 얼굴이 움직이는 각도에 비례하는 것을 특징으로 하는 GUI 제공방법.
  6. 제1항에 있어서, 상기 적어도 하나의 옆면 중 적어도 하나는, 상기 기준면에 표시된 메뉴에 대한 상위 메뉴 또는 하위 메뉴가 표시되는 것을 특징으로 하는 GUI 제공방법.
  7. 제1항에 있어서, 상기 적어도 하나의 옆면 중 적어도 하나는, 상기 디스플레이 장치에서 제공되는 기능들에 대한 바로가기 기능을 하는 아이콘들이 표시되는 것을 특징으로 하는 GUI 제공방법.
  8. 제1항에 있어서, 상기 적어도 하나의 옆면 중 적어도 하나는, 상기 디지털 장치가 외부로부터 수신한 메시지 또는 상기 디지털 장치에 구비된 애플리케이션에 대응하는 알림 메시지가 표시되는 것을 특징으로 하는 GUI 제공 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 옆면 중 적어도 하나는, 음악 파일 실행 제어와 관련된 제어 메뉴가 표시되는 것을 특징으로 하는 GUI 제공 방법.
  10. 제2항에 있어서, 상기 적어도 하나의 옆면 각각에 서로 다른 애플리케이션 이 지정되고,
    상기 사용자 얼굴의 움직임 방향에 따라, 상기 상측면, 상기 하측면, 상기 좌측면 및 상기 우측면 중 상기 움직임 방향에 대응되는 적어도 하나의 면에 대응 애플리케이션의 활성시 화면이 표시되는 것을 특징으로 하는 GUI 제공 방법.
  11. 디지털 장치의 GUI(Graphic User Interface) 제공 장치에 있어서,
    디스플레이부와,
    이미지 센서를 통해 촬영된 비전 인식 데이터에서 사용자 움직임을 검출하는 비전 인식 처리부와,
    기준면과 상기 기준면의 모서리에 접해있는 적어도 하나의 옆면에 각각 메뉴가 표시되도록 구성된 3차원 GUI를 생성하는 GUI 생성부와,
    상기 기준면의 메뉴를 상기 디스플레이부의 화면에 표시하고, 상기 기준면의 메뉴가 표시된 상태에서 상기 비전 인식 처리부를 통해 사용자의 움직임이 감지되면, 상기 적어도 하나의 옆면 중 상기 사용자의 움직임 방향에 대응되는 적어도 하나의 면을 표시하고, 상기 적어도 하나의 면에 데이터를 표시하는 제어부를 포함하는 GUI 제공 장치.
  12. 제11항에 있어서, 상기 기준면은 직육면체의 한 면이고,
    상기 적어도 하나의 옆면은, 상기 기준면의 4개의 모서리에 접해있는 상측면, 하측면, 좌측면 및 우측면인 것을 특징으로 하는 GUI 제공 장치.
  13. 제11항에 있어서, 상기 기준면의 메뉴 화면은, 상기 비전 인식 처리부가 사용자 얼굴을 정면에서 촬영한 인식 영상 데이터를 인식한 기준 데이터를 기준으로 생성되며,
    상기 비전 인식 처리부는 상기 기준 데이터를 기준으로 사용자의 얼굴이 움직임에 따라, 상기 사용자의 움직임을 검출하고,
    상기 제어부는 상기 사용자 얼굴의 움직임 방향에 따라, 상기 상측면, 하측면, 좌측면 및 우측면 중 상기 움직임 방향에 대응되는 적어도 하나의 면의 메뉴를 표시함을 특징으로 하는 GUI 제공 장치.
  14. 제13항에 있어서, 상기 제어부는 상기 상측면, 하측면, 좌측면 및 우측면 중 상기 움직임 방향에 대응되는 적어도 하나의 면의 메뉴를 표시하기 위해, 상기 3차원 GUI를 상기 움직임 방향으로 기울어지도록 표시하는 것을 특징으로 하는 GUI 제공 장치.
  15. 제14항에 있어서, 상기 3차원 GUI가 기울어지는 각도는 상기 사용자의 얼굴이 움직이는 각도에 비례하는 것을 특징으로 하는 GUI 제공 장치.
  16. 제11항에 있어서,상기 적어도 하나의 옆면 중 적어도 하나는, 상기 기준면에 표시된 메뉴에 대한 상위 메뉴 또는 하위 메뉴가 표시되는 것을 특징으로 하는 GUI 제공 장치.
  17. 제11항에 있어서, 상기 적어도 하나의 옆면 중 적어도 하나는, 상기 디스플레이 장치에서 제공되는 기능들에 대한 바로가기 기능을 하는 아이콘들이 표시되는 것을 특징으로 하는 GUI 제공 장치.
  18. 제11항에 있어서, 상기 적어도 하나의 옆면 중 적어도 하나는, 상기 디지털 장치가 외부로부터 수신한 메시지 또는 상기 디지털 장치에 구비된 애플리케이션에 대응하는 알림 메시지가 표시되는 것을 특징으로 하는 GUI 제공 장치.
  19. 제11항에 있어서, 상기 적어도 하나의 옆면 중 적어도 하나는, 음악 파일 실행 제어와 관련된 제어 메뉴가 표시되는 것을 특징으로 하는 GUI 제공 장치.
  20. 제12항에 있어서, 상기 적어도 하나의 옆면 각각에 서로 다른 애플리케이션 이 지정되고, 상기 사용자 얼굴의 움직임 방향에 따라, 상기 상측면, 상기 하측면, 상기 좌측면 및 상기 우측면 중 상기 움직임 방향에 대응되는 적어도 하나의 면에 대응 애플리케이션의 활성시 화면이 표시되는 것을 특징으로 하는 GUI 제공 장치.
KR1020120059793A 2012-06-04 2012-06-04 그래픽 사용자 인터페이스 제공 방법 및 장치 KR20130136174A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120059793A KR20130136174A (ko) 2012-06-04 2012-06-04 그래픽 사용자 인터페이스 제공 방법 및 장치
EP13170244.1A EP2672364A3 (en) 2012-06-04 2013-06-03 Method and apparatus for providing graphical user interface
US13/909,773 US20130326422A1 (en) 2012-06-04 2013-06-04 Method and apparatus for providing graphical user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120059793A KR20130136174A (ko) 2012-06-04 2012-06-04 그래픽 사용자 인터페이스 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130136174A true KR20130136174A (ko) 2013-12-12

Family

ID=48607052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120059793A KR20130136174A (ko) 2012-06-04 2012-06-04 그래픽 사용자 인터페이스 제공 방법 및 장치

Country Status (3)

Country Link
US (1) US20130326422A1 (ko)
EP (1) EP2672364A3 (ko)
KR (1) KR20130136174A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150111197A (ko) * 2014-03-25 2015-10-05 삼성전자주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD726765S1 (en) * 2013-06-09 2015-04-14 Apple Inc. Display screen or portion thereof with icon
USD773479S1 (en) * 2013-09-06 2016-12-06 Microsoft Corporation Display screen with icon group
USD742896S1 (en) * 2013-10-25 2015-11-10 Microsoft Corporation Display screen with graphical user interface
USD754184S1 (en) * 2014-06-23 2016-04-19 Google Inc. Portion of a display panel with an animated computer icon
USD761316S1 (en) * 2014-06-30 2016-07-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
USD779556S1 (en) * 2015-02-27 2017-02-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with an icon
US9529454B1 (en) * 2015-06-19 2016-12-27 Microsoft Technology Licensing, Llc Three-dimensional user input

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166738A (en) * 1998-09-14 2000-12-26 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
US20070057911A1 (en) * 2005-09-12 2007-03-15 Sina Fateh System and method for wireless network content conversion for intuitively controlled portable displays
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
US20100100853A1 (en) * 2008-10-20 2010-04-22 Jean-Pierre Ciudad Motion controlled user interface
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
KR20110037657A (ko) * 2009-10-07 2011-04-13 삼성전자주식회사 모션을 이용한 ｇｕｉ 제공방법 및 이를 적용한 디스플레이 장치
KR101690232B1 (ko) * 2010-05-28 2016-12-27 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP5664036B2 (ja) * 2010-09-07 2015-02-04 ソニー株式会社 情報処理装置、プログラム及び制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150111197A (ko) * 2014-03-25 2015-10-05 삼성전자주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법

Also Published As

Publication number Publication date
EP2672364A3 (en) 2016-12-14
US20130326422A1 (en) 2013-12-05
EP2672364A2 (en) 2013-12-11

Similar Documents

Publication Publication Date Title
KR20130136174A (ko) 그래픽 사용자 인터페이스 제공 방법 및 장치
KR101231469B1 (ko) 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP6214236B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
EP3236650B1 (en) Method and device for controlling a camera
KR20230088690A (ko) 언더-디스플레이 카메라 및 센서 제어
JP5970937B2 (ja) 表示制御装置および表示制御方法
KR101822661B1 (ko) 비전 인식 장치 및 방법
EP2822267A2 (en) Method and apparatus for previewing a dual-shot image
US9207768B2 (en) Method and apparatus for controlling mobile terminal using user interaction
JP2014197824A5 (ko)
US20110061023A1 (en) Electronic apparatus including touch panel and displaying method of the electronic apparatus
US8854523B2 (en) Photographing apparatus, photographing control method and photographing control program for providing enhanced photos and animations
KR20090077515A (ko) 디지털 영상 처리 장치에서 다중 심도를 가진 3차원 메뉴디스플레이 방법
KR20110029000A (ko) 디지털 촬영 장치 및 그 제어 방법
KR101822458B1 (ko) 썸네일 이미지 제공 방법 및 이를 적용한 영상 촬영 장치
KR101620537B1 (ko) 외부 표시 장치를 이용한 멀티 디스플레이 디지털 영상 처리 장치, 이의 동작 방법, 및 상기 방법을 실행하기 위한 프로그램을 기록한 기록매체
US11048400B2 (en) Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium
KR100843586B1 (ko) 무접점 기능을 수행하는 장치 및 방법
JP6100279B2 (ja) Ｕｉ提供方法及びそれを適用した映像撮影装置
US20200404153A1 (en) Image processing apparatus, imaging apparatus, image processing method, and non-transitory computer readable medium
JP6465239B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
US11163400B1 (en) Automatic control of image capture device display operation underwater
US12002437B2 (en) Display control apparatus and control method therefor
US20240163547A1 (en) Image pickup apparatus, control method for image pickup apparatus, and storage medium
CN112351189B (zh) 曝光设置设备及其控制方法以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application