KR20070019849A - 이동 통신 단말의 사용자 입력 방법 및 장치 - Google Patents

이동 통신 단말의 사용자 입력 방법 및 장치 Download PDF

Info

Publication number
KR20070019849A
KR20070019849A KR1020050073797A KR20050073797A KR20070019849A KR 20070019849 A KR20070019849 A KR 20070019849A KR 1020050073797 A KR1020050073797 A KR 1020050073797A KR 20050073797 A KR20050073797 A KR 20050073797A KR 20070019849 A KR20070019849 A KR 20070019849A
Authority
KR
South Korea
Prior art keywords
image
indicator
user
camera
screen
Prior art date
Application number
KR1020050073797A
Other languages
English (en)
Other versions
KR100987248B1 (ko
Inventor
박기동
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050073797A priority Critical patent/KR100987248B1/ko
Priority to US11/501,136 priority patent/US7898563B2/en
Priority to JP2006217335A priority patent/JP2007052780A/ja
Priority to EP06118739A priority patent/EP1752861A1/en
Priority to PCT/KR2006/003165 priority patent/WO2007018416A1/en
Priority to RU2008104856/09A priority patent/RU2381544C2/ru
Priority to CNA2006101154977A priority patent/CN1913545A/zh
Publication of KR20070019849A publication Critical patent/KR20070019849A/ko
Application granted granted Critical
Publication of KR100987248B1 publication Critical patent/KR100987248B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증간 현실 입력 모드하에서 카메라를 통해 촬영되는 영상에서 미리 설정된 인디케이터를 검출하여, 이동 통신 단말에 저장된 메뉴 또는 키 등에 대응되는 이미지들로 이루어진 가상 화면과 합성하여 디스플레이하고, 합성 화면상 상기 인디케이터의 위치와 상기 임의의 이미지의 위치가 일치하는 상태에서 미리 설정된 사용자의 선택 모션이 감지되면 해당 이미지에 대응되는 동작을 수행함으로써, 편리하고 흥미로운 방법으로 이동 통신 단말의 사용자 입력을 가능하게 한다.
증강 현실 입력 모드, 인디케이터, 사용자 모션

Description

이동 통신 단말의 사용자 입력 방법 및 장치{USER INPUT METHOD AND APPARATUS IN MOBILE COMMUNICATION TERMINAL}
도1은 본 발명이 적용되는 이동 통신 단말의 블록 구성도,
도2는 본 발명의 일 실시예에 따른 이동 통신 단말의 정면도,
도3은 본 발명의 일 실시예에 따른 이동 통신 단말의 일 실시예에 따른 메뉴 선택 과정에 따른 제어부 동작 흐름도,
도4는 본 발명의 일 실시예에 따른 문자 인식 과정에 따른 제어부 동작 흐름도,
도5는 본 발명의 일 실시예에 따른 문서 디스플레이 과정에 따른 제어부 동작 흐름도,
도6은 본 발명의 일 실시예에 따른 화상 통화시 제어부 동작 흐름도.
본 발명은 이동 통신 단말에 관한 것으로, 특히, 키입력과 같은 이동 통신 단말의 사용자 입력 방법 및 장치에 관한 것이다.
이동 통신 단말은 그 보급이 대중화되면서 기본적인 통화 서비스 이외에도 다양한 부가 서비스를 수행하게 되었다. 예를 들어, 단문메시지 서비스, 멀티미디어 메시지 서비스, 게임 플레이가 가능한 게임 서비스, 무선 인터넷 서비스등의 부가 서비스가 존재한다.
이와 같이 이동 통신 단말에서 지원되는 부가 서비스가 늘어나면서, 사용자 인터페이스 또한 변화하게 되었다. 초기의 키입력부는 0부터 9까지의 각각의 숫자에 다수개의 알파벳이 할당된 숫자키와 통화, 종료를 위한 기본적인 기능키만으로 구성되었지만, 현재에는 하나의 숫자키에 다수개의 알파벳은 물론 한글까지 할당되어 복잡해 졌으며, 방향키등 기능키의 종류도 증가하여 전체적인 키 버튼의 수도 증가하였고, 각 기능키에 할당된 기능들도 증가하고 있다. 이동 통신 단말에 구비되는 키 버튼들은 이동 통신 단말의 동작 수행을 사용자가 제어하기 위해, 꼭 필요한 구성들이지만, 다양한 동작 모드 마다 또는 임의의 동작 제어에 있어서 모든 키 버튼이 사용되는 것은 아니다. 이동 통신 단말에 현재 설정된 동작 모드나, 수행중인 동작에 따라 관련된 몇 개의 키 버튼만이 이용될 뿐이고, 그 키 버튼을 제외한 나머지 키버튼은 이용되지 않음에도 불구하고 많은 수의 키 버튼이 구비되는 것은 때에 따라 사용자에게 불편함을 초래하며 비효율 적이다.
또한 이동 통신 단말의 크기는 점점 축소화되는 추세임에 따라 키 버튼 크기는 작아질 수밖에 없다. 이에 따라 사용자는 키 버튼 사용시 답답함과 불편함을 느끼며, 섬세한 조작을 필요로 하게 되었다.
더욱이 사용자에게 제공할 정보의 양이 증가하면서 표시 화면의 크기는 점점 커지는 추세이다. 하지만 키 입력부에 할당되어야할 최소 면적은 보장되어야하기 때문에, 표시 화면의 크기를 증가시키는데도 한계가 있고, 이는 사용자의 불만을 야기다.
한편, 증강 현실(AR:Augumented Reality) 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정확하게 정합하는 사용자 인터페이스 기술로서, 즉, 사용자에게 보다 향상된 현실감 및 인지도 향상을 제공하기 위해. 사용자가 보는 실세계 영상에 컴퓨터에서 생성한 문자와 그래픽 같은 가상의 부가정보를 실시간으로 합성하여 보여 주는 기술이다. 증강 현실 시스템은, 카메라를 이용하여 획득한 실사영상과 컴퓨터로 생성한 가상영상을 실시간으로 정합하고, 트랙커(tracker)를 이용한 카메라의 위치와 자세를 추적하고, 트랙커 및 카메라의 오차 보정하고, 실사 영상과 가상 영상의 정합결과를 3차원 또는 2차원으로 시뮬레이션한다. 이러한 증강 현실은 게임, 방송, 교육, 훈련, 의료, 설계, 광고 등 다양한 분야에서 활용되고 있다.
상기한 바와 같이 증강 현실은 카메라와 표시부와, 영상 데이터 처리를 위한 처리부만 구비된다면 사용자의 움직임을 감지할 수 있다는 특징이 있다.
따라서 이러한 증강현실의 특징을 이용하여 이동 통신 단말의 사용자 입력 방식을 구성한다면, 좀더 편리한 사용자 입력 방식을 구현할 수 있을 것이다.
본 발명은, 이동 통신 단말의 편리한 사용자 입력 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명은 증강 현실을 이용한 이동 통시 단말의 사용자 입력 방법 및 장치를 제공하는데 다른 목적이 있다.
상기의 목적을 달성하기 위한 본 발명은, 이동 통신 단말의 사용자 입력 방법에 있어서, 현재 설정된 동작 모드에 따라 단말 제어에 필요한 키 기능과 메뉴 기능 각각에 대응하는 이미지들을 포함하는 메뉴 화면을 디스플레이하는 과정과, 증강 현실 입력 모드 설정시 구비된 카메라를 통해 촬영되는 영상에서 미리 설정된 인디케이터를 검출하여 상기 메뉴 화면과 실시간으로 합성하여 디스플레이하는 과정과, 상기 합성된 화면상에서 상기 이미지들 중 임의의 이미지와 상기 인디케이터가 겹쳐진 상태에서 상기 카메라를 통해 촬영된 영상에서 선택에 대응하는 미리 설정된 사용자 모션이 검출되면 상기 이미지에 대응하는 기능에 따른 동작을 수행하는 과정을 포함함을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
먼저, 본 발명이 적용되는 이동 통신 단말의 구성을 도1을 참조하여 설명한다. 도1은 본 발명이 적용되는 이동 통신 단말의 블록 구성도이다. 도1에 도시된 바와 같이 본 발명의 일 실시예에 따른 이동 통신 단말(100)은 제어부(11), 메모리부(13), 영상처리부(15), 카메라(17), 표시부(19), 베이스밴드처리부(25), RF(Radio Frequency) 모듈(21), 음성처리부(23)를 포함하여 이루어진다.
상기 제어부(11)는 이동 통신 단말의 전반적인 동작을 제어한다.
상기 RF 모듈(21)은 안테나를 통해 이동통신 기지국과 무선 신호를 송,수신하는데, 베이스밴드 처리부(19)를 통해 제어부(11)로부터 입력되는 송신할 신호를 변조하여 RF신호를 안테나를 통해 송신하고, 안테나를 통해 수신되는 RF신호를 복조하여 베이스밴드 처리부(19)를 통해 제어부(11)에 제공한다. 베이스밴드 처리부(19)는 RF 모듈(21)과 제어부(11)간에 송,수신되는 베이스밴드 신호를 처리 한다.
제어부(11)와 연결된 상기 음성처리부(23)와, 음성처리부(23)에 접속된 마이크(MIC) 및 스피커(SPK)는 전화 통화 및 음성 녹음에 사용된다.
상기 표시부(19)는 각종 화상 정보와 기지국으로부터 수신 또는 메모리부(13)에 저장되어 있는 화상을 제어부(11)의 제어에 의해 화면상에 디스플레이한다.
상기 카메라(17)는 이미지 센서에 의해 얻어지는 화상 프레임을 영상 처리부(15)로 출력한다.
상기 영상 처리부(15)는 제어부(11)의 제어하에 상기 카메라(17)로부터 입력되는 화상프레임을 상기 표시부(15)에 디스플레이 가능한 영상 데이터로 변환하여 상기 표시부(19)로 출력한다. 그리고 영상 처리부(15)는 제어부(11)의 제어하에, 카메라(17)를 통해 획득한 실사 영상과 메모리부(13)에 저장된 가상 영상 또는 상기 실사 영상에서 검출한 인디케이터와 상기 가상 영상을 실시간으로 정합하고, 오차를 보정하여, 실사 영상과 가상 영상의 정합결과를 2차원 또는 3차원으로 상기 표시부(19)에 디스플레이한다.
상기 메모리부(13)는 제어부(11)의 처리 및 제어를 위한 프로그램, 참조 데이터, 갱신 가능한 각종 보관용 데이터 등을 저장하며, 제어부(11)의 워킹 메모리(working memory)로 제공된다. 그리고 상기 메모리부(13)는 본 발명의 일 실시예에 따라 증강 현실 입력 모드를 수행하기 위한 프로그램 데이터를 저장하며, 이동 통신 단말(100)의 동작 제어에 필요한 각종 이미지를 저장한다. 상기 증강 현실 입력 모드란 상기 카메라(17)를 통해 촬영된 실사 영상 중에서 인디케이터를 검출하여, 상기 메모리부(13)에 미리 저장된 이미지들로 구성된 임의의 가상 영상과 실시간으로 합성하여 디스플레이하고, 합성 영상을 디스플레이 한 상태에서 상기 인디케이터가 상기 임의의 가상 영상에 포함되는 이미지를 선택하는 입력을 감지하거나, 상기 인디케이터를 통한 직접적인 데이터 입력을 감지하면 그에 대응하는 이동 통신 단말의 동작을 수행하는 모드를 의미한다. 상기 동작 제어에 필요한 각종 이미지는 키에 대응하는 이미지와, 각종 메뉴에 대응하는 이미지, 다양한 배경 화면 등을 포함한다.
그리고 메모리부(13)는 본 발명의 일 실시예에 따라 상기 증강 현실 입력 모드 수행시 필요한 다양한 인디케이터 정보와 각종 사용자 모션을 저장한다. 인디케 이터 정보란 상기 증강 현실 모드 수행 중 상기 카메라(17)를 통해 촬영되는 영상 중에서 이동 통신 단말(100)의 입력 소자로서 인식되는 인디케이터를 구분하는데 필요한 정보이다. 상기 인디케이터로는 예를 들어, 사용자의 손가락, 펜, 적외선 출력 펜, 눈동자, 얼굴 등이 될 수 있으며, 상기 인디케이터 정보는 상기한 인디케이터들을 구분하여 인식할 수 있는 정보이다. 본 발명의 실시예로서, 사용자는 상기 메모리부(13)에 저장된 인디케이터들 중에 임의의 인디케이터를 지정할 수 있으며, 새로운 인디케이터를 추가로 등록할 수 있다. 인디케이터의 추가 등록은 상기 메모리부(13)에 인디케이터 정보를 저장함으로서 이루어지며, 인디케이터 정보의 저장은 인디케이터를 촬영함으로써 이루어 질 수도 있다.
상기 사용자 모션이란 상기 증강 현실 입력 모드에서 사용자가 상기 이동 통신 단말(100)에 입력할 수 있는 각종 명령어에 대응하여 미리 정해진 사용자의 동작으로서, 상기 각종 명령어는 선택, 해제, 임의의 동작의 시작 및 종료 등이 될 수 있다. 상기 각종 명령어에 대응하는 사용자 모션은 모두 다르게 구분될 수도 있고, 필요에 따라서는 동일한 동작으로 이루어질 수도 있다. 예를 들어 인디케이터가 손가락이나 펜 모양인 경우, 상기 선택과 해제에 대응하는 사용자 모션인 선택 모션과 해제 모션은 누르는 동작으로 정해질 수 있으며, 시작 및 종료에 대응하는 사용자 모션인 시작 모션과 종료 모션은 원을 그리는 동작으로 정해질 수도 있다. 다른 예로서, 상기 인디케이터가 눈동자 인 경우, 상기 선택 모션 과 해제 모션은 눈을 1회 깜빡이는 동작으로 정해질 수 있으며, 시작 모션 및 종료 모션은 눈을 2회 깜빡이는 동작으로 정해질 수도 있다.
또한 메모리부(13)는 본 발명의 일 실시예에 따라 문자를 판독하는데 필요한 데이터를 저장하고 있으며, 가상 액션 메뉴에 관한 프로그램데이터와, 다수의 가상 액션 코드를 저장한다. 상기 가상 액션 메뉴란 화상 통화시 통화 상대의 이동 통신 단말의 화상 통화 화면에 임의의 고정 가상 이미지 또는 동적 가상 이미지와 실제 영상이 합성하여 디스플레이되도록 하는 메뉴로서, 각 메뉴는 대응하는 가상 액션 코드를 구비한다. 상기 가상 이미지로는 꽃가루, 폭죽 등이 될 수 있다.
상기와 같이 이루어지는 이동 통신 단말(100)의 본 발명에 따른 동작 과정은 다음과 같다. 이동 통신 단말(100)의 제어부(11)는 동작 모드에 따라 각종 키에 대응하는 이미지로 이루어지는 키 인터페이스 또는 메뉴로 이루어지는 메뉴 화면을 디스플레이하고, 상기 증강 현실 입력 모드가 실행되면 촬영된 영상에서 검출된 인디케이터를 상기 메뉴 화면에 실시간으로 합성하여 디스플레이한다. 이후, 사용자는 표시부(15)를 확인하여 자신이 선택하고자 하는 키 또는 메뉴에 대응하는 이미지에 인디케이터를 위치한다. 이후, 사용자가 상기 이미지를 선택하는 움직임 즉, 선택 모션을 취한다면, 제어부(11)는 상기 인디케이터의 위치와 상기 이미지의 위치가 일치함을 파악하고, 상기 선택 모션을 파악하여 상기 선택된 이미지에 대응하는 키 또는 메뉴가 선택되었음을 파악하여 그에 따른 동작을 수행한다. 본 발명에서 인디케이터의 위치와 임의의 이미지의 위치가 일치한다는 것은 합성 화면상에서 두 이미지의 중심 좌표가 일치한다는 것이 아니라, 두 이미지의 겹쳐지는 부분이 존재한다는 것이다.
상기와 같이 동작하는 이동 통신 단말(100)은 본 발명에 따라 이동 통신 단 말(100)의 동작 제어에 필요한 각종 키를 표시부(15)에 디스플레이하고, 사용자 요구에 따라 상기 증강 현실 입력 모드를 실행하여, 증강 현실 기능을 통해 키입력을 받고, 메뉴 선택을 받음으로써, 별도의 키입력부를 구비하지 않을 수도 있다. 이에 따라 이동 통신 단말(100)은 도2에 도시된 바와 같이 구성될 수 있다. 도2는 본 발명의 일 실시예에 따른 이동 통신 단말의 정면도이다. 도2에 도시된 바와 같이 이동 통신 단말(100)은 키입력부 없이 표시부(15)만을 전면에 구비하고, 단말 상측에 카메라(17)를 구비한다. 그리고 표시부(15)는 이동 통신 단말의 정보를 디스플레이하는 일반 표시 화면(31)과 현재 동작 모드에 따라 키 또는 각종 메뉴가 디스플레이되는 입력 표시 화면(33)으로 구분되어 디스플레이할 수 있다. 도2와 같이 일반 표시 화면(31)과 입력 표시 화면(33)이 분리되어 디스플레이된 경우 상기 인디케이터와의 합성은 상기 입력 표시 화면(33)에서만 이루어지게 된다.
한편, 상기 도2에서는 일반 표시 화면(31)과 입력 표시 화면(33)이 분리되어 디스플레이된 경우를 도시하였지만 동작 모드에 따라 표시부(15) 전체가 입력 표시 화면(33)으로 이루어 질 수도 있다.
상기한 이동 통신 단말(100)은 종래의 일반 이동 통신 단말의 키입력부를 통해 이루어지는 모든 사용자 입력을 증강 현실 입력 모드를 통해 입력받을 수 있다. 그에 따른 몇가지 실시예를 도 3내지 도6을 참조하여 설명하면 다음과 같다.
먼저, 도3을 참조하여, 본 발명에 따랄 키 입력을 하는 과정을 설명한다. 도3은 본 발명의 일 실시예에 따른 이동 통신 단말의 일 실시예에 따른 메뉴 선택 과정에 따른 제어부 동작 흐름도이다. 도3에 도시된 바와 같이 제어부(11)는 101단계 에서 현재 설정된 동작 모드에 따라 단말 제어에 필요한 키에 대응하는 이미지 또는 아이콘을 포함하는 메뉴 화면을 디스플레이 한다. 예를 들어, 현재 대기 모드라면 착발신키와 메뉴키, 취소키, 확인키 등으로 이루어지는 기본 기능키와, 숫자키를 디스플레이하는 것이다. 이후, 103단계에서 제어부(11)는 모션 입력 요구를 감지하면 105단계로 진행한다. 상기 모션 입력 요구란 증강 현실 입력 모드 설정을 요구하는 것으로, 이는 별도로 구비된 키 입력등을 통해 이루어질 수 있다. 105단계에서 제어부(11)는 카메라 촬영을 시작하고 107단계로 진행한다. 107단계에서 제어부(11)는 촬영된 영상에서 미리 지정된 인디케이터를 검출하고, 검출된 인디케이터를 메뉴 화면에 실시간으로 합성하여 디스플레이한다. 예를 들어, 미리 지정된 인디케이터가 손가락이라면 카메라를 통해 촬영된 사용자의 이미지중 손가락 이미지를 인디케이터로서 검출하고, 상기 손가락의 실시간 움직임을 상기 메뉴 화면에 합성한다. 사용자는 합성된 화면을 보고 자신의 손가락 위치를 파악할 수 있으며, 선택하고자하는 키 아이콘으로 손가락을 움직인다. 109단계에서 제어부(11)는 촬영된 영상을 분석하여 인디케이터의 위치가 메뉴 화면에 포함된 임의의 아이콘 위치와 일치한 상태에서 아이콘 선택 사용자 모션이 검출되는지 확인하여 검출되면 111단계로 진행하고 검출되지 않으면 113단계로 진행한다. 즉, 사용자가 임의의 키 아이콘 위에 손가락을 위치한 상태애서 미리 설정된 선택에 해당하는 사용자 모션인 누르는 동작을 취한다면 111단계에서 제어부(11)는 해당 아이콘에 설정된 기능을 수행하고 결과에 따른 동작 모드를 설정하고 상기 109단계로 진행하여, 상기 109단계 내지 115단계를 수행한다.
한편, 113단계에서 제어부(11)는 촬영된 영상과 메뉴 화면을 분석하여 인디케이터의 위치가 메뉴 화면의 스크롤바와 일치한 상태에서 아이콘 선택 사용자 모션이 검출되는지 확인하여 검출되면 115단계로 진행하고, 검출되지 않으면 상기 109단계로 진행한다. 즉, 사용자가 화면의 스크롤바위치로 손가락을 움직여, 스크롤바와 손가락의 위치가 일치한 상태에서, 미리 설정된 선택 사용자 모션인 누르는 동작을 수행하면, 제어부(11)는 스크롤바가 선택되었음을 감지하고 115단계에서 인디케이터의 움직임에 따라 메뉴 화면을 스크롤하여 디스플레이하고 상기 109단계로 진행한다.
상기 실시예에서는 키를 선택하여 입력하는 과정에 한해서 설명하였으나, 메뉴를 선택하는 과정도 유사하게 이루어진다. 즉, 제어부(11)가 각종 메뉴 목록을 포함하는 화면을 디스플레이한 상태에서 증강 현실 입력 모드가 설정되면 제어부(11)는 촬영된 영상에서 인디케이터를 검출하여 상기 디스플레이한 화면과 실시간으로 합성하여 디스플레이한다. 사용자가 원하는 메뉴 목록에 인디케이터를 위치하고 선택 사용자 모션을 취하면, 제어부(11)는 현재 인디케이터가 위치한 곳과 동일한 곳에 위치하는 메뉴가 선택되었다고 판단하고, 선택된 메뉴에 따른 동작을 수행한다. 이때 상기 메뉴 목록은 다양한 모습으로 디스플레이 될 수 있다. 각각의 메뉴에 대응하는 아이콘이나 동적 이미지가 될 수도 있다.
다른 실시예로서, 증강 현실 입력 모드에서 인디케이터의 움직임을 통해 문자를 입력하는 과정으로 도4를 참조하여 설명한다. 도4는 본 발명의 일 실시예에 따른 문자 인식 과정에 따른 제어부(11) 동작 흐름도이다. 도4를 참조하여, 제어부 (11)는 문자 인식 모드가 설정되면 201단계에서 문자 인식 화면을 디스플레이하고 카메라 촬영을 시작한다. 본 발명의 일 실시예에서 상기 문자 인식 모드는 증강 현실 입력 모드의 인디케이터의 움직임에 대응하여 문자를 인식하는 모드이다. 203단계에서 제어부(11)는 촬영된 영상에서 인디케이터를 검출하고, 검출된 인디케이터를 문자 인식 화면에 합성하여 디스플레이하고 205단계로 진행한다. 사용자는 문자 인식 화면에 인디케이터가 합성되어 디스플레이 되면, 적당한 위치에서 문자를 쓰기위해 미리 설정된 입력 시작 사용자 모션을 취한 후, 문자를 쓴다. 205단계에서 제어부(11)는 촬영되는 영상에서 문자 입력 시작 사용자 모션이 검출되는지 확인하여 문자 입력 시작 사용자 모션이 검출되면 207단계로 진행한다. 207단계에서 제어부(11)는 인디케이터의 움직임에 따른 궤적을 선으로 디스플레이하고 209단계로 진행한다. 사용자는 원하는 문자의 쓰기가 완료되면 미리 설정된 입력 종료 사용자 모션을 취한다. 즉, "3"을 입력하고 싶다면, 입력 시작 사용자 모션을 취한 후 "3"을 쓰고, "3"의 쓰기가 완료되면 입력 종료 사용자 모션을 취한다. 209단계에서 제어부(11)는 촬영되는 영상에서 문자 입력 종료 사용자 모션이 검출되면 211단계로 진행한다. 211단계에서 제어부(11)는 인디케이터의 움직임에 따른 궤적 디스플레이를 중단하고, 디스플레이된 궤적을 문자로 인식하고 상기 203단계로 진행하여, 203단계 내지 211단계를 반복 수행한다. 상기한 예에서, 인디케이터가 적외선 펜인 경우, 상기 입력 시작 사용자 모션과 종료 사용자 모션은 적외선 불빛의 유무가 될 수도 있다.
상기와 같은 과정으로 사용자는 문자를 입력할 수 있다.
다른 실시예로서, 한 화면에 전체가 디스플레이 될 수 없는 문서를 스크롤 기능을 통해 확인하는 과정을 도5를 참조하여 설명한다. 도5는 본 발명의 일 실시예에 따른 문서 디스플레이 과정에 따른 제어부 동작 흐름도이다. 도5를 참조하여, 제어부(11)는 401단계에서 사용자로부터 문자 디스플레이 요구를 입력받으면 403단계로 진행한다. 403단계에서 제어부(11)는 화면에 해당 문서의 전체를 디스플레이 할 수 있는지 판단하여 디스플레이 할 수 있으면 415단계로 진행하여, 디스플레이하고, 디스플레이 할 수 없으면 405단계로 진행한다. 405단계에서 제어부(11)는 문서의 최대 디스플레이 가능한 일부 내용을 디스플레이하고 407단계로 진행한다. 407단계에서 제어부(11)는 모션 입력 요구를 감지하면 409단계로 진행한다. 409단계에서 제어부(11)는 카메라 촬영을 시작하고 촬영된 영상에서 인디케이터를 검출하여 실시간으로 문서 화면과 합성하여 디스플레이한다. 사용자는 디스플레이된 문서의 다른 부분이 보고 싶으면 미리 설정된 문서 스크롤 모션을 취한다. 411단계에서 제어부(11)는 촬영된 영상으로부터 문서 스크롤 모션이 검출되면 413단계로 진행한다. 413단계에서 제어부(11)는 인디케이터의 움직임에 대응하여 문서의 내용을 스크롤하여 디스플레이하고 동작 과정을 종료한다. 미도시 하였지만, 사용자가 미리 설정된 스크롤 해제 모션을 취하면 제어부(11)는 촬영되는 영상에서 인디케이터가 움직여도, 인디케이터의 움직임만 변화하여 디스플레이할 뿐, 문서를 스크롤하여 움직이지 않는다. 상기한 예에서는 문서를 예로 하여 설명하였으나, 한 화면에 디스플레이할 수 없는 웹페이지나, 메뉴 화면도 상기한 실시예와 유사한 과정으로 사용자가 확인 할 수 있다.
다음으로 도6을 참조하여 화상 통화 중에 증강 현실 입력 모드를 통해 가상 액션 메뉴를 수행하는 과정을 설명한다. 도6은 본 발명의 일 실시예에 따른 화상 통화시 제어부 동작 흐름도이다. 도6에 도시된 바와 같이 화상 통화 모드에서 제어부(11)는 통화 상대의 영상/사용자의 영상 및 가상 액션 메뉴로 이루어진 화상 통화 화면을 501단계에 디스플레이하고 503단계로 진행한다. 503단계에서 제어부(11)는 촬영된 영상에서 검출된 인디케이터를 화상 통화 화면과 합성하여 디스플레이하고 505단계로 진행한다. 사용자는 화상 통화중 상대에게 가상 액션 메뉴 실행하고 싶으면 화면을 통해 확인하면서 인디케이터를 움직여 원하는 가상 액션 메뉴 위에 위치하도록 하고, 미리 설정된 선택 사용자 모션을 취한다. 상기 가상 액션 메뉴의 일예로는 꽃가루 뿌리기, 폭죽 터트리기 등이 될 수 있다. 505단계에서 제어부(11)는 인디케이터의 위치가 화상 화면에 포함됨 임의의 가상 액션 메뉴의 위치와 일치한 상태에서 메뉴 선택 사용자 모션이 검출되면 507단계로 진행한다. 507단계에서 제어부(11)는 선택된 가상 액션 메뉴에 대응하는 가상 액션 코드를 상대 단말로 전송 하고, 통화 상대 영상과 선택된 가상 액션이 실행되는 영상, 즉, 가상 이미지를 합성하여 디스플레이하고 509단계로 진행한다. 즉, 제어부(11)는 선택된 가상 액션 메뉴와 관련된 데이터를 직접 전송하는 것이 아니라, 선택된 가상 액션 메뉴에 대응되는 가상 액션 코드만을 전송한다. 상기 가상 액션 코드를 수신한 이동 통신 단말은 대응하는 가상 액션 메뉴 데이터를 검출하여 사용자 영상에 합성하여 디스플레이한다.
이후, 509단계에서 통화 종료가 감지될 때 까지 제어부(11)는 상기 501단계 내지 507단계를 반복 수행한다.
미도시 하였지만, 상기 가상 액션 메뉴에는 음악 재생도 포함될 수 있다. 단, 사용자가 증강 현실 입력 모드를 통해 음악 재생 명령을 입력하면, 제어부(11) 해당 음악의 음원 데이터를 화상 데이터에 포함시켜 전송한다. 또한, 미도시 하였지만, 사용자는 음악 재생시 시간적인 음악 재생 정도를 나타내는 스크롤바를 증강 현실 입력 모드의 인디케이터를 통해 선택하여 의도대로 조정할 수 있으며, 제어부(11)는 사용자 조정에 따라 음악을 재생한다.
상술한 바와 같이 본 발명은 증간 현실 입력 모드하에서 카메라를 통해 촬영되는 영상에서 미리 설정된 인디케이터를 검출하여, 이동 통신 단말에 저장된 메뉴 또는 키 등에 대응되는 이미지들로 이루어진 가상 화면과 합성하여 디스플레이하고, 합성 화면상 상기 인디케이터의 위치와 상기 임의의 이미지의 위치가 일치하는 상태에서 미리 설정된 선택에 대응하는 사용자 모션이 감지되면 해당 이미지에 대응되는 동작을 수행함으로써, 편리하고 흥미로운 방법으로 이동 통신 단말의 사용자 입력을 가능하게 한다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다.
상술한 바와 같이 본 발명은 증간 현실 입력 모드하에서 카메라를 통해 촬영되는 영상에서 미리 설정된 인디케이터를 검출하여, 이동 통신 단말에 저장된 메뉴 또는 키 등에 대응되는 이미지들로 이루어진 가상 화면과 합성하여 디스플레이하고, 합성 화면상 상기 인디케이터의 위치와 상기 임의의 이미지의 위치가 일치하는 상태에서 미리 설정된 사용자의 선택 사용자 모션이 감지되면 해당 이미지에 대응되는 동작을 수행함으로써, 편리하고 흥미로운 방법으로 이동 통신 단말의 사용자 입력을 가능하게 한다.

Claims (19)

  1. 이동 통신 단말의 사용자 입력 방법에 있어서,
    현재 설정된 동작 모드에 따라 단말 제어에 필요한 키 기능과 메뉴 기능 각각에 대응하는 이미지들을 포함하는 메뉴 화면을 디스플레이하는 과정과,
    증강 현실 입력 모드 설정시 구비된 카메라를 통해 촬영되는 영상에서 미리 설정된 인디케이터를 검출하여 상기 메뉴 화면과 실시간으로 합성하여 디스플레이하는 과정과,
    상기 합성된 화면상에서 상기 이미지들 중 임의의 이미지와 상기 인디케이터가 겹쳐진 상태에서 상기 카메라를 통해 촬영된 영상에서 선택에 대응하는 미리 설정된 사용자 모션이 검출되면 상기 이미지에 대응하는 기능에 따른 동작을 수행하는 과정을 포함함을 특징으로 하는 사용자 입력 방법.
  2. 제1항에 있어서, 상기 인디케이터는 상기 증강 현실 모드 수행 중 상기 카메라를 통해 촬영되는 영상 중에서 상기 이동 통신 단말의 입력 소자로서 인식되는 피사체임을 특징으로 하는 사용자 입력 방법.
  3. 제1항에 있어서, 상기 증강 현실 입력 모드 설정시 구비된 카메라를 통해 촬 영되는 영상에서 미리 설정된 인디케이터를 검출하여 상기 메뉴 화면과 실시간으로 합성하여 디스플레이하는 과정은,
    사용자 요구에 따라 상기 증강 현실 입력 모드를 설정하여 상기 카메라를 작동시키는 단계와,
    상기 카메라를 통해 촬영되는 영상 중에 미리 설정된 인디케이터를 검출하는 단계와,
    상기 검출된 인디케이터를 상기 메뉴 화면에 실시간으로 합성하여 디스플레이하는 단계로 이루어짐을 특징으로 하는 사용자 입력 방법.
  4. 제1항에 있어서, 상기 인디케이터는 미리 저장된 다수개의 인디케이터 중 사용자에 의해 선택된 인디케이터가 설정됨을 특징으로 하는 사용자 입력 방법.
  5. 제4항에 있어서, 상기 미리 저장된 인디케이터는 사용자의 손가락, 펜, 적외선 출력 펜, 눈동자, 얼굴을 포함함을 특징으로 하는 사용자 입력 방법.
  6. 제1항에 있어서, 상기 사용자 모션은 사용자가 상기 이동 통신 단말에 입력할 수 있는 각종 명령어에 대응하여 미리 정해진 사용자의 동작임을 특징으로 하는 사용자 입력 방법.
  7. 제1항에 있어서, 상기 합성된 화면상에서 상기 표시 화면에 포함되는 스크롤바와 상기 인디케이터가 겹쳐진 상태에서 상기 카메라를 통해 촬영된 영상에서 선택에 대응하는 미리 설정된 사용자 모션이 검출되면 상기 인디케이터의 움직임에 따라 스크롤 기능을 수행하는 과정을 더 포함함을 특징으로 하는 사용자 입력 방법.
  8. 제1항에 있어서, 상기 메뉴 화면의 일부가 디스플레이된 상태 일때, 상기 카메라를 통해 촬영된 영상에서 미리 설정된 스크롤 사용자 모션이 검출되면 인디케이터의 움직임에 대응하여 상기 메뉴 화면이 내용을 스크롤하여 디스플레이하는 과정을 더 포함함을 특징으로 하는 방법.
  9. 이동 통신 단말의 사용자 입력 방법에 있어서,
    문자 인식 화면을 디스플레이하고 상기 이동 통신 단말에 구비된 카메라 촬영을 시작하는 과정과,
    상기 촬영되는 영상에서 미리 설정된 인디케이터를 검출하여 상기 메뉴 화 면과 실시간으로 합성하여 디스플레이하는 과정과,
    상기 촬영되는 영상에서 미리 설정된 문자 입력 시작 사용자 모션을 검출하면 상기 인디케이터의 움직임에 따른 궤적을 상기 문자 인식 화면에 선으로 디스플레이하는 과정과,
    상기 촬영되는 영상에서 미리 설정된 문자 입력 종료 사용자 모션을 검출하면 상기 인디케이터의 움직임에 따른 궤적 디스플레이를 중단하고, 디스플레이된 궤적을 문자로 인식하는 과정을 포함함을 특징으로 하는 사용자 입력 방법.
  10. 이동 통신 단말의 사용자 입력 방법에 있어서,
    화상 통화시 통화 상대 영상과 촬영되는 사용자 영상과 다수의 가상 액션 메뉴를 포함하는 화상 통화 화면을 디스플레이하는 과정과,
    상기 촬영되는 영상에서 미리 설정된 인디케이터를 검출하여 상기 화상 통화 화면과 실시간으로 합성하여 디스플레이하는 과정과,
    상기 합성된 화상 통화 화면에서 임의의 가상 액션 메뉴와 상기 인디케이터가 겹쳐진 상태에서 선택 사용자 모션이 감지되면 상기 임의의 가상 액션 메뉴에 대응하는 액션 코드를 통화 상대 단말로 전송하고, 상기 임의의 가상 액션 메뉴에 따른 가상 이미지를 상기 통화 상대 영상과 합성하여 디스플레이하는 과정을 포함함을 특징으로 하는 사용자 입력 방법.
  11. 제10항에 있어서,
    상기 통화 상대 단말로부터 임의의 액션 코드를 수신하면, 수신된 액션 코드에 대응하는 가상 액션 메뉴를 검색하여, 가상 액션 메뉴에 대응하는 가상 이미지를 상기 사용자 영상과 합성하여 디스플레이하는 과정을 더 가짐을 특징으로 하는 사용자 입력 방법.
  12. 이동 통신 단말의 사용자 입력 장치에 있어서,
    표시부와,
    카메라와,
    상기 카메라를 통해 촬영한 영상과 미리 저장된 이미지로 이루어진 가상 영상에 상기 카메라를 통해 촬영한 영상에서 검출한 인디케이터를 실시간으로 정합하고, 오차를 보정하여, 2차원 또는 3차원으로 상기 표시부에 디스플레이하는 영상 처리부와,
    상기 영상 처리부와 상기 표시부를 제어하여, 현재 설정된 동작 모드에 따라 단말 제어에 필요한 키 기능과 메뉴 기능 각각에 대응하는 이미지들을 포함하는 메뉴 화면을 상기 표시부에 디스플레이하고, 증강 현실 입력 모드 설정시 상기 영상 처리부를 제어하여 상기 카메라를 통해 촬영되는 영상에서 미리 설정된 인디케이터를 검출하여 상기 메뉴 화면과 실시간으로 합성하여 디스플레이하고, 상기 합성된 화면상에서 상기 이미지들 중 임의의 이미지와 상기 인디케이터가 겹쳐진 상태에서 상기 카메라를 통해 촬영된 영상에서 선택에 대응하는 미리 설정된 사용자 모션이 검출되면 상기 이미지에 대응하는 기능에 따른 동작을 수행하는 제어부를 포함함을 특징으로 하는 사용자 입력 장치.
  13. 제12항에 있어서, 상기 인디케이터는 상기 증강 현실 모드 수행 중 상기 카메라를 통해 촬영되는 영상 중에서 상기 이동 통신 단말의 입력 소자로서 인식되는 피사체임을 특징으로 하는 사용자 입력 장치.
  14. 제12항에 있어서, 상기 제어부는 사용자 요구에 따라 상기 증강 현실 입력 모드를 설정하여 상기 카메라를 작동시키고, 상기 영상처리부를 제어하여 상기 카메라를 통해 촬영되는 영상 중에 미리 설정된 인디케이터를 검출하고, 상기 검출된 인디케이터를 상기 메뉴 화면에 실시간으로 합성하여 디스플레이함을 특징으로 하는 사용자 입력 장치.
  15. 제12항에 있어서, 상기 인디케이터는 미리 저장된 다수개의 인디케이터 중 사용자에 의해 선택된 인디케이터가 설정됨을 특징으로 하는 사용자 입력 장치.
  16. 제15항에 있어서, 상기 미리 저장된 인디케이터는 사용자의 손가락, 펜, 적외선 출력 펜, 눈동자, 얼굴을 포함함을 특징으로 하는 사용자 입력 장치.
  17. 제12항에 있어서, 상기 사용자 모션은 사용자가 상기 이동 통신 단말에 입력할 수 있는 각종 명령어에 대응하여 미리 정해진 사용자의 동작임을 특징으로 하는 사용자 입력 장치.
  18. 제12항에 있어서, 상기 제어부는 상기 합성된 화면상에서 상기 표시화면에 포함되는 스크롤바와 상기 인디케이터가 겹쳐진 상태에서 상기 카메라를 통해 촬영된 영상에서 선택에 대응하는 미리 설정된 사용자 모션이 검출되면 상기 인디케이터의 움직임에 따라 스크롤 기능을 수행함을 특징으로 하는 사용자 입력 장치.
  19. 제12항에 있어서, 상기 제어부는 상기 메뉴 화면의 일부가 디스플레이된 상태 일때, 상기 카메라를 통해 촬영된 영상에서 미리 설정된 스크롤 사용자 모션이 검출되면 인디케이터의 움직임에 대응하여 상기 메뉴 화면이 내용을 스크롤하여 디스플레이함을 특징으로 하는 장치.
KR1020050073797A 2005-08-11 2005-08-11 이동 통신 단말의 사용자 입력 방법 및 장치 KR100987248B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020050073797A KR100987248B1 (ko) 2005-08-11 2005-08-11 이동 통신 단말의 사용자 입력 방법 및 장치
US11/501,136 US7898563B2 (en) 2005-08-11 2006-08-08 User input method and device of mobile communication terminal
JP2006217335A JP2007052780A (ja) 2005-08-11 2006-08-09 移動通信端末のユーザー入力方法及び装置
EP06118739A EP1752861A1 (en) 2005-08-11 2006-08-10 User input method and device of mobile communication terminal
PCT/KR2006/003165 WO2007018416A1 (en) 2005-08-11 2006-08-11 User input method and device of mobile communication terminal
RU2008104856/09A RU2381544C2 (ru) 2005-08-11 2006-08-11 Способ и устройство пользовательского ввода в терминале мобильной связи
CNA2006101154977A CN1913545A (zh) 2005-08-11 2006-08-11 移动通信终端的用户输入方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050073797A KR100987248B1 (ko) 2005-08-11 2005-08-11 이동 통신 단말의 사용자 입력 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070019849A true KR20070019849A (ko) 2007-02-15
KR100987248B1 KR100987248B1 (ko) 2010-10-12

Family

ID=37433819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050073797A KR100987248B1 (ko) 2005-08-11 2005-08-11 이동 통신 단말의 사용자 입력 방법 및 장치

Country Status (7)

Country Link
US (1) US7898563B2 (ko)
EP (1) EP1752861A1 (ko)
JP (1) JP2007052780A (ko)
KR (1) KR100987248B1 (ko)
CN (1) CN1913545A (ko)
RU (1) RU2381544C2 (ko)
WO (1) WO2007018416A1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798447B1 (ko) * 2007-03-15 2008-01-28 에스케이 텔레콤주식회사 화상 통화 시스템에서의 가상 액션 서비스 방법과 이를위한 이동통신 단말기
KR100858358B1 (ko) * 2006-09-29 2008-09-11 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
KR100868733B1 (ko) * 2007-11-05 2008-11-13 광주과학기술원 증강현실 기반의 게임이 가능한 이동 단말기 및 이동단말기를 이용하여 증강현실 기반의 게임을 제공하는 방법
KR100868732B1 (ko) * 2007-11-05 2008-11-13 광주과학기술원 증강현실을 이용한 멀티미디어 명함정보 제공 시스템 및 그제공방법
KR20090061792A (ko) * 2007-12-12 2009-06-17 주식회사 엘지텔레콤 대기 화면 서비스의 번호 Key 매핑을 통한 Quick실행 방법 및 장치
WO2009102138A3 (ko) * 2008-02-12 2009-11-12 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법
WO2010110614A2 (en) * 2009-03-26 2010-09-30 Samsung Electronics Co., Ltd. Apparatus and method for controlling terminal
WO2011100254A3 (en) * 2010-02-09 2011-11-24 Microsoft Corporation Handles interactions for human-computer interface
KR20120035771A (ko) * 2010-10-06 2012-04-16 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101118010B1 (ko) * 2010-07-16 2012-06-12 텔코웨어 주식회사 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체
KR101156753B1 (ko) * 2010-04-26 2012-06-14 팬터로그인터액티브 주식회사 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법
KR101235224B1 (ko) * 2011-01-28 2013-02-20 한림대학교 산학협력단 광학 펜을 이용한 입력을 제공하는 포터블 장치 및 그 방법
KR101282292B1 (ko) * 2011-01-24 2013-07-10 주식회사 코세이프 증강현실을 이용한 광고 서비스 시스템 및 그 방법
KR101390045B1 (ko) * 2008-12-24 2014-04-30 에릭슨엘지엔터프라이즈 주식회사 통화 장치 및 그 제어 장치
US8761962B2 (en) 2010-09-13 2014-06-24 Hyundai Motor Company System for controlling an in-vehicle device using augmented reality and method thereof
KR20170085515A (ko) * 2014-11-20 2017-07-24 엘지전자 주식회사 단말 장치, 영상 제어 시스템 및 단말 장치의 제어 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8159458B2 (en) 2007-12-13 2012-04-17 Apple Inc. Motion tracking user interface
KR20100009023A (ko) * 2008-07-17 2010-01-27 (주)마이크로인피니티 움직임을 인식하는 장치 및 방법
JP4927808B2 (ja) * 2008-11-26 2012-05-09 京セラ株式会社 カメラ付き機器
US8436887B2 (en) * 2009-11-13 2013-05-07 Samsung Electronics Co., Ltd. Mobile terminal, display apparatus and control method thereof
JP5534183B2 (ja) 2010-03-23 2014-06-25 ソニー株式会社 電子機器および情報処理プログラム
US9727128B2 (en) 2010-09-02 2017-08-08 Nokia Technologies Oy Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode
GB2498485A (en) * 2010-10-05 2013-07-17 Hewlett Packard Development Co Entering a command
US8606645B1 (en) 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
US9921648B2 (en) * 2013-02-22 2018-03-20 University Of Seoul Industry Cooperation Foundation Apparatuses, methods and recording medium for control portable communication terminal and its smart watch
CN103294347B (zh) * 2013-06-24 2016-09-07 贝壳网际(北京)安全技术有限公司 移动终端浏览器视频播放的操作控制方法、装置及浏览器
CN103777753A (zh) * 2013-11-12 2014-05-07 广州新节奏智能科技有限公司 新型便携式肢体感应操控装置及其应用方法
CN108075940A (zh) * 2016-11-18 2018-05-25 天津嘉深保科技发展有限公司 一种会议服务用网络通信联通测试仪
CN107124658B (zh) * 2017-05-02 2019-10-11 北京小米移动软件有限公司 视频直播方法及装置
JPWO2021038786A1 (ko) * 2019-08-29 2021-03-04
US11275945B2 (en) * 2020-03-26 2022-03-15 Varjo Technologies Oy Imaging system and method for producing images with virtually-superimposed functional elements
US11638872B1 (en) * 2021-10-18 2023-05-02 Electronic Arts Inc. Videographer mode in online games

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903668A (en) * 1992-05-27 1999-05-11 Apple Computer, Inc. Method and apparatus for recognizing handwritten words
DE4408737A1 (de) * 1994-03-15 1995-09-21 Sel Alcatel Ag Telekommunikationsendgerät
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
WO1999007153A1 (en) 1997-07-31 1999-02-11 Reality Fusion, Inc. Systems and methods for software control through analysis and interpretation of video information
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
JP2002290529A (ja) 2001-03-28 2002-10-04 Matsushita Electric Ind Co Ltd 携帯通信端末、情報表示装置、制御入力装置および制御入力方法
US6943774B2 (en) 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
US7064742B2 (en) * 2001-05-31 2006-06-20 Siemens Corporate Research Inc Input devices using infrared trackers
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
WO2003077553A1 (fr) * 2002-03-08 2003-09-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de communication mobile, procede de commande d'affichage pour un dispositif de communication mobile et programme correspondant
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
RU2227930C2 (ru) 2002-07-04 2004-04-27 Межрегиональная благотворительная общественная организация инвалидов "ГЕРОНТ" Способ бесконтактного ввода информации в компьютер и система для его осуществления
KR100651508B1 (ko) 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US7692627B2 (en) * 2004-08-10 2010-04-06 Microsoft Corporation Systems and methods using computer vision and capacitive sensing for cursor control

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858358B1 (ko) * 2006-09-29 2008-09-11 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
KR100798447B1 (ko) * 2007-03-15 2008-01-28 에스케이 텔레콤주식회사 화상 통화 시스템에서의 가상 액션 서비스 방법과 이를위한 이동통신 단말기
KR100868733B1 (ko) * 2007-11-05 2008-11-13 광주과학기술원 증강현실 기반의 게임이 가능한 이동 단말기 및 이동단말기를 이용하여 증강현실 기반의 게임을 제공하는 방법
KR100868732B1 (ko) * 2007-11-05 2008-11-13 광주과학기술원 증강현실을 이용한 멀티미디어 명함정보 제공 시스템 및 그제공방법
KR20090061792A (ko) * 2007-12-12 2009-06-17 주식회사 엘지텔레콤 대기 화면 서비스의 번호 Key 매핑을 통한 Quick실행 방법 및 장치
WO2009102138A3 (ko) * 2008-02-12 2009-11-12 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법
US8823697B2 (en) 2008-02-12 2014-09-02 Gwangju Institute Of Science And Technology Tabletop, mobile augmented reality system for personalization and cooperation, and interaction method using augmented reality
KR101390045B1 (ko) * 2008-12-24 2014-04-30 에릭슨엘지엔터프라이즈 주식회사 통화 장치 및 그 제어 장치
WO2010110614A2 (en) * 2009-03-26 2010-09-30 Samsung Electronics Co., Ltd. Apparatus and method for controlling terminal
WO2010110614A3 (en) * 2009-03-26 2010-12-09 Samsung Electronics Co., Ltd. Apparatus and method for controlling terminal
US9635170B2 (en) 2009-03-26 2017-04-25 Samsung Electronics Co., Ltd. Apparatus and method for controlling terminal to expand available display region to a virtual display space
WO2011100254A3 (en) * 2010-02-09 2011-11-24 Microsoft Corporation Handles interactions for human-computer interface
KR101156753B1 (ko) * 2010-04-26 2012-06-14 팬터로그인터액티브 주식회사 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법
KR101118010B1 (ko) * 2010-07-16 2012-06-12 텔코웨어 주식회사 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체
US8761962B2 (en) 2010-09-13 2014-06-24 Hyundai Motor Company System for controlling an in-vehicle device using augmented reality and method thereof
KR20120035771A (ko) * 2010-10-06 2012-04-16 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101282292B1 (ko) * 2011-01-24 2013-07-10 주식회사 코세이프 증강현실을 이용한 광고 서비스 시스템 및 그 방법
KR101235224B1 (ko) * 2011-01-28 2013-02-20 한림대학교 산학협력단 광학 펜을 이용한 입력을 제공하는 포터블 장치 및 그 방법
KR20170085515A (ko) * 2014-11-20 2017-07-24 엘지전자 주식회사 단말 장치, 영상 제어 시스템 및 단말 장치의 제어 방법

Also Published As

Publication number Publication date
US7898563B2 (en) 2011-03-01
RU2008104856A (ru) 2009-08-20
JP2007052780A (ja) 2007-03-01
KR100987248B1 (ko) 2010-10-12
WO2007018416A1 (en) 2007-02-15
US20070064091A1 (en) 2007-03-22
CN1913545A (zh) 2007-02-14
EP1752861A1 (en) 2007-02-14
RU2381544C2 (ru) 2010-02-10

Similar Documents

Publication Publication Date Title
KR100987248B1 (ko) 이동 통신 단말의 사용자 입력 방법 및 장치
CN108769814B (zh) 视频互动方法、装置、终端及可读存储介质
US10545645B2 (en) Method for realizing user interface using camera and mobile communication terminal for the same
CN110929054B (zh) 多媒体信息应用界面显示方法及装置、终端、介质
EP3859504A1 (en) Multimedia file playback control method and terminal device
US20110154249A1 (en) Mobile device and related control method for external output depending on user interaction based on image sensing module
US11755186B2 (en) Screen capturing method and terminal device
CN109874038B (zh) 一种终端的显示方法及终端
JP2012522415A (ja) タッチスクリーン機能を変更するためのシステム及び方法
CN111010610B (zh) 一种视频截图方法及电子设备
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN110300274B (zh) 视频文件的录制方法、装置及存储介质
KR20130056529A (ko) 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
CN112044065A (zh) 虚拟资源的显示方法、装置、设备及存储介质
CN111601174A (zh) 一种字幕添加方法及装置
CN111343402B (zh) 一种显示方法和电子设备
KR101662740B1 (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
CN115390620B (zh) 一种电子设备的操作方法和电子设备
WO2021197260A1 (zh) 便签创建方法及电子设备
CN111158572B (zh) 交互方法和电子设备
CN111176538B (zh) 一种基于智能音箱的屏幕切换方法及智能音箱
TWI729323B (zh) 互動式遊戲系統
CN111461777A (zh) 广告处理方法、电子设备及存储介质
CN112121409A (zh) 一种游戏交互方法、柔性屏终端及计算机可读存储介质
CN113282472B (zh) 性能测试方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee