KR20070035082A - 전자 장치의 기능을 제어하기 위한 전자 장치 및 방법 및상기 방법을 구현하기 위한 프로그램 생성물 - Google Patents

전자 장치의 기능을 제어하기 위한 전자 장치 및 방법 및상기 방법을 구현하기 위한 프로그램 생성물 Download PDF

Info

Publication number
KR20070035082A
KR20070035082A KR1020077003657A KR20077003657A KR20070035082A KR 20070035082 A KR20070035082 A KR 20070035082A KR 1020077003657 A KR1020077003657 A KR 1020077003657A KR 20077003657 A KR20077003657 A KR 20077003657A KR 20070035082 A KR20070035082 A KR 20070035082A
Authority
KR
South Korea
Prior art keywords
change
implemented
image1
image2
image frames
Prior art date
Application number
KR1020077003657A
Other languages
English (en)
Other versions
KR100899610B1 (ko
Inventor
미코 블롬큐비스트
토미 라이네
미아 온칼로
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20070035082A publication Critical patent/KR20070035082A/ko
Application granted granted Critical
Publication of KR100899610B1 publication Critical patent/KR100899610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations

Abstract

본 발명은 전자 장치(10)로서, 적어도 하나의 제어가능 요소(13)가 전체로서 시각화되도록 구현되는 디스플레이 성분(11)으로서, 상기 요소(13)의 제어는 상기 장치(10)의 적어도 하나의 선택된 고정 포인트들(19.1-19.3)에 대한 자세(attitude) 또는 위치에 관련된 변경(M)의 결정에 기반하도록 구현되는 디스플레이 성분(11); 및 이미지 프레임들(IMAGE1, IMAGE2)을 형성하도록 구현되는 카메라 수단(14, 15, 24)을 포함하며, 상기 장치(10)의 기능들을 제어함으로써 예를 들어 상기 요소(13)를 제어하기 위하여, 상기 변경(M)은, 소정의 설정된 방법으로 상호 비교되도록 구현되며 상기 카메라 수단(14, 15, 24)에 의하여 형성된 상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 광학적 데이터-흐름 알고리즘(17.2)을 이용하여 결정되도록 구현되고, 상기 변경(M)은 상기 비교에 기반하여 결정되도록 구현된다. 상기 이미지 프레임(IMAGE1, IMAGE2)들은, 소정의 선택된 방법으로 세그먼트화되도록 구현되되, 상기 변경(M)을 정의하는 적어도 하나의 움직임 벡터(SR, SL, SUp, SDown)가 상기 세그먼트들(SEGMENT1, SEGMENT2) 중 적어도 일부로부터 결정되도록 구현된다.

Description

전자 장치의 기능을 제어하기 위한 전자 장치 및 방법 및 상기 방법을 구현하기 위한 프로그램 생성물{Electronic device and a method for controlling the functions of the electronic device as well as a program product for implementing the method}
본 발명은 전자 장치로서,
- 적어도 하나의 제어가능 요소가 전체로서 시각화되도록 구현되는 디스플레이 성분으로서, 상기 요소의 제어는 상기 장치의 적어도 하나의 선택된 고정 포인트들에 대한 자세(attitude) 또는 위치에 관련된 변화의 결정에 기반하도록 구현되는 디스플레이 성분 및
- 이미지 프레임들을 형성하도록 구현되는 카메라 수단을 포함하며,
상기 장치의 기능들을 제어함으로써 예를 들어 상기 요소를 제어하기 위하여, 상기 변화는, 소정의 설정된 방법으로 상호 비교되도록 구현되며 상기 카메라 수단에 의하여 형성된 상기 이미지 프레임들로부터 광학적 데이터-흐름 알고리즘을 이용하여 결정되도록 구현되고, 상기 변화는 상기 비교에 기반하여 결정되도록 구현되며, 상기 이미지 프레임들은, 소정의 선택된 방법으로 세그먼트화되도록 구현되되, 상기 변화를 정의하는 적어도 하나의 움직임 벡터가 상기 세그먼트들 중 적어도 일부로부터 결정되도록 구현되는 것을 특징으로 하는 장치에 관련된다.
이동국, 개인 휴대용 단말기(PDA), 및 디지털 카메라와 같은 휴대용 전자 장치들로부터, 현재까지 다양한 고급 사용자 인터페이스 개념이 개발되어 왔다. 장치의 디스플레이 상에 시각화된 사용자 인터페이스는 장치의 기능을 제어하기 위하여 이용되며, 이를 통하여 어플리케이션 내에 제공되는 정보를 입력하거나 검사할 수도 있다. 종래 기술에 따른 사용자 인터페이스의 가장 간단한 구현 예를 보면 계층화된 메뉴 솔루션이 있다.
다양한 아이콘 타입 솔루션들에 의하여 예를 들어 표시되는 다양한 그래픽 사용자 인터페이스(GUI, Graphical User Interface)들은 몇 가지 고급 전자 장치로부터 공지된 바 있다. 일반적으로, 장치의 디스플레이 성분은 현재는 거의 컬러인데, 이것은 사용자 인터페이스를 사용자에게 표시하기 위하여 이용된다.
몇 가지 현존하는 장치들, 또는 미래에 시장에 소개될 예정인 장치들 중 최소한 몇 개들에서, 다양한 3차원 디스플레이 및/또는 3차원 사용자 인터페이스/어플리케이션 환경이 매우 일반적으로 이용될 것이다. 예를 들어, 이러한 디스플레이들은 게임 어플리케이션에 이용될 수 있다.
장치의 사용자 인터페이스 및 어플리케이션을 제어하고 정보를 처리하기 위한 종래 기술은 다양한 이동 가능한 지시자 요소(moveable indicator element type) 솔루션들에 의하여 제공된다. 이러한 것들의 몇 가지 예를 보면 커서 및 메뉴 선택기 등이 있다. 이러한 솔루션들 중 가장 기본적인 것에서, 현재 활성화된 셀렉션 선택 화면(selection alternative)은 이것을 다른 선택 화면들로부터 숨기 게 하는 방식으로 도시될 수 있다. 그래픽 사용자 인터페이스에서, 포인터 커서의 동작 방향 및 위치는 거의 무작위로 이루어질 수 있는데, 이들의 위치 및 이동 방향은 예를 들어 그래픽 요소를 디스플레이를 이용함으로써 디스플레이 상에 도시될 수 있다. 따라서, 예를 들어 원하는 선택 화면(여러 가지 그래픽 사용자 인터페이스(GUI, 그래픽 사용자 인터페이스), 예를 들면 원하는 선택 화면을 선택하면, 사용자 인터페이스의 제어 수단이 이용되어, 포인터 커서를 원하는 선택 아이템의 상부로 이동시키고, 그 선택을 확인될 수 있다.
이러한 경우에, 제어 수단은 일반적으로 여러 가지 데이터 입력 수단인 것으로 이해될 수 있으며, 따라서 포인터 커서를 이동시킴으로써, 예를 들어 이들은 메뉴를 네비게이션하고, 게임 어플리케이션의 캐릭터의 동작을 제어하며, 장치 내에 텍스트와 같은 정보를 입력하고, 선택하며, 어플리케이션을 활성화하고, 일반적으로 장치의 동작을 제어하는 용도로도 이용될 수 있다.
포인터 커서를 이동시키기 위한 다양한 상이한 제어 수단 솔루션들이 공지되어 있으며, 이러한 솔루션을 이용함으로써 데이터가 장치 내에 입력될 수 있다. 이러한 솔루션들의 예들에는 키패드 및 키패드 성분 내에 배치된 특수 키들이 있는데, 특수 키들의 예를 들면 네비게이션 키 및 조이스틱 제어기가 있다. 이들의 동작 원리는 일반적으로 벡터에 기반하며, 벡터의 위치는 해당 제어 수단을 이용하는 사용자에 의하여 정의된다.
전술된 바와 더불어, 다양한 터치스크린을 또한 언급할 수 있는데, 이 경우 터치스크린에 접촉함으로써 포인터 커서가 사용자 인터페이스 내에 이동하도록 허 용할 수 있다. 몇 가지 장치가 공지된 바 있으며, 이러한 장치에는 실제 데이터 입력 메커니즘이 아예 존재하지 않는다. 참조할 만한 일 예로서 마이크를 이용하여 구현된 음성 제어 솔루션이 있다.
특별한 사용자 패널(user panel)로서, 이것을 이용함으로써 사용자 인터페이스 내에 시각화된 포인터 커서가 제어될 수 있으며, 휴대용 장치의 배면부, 즉 디스플레이 성분의 반대 면에 구현될 수 있는 특정한 사용자 패널은 WO 특허공보 제 093880/02 A2로부터 공지된다. 이 장치 역시 터치스크린에 기반을 둔 것이며, 이 장치의 표면에서 사용자는 동일한 손에 장치를 소지한 채로 손가락을 이동시킬 수 있다.
비록 이러한 장치가 다른 손으로 하여금 다른 작업들을 수행할 수 있도록 허용하지만, 그럼에도 불구하고 이러한 장치는 여전히 사용자의 관점에서는 다소 비실용적이다. 포인터 커서 장치의 제어에 특화되어 배면에 구현되는 접촉감응식 패널을 이용하면 장치의 제조 단가가 증가되며 이것은 충격에 약하게 된다. 또한, 한 손에 장치를 소지하면, 포인터 커서를 제어하기 위한 동일한 손의 손가락을 이용하는 동안 손 및 손가락의 동작 위치는 결코 인체 공학적(ergonomic)이지 않으며 , 오히려 손가락은 패널 위에서 이동하는 동안에 과도한 스트레스를 받게 된다. 이러한 단점들은, 이 솔루션이 소형 장치에 적용될 경우 더욱 악화된다.
데이터 입력/제어 방법의 한 가지로서, 장치에 영향을 주는 동작을 결정하기 위한 가속도 센서를 이용하는 방법을 참조할 수 있는데, 이 방법을 이용하면 그 결과로서 요소를 이동시킬 수 있다. 이러한 경우에, 센서는 동작 또는 고정 포인트 에 대한 위치 및 지점의 변경으로서 장치에 영향을 미치는 변경을 결정할 수 있는데, 이러한 변경을 통하여 방향 벡터가 구성될 수 있고, 이 방향 벡터에 따라서 요소는 사용자 인터페이스 내에서 제어될 수 있다. 이러한 경우에, 예를 들어 사용자가 우측에 위치한 후속 테마로 네비게이션 하고자 할 경우, 사용자는 장치를 다소 우측으로 방향 전환시키고 다시 자신을 향하여 방향 전환시킴으로써 해당 동작을 수행할 수 있다.
그러나, 전술된 바와 같이 주로 손가락을 이용하는 데이터 입력 방법들은 예를 들어 장갑을 착용하고 있을 때와 같은 상황에서는 제어하기가 곤란하다. 그 크기가 작기 때문에, 키들은 장갑으로 제어할 수 있는 정밀도를 벗어나게 되며, 키를 입력할 때 발생하는 오류들을 피할 수 없게 된다. 이러한 경우에는, 이러한 솔루션은 사용자에게 매우 불편하게 되는데, 그 이유는 장치의 원활한 사용 가능성에 명백한 단점으로 작용하기 때문이다.
또한, 종래 기술로부터 장치의 기능을 통제하기 위해 이용될 수 있는 다른 솔루션은 카메라 수단을 이용하여 형성된 이미지 정보를 적용하는 것이다. 제어될 장치의 기능에 기반하여 카메라 수단의 목표 방향을 변경하면, 방향 벡터가 순차적으로 캡쳐되는 장면들로부터 결정될 수 있다. 이러한 솔루션들은 다른 문헌들 중에서 특히 스웨덴 특허공보 9902562-9호 (Telefonaktiebolaget L M Ericsson) 및 영국 특허출원 번호 제 GB 2 387 755호(NEC 코포레이션)에 개시된다. 다른 몇 가지 솔루션들은 US 특허공보 제 2004/0012566 Al호, US 특허 번호 제 6,288,704 Bl호, WO 공개 번호 제 2004/066615호, 및 US 특허공보 제 2004/0085455분 Al호에 개 시된다.
전술된 바와 같은 사용자 인터페이스를 제어하고 데이터를 입력하기 위한 방법들 중 유일하게 '손가락을 사용하지 않는' 방법은 장치의 음성 제어를 이용하는 것, 가속도 센서를 적용하는 것, 및 카메라 수단을 이용하여 형성된 정보를 이용하는 것들 뿐이다. 그러나, 장치의 기능은 매우 다양하고 사용자 인터페이스는 매우 복잡하고 3차원일 수 있기 때문에 이러한 제어 방법들은 최소한 현재까지는 절대로 사용 가능성 측면에서는 구현하기가 간단하지 않다. 전술된 장치들의 형태는 사용자의 손가락을 이용하지 않고 원활하게 정보를 장치에 입력하거나, 또는 장치의 기능을 활성화하거나, 또는 더 복잡한 어플리케이션을 제어하는 데에는 이용될 수 없다. 또한, 가속도/지향성 센서(orientation sensor)를 이용하면 단지 장치가 복잡해지는 것뿐만 아니라, 하드웨어 레벨에서의 다른 문제점들도 야기한다. 또한, 카메라 수단을 적용시킬 경우 커서 지시자의 정밀도가 감소될 수도 있다.
본 발명은 새로운 타입의 전자 장치 및 전자 장치의 기능을 제어하기 위하여 장치 내에서 이용될 수 있는 새로운 타입의 상응하는 방법을 제공하는데 관련된다. 본 발명에 따른 장치의 특정 특징들은 첨부된 청구의 범위 제1항에 언급된 바와 제7항에 언급된 방법에 상응한다. 또한, 본 발명은 청구항 13항에 언급된 프로그램 생성물 및 그들의 특정 특징에 관련된다.
본 발명을 이용하면, 장치의 기능들은 신규하고 놀라운 방법으로 제어될 수 있다. 본 발명에 따른 장치의 제어 수단은 카메라 수단을 포함한다. 본 발명에 따른 방법에 따르면, 장치의 기능들은 장치의 자세 또는 위치를 적어도 하나의 선택된 고정 포인트들에 대하여 조절하는 것에 의하여 제어된다. 이러한 변경은 카메라 수단에 의하여 형성된 이미지 프레임들로부터 결정될 수 있다. 장치의 자세 또는 위치의 목표 변화에 기반하여, 이에 따라서 디스플레이 성분 상에 그 전체로서 도시된 적어도 하나의 요소에 관련되는 일련의 제어 동작들이 조절될 수 있으며, 더 일반적으로 말하면 장치의 기능들이 제어될 수 있다.
장치의 자세 또는 위치의 변경의 정의 동작은, 본 발명의 몇 가지 실시예를 예로 들면, 이미지 인식 알고리즘 및/또는 광학적 데이터-흐름 알고리즘을 이용함으로써 수행될 수 있다. 그러므로, 이미지 프레임들은 바람직한 방법으로 세그먼트화될 수 있다. 그러면, 제어될 수 있는 디스플레이 내의 요소의 동작에 따른 모션 벡터가 이러한 세그먼트들 중 적어도 일부로부터 결정될 수 있다.
적어도 하나의 선택된 고정 포인트에 대한 장치의 자세 또는 위치의 변경으로부터 다양한 파라미터들이 결정될 수 있으며, 이러한 변경은 놀라운 방식으로 본 발명에 따를 경우 심지어 수 개의 차원에서 이루어질 수 있다. 이러한 것들의 몇 가지 예를 들면 방향, 크기, 및/또는 심지어 속도의 변경을 예로 들 수 있다.
본 발명에 적합한 카메라 수단은, 이미 공지된 바와 같이 예를 들어 정지 및 비디오 화상을 촬영하기 위하여 이용되는 카메라 수단일 수 있다. 어떤 경우에는, 더 사양이 낮은 카메라 수단을 이용하는 것도 가능하다. 본 발명의 일 실시예에 따르면, 카메라 수단은 적어도 두 개의 이미지 센서들을 포함할 수 있다. 이미지 센서들은 장치의 상이한 면을 향할 수 있다. 따라서, 무엇보다 제어 정밀도를 향상하는 것이 가능하다.
본 발명을 이용하면 몇 가지 현저한 장점들을 획득할 수 있다. 첫 번째 장점은 장치의 '손가락 없는' 메뉴 네비게이션 이동 기능 및 장치의 이동 및/또는 자세/위치 변경에 기반하거나 특히 장치의 카메라 수단을 이용하여 선택 동작을 수행하는 기능이다. 두 번째 장점으로는 예를 들어 텍스트 문자와 같은 정보를 장치 내에 놀라울 만큼 손가락을 이용하지 않고 입력할 수 있는 기능이다. 본 발명의 세 번째 장점으로는 예를 들어 게임 어플리케이션을 즐길 때 더 물리적인 그립(physical grip)이 구현된다는 점이다.
본 발명에 따른 방법은 심지어 현존하는 카메라 수단을 이용하여서도 전자 장치 내에 구현될 수 있다. 본 발명은, 손가락에 의하여 구동되는 제어 수단을 전혀 이용하지 않는 장치를 구현할 수 있도록 한다. 또한, 본 발명은, 예를 들어 키패드 성분의 견실성을 증가시키는데, 그 결과 현재 널리 이용되는 조이스틱 장치가 일반적으로 비용의 많은 부분을 차지하고 있는 키패드의 제조 단가의 증가를 감소시킬 수 있다. 시간이 지남에 따라 열화되는 기계적 제어 수단을 본 발명에 따른 광학 솔루션으로 대체함으로써, 장치의 동작 수명 역시 길어질 수 있다.
본 발명을 이용하여 달성되는 장점들 중 가장 중요한 것 중 하나는 장치의 동작 편이성이 향상된다는 점이다. 사용자 인터페이스를 검토하는 동안 또는 어플리케이션을 이용하는 동안 장치가 손에 쥐어지기 때문에, 디스플레이 상에서 이동될 수 있는 요소들 또는 활성화될 수 있는 아이템들은 손을 매우 적게 움직임으로써 매우 용이하게 제어될 수 있으며, 따라서 원하는 기능을 호출하고, 또는 그것을 실행할 수 있다.
본 발명에 따른 방법은 현존하는 전자 장치 및 현재 아직 설계 단계에 있는 전자 장치 모두에도 매우 용이하게 구현될 수 있다. 본 발명에 따른 방법은 심각한 단점이 될만한 수준까지 장치의 복잡성을 증가시키지 않는데, 예를 들면 장치의 처리 능력 또는 메모리 사용량에 대하여 현저한 제약이 될 정도까지 복잡해지지 않도록 한다. 본 발명의 일 실시예에 따르면, 심지어 완전한 프로그램 레벨의 방법인 것처럼 구현될 수 있는 방법이 카메라 수단 또는 유사한 기능성을 포함하는 장치 내에 매우 용이하게 집적될 수 있다.
본 발명의 몇 가지 실시예들에 따르면, 카메라 수단의 동작 상태는 장치의 기능을 제어하기 위하여 조절될 수 있는데, 예를 들어 현재의 동작 상황에 적합하도록 조절될 수 있다. 예를 들면, 따라서 카메라 수단의 이미지 정보 형성 빈도 또는 장치의 자세 또는 위치의 변화를 결정하는 어플리케이션의 실행 빈도를 조절하는 것이 가능하다. 그러나, 이론상으로는 이미지 정보의 형성 동작은 예를 들어 실시간 비디오 정보로부터 형성될 수 있고, 이러한 변화로부터 장치의 적어도 하나의 선택된 고정 포인트에 대한 자세 또는 위치의 상응하는 변화가 결정될 수 있다. 반면에, 실시간 이미지 플로우로부터의 모든 프레임들을 이용하는 것이 반드시 강제적인 것은 아니다.
본 발명의 다른 특정한 특징들은 첨부된 청구의 범위로부터 명백하게 이해될 것이며, 반면에 본 발명의 추가적인 장점들은 상세한 설명 부분에 설명된다.
본 발명은 이하 후술되는 바와 같은 실시예들에 한정되지 않으며, 이들은 첨부된 도면들을 참조하여 더 자세히 검토될 것이다.
도 1a 및 도 1b는 사용자 인터페이스의 예시를 도시한다.
도 2는 본 발명에 따른 장치 및 프로그램 생성물의 필수 구성요소의 대략적인 개념적 블록도이다.
도 3은 본 발명에 따른 방법의 일 실시예의 흐름도 표현이다.
도 4는 장치가 이용될 때 본 발명에 따른 방법의 일 실시예를 나타내는 사시도이다.
도 5는 장치의 자세 또는 위치를 변경시키기 위한 가능한 방향들의 일 예를 도시한다.
도 6a 내지 도 6c는 본 발명에 광학적 데이터-흐름 알고리즘을 적용할 경우의 장치의 자세 또는 위치의 변경을 결정하는 예를 도시한다.
도 7은 본 발명에 따른 솔루션을 이용할 때의 사용자 인터페이스의 텍스트 입력 및 구현의 일 예를 도시한다.
도 8은 두 개의 카메라를 이용할 경우의 본 발명에 따른 장치의 제2 실시예를 도시한다.
도 9는 두 개의 카메라들을 적용시킬 경우의, 본 발명에 따른 방법의 일 예의 사시도를 나타낸다.
도 10은 두 개의 카메라를 포함하는 실시예의 경우의, 본 발명에 따른 장치의 자세에 영향을 주는 변경의 정의를 나타내는 일 예를 도시한다.
오늘날, 많은 전자 장치(10)가 그래픽의 운영 체계(GUI, 그래픽 사용자 인터페이스)를 포함한다. 본 발명의 경우, 예를 들면 전자 장치(10)는 이동국 또는 '스마트 커뮤니케이터(smart communicator)' 형태의 PDA(개인 휴대 정보 단말기)인 것으로 이해될 수 있는데 팜탑 타입(palm-type)의 장치가 본 발명의 일 예이다. 또한, 장치(10)는 디지털 카메라 장치, 휴대용 게임 콘솔 또는 일반적인 전자 장치인 것으로 이해될 수 있는데, 이러한 전자 장치는 디지털 이미지 처리 기능을 가지거나 이러한 기능을 가지도록 구현될 수 있다. 그러므로, '전자 장치'라는 개념은 극단적으로 넓게 이해될 수 있다. 이하, 본 발명은 카메라 수단을 가지는 이동국(10)과 관련하여 본 발명을 설명한다.
도 1a 및 도 1b는 장치(10)의 디스플레이(11) 상에 표시된 사용자 인터페이스 GUI의 일 실시예를 도시하는데, 이러한 사용자 인터페이스를 통하여 장치(10)의 운영 체계 및 이에 따른 장치(10)의 기능들이 제어될 수 있다. 장치(10)를 이용하여 실행될 수 있는 사용자 인터페이스 GUI 및 어플리케이션들(12, 20)은 일반적으로 장치(10)의 디스플레이(11) 상에서 사용자에게 명백하게 디스플레이 된다.
적어도 하나의 제어가능 요소(13)가 디스플레이 성분(11) 상에 사용자를 위하여 시각화된다. 사용자 인터페이스 GUI의 경우에, 이것은 제어 가능한 지시자 요소(13)일 수 있으며, 이것은 도면에서는 커서(13)로서 도시된다. 또한, 요소(13)는, 이 요소가 그 전체로서 디스플레이(11) 상에 도시된다는 사실에 의하여 특징지워진다. 이러한 경우에, 문제는 단지 커서-타입의 어플리케이션들 뿐만 아 니라 다양한 타입의 데이터 입력/선택(후술된다), 또는 게임 내의 캐릭터들이다.
더 나아가, 장치(10)는 제어 수단(14, 15)을 포함하며, 이것을 이용하여 사용자는 적어도 하나의 요소(13)를 제어할 수 있다. 본 발명에서, 제어 수단은 놀랍게도 카메라 수단(14, 15)으로 구성된다.
카메라 수단(14, 15)을 이용함으로써, 장치(10)에 영향을 주는 움직임을 결정할 수 있으며, 특히 장치(10)의 하나 또는 그 이상의 고정 포인트들에 대한 자세 및/또는 위치의 변경(M)을 결정할 수 있다. 제어 수단(14, 15)에 의하여 형성되는 제어 데이터는 장치(10)에 속하는 처리 수단(16)으로 전달되고, 이것을 이용하여 무엇보다도 디스플레이(11) 상의 요소(13)에 영향을 미치는 제어 동작들 및 장치(10)의 자세 및 위치의 변경(M)으로부터 적어도 결정되는 동작들이 처리되고 구현된다. 장치(10)는 키패드(18)를 더 포함하는 것도 가능하다.
도시된 실시예에 따른 경우에, 포인터 커서(13)는 사용자에 의하여 장치(10) 내에 구현된 제어 수단(14)을 이용하여 사용자 인터페이스(GUI) 내에서 이동 및 제어될 수 있다.
예를 들면, 포인터 커서(13)는 이러한 경우에는 몇 가지 그래픽 객체에 의하여 표현되는데, 이러한 그래픽 객체에는, 예를 들면 화살표, 별표 등이 있으며, 이들에 대해서는 도 1a 및 도 1b 내에 도시된다. 도 1a에서, 포인터 커서(13)는 예를 들어 디스플레이(11) 내의 기본 위치에 위치된 것으로 가정될 수 있으며, 이 지점은 장치(10)가 켜지면 자동적으로 포인터 커서(13)가 위치되는 곳이다. 이러한 기본 위치에 대한 일 예는 사용자 인터페이스(GUI)의 중심 부근을 들 수 있다.
도 1b에서, 예를 들어 사용자는 포인터 커서(13)를 사용자 인터페이스(GUI) 내의 원하는 지점으로 이동시킴으로써 원하는 기능(12.1)을 선택하였다. 예를 들어, 활성화되어야 하는 기능 및 자원과 같은 이용 가능한 선택 위치(selection point)들은 사용자 인터페이스 내에서 다른 몇 가지 상이한 방법으로 도시될 수 있다. 예를 들어, 그들은 시각화될 어플리케이션들로서의 아이콘들(12, 12.1)로서 도시되거나 입력 수단(20) 또는 텍스트 필드(23)(도 7 참조)로서 도시될 수 있으며, 이들의 상부에서 포인터 커서(13)가 이동될 수 있다. 사용자 인터페이스는 운영 체제 GUI와 병렬적인 용어인 것으로서 이해될 수 있다. 이러한 동작 이후에, 예를 들어 키패드 상의 선택키를 누르는 것과 유사한 몇 가지 설정된 방법으로, 선택이 확인/활성화된다.
본 발명에 따른 경우에서, 후술되는 바와 같은 실시예들의 경우에는, 적어도 하나의 제어가능 요소(13)는 매우 넓은 개념인 것으로 이해될 수 있다. 반면에, 이것은 현존하는 고급 운영 체제의 그래픽 포인터 요소인 것으로서 이해될 수 있으며, 이 경우 이것은 도 1a 및 도 1b에 명확하게 도시된 바와 같이, 포인터 커서(13)는 디스플레이(11) 상에서 본질적으로 거의 무작위인 다중-차원(2-차원)으로 이동될 수 있다.
반면에, 지시자 요소는 종래의 장치들의 사용자 인터페이스들로부터 공지되는 방식으로도 이해될 수 있으며, 이 경우에는 예를 들어 1차원 선택 항복들의 메뉴 목록이 현재 제공되어 브라우징될 수 있다. 어느 소정 시점에서 선택 요소들 중 하나가 사전 선택될 수 있기 때문에, 해당 선택 사항은 예를 들어 다른 것들과 상이하게 구별되는데, 예를 들면 그래픽 적으로 표시될 수 있다(메뉴 선택기). 이러한 방법의 예를 들면 선택 항목 주위를 더 밝게 하거나 어둡게 하는 것이 있으며, 이러한 방법을 통하여 이것은 지시자-요소 타입의 기능이라는 것이 이해될 수 있다(미도시).
또한, 일반적으로 지시자 요소(커서 또는 메뉴 선택기)를 이용할 때, 이것은 현재 원하는 선택 항복 위로 이동될 수 있으며, 그 이후에 사용자는 소정의 설정된 방법으로 관련된 선택 항복을 활성화/선택/확인할 수 있다. 상응하는 타입의 기능이 예를 들면 그래픽 사용자 인터페이스 또는 PC-컴퓨터들로부터 공지된다.
전술된 바와 같은 지시자 커서(13)의 장치(10)의 사용자 인터페이스의 기준 프레임 내에서의 이동은, 일반적인 장치(10)의 어플리케이션들의 제어 기능으로까지 확장될 수 있으며, 예를 들면, 장치(10)에 텍스트를 입력하거나(도 7), 이미지의 앨범을 브라우징하거나, 또는 게임 어플리케이션 내의 게임 캐릭터의 예를 들면 이동, 방향 전환, 또는 더 복잡한 동작(예를 들면 발로 차기)과 같은 동작을 구현하는 데까지 확장될 수 있다. 이러한 기능들의 제어가 가정하기 위하여, 변경(M)은 심지어 3차원에서의 적어도 하나의 선택된 고정 포인트에 대한 장치(10)의 자세 또는 위치에 대하여 측정될 수 있으며, 3차원에서의 변경은 단지 공지된 바와 같은(좌표 쌍에서의 방향 4) 수평-수직 이동만을 포함하는 것이 아니라, 시계 방향 및 반시계 방향으로의 장치(10)의 자세의 변경으로서의 원형 이동(좌표 쌍에서의 방향 5)을 놀랍게도 포함할 수 있을 뿐만 아니라(장치(10)의 회전은 센서(14)를 관통하는 것으로 가정되는 회전축 주위에서 수행된다), 사용자로부터 더 가까이 다가 가거나 사용자로부터 멀어지는 위치로서의 장치(10)의 위치의 변경까지도 포함할 수 있다(장치(10)의 이동은 깊이 수준으로 측정되며, 이것은 좌표 쌍에서 방향(6)으로 표시된다). 도 5는 가능한 방향들에 관련되는 상응하는 좌표 쌍들을 도시한다.
도 2는 장치(10)의 개념도 및 대략적인 실시예를 도시하는데, 이 실시예는 본 발명에 따른 방법을 구현한다. 장치(10)는 도 2에 도시된 동작 성분들을 포함하며, 이것들을 종래 기술에 의한 것들과 유사할 수 있고, 이들 중에서 본 발명에 따른 장치(10)의 실시예에서 가장 필수적인 부분은 카메라 수단(14, 15)들이다. 본 발명에 따른 솔루션에서, 디스플레이 성분(11) 상에서 제어될 수 있는 적어도 하나의 요소(13)의 제어 수단을 형성하는 것은 놀랍게도 이러한 카메라 수단(14, 15)들이다. 본 발명에 따른 방법에서, 카메라 수단(14, 15)들은 이미지 정보(IMAGE1, IMAGE2)를 형성하는데 이용될 수 있고, 이러한 이미지 프레임(IMAGE1, IMAGE2)들로부터 장치(10)의 적어도 하나의 선택된 고정 포인트에 대한 자세 및 위치에 영향을 미치는 변경(M)이 결정될 수 있으며, 따라서, 디스플레이(11) 상에서의 포인터 커서(13)의 바람직한 움직임 또는 장치(10)의 다른 관리/제어 동작이 결정될 수 있다.
카메라-센서 유닛(14) 및 이와 연결되도록 구현되는 이미지-처리 체인(15)(예를 들어 공지된 바와 같은 CCD, CMOS)을 이용함으로써 정지 및/또는 동영상을 캡쳐 및 처리할 수 있게 된다. 일반적 용어인 '카메라 수단'은 주변 전자 장치로서의 적어도 하나의 센서 유닛, 관련된 이미지 체인(15) 및 일반적으로 디지털 이미징 체인을 구현하는데 필요한 장치를 의미할 수 있다. 반면에, 심지어 저급 센서/프로세서 유닛으로서 이러한 목적을 달성하는데 적합한 특성을 가지는 유닛들도 고려될 수 있는데 그 이유는 본 발명에 따른 기능성을 구현하기 위하여 반드시 고품질의 이미지 정보 검출 기능이 필요한 것은 아니기 때문이다. 카메라 유닛(14)은 영구적으로 장치(10) 내에 포함될 수 있으며, 또는 이것은 탈착식으로 장치(10) 내에 연결될 수 있는데, 이 경우에는 장치의 자세 또는 위치에 영향을 미치는 변경들 또는 카메라(14) 전면에서 발생하는 자세/위치의 변경(예를 들어, 손의 경우)이 카메라 수단(14, 15)을 이용하여 상응하도록 등록될 수 있다.
도 3은 본 발명에 따른 방법의 일 실시예를 흐름도로써 도시하는데, 이러한 방법은 또한 도 1a 및 1b, 도 4, 및 도 6a 내지 도 6c에도 관련된다. 본 발명에 따른 방법에서, 사용자 인터페이스(GUI) 내의 지시자 커서(13)를 이동시키면, 본 발명에 따른 특정 카메라-제어 모드(301, 302)가 장치(10) 내에서 활성화 될 수 있는데, 여기서 사용자 인터페이스(GUI)는 장치(10)의 디스플레이(11) 상에서 액티브 상태인 것이다. 만일 모드가 액티브 상태가 아니면, 포인터 커서(13)는 다른 적합한 방법(310)으로 제어될 수 있다. 본 발명에 따른 방법의 전력 소모량을 감소시키기 위하여, 장치(10)의 자세 또는 위치를 결정하기 위한 기능 및 이미지 캡쳐 기능은 장치(10)의 사용자 인터페이스(GUI)가 열려있는 동안에만 수행될 수 있다. 또한, 소정의 설정된 시간동안 사용자 인터페이스에 아무런 동작이 가해지지 않으면, 카메라-제어 모드는 패시브 상태가 될 수 있으며, 또는 적어도 14의 검출 빈도가 실질적으로 감소될 수 있다. 움직임이 다시 검출되면, 카메라 수단(14, 15)의 검출 빈도는 다시 소정의 설정된 레벨까지 증가됨으로써 포인터 커서(13)의 동작을 정의할 수 있다. 이러한 특징은 본 발명을 적용할 때 장치(10)의 전력 소모량을 감소하기 위하여 사용될 수 있다.
본 발명의 일 실시예에 따르면, 포인터 커서(13)는 카메라-제어 모드 또는 사용자 인터페이스(GUI) 상에 나타나며 장치(10)에 연결되어 구현되는 카메라 수단(14)에 의하여 이동되고 일반적으로 제어되는 다른 유사한 제어 가능한 요소에 의하여 특징화될 수 있다. 포인터 커서(13)의 이동 동작은 카메라 수단(14)에 의하여 검출되는 순차적인 정지 영상 정보 또는 비디오 영상 정보로부터 결정되는 장면 변경에 따라서 수행될 수 있는데, 여기서 카메라 수단(14, 15)은 선택된 하나 또는 그 이상의 고정 포인트들에 관련된 장치(10)에 영향을 주는 자세 또는 위치의 변경에 상응하는 장면 변경 사항을 보여준다.
본 발명의 일 실시예에 따르면, 카메라 수단(14, 15)을 이용하여 형성되는 이미지 정보에는 순차적 이미지 프레임들을 포함하는데, 이들의 예를 들면 적어도 두 개의 이미지 프레임들 및 뷰파인더 샷들(IMAGE1, IMAGE2)이 포함된다. 이들은 본질적으로 연속적이건, 또는 적어도 소정의 기준에 따를 경우 거의 연속적일 수 있는데, 그러한 사항은 예를 들면 카메라 수단(14, 15)의 동작 모드(비디오 이미징/뷰파인더 이미징 모드) 또는 카메라 수단(14, 15)의 검출 빈도에 의존할 수 있다. tit들(IMAGE1, IMAGE2)은 소정의 설정된 방법 및 설정된 부분들에서 상호 비교된다. 비교에 의하여 획득된 결과에 기반하여 장치(10)에 영향을 주는 변경(M) 또는 특히 설정된 고정 포인트에 대한 장치(10)의 자세 또는 위치의 변경(M)이 결정될 수 있다.
포인터 커서(13)를 이동시키기 위하여, 장치(10)는 여전히 키보드 성분(18) 및 종래의 조이스틱/네비게이션-타입의 키들을 포함할 수 있다는 점에 주의하여야 하는데, 이 경우에 이들은 예를 들어 적합하게 배열된 방향키들일 수 있다. 따라서, 카메라 수단(14) 및 종래의 네비게이션-키 장치에 기반한 동작 모드들은 대안적으로 제공되거나 심지어 동시에 제공될 수도 있다.
만일 사용자 인터페이스(GUI) 내의 포인터 커서(13)가 디스플레이(11) 상에 도시되며 카메라 수단(14)에 기반한 포인터 커서(13)의 제어 모드가 액티브 상태라면, 단말기(10) 전면에 현재 표시된 화면은 카메라 수단(14)에 의하여 검출됨으로써 그로부터 연속적인 이미지 정보(IMAGE1, IMAGE2)를 형성할 수 있다. 이러한 실시예에서, 카메라 수단(14)은 장치(10)의 배면에 위치하며, 따라서 디스플레이(11)의 반대쪽에 존재한다. 본 발명의 일 실시예에서, 제1 뷰파인더 샷인 IMAGE1이 센서(14)로부터 검출 및 캡쳐되는데, 예를 들면 주로 실시간 및 연속 비디오-정보 데이터 흐름(303)을 형성한다. 제1 뷰파인더 샷 IMAGE1은 소정의 설정된 방법으로 이미지-처리 체인(15)에서 분석됨으로써 그것으로부터 적어도 하나의 또는 수 개의 고정 포인트들이 검출될 수 있도록 하는데, 이러한 점은 예를 들면 고정 포인트(19.1)이며, 뷰파인더 샷 IMAGE1 내의 그들의 위치인 [X1, Y1]도 그것으로부터 역시 결정될 수 있다.
고정 포인트들의 선택 및 정의 동작은 상대적으로 자유롭게 수행될 수 있다. 언급할만한 일 실시예는 예를 들어 고정 포인트의 정의를 근처로부터 샷 IMAGE1의 중심점까지 정의하는 것인데, 이러한 정의는 장치(10)의 자세 또는 위치의 변경을 결정하기 위하여 수행되어야 하는 후속 촬영 샷 IMAGE2를 수행할 방향에 대한 명백한 정보가 없는 경우에 수행된다.
실제 고정 포인트는 또한 비교적 자유롭게 선택될 수 있다. 이것은 개별 객체, 모양, 또는 일부 객체로부터 식별될 수 있는 특징(feature)일 수 있다. 도 4에 도시된 실시예에서, 사용자는 책상을 이용하여 장치(10)를 조준(aim)함으로써, 수 개의 객체들이 샷 IMAGE1로부터 식별될 수 있다. 이러한 경우에, 종이(19)의 좌측 하단부 모서리(19.1)가 고정 포인트로서 선택된다.
그러면, 사용자가 디스플레이(11) 상의 포인터 커서(13)를 도 1a에 따른 포인트로부터 도 1b에 따른 포인트로 이동하고자 할 경우에, 즉, 사용자 인터페이스(GUI)의 중앙으로부터 아이콘(12.1)으로 이동시키고자 할 경우에는, 그들은 이동함으로써, 예를 들어 단말기 장치(10)를, 이미지 정보(IMAGE1, IMAGE2)들로부터 결정될 수 있으며 카메라 수단(14)에 의하여 검출될 수 있는 거의 실시간의 비디오-이미지 정보 내에 변경이 발생되도록 하는 방식으로 수직-수평 방향으로 방향 전환시킬 수 있다. 카메라 수단(14)을 방향 전환하는 동작, 또는 더 정확하게 말하면 조준(aiming)시키는 동작은, 예를 들면 디스플레이(11) 상의 포인터 커서(13)를 이동시키고자 하는 방향으로 이루어질 수 있다. 카메라 수단(14)은 설정된 이미징 빈도로써, 방향 전환의 결과로서 변경되는 화면을 검출하고 해당 화면으로부터 제2 샷 IMAGE2를 캡쳐할 수 있다(305). 그러면, 선택된 고정 포인트(19.1)는 제2 뷰파 인더 샷 IMAGE2로부터 검색되고 그 위치[X2, Y2]가 제2 샷 IMAGE2에서 결정된다(306).
그러면, 연산이 수행되고, 그 결과로 뷰파인더 샷들 (IMAGE1, IMAGE2) 간에 이동된 선택된 고정 포인트(19.1)의 이동(S)의 방향 및 크기가 결정될 수 있다. 이것은 요소(13)의 움직임 벡터 S'를 정의한다.
캡쳐된 제1 및 제2 뷰파인더 샷 (IMAGE1, IMAGE2)들을 단말기 장치(10)의 메모리(MEM)에 저장하고 그들을 프로세서(16) 내에 구현된 포인터 커서(13)의 위치를 결정하는 기능(17)을 위한 입력으로서 제공할 수 있다. 이러한 기능(17)은 메모리 수단(MEM) 내에 구현된 프로그램 코드의 형태로 구현될 수 있는데, 이들은 샷들 (IMAGE1, IMAGE2)을 상호 비교함으로써, 선택된 하나 또는 수 개의 고정 포인트(19.1)의 위치의 샷들 (IMAGE1, IMAGE2) 간에서의 변경(S)을 결정할 수 있다. 이러한 결과로부터, 장치(10)의 자세 또는 위치의 변경(M)이 검출될 수 있으며, 또는 장치(10)와 관련되어 구현되는 수 개의 다른 개선된 이미지-비교 알고리즘을 통하여 결정될 수 있다. 그러므로, 비교 동작은 매우 넓은 의미로 파악될 수 있으며 이들은 상이한 다양한 방법에 의하여 구현될 수 있고, 이러한 것은 절대로 후술되는 실시예들을 한정하는 것이 아니다. 뷰파인더 샷 (IMAGE1, IMAGE2)들 간의 움직임(S)은 또한 사용자 인터페이스(GUI) 내에서 움직임 벡터(S')로 직접적으로 스케일링될 수도 있다.
본 발명의 제1 실시예에 따르면, 비교 동작은 하나 또는 수 개의 이미지-인 식 알고리즘(17.1)을 이용하여 수행될 수 있다. 본 발명의 제2 실시예에 따르면, 장치(10)의 자세 또는 위치에 영향을 주는 변경(M)을 결정하기 위하여 광학 알고리즘(17.2)도 적용될 수 있다. 물론, 상이한 타입의 알고리즘들이 결합될 수 있다.
좀더 개선된 이미지 비교 및 광학적 데이터-흐름 분석 알고리즘(17.1, 17.2)의 몇 가지 예시들은 상세한 설명 섹션의 끝부분에 참조 문헌의 목록 내에 정렬된다. 예를 들어, 에지 검색과 같은 이미지-특징 추적 방법은 참조 문헌 [1] 내의 예시로서 설명되며, 색상-블로브(colour-blob) 정의 알고리즘들은 참조 문헌 [2]에 설명되며, 클러스터링에 기반한 타임-포커싱 컬러-세그먼트화 알고리즘들은 참조 문헌 [3]에 설명된다. 예시적인 알고리즘 중 몇 개는 로컬 강도 분포(local intensity distribution)에 대한 공간-시간적 변이(gradient)를 연산함으로써 이미지-데이터 흐름을 평가하는데, 이러한 경우는 참조 문헌 [4] 및 [5]에 언급된다. 당업자들이 이러한 알고리즘 및 방법들을 본 발명에 이용하는 것 자체는 극히 용이하다. 전술된 바와 같은, 이미지 비교에 기반한 고정 포인트 방법은 사실상 본 발명에 따른 기능성을 달성하기 위한 오직 하나의 가능한 실시예이다.
도 6a 내지 도 6c는 광학적 데이터-흐름 분석 알고리즘(17.2)에 기반한 본 발명의 솔루션에 적용되는 어플리케이션을 도시한다. 비교하면, 도면들은 동일한 이미지 프레임에 존재하는 두 개의 객체 요소들을 도시하며, 이들은 이제 초승달 모양으로 도시된다. 광학 데이터 흐름 해석 algorithms 17.2에 기초를 두는 솔루션의 발명에 애플리케이션을 보여준다. 객체 요소들인 고정 포인트(19.2, 19.3) 모두가 도시되며, 이들로부터 움직임 벡터의 방향이 용이하게 감지될 수 있다. 도 면에서, 실선으로 표시된 초승달 모양은 장치(10)의 자세 또는 위치의 변경이 발생되기 이전의 객체 요소이며, 점선으로 표시된 초승달 모양은 자세 또는 위치의 변경이 장치(10)에 영향을 미친 이후의 객체 요소이다.
광학적 데이터-흐름 분석 알고리즘(17.2)에 기반한 솔루션에서, 거의 실시간의 이미지 주기(image period)로부터 선택된 샷들 (IMAGE1, IMAGE2)은 소정의 선택된 방식으로 선택된 크기 및 모양을 가지는 세그먼트들(SEGMENT1, SEGMENT2)로 각각 나누어진다(단계 303 및 305). 세그먼트화가 이루어진 이후에, 그 조악함(coarseness)의 관점에서 도 6a 내지 도 6c에 단지 예로서 도시된 경우에서, 하나 또는 수 개의 움직임 벡터(SR, SL, SUp, SDown)들이 결정될 수 있으며, 이들은 장치(10)에 영향을 미치는 자세 또는 위치의 변에 비례하며 화면의 변경의 결과로서 나타나는 것으로서 샷들 (IMAGE1, IMAGE2)의 선택된 세그먼트들 중 적어도 일부로부터 결정될 수 있다(단계307). 장치(10)의 자세 또는 위치의 전체 변경(M)은 세그먼트들의 정의된 움직임 벡터(SR, SL, SUp, SDown)들 전부 또는 적어도 일부를 결합시킴으로써 결정될 수 있다.
도 6a에서, 전술된 방향에 따를 경우 장치(10)는 우측으로 방향 전환되었다. 그 결과로서, 정의된 이미지 세그먼트들의 모든 움직임 벡터(SR, SL)들이 우측으로 향한다. 움직임 벡터(SR, SL)들의 길이는 변경의 속도에 좌우되며, 즉, 이미지 프레임 (IMAGE1', IMAGE2') 내의 고정 포인트/세그먼트(19.2, 19.3) 내의 변경 속도에 의존한다.
전술된 바와 같은 사용자 인터페이스(GUI) 및 장치(10)의 어플리케이션의 제어에 대한 설명들은 2차원 실시예(도 5의 방향 4)의 경우를 고려한 것이다. 이러한 경우에, 장치(10)는 우측 및 좌측으로만 움직일 수 있는 것이 아니라 상-하 방향으로도 이동될 수 있으며 또는 이러한 방향들을 결합한 방향으로도 이동될 수 있다.
도 5에 도시된 일 군의 좌표 쌍들에 도시된 방향 정의 5에 따르면, 장치(10)는 가상의 회전축 주위를 따라서 반시계 방향으로도 틸팅될 수 있다. 도 6b를 참조하면, 이 경우에는 광학적 데이터-흐름 알고리즘이 적용되는데, 샷들 (IMAGE11, IMAGE21)의 우측 경계로부터 정의된 움직임 벡터(SR, SL)들은 이미지 프레임의 상향을 가리키며, 좌측을 향한 상부 경계 포인트로부터 정의된 움직임 벡터(SR) 및 하측 경계로부터 정의된 움직임 벡터(SL)는 우측을 가리킨다. 이것을 위한 다소 간소화된 제2 실시예는 카메라 센서(14)를 이용하여 이미지 객체의 지향성의 변경을 식별하는데, 예를 들어 넓은(landscape)/수평 방향 지향성으로부터 좁은(portrait)/수직 방향 지향성으로의 변경을 식별한다.
더 나아가, 도 5에 도시된 방향 정의 6에 따르면, 장치(10)는 사용자(O)로부터 멀어지거나, 사용자(O)에게 가깝도록 당겨질 수 있다. 장치(10)의 자세 또는 위치에 영향을 주는 변경(M)은 도 6c에 도시된 바와 같이 움직임 벡터(SUp, SDown)로부터 검출될 수 있으며, 이들은 이에 상응하여 장치(10)가 사용자에게 가까이 다가갈 경우 이미지 프레임의 중심점으로부터 멀어지도록 가리키거나, 장치(10)가 사용 자로부터 멀어지도록 이동될 경우 이미지 프레임의 중심을 향하여 이동될 수 있는데, 이것은 도 6c에 도시된 바와 같다. 또는, 이러한 동작을 구현하기 위한 더 간단한 실시예는, 장치(10)의 반대 면에 형성된 14가 사용자를 향하여 이동되고, 디스플레이(11)가 이미지 정보 (IMAGE1', IMAGE2') 내의 이미지 객체들의 확대 또는 축소를 식별하는데 이용되는 것인데, 이러한 확대/축소 동작은 장치(10)가 사용자를 향하여 또는 사용자로부터 이동되는 상응하는 움직임에 의하여 야기된다.
또한, 움직임 벡터(SR, SL, SUp, SDown)들 중 적어도 일부를 이용하여 소정의 설정된 방법으로 평균값이 정의될 수도 있다. 예를 들어, 이러한 동작을 통하여 사람 또는 자동차와 같은, 카메라 수단(14)에 의하여 검출되는 화면 내에 이동 객체들이 존재하는 경우에 유용하다. 이러한 상황에서는 움직임 벡터의 정의를 수행하는 동안에 다소의 오류가 야기될 수 있다. 그러나, 이러한 오류는 움직임 벡터를 선택 및/또는 평균화함으로써 제거될 수 있고, 또는 이동 객체들이 흔히 이미지 정보 (IMAGE1, IMAGE2) 내의 어떤 한정된 영역에서 발견된다는 사실에 기반하여 제거될 수 있다.
반면에, 움직임 벡터의 평균화 동작을 거치면 디스플레이(11) 내의 요소(13)의 위치 제어 정밀도가 향상될 수 있으며, 이것은 그 전체로서 디스플레이(11) 상에 도시된다. 요소(13)가 커서 또는 게임 캐릭터로서 동작할 경우, 그것을 제어하기 위하여는 특정 정밀도를 요구할 수 있으며, 이것은 콘텐츠가 많아서 디스플레이(11) 상에 그 전체로서 단번에 표시될 수 없는(예를 들면 맵 또는 웹사이트의 브 라우징 동작의 경우)의 경우에 본 발명을 적용할 때 이용된다.
전술된 바와 같은 실시예들은 그들의 알고리즘 측면에서는 현저하게 다를 수 있다.
움직임 (S) 및 프로세서 기능(16)에 의하여 정의된 그 속도는 단계 307에서 디스플레이(11) 및 사용자 인터페이스(GUI)에 디스플레이 되기에 적합하도록 적응되며, 이 경우 이들은 제어의 선택된 형태를 참조하여 수행될 수 있고, 움직임 (S')을 연산하는 방법도 소정의 방식으로 수행되고, 이러한 움직임(S')을 통하여 포인터 커서(13)가 설정된 만큼 상응하는 정도로 디스플레이(11) 상에서 이동되도록 한다. 그러면 다시 단계 302부터 반복될 수 있다.
제1 및 제2 뷰파인더 샷들 (IMAGE11, IMAGE21)의 이러한 다양한 처리 및 비교 및 따라서 포인터 커서(13)의 움직임(S')의 정의 동작은, 사용자에 의하여 의도된 단일 움직임 기간(movement interval) 동안에 수행될 수 있다. 그 결과 실시간으로 포인터 커서(13)가 부드럽게 이동될 수 있으며, 그 결과로서, 장치(10)에 영향을 미친 자세 또는 위치의 변경 시간 동안에, 사용자는 포인터 커서(13)의 움직임을 그들이 사용자 인터페이스(GUI)에서 원하는 수준까지 제어할 수 있으며, 이에 기반하여 장치(10)의 움직임 양 및 방향에 영향을 주는 정정 움직임(corrective movement)들을 수행할 수 있다. 또한, 이미지 비교 쌍의 후속하는 고정 포인트(19.1)가, 예를 들어 이전의 이미지 정보 비교 쌍의 제2 뷰파인더 샷(IMAGE2)으로부터 선택될 수 있다는 점이 이해되어야 한다. 따라서, 이전 및 이후의 비교 쌍은, 소정의 방식으로 상호간에 다소 중첩될 수 있다. 그 결과, 고정 포인트의 위 치 예측 동작이 가능해진다.
본 발명에 따른 장치(10) 내에 사용자 인터페이스(GUI)를 구현하는 방식 중 하나는, 도 7에 따르면 디스플레이(11) 상에 도시된 사용자 인터페이스(GUI)의 모서리 또는 경계에 어플리케이션 아이콘(12)을 배치하는 것이다. 그러면, 사용자는 그들이 원하는 어플리케이션을 활성화하도록 허용하는 방향으로 장치(10)를 방향 전환시킬 수 있다. 일반적인 수준에서, 이것은 장치(10)의 자세에 영향을 주는 변경에 상응한다. 개념적인 수준에서, 이러한 동작은 예를 들어 조이스틱 키를 이용하여 커서(13)를 제어하는 데에 상응한다.
본 발명의 일 실시예에 따르면, 어플리케이션의 활성화, 기능의 선택 및/또는 확인, 또는 게임 캐릭터의 이동(예를 들어 3차원 게임에서의 이동) 동작들은 또한 장치(10)의 자세 또는 위치를 변경시킴으로써 수행될 수 있다. 예를 들면, 이러한 동작은 사용자가 장치(10)를 자신들 스스로로부터 멀어지도록 밀어냄으로써 수행될 수 있다(도 5의 방향 6). 카메라 수단(14)을 관통하는 가상의 회전축에 대하여 장치(10)를 회전시키는 동작 역시 어플리케이션을 시작시키는 동작 또는 게임 캐릭터에게 영향을 주는 방향 전환(turn) 동작으로서 이해될 수 있다(도 5의 방향 5). 트리거 민감도(trigger sensitivity), 즉 장치(10)에 영향을 미치는 자세 또는 위치내의 원하는 변경 정도 및 속도는 이미지 정보 (IMAGE1, IMAGE2)로부터 정의되며, 이들은 예를 들어 사용자 인터페이스 세팅으로부터 사용자에 의하여 설정될 수 있다.
도 7은 본 발명이 적용될 수 있는 또 다른 어플리케이션을 도시한다. 텍스 트들 역시 본 발명에 의하여 입력될 수 있다. 이러한 경우에, 장치(10)의 디스플레이(11)에 대하여 구현된 예를 들어 가상 QWERTY 키보드(20)와 같은 문자의 콜렉션이 그 전체로서 디스플레이(11) 상에 표시될 수 있다. 커서(13)는 키보드(20) 상에서 이동될 수 있어야 하며, 그래야 현재 커서(13)의 위치에 상응하는 문자가 액티브된다. 캐릭터가 액티브 상태라는 것은, 예를 들면 상이한 시각적 표현을 이용하여 나타낼 수 있는데, 예를 들면 캐릭터의 주위를 감싸던가(framing), 다른 글자들과 다른 밝은 효과를 주는 것 등에 의하여 수행될 수 있다.
텍스트를 입력할 때, 사용자는 본 발명에 따른 방식으로 그들이 원하는 문자 상부에 포인터 커서(13)를 이동시키고 전술된 방법과 같은 방식으로 문자를 선택할 수 있는데, 예를 들면 장치(10)를 그들로부터 멀어지도록 밀어냄으로써 문자를 선택할 수 있다. 이러한 동작은, 예를 들어 문자가 편집 윈도우(23) 상에 나타나도록 야기하거나, 또는 사용자가 문자를 입력하고자하는 상응하는 어플리케이션 내에 나타나게 된다.
장치(10)의 위치의 변경(도 5의 방향 6)은 메뉴 브라우징 동작에도 적용될 수 있다. 이러한 경우에, 장치(10)는 예를 들어 사용자로부터 멀어지도록 이동될 수 있고, 따라서 사용자는 메뉴의 상부 방향 이동을 이에 따라서 수행할 수 있으며, 이 경우 장치(10)는 하향 움직임을 구현하기 위하여는 사용자에게 가깝도록 이동될 수 있다. 본 발명은 매우 폭넓은 적용 가능성을 가진다.
본 발명에 따른 방법에 따르면, 카메라 수단(14)이 검출 용도로서 이용되며, 예를 들어 연속적이거나 적어도 비디오 이미지 정보 흐름 중에 거의 연속적인 화면 들 내의 변경을 식별할 수 있으며, 이러한 검출 빈도는 종래 기술에 의한 비디오/뷰파인더 이미징 동작에 상응할 수 있다. 반면에, 검출 또는 처리 빈도는 또한 조절됨으로써 종래의 비디오 이미징 동작과 상이하도록 결정될 수 있다. 예를 들어, 검출되는 화면 및 장치(10)의 자세 또는 위치의 변경 속도가 허용한다면 빈도는 더 낮은 값으로 조절될 수 있다. 그러므로, 카메라 수단(14, 15)은 종래의 이미지 정보 형성 빈도와 비교할 때 실질적으로 더 낮은 빈도수에서 이미지 정보 (IMAGE1, IMAGE2)를 형성할 수 있다(예를 들어 초당 1 내지 5 프레임일 수 있는데, 이 속도는 초당 15 내지 30프레임보다는 낮은 것이다).
빈도를 낮추는 것은, 장치(10)의 조준 방향의 변경 또는 일반적으로 장치(10)의 자세 또는 위치의 변경이 상당히 낮은 속도로 이루어지기 때문에 이미지 정보의 낮은 변경률로 이루어진다는 것을 가정함으로써 가능해질 수 있다.
이러한 경우에, 뷰파인더 샷들(IMAGE1, IMAGE2, IMAGE1', IMAGE2')의 처리 및 비교 동작은 여전히 수행되어야 하며, 현재 선택된 고정 포인트들(19.1-19.3)은 여전히 제1 및 제2 뷰파인더 샷들(IMAGE1, IMAGE2, IMAGE1', IMAGE2')에서 발견될 수 있다. 반면에, 장치(10)의 자세 또는 위치 내의 낮은 변경률은 사용자 인터페이스(GUI) 내에서 발생되는 포인터 커서(13)의 후속 변경을 허용하기 위하여 바람직할 수 있는데, 그 이유는 고속으로 수행되는 장치(10)의 자세 또는 위치의 큰 변경이 이루어지더라도 사용자는 소형 디스플레이(11)에서 이루어지는 포인터 커서(13)의 고속 움직임을 반드시 관찰할 수 있는 것은 아니며, 이 경우 디스플레이(11) 상에 도시된 다른 이벤트들에 관심을 가질 수 있기 때문이다. 이와 같은 뷰파인더 샷 (IMAGE1, IMAGE2)의 낮은 검출 빈도는 무엇보다 전력 절감의 장점을 가지는데, 이러한 경우에는 카메라 수단(14)을 이용하여 수행된 검출 및 결정된 움직임(S')의 연산 모두가 뷰파인더 샷 (IMAGE1, IMAGE2)들을 형성한다.
더 나아가, 이처럼 검출 빈도가 낮으면, 장치(10)의 자세 또는 위치의 변경을 검출하는 센서(14)에 반드시 높은 품질의 디지털-이미징 성능을 요구하는 것이 아니며, 오히려 그 성능은 다소 품질이 낮아도 괜찮다. 이미지-처리 체인(15)은 밝기 조절 성능(lightened properties)을 포함할 수도 있다.
만일, 사용자 인터페이스(GUI)를 제어할 때 예를 들어 사용자가 걷는 동안에 장치(10)의 자세 또는 위치가 갑자기 변경될 수 있다면, 포인터 커서(13)는 카메라 수단(14)에 의하여 검출된 화면의 상응하는 변경에 따라서 디스플레이(11) 상에서 제어가 불가능할 정도로 이동할 수도 있다. 이러한 상황의 몇 가지 예를 들면, 예를 들어 걷는 리듬에 따라서 시간적으로 디스플레이(11)에서 옆으로 스윙하는 포인터 커서(13) 및/또는 정면으로 걸어갈 경우의 상향 및 하향 방향으로 이동하는 커서 때문에 카메라 수단(14)에 의하여 검출되는 화면이 경치가 변경되면서 변경되는 경우가 있다. 이러한 동작 환경을 해결하기 위하여, 원하는 순간에만 카메라 수단(14)의 정면에서 검출된 이미지 정보로부터 포인터 커서(13)에 영향을 끼치는 움직임(S')을 결정하는 소정의 기능이 포함될 수 있다.
이러한 기능을 구현하기 위한 다른 대안은, 포인터 커서(13)를 이동하고자 할 경우에 커서(13)가 원하는 지점에 도달할 때까지 키패드(18) 상에 적합하게 구현된 몇 개의 키가 눌러진 채로 유지되어야 하는 조건일 수 있다. 이러한 하부- 단계는 도 3에 도시된 흐름도에서 블록 302 및 303 사이에 위치할 수 있으며, 이 경우 해당 시점에 포인터 커서(13)를 이동하는 것이 필요한지 여부가 점검될 수 있다. 이러한 키의 예 중 하나는 선택/확인 키(YES) 또는 이와 유사한 키일 수 있다. 키가 연속적으로 눌려진 상태로 유지된다면, 변경되는 이미지 정보 내의 장치(10)의 자세 또는 위치의 변경의 결과로서, 카메라 수단(14)에 의하여 검출되는 변경에 관련된 디스플레이(11) 상에서 포인터 커서(13)가 이동된다. 포인터 커서(13)가 사용자 인터페이스(GUI)에서 원하는 지점에 도달하면, 키에 작용하는 압력이 완화되며, 따라서 그와 동시에 해당 선택을 확인하게 된다. 또한, 검출 주파수가 해당 시점의 상황에 상응하도록 증가될 수 있기 때문에, 검출 빈도는 움직임의 상태에 상응하여 역시 증가될 수 있다.
이미징 또는 처리 빈도를 조절하는 다른 기준은 해당 시점에서의 장치(10)의 전력 용량일 수 있으며, 이 경우에 전력 용량이 한정된 경우에 빈도수가 감소될 수 있다. 그러면, 사용자 인터페이스(GUI)의 사용자에게는 장치(10)의 자세 또는 위치가 제어되는 움직임을 이용하여 천천히 변경시켜야 하는 이유가 있다는 점이 통지될 수 있다.
일 실시예에 따르면, 고정 포인트들(19.1-19.3)의 선택 또는 일반적으로 화면 내의 요소(19)의 선택은, 뷰파인더 샷 (IMAGE1)으로부터 그들 중 더 많은 개수가 선택되도록 하는 방법으로 발생될 수 있으며, 예를 들어 디스플레이의 상이한 측면 및/또는 모서리로부터 선택되도록 수행될 수 있다. 그러면, 단일 고정 포인트만이 선택되고 및/또는 감소된 검출 주파수를 이용하는 경우에 비하여, 장치(10) 의 자세 또는 위치가 변경될 경우 선택된 고정 포인트(19.1-19.3)를 분실하기가 더 힘들어질 것이다.
또한, 연속적인 뷰파인더 샷들 (IMAGE11, IMAGE21)로부터 결정된 장치(10)의 움직임 방향에 대한 데이터는 고정 포인트(19)들의 선택을 위하여 이용될 수 있다. 그러면, 후속하는 이미지-정보 비교 쌍들의 고정 포인트(19.1-19.3)들은 장치(10)가 방향 전환된 뷰파인더 샷(IMAGE1)의 방향으로부터 선택되거나 예를 들어 사용자가 이동하는 방향으로부터 선택될 수 있다. 이를 통하여 고정 포인트(19)를 분실할 위험성을 더욱 감소시킬 수 있다.
전술된 바와 같은 어플리케이션들의 예들은 적어도 하나의 고정 포인트에 대한 장치(10)의 자세 또는 위치의 변경에 의하여 야기되는 이미징 정보를 관찰한다. 반면에, 장치(10)는 고정식으로 유지될 수 있으며 장치 전면에서 움직이는 제어된 변경 화면이 관찰됨으로써 요소 움직임을 형성할 수 있다. 이러한 경우에, 사용자는 예를 들어 한 손에 장치(10)를 쥔 채로 다른 손의 자세 또는 위치를 변경함으로써 장치(10) 및 카메라 수단(14) 전면에 그들이 원하는 기능을 형성할 수 있다. 이러한 경우에, 고정 지점(즉, 손)에 대한 장치(10)의 자세 또는 위치의 변경을 검출하고 이에 기반하여 포인터 커서(13)의 동작을 제어하기 위하여 몇 가지 적합한 알고리즘들이 이용될 수 있다.
도 8 내지 도 10은 본 발명의 다른 실시예를 도시한다. 도 8은 본 발명에 관련된 장치 어플리케이션을 도시하며 여기서 참조 번호 및 성분 표시는 도 2에 도시된 경우에 따른 경우와 거의 상응한다. 그러나, 이 경우에는 장치(10) 내에 적 어도 두 개의 카메라 유닛(14, 24)이 존재한다. 장치(10)의 배면으로 향하고 있는 카메라 유닛(14)에 더불어, 장치의 전면을 향하고 있는 카메라 유닛(24)도 존재한다. 이러한 카메라 유닛(24)은 일반적으로 화상 회의 어플리케이션(video-conferencing application)에서 이용되지만, 놀랍게도 본 발명에 따른 장치(10)의 기능을 제어하기 위하여도 이용될 수 있다. 장치(10)의 사용자를 조준하는 카메라(24)는 이미징 체인(15)과 데이터 전달을 가능하도록 연결되며, 이미징 체인(15)은 도 8에서는 설명의 간략화를 위하여 카메라 유닛(14, 24) 모두에게 공통되는 것으로 도시되었다. 본 발명에 따른 방법의 하부-단계로서, 전술된 도 3이 참조되는데, 이것은 두 개의 카메라 유닛(14, 24)에 적합하도록 직접적으로 편집될 수도 있다.
도 9는 두 개의 카메라 유닛(14, 24)들 모두가 이용되는 일 실시예를 도시한다. 이제, 장치(10)가 재조준되면, 이미지 내의 사용자의 위치는 전면 카메라(24)에 의하여 형성된 이미지 프레임 (IMAGE1'', IMAGE2'')들 사이에서 변경된다. 화살표(S')가 이러한 변경을 나타내며, 이것은 배면 카메라(14)에 의하여 검출된 위치의 변경(S)과 반대 방향을 향한다. 도시된 바와 같은 이미지들(IMAGE1, IMAGE2, IMAGE1'', IMAGE2'') 간의 관련성은 오직 예시적으로만 제공된 것임이 이해되어야 한다. 장치(10)의 자세 또는 위치가 변경되면, 이미지 프레임에서의 화면 내의 변경은 도 9에 도시된 것과 상이한 방식으로 발생할 수도 있다.
도 10은 정면으로부터 형성된 이미지 프레임(IMAGE1'', IMAGE2'')들의 현저히 간략화된 예시를 도시한다. 이러한 어플리케이션은 도 6a에 도시된 세그먼트화 실시예의 경우와 유사한데, 이것은 장치(10)가 좌측으로 방향 전환될 경우에 장치(10)의 배면으로부터 동시에 형성되는 이미지 정보를 나타낼 수 있다. 사용자의 실선은 이미지(IMAGE1'') 내의 이미지 주체를 도시하는 반면에 사용자의 점선은 이미지(IMAGE2'') 내의 이미지 주체(image subject)를 나타낸다. 그러나, 현재의 세그먼트(SEGMENT1', SEGMENT2')들의 방향 화살표(Sup', Sdown')들은 배면으로부터 형성된 화면에서의 방향과 반대가 된다. 본 발명에 따른 기능은 프로그램 코드(17) 내의 코드 수단(17.3)으로서 구현될 수 있다. 이것은 정면 및 배면 방향 화살표의 방향 및 크기를 해석하는데 이용되며, 결합된 효과가 원하는 제어 효과를 정의하기 위하여 선결된 방식으로 연산된다. 화상 회의 측의 카메라(24)의 이미지 특성 및 장치(10)의 배면에 구현된 카메라(14)의 이미지 특성들이 일반적으로 상호 다르기 때문에, 예를 들면 그들의 렌즈 군/이미지 영역들의 관점에서 다를 수 있기 때문에, 상이한 면에서 형성된 움직임 벡터들의 크기도 역시 상이하다. 하지만, 크기의 비율을 알 수 있으며, 이로부터 코드 수단(17.3)을 이용하여 커서 제어를 설명하는 움직임과 같은 스케일을 정의할 수 있다. 이러한 경우에, 사용자의 머리의 상부 및 r화상 회의 카메라(24)의 화면에서의 그의 목의 우측 경계가 고정 포인트(19.2', 19.3')로서 동작한다.
이러한 실시예에 때문에, 본 발명에 따른 방법의 정밀도는 두 개의 카메라 유닛(14, 24)들을 모두 이용함으로써 놀라운 정도로 개선될 수 있으며, 따라서 한 카메라(24)의 움직임 벡터(S')는 다른 카메라(14)의 움직임 벡터들에 대해 반대 방 향을 가리킬 수 있게 된다. 더 나아가, 카메라 유닛(14, 24)들의 성질들에서 발생할 수 있는 차이(이중 해상도, double definition)가 이러한 상황을 더욱 개선한다. 이것에 기반하여, 본 발명에 따른 방법의 기능성은 실질적으로 개선되며, 이것은 예를 들어 소형 디스플레이 상에 시각화된 요소들을 정밀 제어하기 위하여 매우 중요한 것이다.
도 5에 도시된 바와 같은 기본 방향 변화(4, 5, 6)와 다른, 디스플레이(11) 상에 나타나는 객체(13)의 움직임은, 도 5에 도시된 기본 방향들(4, 5, 6)의 변위 성분(displacement component)으로부터 결정될 수 있으며, 이들은 결합되어 장치(10)의 자세 또는 위치에 상응하는 최종 움직임 벡터를 형성한다.
본 발명은 장치(10)의 기능들을 손가락을 이용하지 않고 제어할 수 있도록 허용함으로써, 종래의 기술에 비하여 장갑을 낀 상태에서도 장치(10)를 용이하게 이용할 수 있도록 한다. 게임 어플리케이션들에서는 장치(10)의 자세 또는 위치의 변경에 기반한 제어 동작은 장치 효과들이 더욱 사실적으로 보이도록 할 수도 있다. 또한, 가속도 센서 또는 자세 센서(attitude sensor)와 같은 하드웨어 수준의 장치들이 더 이상 장치(10)에 필요하지 않기 때문에, 장치(10)의 제조 과정이 단순화되고 제조 비용도 절감된다.
장치(10)의 다중-차원 움직임을 이용함으로써 장치(10)의 동작에 대한 매우 편안하고 사실적인 제어를 수행할 수 있게 된다. 가장 최근의 사용자 인터페이스 개념들은 3차원 성질까지를 가지는데, 이들은 장치의 자세 또는 위치에 영향을 미치는 변경을 이용하여 용이하게 제어될 수 있다. 또한, 고급 기술이 적용된 센서 기술 및 이미지 분석 알고리즘을 적용하면 본 발명은 놀라우리만큼 다양한 제어 기능을 수행할 수 있도록 허용한다.
또한, 본 발명은 본 발명에 따른 방법을 구현하기 위한 프로그램 생성물(30)에 관련되는데, 이러한 프로그램 생성물(30)은 소정의 설정된 순서로 실행되는 명령들로서 전자 장치(10) 내에서 본 발명에 따른 방법의 기능성을 구현하는 코드들(17, 17.1, 17.2, 17.3)을 포함한다.
전술된 상세한 설명 및 관련된 도면들은 단지 본 발명을 예시하는 목적으로 제공된 것임이 이해되어야 한다. 특히, 요소(13)의 제어 동작의 정의 및 이미지 비교 방법들은 다수 개의 상이한 방법들로 선택 및 구현될 수 있다. 따라서, 본 발명은 개시된 실시예 또는 청구의 범위에 기술된 사항에 절대로 한정되는 것은 아니며, 본 발명의 많은 상이한 변형예 및 적응예들이 첨부된 청구의 범위에 정의된 바와 같은 본 발명의 진보적인 사상 및 기술적 범위 내에 포함될 수 있다는 점이 당업자들에게는 명백할 것이다.
참고 문헌:
[1] G. L. Foresti and V. Murino. Moving object recognition form an image sequence for autonomous driving. In V. Capellini, editor, TVIPMOR 4th International Workshop 1994, pages 383 - 390, Florence, Italy, 1994, Elsevier Science Amsterdam.
[2] B. Heisele and W. Ritter. Obstacle detection based on color blob flow. In Proc. Intelligent Vehicles Symposium, pages 282 - 286, Detroit, 1995.
[3] H. Heisele, U. Kressel, and W. Ritter. Tracking non-rigid moving objects based on color cluster flow. In Proc. Computer Vision and Pattern Recognition, pages 253 - 257, San Juan, 1997.
[4] B. Heisele. Motion-Based Object Detection and Tracking in Color Image Sequences. MIT, Cambridge.
[5] B. K. P. Horn and B. G. Schunck. Determining optical flow. Artificial Intelligence, 17:185 - 203, 1981.
본 발명은 이동국, 개인 휴대용 단말기(PDA), 및 디지털 카메라와 같은 휴대용 전자 장치들을 위한 다양한 고급 사용자 인터페이스에 적용될 수 있다.

Claims (17)

  1. 전자 장치(10)에 있어서,
    - 적어도 하나의 제어가능 요소(13)가 전체로서 시각화되도록 구현되는 디스플레이 성분(11)으로서, 상기 요소(13)의 제어는 상기 장치(10)의 적어도 하나의 선택된 고정 포인트들(19.1-19.3)에 대한 자세(attitude) 또는 위치에 관련된 변경(M)의 결정에 기반하도록 구현되는 디스플레이 성분(11); 및
    - 이미지 프레임들(IMAGE1, IMAGE2)을 형성하도록 구현되는 카메라 수단(14, 15, 24)을 포함하며,
    상기 장치(10)의 기능들을 제어함으로써 예를 들어 상기 요소(13)를 제어하기 위하여,
    상기 변경(M)은, 소정의 설정된 방법으로 상호 비교되도록 구현되며 상기 카메라 수단(14, 15, 24)에 의하여 형성된 상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 광학적 데이터-흐름 알고리즘(17.2)을 이용하여 결정되도록 구현되고,
    상기 변경(M)은 상기 비교에 기반하여 결정되도록 구현되며,
    상기 이미지 프레임(IMAGE1, IMAGE2)들은, 소정의 선택된 방법으로 세그먼트화되도록 구현되되, 상기 변경(M)을 정의하는 적어도 하나의 움직임 벡터(SR, SL, SUp, SDown)가 상기 세그먼트들(SEGMENT1, SEGMENT2) 중 적어도 일부로부터 결정되도록 구현되는 것을 특징으로 하는 장치(10).
  2. 제1항에 있어서,
    상기 카메라 수단은 상기 장치(10)의 반대 면들에 구현되는 적어도 두 개의 카메라 유닛(14, 24)을 포함하는 것을 특징으로 하는 장치(10).
  3. 제1항 또는 제2항에 있어서,
    적어도 하나의 고정 포인트(19.1-19.3)는 상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 결정되도록 구현되며,
    상기 고정 포인트에 대하여, 상기 변경(M)은 상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 결정된 위치 변경(s, SR, SL, SUp, SDown)으로부터 결정되도록 구현되는 것을 특징으로 하는 장치(10).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 움직임 벡터(SR, SL, SUp, SDown)들 중 적어도 일부의 이용하는 동작은, 그들의 평균값을 결정하도록 구현되는 것을 특징으로 하는 장치(10).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 변경(M)의 정의 빈도(definition frequency) / 상기 카메라 수단(14, 15, 24)의 이미징 빈도(imaging frequency)는 상기 장치(10)의 현재 동작 환경에 따라 조절 가능하도록 구현되는 것을 특징으로 하는 장치(10).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 카메라 수단(14, 15, 24)은, 통상의 형성 빈도(conventional formation frequency)와 비교하여 실질적으로 더 낮은 빈도로 이미지 프레임(IMAGE1, IMAGE2)들을 형성하도록 구현되는 것을 특징으로 하는 장치(10).
  7. 전자 장치(10)의 동작을 제어하기 위한 방법에 있어서,
    예를 들어, 전체로서 시각화되고 디스플레이 성분(11) 상에서 제어되도록 구현되는 적어도 하나의 요소(13)의 제어와 같은 상기 장치(10)의 동작은, 상기 장치(10)의 적어도 하나의 선택된 고정 포인트들(19.1-19.3)에 대한 자세 또는 위치에 관련된 변경(M)을 결정하는데 기반하고,
    카메라 수단(14, 15, 24)들은, 광학적 데이터-흐름 알고리즘(17.2)을 이용하여 상기 변경(M)을 결정하기 위하여 소정의 설정된 방법으로 상호 비교되는 이미지 프레임(IMAGE1, IMAGE2)들을 형성하기 위하여 이용되고,
    상기 비교에 기반하여 상기 변경(M)이 결정되도록 구현되며,
    상기 이미지 프레임(IMAGE1, IMAGE2)들은, 소정의 선택된 방법으로 세그먼트화되되, 상기 변경(M)을 정의하는 적어도 하나의 움직임 벡터(SR, SL, SUp, SDown)가 상기 세그먼트들(SEGMENT1, SEGMENT2) 중 적어도 일부에 대하여 결정되도록 세그먼 트화되는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 이미지 프레임(IMAGE1, IMAGE2)들은, 상기 장치(10)의 반대 면들에 구현되는 적어도 두 개의 카메라 유닛(14, 24)을 포함하는 카메라 수단을 이용하여 형성되는 것을 특징으로 하는 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 적어도 하나의 고정 포인트(19.1-19.3)가 정의되고,
    상기 고정 포인트에 대하여, 상기 변경(M)은 상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 결정된 위치의 변경(S, SR, SL, SUp, SDown)으로부터 결정되도록 구현되는 것을 특징으로 하는 방법.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 움직임 벡터(SR, SL, SUp, SDown)들 중 적어도 일부의 이용하는 동작은, 그들의 평균값을 결정하는 것을 특징으로 하는 방법.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    상기 변경(M)의 결정의 빈도(frequency of determining) / 상기 카메라 수단(14, 15, 24)의 이미징 빈도(imaging frequency)는 상기 장치(10)의 현재 동작 환경에 따라 조절 가능한 것을 특징으로 하는 방법.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    상기 이미지 프레임(IMAGE1, IMAGE2)들은 통상의 형성 빈도와 비교하여 실질적으로 더 낮은 빈도로 형성되는 것을 특징으로 하는 방법.
  13. 본 발명에 따른 전자 장치(10) 내에 적용되는 본 발명에 따른 방법을 구현하기 위한 프로그램 생성물(30)에 있어서,
    메모리 매체(MEM) 및 프로세서 수단(16)을 이용하여 실행되고 상기 메모리 매체(MEM) 상에 기록되기 위한 프로그램 코드(17)를 포함하고, 상기 프로그램 코드(17)는,
    예를 들어, 전체로서 시각화되고 디스플레이 성분(11) 상에서 제어되도록 구현되는 적어도 하나의 요소(13)의 제어와 같은 상기 장치(10)의 동작을, 상기 장치(10)의 적어도 하나의 선택된 고정 포인트들(19.1-19.3)에 대한 자세 또는 위치에 관련된 변경(M)을 정의하는데 기반하여 제어하도록 구현되고, 상기 프로그램 코드(17)는,
    - 광학적 데이터-흐름 알고리즘(17.2)을 이용하여 카메라 수단(14, 15, 24)으로부터 형성된 이미지 프레임(IMAGE1, IMAGE2)으로부터 상기 변경(M)을 결정하도 록 구성되는 코드 수단(17.2)을 포함하고, 상기 프로그램 코드(17)는,
    상기 이미지 프레임(IMAGE1, IMAGE2)들을 소정의 설정된 방법으로 상호 비교하도록 구성되고, 상기 비교에 기반하여, 상기 프로그램 코드(17)는,
    상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 선택된 고정 포인트들(19.1-19.3)에 대한 상기 장치(10)의 자세 또는 위치에 관련된 변경(M)을 결정하도록 구현되고, 상기 프로그램 코드(17)는 또한,
    소정의 선택된 방법으로 상기 이미지 프레임(IMAGE1, IMAGE2)들을 세그먼트화하도록 구성되고,
    상기 세그먼트(SEGMENT1, SEGMENT2)들 중 적어도 일부로부터, 상기 선택된 고정 포인트들(19.1-19.3)에 대한 상기 장치(10)의 자세 또는 위치에 관련되는 상기 변경(M)이 적어도 하나의 움직임 벡터(SR, SL, SUp, SDown)로서 결정되도록 구현되는 것을 특징으로 하는 프로그램 생성물(30).
  14. 제13항에 있어서, 상기 프로그램 코드(17)는,
    상기 장치(10)의 반대 면들에 구현되는 이미지 정보(IMAGE1, IMAGE2, IMAGE'', IMAGE'')를 분석하도록 구성되는 코드 수단(17.3)을 포함하는 것을 특징으로 하는 프로그램 생성물(30).
  15. 제13항 또는 제14항에 있어서, 상기 프로그램 코드(17)는,
    상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 적어도 하나의 고정 포인트(19.1-19.3)를 결정하도록 구성되는 코드 수단을 포함하고,
    상기 고정 포인트에 대하여, 상기 장치(10)의 적어도 하나의 선택된 고정 포인트들(19.1-19.3)에 대한 자세 또는 위치에 관련된 변경(M)은, 상기 이미지 프레임(IMAGE1, IMAGE2)들로부터 결정된 위치 변경(s, SR, SL, SUp, SDown)으로부터 결정되도록 구현되는 것을 특징으로 하는 프로그램 생성물(30).
  16. 제13항 내지 제15항 중 어느 한 항에 있어서, 상기 코드 수단(17)은,
    상기 움직임 벡터(SR, SL, SUp, SDown)들 중 적어도 일부를 이용하여 평균값을 결정하도록 구성되는 것을 특징으로 하는 프로그램 생성물(30).
  17. 제13항 내지 제16항 중 어느 한 항에 있어서, 상기 프로그램 코드(17)는,
    상기 장치(10)의 현재 동작 환경에 따라서 상기 변경(M)의 정의 빈도 / 상기 카메라 수단(14, 15, 24)의 이미징 빈도를 조절하기 위한 코드 수단을 포함하는 것을 특징으로 하는 프로그램 생성물(30).
KR1020077003657A 2004-08-17 2005-08-16 전자 장치의 기능을 제어하기 위한 전자 장치 및 방법 및상기 방법을 구현하기 위한 프로그램 생성물 KR100899610B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20045300A FI20045300A (fi) 2004-08-17 2004-08-17 Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
FI20045300 2004-08-17
PCT/FI2005/050292 WO2006018482A1 (en) 2004-08-17 2005-08-16 Electronic device and a method for controlling the functions of the electronic device as well as a program product for implementing the method

Publications (2)

Publication Number Publication Date
KR20070035082A true KR20070035082A (ko) 2007-03-29
KR100899610B1 KR100899610B1 (ko) 2009-05-27

Family

ID=32922164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077003657A KR100899610B1 (ko) 2004-08-17 2005-08-16 전자 장치의 기능을 제어하기 위한 전자 장치 및 방법 및상기 방법을 구현하기 위한 프로그램 생성물

Country Status (6)

Country Link
US (3) US8970490B2 (ko)
EP (2) EP2650759A3 (ko)
KR (1) KR100899610B1 (ko)
CN (1) CN100478857C (ko)
FI (1) FI20045300A (ko)
WO (1) WO2006018482A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139275A (ko) * 2014-04-17 2020-12-11 이베이 인크. 패션 선호도 분석 기법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129249A2 (en) * 2005-05-31 2006-12-07 Philips Intellectual Property & Standards Gmbh Method for control of a device
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
FR2898007B1 (fr) * 2006-02-27 2008-09-19 Sagem Comm Procede d'adaptation de l'interface homme/machine d'un telephone et telephone selon le procede
US8004493B2 (en) * 2007-06-08 2011-08-23 Apple Inc. Methods and systems for providing sensory information to devices and peripherals
US8669938B2 (en) * 2007-11-20 2014-03-11 Naturalpoint, Inc. Approach for offset motion-based control of a computer
KR101417808B1 (ko) * 2007-12-06 2014-07-09 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8269842B2 (en) 2008-06-11 2012-09-18 Nokia Corporation Camera gestures for user interface control
US8760269B2 (en) * 2010-09-14 2014-06-24 Crestron Electronics Inc. Control system for augmenting a portable touch screen device
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
CN102915219A (zh) * 2011-08-01 2013-02-06 联咏科技股份有限公司 动态检测方法及显示装置
CN103105854B (zh) * 2012-01-19 2015-08-05 河南工业大学 基于隐性控件的云台操控系统及方法
GB2507963A (en) * 2012-11-14 2014-05-21 Renergy Sarl Controlling a Graphical User Interface
KR101509869B1 (ko) * 2012-12-31 2015-04-07 현대자동차주식회사 디스플레이 연동 시스템 및 방법
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10643373B2 (en) * 2017-06-19 2020-05-05 Apple Inc. Augmented reality interface for interacting with displayed maps
JP2019057840A (ja) * 2017-09-21 2019-04-11 トヨタ自動車株式会社 撮像装置
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5786804A (en) 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US6298144B1 (en) * 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
US6738041B2 (en) * 1999-10-29 2004-05-18 Intel Corporation Using video information to control cursor position
US6654483B1 (en) 1999-12-22 2003-11-25 Intel Corporation Motion detection using normal optical flow
US7187412B1 (en) 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
JP3603737B2 (ja) 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
DE60238109D1 (de) * 2001-02-19 2010-12-09 Honda Motor Co Ltd Automatisches Zielerkennen mittels Vorlagenvergleich
US6798429B2 (en) 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
EP1257111A1 (de) 2001-05-08 2002-11-13 Siemens Schweiz AG Mobiles Terminal mit rückseitig angeordnetem Bedienfeld
US6765555B2 (en) * 2001-11-07 2004-07-20 Omnivision Technologies, Inc. Passive optical mouse using image sensor with optional dual mode capability
JP2003288161A (ja) * 2002-03-28 2003-10-10 Nec Corp 携帯機器
US7177445B2 (en) * 2002-04-16 2007-02-13 Koninklijke Philips Electronics N.V. Discriminating between changes in lighting and movement of objects in a series of images using different methods depending on optically detectable surface characteristics
JP2004021870A (ja) 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 視線入力機能付携帯電話
JP3851601B2 (ja) * 2002-09-27 2006-11-29 富士写真フイルム株式会社 携帯端末装置
US6995748B2 (en) 2003-01-07 2006-02-07 Agilent Technologies, Inc. Apparatus for controlling a screen pointer with a frame rate based on velocity
WO2004066615A1 (en) 2003-01-22 2004-08-05 Nokia Corporation Image control
US7359713B1 (en) * 2003-02-28 2008-04-15 Trimble Navigation Limited Battery consumption optimization for mobile users
US7267942B2 (en) 2003-03-24 2007-09-11 The University Of Hong Kong Diagnostic assay for the human virus causing severe acute respiratory syndrome (SARS)
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
BRPI0606477A2 (pt) * 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139275A (ko) * 2014-04-17 2020-12-11 이베이 인크. 패션 선호도 분석 기법
US11599929B2 (en) 2014-04-17 2023-03-07 Ebay Inc. Fashion preference analysis

Also Published As

Publication number Publication date
US20080297474A1 (en) 2008-12-04
US20150138090A1 (en) 2015-05-21
US10126834B2 (en) 2018-11-13
EP1779227B1 (en) 2013-07-03
CN101006414A (zh) 2007-07-25
FI20045300A (fi) 2006-02-18
EP2650759A2 (en) 2013-10-16
CN100478857C (zh) 2009-04-15
EP1779227A1 (en) 2007-05-02
WO2006018482A1 (en) 2006-02-23
US10768714B2 (en) 2020-09-08
FI20045300A0 (fi) 2004-08-17
US8970490B2 (en) 2015-03-03
EP2650759A3 (en) 2014-01-29
US20190121448A1 (en) 2019-04-25
KR100899610B1 (ko) 2009-05-27
EP1779227A4 (en) 2011-06-22

Similar Documents

Publication Publication Date Title
KR100899610B1 (ko) 전자 장치의 기능을 제어하기 위한 전자 장치 및 방법 및상기 방법을 구현하기 위한 프로그램 생성물
JP6031071B2 (ja) 自然なジェスチャに基づくユーザ・インターフェース方法及びシステム
US9740297B2 (en) Motion-based character selection
JP6264370B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20090153468A1 (en) Virtual Interface System
KR101608423B1 (ko) 모바일 디바이스상의 풀 3d 상호작용
JP2009140368A (ja) 入力装置、表示装置、入力方法、表示方法及びプログラム
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US20230017694A1 (en) Method and apparatus for controlling interface display, device, and storage medium
EP4307096A1 (en) Key function execution method, apparatus and device, and storage medium
KR102224932B1 (ko) 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법
CN113168281B (zh) 计算机可读介质、电子装置和方法
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
US9898183B1 (en) Motions for object rendering and selection
JP6999822B2 (ja) 端末装置および端末装置の制御方法
CN102902468A (zh) 移动终端地图浏览方法和装置
López et al. Multimodal sensing-based camera applications
TW201931096A (zh) 用於使用者介面之互動方法及電子裝置
Lópeza et al. Multimodal sensing-based camera applications
Hachet et al. 3DOF elastic control on mobile devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140508

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee