KR20060057639A - 사용자인터페이스를 제어하기 위한 방법 및 장치, 대응기기, 및 방법을 구현하기 위한 소프트웨어 기기들 - Google Patents

사용자인터페이스를 제어하기 위한 방법 및 장치, 대응기기, 및 방법을 구현하기 위한 소프트웨어 기기들 Download PDF

Info

Publication number
KR20060057639A
KR20060057639A KR1020067006378A KR20067006378A KR20060057639A KR 20060057639 A KR20060057639 A KR 20060057639A KR 1020067006378 A KR1020067006378 A KR 1020067006378A KR 20067006378 A KR20067006378 A KR 20067006378A KR 20060057639 A KR20060057639 A KR 20060057639A
Authority
KR
South Korea
Prior art keywords
orientation
display
info
information
imagex
Prior art date
Application number
KR1020067006378A
Other languages
English (en)
Inventor
세이주 팔라이르
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20060057639A publication Critical patent/KR20060057639A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명은 디스플레이(20) 상에 사용자(21)를 위해 보인 정보(INFO)로서 목표 방위(Oitgt)를 가지는 정보(INFO)의 방위(Oinfo)를 제어하기 위한 방법이다. 이 방법에서, 디스플레이(20)의 방위(Odisplay)는 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)에 대해 정해지며, 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)가 목표 방위(Oitgt)와 다르다면, 방위 변경(ΔO)이 이행되고, 이 변경의 결과로서 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)는 목표 방위(Oitgt)에 대응하게 이루어진다. 디스플레이(20)의 방위(Odisplay)는 디스플레이(20)에 동작적으로 연결된 카메라수단(11)을 이용함으로써 설정방식에서 간격을 두고 정해진다.
디스플레이, 정보, 목표방위, 피사체, 사용자, 카메라, 방위 변경

Description

사용자인터페이스를 제어하기 위한 방법 및 장치, 대응 기기, 및 방법을 구현하기 위한 소프트웨어 기기들{Method and system for controlling a user interface, a corresponding device, and software devices for implementing the method}
본 발명은 디스플레이를 이용하여 적어도 하나의 사용자에게 보이며 목표 방위를 가지는 정보의 방위를 디스플레이에 대해 제어하기 위한 방법으로서,
- 디스플레이의 방위는, 영상정보를 형성하기 위해 디스플레이에 동작적으로 연결된 카메라수단을 이용하여 디스플레이 상에 보이며 하나 이상의 선택된 특징들을 찾기 위해 및 영상정보에서의 그것/그것들의 방위를 정하기 위해 분석되는 정보의 방위에 대해 정의되고,
- 디스플레이 상에 보인 정보의 방위가 그것을 위해 설정된 목표 방위와 다르다면, 방위 변경이 구현되고, 이 변경의 결과로서 디스플레이 상에 보인 정보의 방위는 목표 방위에 대응하게 되는 방법에 관한 것이다.
더구나, 본 발명은 이 방법을 구현하기 위한 시스템, 대응 기기, 및 소프트웨어 기기들에도 관한 것이다.
예를 들면, 각종 멀티미디어 및 화상회의 기능들이 오늘날 이동국들 및 PDA(Personal Digital Assistant) 기기들과 같이(하지만 기기의 다른 형태들을 배제하지는 않음) 디스플레이 부품을 구비한 휴대형 기기들로부터 알려져 있다. 이러한 휴대형 기기는 그것에 연결된 카메라수단을 가지므로, 사용자는 기기의 디스플레이 상에 보이는 정보를 관찰하는 한편, 동시에, 상대방으로서 그를 나타낼 수도 있다(예를 들면, 화상 회의에서).
예를 들면, 전술한 특성의 사용에 연결되는 어떤 상황들(하지만 다른 상황들을 배제하지는 않음)에서, 사용자는 동작(예를 들면 비디오칩을 볼 때, 또는 회의 상황 등) 중간에 디스플레이 부품의 방위를 통상의 방위, 예를 들면, 세로방위로부터 어떤 다른 방위, 예를 들면, 가로방위로 변경하는 것을 소망할 수 있다. 무엇보다도 이러한 특성의 비약적 발전 때문에, 디스플레이 상에 보인 정보의 방위를 정하는 동작에 대한 필요는 상당히 증대될 것이다.
전술한 바에 더하여, 최근의 이동국 모델들 중의 일부는 다른 동작 방위의 대체물들로서 알려져 있다. 전통적인 세로방향 기기구조 외에도, 기기는 가로방향으로 향해 있을 수도 있다. 그 경우, 기기의 키보드는 방위의 변경에 적합하게 될 수도 있다. 디스플레이들은 세로 및 가로 치수들 간에 영향이 있는 차이를 가질 수도 있고, 그래서 임의의 시간에 가장 적합한 디스플레이 위치를 찾을 때, 디스플레이의 가로/세로 방위 간을 변경할 필요가 생기게 된다.
차의 운전과 같은 특수한 상황들은 그러한 배향의 적합화를 요구하는 상황의 또다른 예이다. 운전할 때, 이동국은 운전자에 대해 불편한 위치에, 예를 들면 차의 계기판에 붙어있을 경우가 있다. 그 경우, 적어도 더 큰 사용자 친화성을 추구 할 때에는 운전자와 이동국의 상호 위치를 정할 때에 보인 정보를 채택하는 것이 바람직할 것이다. 실용상, 이것은 디스플레이 상에 보이는 정보를 운전자에 대해 가능한 한 적당히 배향을 맞추는 것이 바람직할 것임을, 즉, 전통적인 세로배향 또는 가로배향 대신 어떤 각도로 보일 수 있다는 것을 뜻한다.
종래기술을 이용하여 직각배향과는 다른 방위 변경을 달성하는 것은 실용상 불가능하다. 이러한 상황에서, 종래기술을 이용하여 그 작업을 성취하는 것은 특히 그 경우 방위 변경이 종래기술에 의하면 디스플레이를 위해 설정된 기준점에 대해 디스플레이의 방위 변경을 검출하는 기기를 위한 것은 아니라는 사실 때문에 더 방해받는다.
기기와 특히 그것의 디스플레이 부품을 다시 배향하기 위한 종래기술을 대표하는 하나의 제1해법은 기기의 메뉴 설정들로부터 기기의 디스플레이에 보이는 정보의 방위 변경을 수행하는 것이다. 그 경우, 기기의 디스플레이 부품의 방위는 예를 들면 설정방식에서 정해진 세로방향 디스플레이(예를 들면, 디스플레이의 좁은 측면(변)들은 관람자에 대해 디스플레이의 상단 및 바닥 가장자리들에 있음)로부터 설정방식에서 정해진 가로방향 디스플레이(예를 들면, 디스플레이의 좁은 측면들은 관람자에 대해 디스플레이의 좌측 및 우측에 있음)로 변경될 수 있다.
메뉴 설정들로부터 수행되는 방위 변경은 소망된 작업을 달성하는 항목을 찾기 전에 메뉴 계층구성을 깊숙이 힘들여서 읽는 것을 사용자에게 요구할 수 있다. 그러나, 예를 들면, 멀티미디어 클립을 보거나 화상회의에 참석하는 중간에 이 작업을 수행해야만 하는 것은 결코 사용자 친화적이지 않다. 더구나, 메뉴 설정으로 행해진 방위 변경은 이전에 미리 설정한 정보의 방위 변경들로 제한될 수 있다. 이것의 예들로는 이를테면 디스플레이 상에 보인 정보의 방위를 90도와 180도의 각도들을 통해서만 변경하는 능력이다.
게다가, 전술한 작업에 관련한 문제들을 해소하고 예를 들면 그것을 완전히 자동으로 수행하기도 위한 수많은 더욱 발전한 해법들은, 종래기술에서 알려져 있다. 이러한 해법들의 일부 예들은 각종 각도/경사(tilt) 프로브들/센서들/스위치들, 리미트스위치들, 가속센서들, 및 플랩(flap)개방용 센서들을 들 수 있다. 이것들은 기계적으로 또는 전기적으로, 또는 양자의 결합들로서도 구현될 수 있다. 경사/각도 측정에 기초한 기기 해법들에서, 기기와 특히 그것의 디스플레이 부품의 방위는 설정기준점에 대해 정해진다. 그것들의 동작원리가 중력 효과에 기초하므로 기준점은 지구이다.
이것들에 관련한 하나의 참고문헌은 설명 중에 기기에 위치된 마이크로기계 틸트 계측기가 이용됨이 개시되어 있는 WO 공개 제01/43473호(TELBIRD LTD)이다.
그러나, 기계적 및 반-기계적 센서 해법들은 예를 들면 휴대형 기기들에 구현하는 것이 곤란하다. 그것들은 기기들의 제조비용을 증가시키고 그래서 그것들의 소비자가격도 증가시킨다. 더구나, 그것들의 사용은 파손된 센서를 교체할 보람이 없는 것에 관련하여, 또는 가능한 어떤 경우들에서도, 기기들에서 높은 직접도 때문에 항상 어떤 파손 위험을 불러 일으킨다.
전기기계형 센서의 동작은 기기의 특정 배향 위치들에서 불확실할 수도 있다. 또한 더구나, 비선형 특성이 이러한 해법들의 방위의 정의들에 관련된다고 말 해질 수도 있다. 이것의 예는 기기/디스플레이의 배향을 묘사하는 신호가 사인곡선의 형상을 가지는 경사측정이다.
위에서 설명된 센서 해법들이 예를 들면 휴대형 기기들에 구현하기 어렵고 불편하다는 사실 외에도, 그것들은 방위가 정해지는 설정기준점(지구)에 대해 기기의 방위의 물리적 변경을 거의 항상 요구한다. 예를 들면, 차를 운전할 때, 이 기기의 용자가 이동국의 디스플레이에 대해 그리고 디스플레이 상에 보인 정보에 대해 불편한 위치에 있다면, 위에서 설명된 센서 해법들은 이 상황에 어떤 방법으로도 반응할 수 없을 것이다. 또한 메뉴 설정으로부터 행해진 방위 변경은, 고정된 량이므로, 그러한 상황에서, 동작 상황을 고려하는 적당한 방식으로 정보를 배향하기 위한 해법을 제공할 수 없을 것이다. 기기의 방위가 예를 들면 고정된 그러한 상황들에서는, 사용자들이 그들의 머리를 계속 경사지게 유지하는 것이 더욱 적합지만, 이것은 기기를 사용하는데 유쾌하지도 편리하지도 않다.
디스플레이의 방위가 디스플레이에 동작적으로 접속하여 배치된 카메라수단을 이용하여 만들어진 영상정보로부터 정해지는 해법이 국제(PCT)특허공보 WO-01/88679(Mathengime PLC)로부터 알려져 있다. 예를 들면, 기기를 이용하는 사람의 머리는 영상정보로부터 찾아질 수 있고, 더 상세하게는, 그/그녀의 '눈 선(eye ine)'은 영상정보 내에서 정해질 수 있다. 이 공보에 개시된 해법은 일반적으로 한 사람을 위한 것인 3차원 가상응용들을 주로 강조한다. 예를 들면 이동국들이 예를 들면 비디오클립들을 보기 위해 이용될 때와 같은 경우처럼, 몇몇 사람이 기기 근처에 있다면, 디스플레이의 방위를 정하는 기능성은 디스플레이가 있을 위치를 더 이상 결정할 수 없다. 게다가, 예를 들면, 3차원 응용들의 '실시간성(real-timeness)'이 배향 정의가 본래 연속적으로 이루어져야 함을 요구한다. 그 결과, 영상정보는 예를 들면 뷰파인터 영상에서 이용하는 검출 빈도로 계속 검출되어야 한다. 그 결과, 영상정보로부터의 연속적인 영상화 및 방향 정의는 막대한 량의 기기 자원들을 소비한다. 본래 연속적인 영상화는 공지의 영상화 주파수로 수행되는 것으로, 기기의 소비전력에 상당한 영향을 준다.
본 발명은 디스플레이 상에 보인 정보의 배향(orientation)을 제어하기 위한 새로운 유형의 방법 및 시스템을 만드는 것을 의도하고 있다. 본 발명에 따른 방법의 독특한 특징들은 첨부의 청구항 1에 언급되고 있고 청구항 8의 시스템에서도 언급되고 있다. 더구나, 본 발명은 독특한 특징들이 청구항 13에서 언급되고 있고 대응하는 기기와, 상기 방법을 구현하기 위한 것으로서 그 독특한 특징들이 청구항 17에서 언급되고 있는 소프트웨어 기기들에도 관련된다.
본 발명은 디스플레이 상에서 적어도 하나의 사용자에게 보이는 정보의 배향을 제어하여 사용자에 대해 정보가 항상 올바르게 배향되게끔 하는 것을 특징으로 한다. 이를 구현하기 위해, 카메라수단은 디스플레이에, 또는 일반적으로, 이 디스플레이를 구비한 기기에 연결되고, 이 카메라수단은 디스플레이의 방위를 정하기 위한 영상정보를 생성하는데 이용된다. 디스플레이의 방위는 예를 들면 영상정보의 영상피사체(image subject)로부터 선택된 고정점에 대해 정해질 수 있다. 일단 디스플레이의 방위가 알려진다면, 이것에 기초하여 하나 이상의 사용자들에 대해 디스플레이 상에 보인 정보를 적절히 배향시키는 것이 가능하다.
일 실시예에 의하면, 방법에서, 기기의 적어도 하나의 사용자는 예를 들면 카메라수단에 의해 영상화되는 사람은 놀랍게도 영상정보의 영상피사체로서 선택될 수 있다. 이 영상정보는 적어도 한 사용자의 얼굴특징이 되는 것이 바람직할 수 있는 하나 또는 몇몇의 선택된 특징들을 영상피사체로부터 찾기 위해 분석된다. 일 실시예에 따라 예를 들면 적어도 한 사용자의 '눈 위치들(eye points)'과 그것들로 형성된 '눈 선(eye line)'이 될 수 있는 선택된 특징들이 일단 발견된다면, 적어도 한 사람의 디스플레이 부품에 대한 방위는 정해질 수 있다.
그 후, 예를 들면, 정해진 기준점에 대한, 즉, 예를 들면 사용자에 대한 디스플레이 부품의 방위는 영상정보 내의 특징의 방위로부터 정해질 수 있다. 정해진 기준점에 대한 또는 일반적으로 디스플레이 상에 보인 정보의 방위에 대한 디스플레이 부품의 방위가 일단 알려진다면, 그것은, 적어도 한 사용자에 대해, 디스플레이 부품 상에 보인 정보를 배향시키기 위한 근거로서 적절히 사용될 수도 있다.
일 실시예에 의하면, 디스플레이 부품의 배향의 상태는 설정된 방식으로 간격을 두고 정해질 수 있다. 이런 식으로 배향을 연속적으로 정하는 것이 필수적이진 않지만, 확실히 그것은 가능하다. 그러나, 이것은 기존의 뷰파인더/비디오 영상화에서보다 낮은 검출 빈도로 수행될 수 있다. 이러한 간격을 둔 방위 정의의 사용은 무엇보다도 기기의 전류소비와 그것의 일반 처리전력을 절약할 수 있고, 본 발명에 따른 방법의 응용은 합리적이지 않는 부하를 어떤 식으로도 걸지 않는다.
간격을 둔 배향 결정이 예를 들어 일 실시예에 따라 1~5초마다 한 번, 바람직하게는 2~3초 간격으로 결정이 행해지는 식으로 수행된다면, 그러한 불연속적인 인식은 이 방법의 운용성 또는 이 기기를 사용함에서 오는 편안함에 실질적으로 영향을 주지 않을 것이고, 대신에 정보의 배향은 적당히 빠른 페이스로 디스플레이 부품의 배향에 여전히 계속 적합하게 될 것이다. 그러나, 이 방법으로부터 생겨나는 소비전력의 절약은 예를 들면 뷰파인더 영상화와 같은 계속적인 영상화와 비교해 볼 때 극적이다.
예를 들면 눈 위치들과 같은 얼굴특징들을 찾기 위해 그리고 영상정보로부터 눈 위치들로부터 정해지는 눈 선을 정하기 위해 영상정보를 분석하는데 이용되는 많은 수의 알고리즘들은 얼굴특징 알고리즘들의 기술분야에서 알려져 있지만, 그것들의 선택은 본 발명에 따르는 방법으로 결코 한정되지는 않는다. 더구나, 영상정보에서, 영상정보로부터 발견된 영상피사체의 배향과 디스플레이 부품상에 보인 정보에 기초한 배향의 결정은, 다수의 다른 알고리즘들 및 기준배향/기준점의 선택들을 이용하여 수행될 수 있다.
본 발명에 따른 방법, 시스템 및 소프트웨어 기기들은 일 실시예에 따른 휴대형일 수 있는 현존하는 기기들과 현재 설계된 기기들 모두에 비교적 간단히 통합될 수 있다. 방법은 순전히 소프트웨어 수준에서 구현될 수 있으나, 한편으로는, 하드웨어 수준에서도 구현될 수 있거나, 소프트웨어 및 하드웨어의 결합으로서 구현될 수도 있다. 하지만, 가장 바람직한 방식의 구현예는 순전히 소프트웨어 구현물이라고 여겨지는데, 그 경우, 예를 들면, 종래기술에서 나타난 메커니즘들이 완전히 없애지고 그래서 기기의 제조비용과 그러므로 가격도 저감될 수 있기 때문이다.
본 발명에 따른 해법은 예를 들면 기기들의 처리 전력 또는 기억 동작과는 현저히 간섭하는 정도까지 카메라수단을 구비한 기기의 복잡도를 증가시키지 일을 거의 하지 않는다.
본 발명에 따른 방법, 시스템, 기기, 및 소프트웨어 기기들의 다른 특징들은 첨부의 청구범위로부터 명백할 것이지만 달성될 수 있는 부가적인 이점들은 실시예 설명부분에서 조목조목 기재한다.
다음으로, 본 발명에 따른 방법, 시스템, 기기, 및 이 방법을 구현하기 위한 소프트웨어 기기들은, 다음에 개시된 실시예들로 한정되지는 않으나, 첨부 도면들을 참조하여 매우 상세히 설명된다.
도 1은 휴대형 기기에 구성된 본 발명에 따른 시스템의 일 예의 개략도를 보이며,
도 2는 본 발명에 따른 방법의 일 예의 흐름도를 보이며,
도 3a~3d는 본 발명에 따른 방법의 제1실시예를 보이고,
도 4a 및 4b는 본 발명에 따른 방법의 제2실시예를 보인다.
도 1은 다음에서는 이동국의 실시예의 형태로 그려져 있는 본 발명에 따른 시스템의 일 예를 휴대형 기기(10) 내에 보이고 있다. 본 발명에 따른 방법 및 시스템이 적용될 수 있는 휴대형 핸드헬드 기기들의 범주는 매우 광범위함에 주의해 야 한다. 이러한 휴대형 기기의 다른 예들로는 PDA형 기기(예를 들면, 팜, 바이저(Vizor)), 팜컴퓨터, 스마트폰, 휴대형 게임콘솔, 뮤직플레이어기기, 및 디지털카메라가 있다. 그러나, 본 발명에 따른 기기들은 영상정보(IMAGEx)를 만드는 카메라수단(11)을 구비하거나 또는 이 카메라수단에 그것들에 어떻게 해서든지 부착할 수 있다는 공통 특징을 가진다. 이 기기는 고정식으로 배치되고 예를 들면 마이크로폰 부품에 의해 담화자가 인식되는 화상회의 장비가 될 수도 있다.
도 1에 보인 이동국(10)은 본 발명에 관하여 무관한 송신기/수신기 부품(15)과 같은 그것의 부품들 그 자체가 알려져 있어 그에 관해 더 상세하게 설명할 필요가 없는 유형의 것일 수 있다. 이동국(10)은 디지털 영상화 체인(11)을 구비하고, 이 디지털 영상화 체인은, 렌즈들을 가지며 그 자체가 알려져 있는 카메라센서 수단(11.1)과 그 자체가 알려진 유형의 영상처리체인(11.2)를 구비하며, 영상처리체인은 디지털 정지 및/또는 비디오 영상정보(IMAGEx)를 처리하고 생성하도록 구성된다.
카메라센서(11.1)를 구비한 실제의 물리적 전체는 기기(10)에 영구적으로 끼워맞춤(fit)될 수 있거나, 또는 일반적으로, 기기(10)의 디스플레이(20)에 연결되거나 분리될 수 있다. 더구나, 카메라센서(11.1)는 겨냥될 수 있을 수도 있다. 일 실시예에 의하면, 카메라센서(11.1)는 기기(10)의 적어도 한 사용자(21)를 겨냥하거나, 또는 그 사용자를 겨낭할 수 있도록 구성된다. 이동국들의 경우, 디스플레이(20)와 카메라센서(11.1)는 기기(10)의 동일 측면에 놓일 것이다.
기기(10)의 동작들은 처리부(DSP/CPU)(17)를 이용하여 제어될 수 있고, 이 처리부에 의해 무엇보다도 기기(10)의 사용자인터페이스(GUI; 18)가 제어된다. 게다가, 사용자인터페이스(18)는 디스플레이구동기(19)를 제어하는데 이용되고, 디스플레이구동기는 물리적인 디스플레이부품(20)의 동작과 디스플레이부품에 보인 정보(INFO)의 처리를 제어한다. 더구나 기기(10)는 키보드(16)를 구비할 수도 있다.
이 방법을 허용하는 각종 기능부들은 본 발명에 따른 방법을 구현하기 위해 기기(10)에 구성된다. 영상정보(IMAGEx)를 위해 선택된 분석알고리즘 기능부(12)는 영상처리체인(11.2)에 연결된다. 일 실시예에 의하면, 분석알고리즘 기능부(12)는 하나 이상의 선택된 특징들(24)이 영상정보(IMAGEx)로부터 탐색되는 유형으로 될 수 있다.
카메라센서(11.1)가 이 방법에 관하여 적절히 겨냥한다면, 즉 기기(10)의 디스플레이(20)를 검사하는 적어도 한 사용자(21)를 겨냥한다면, 적어도 사용자(21)의 머리(22)는 통상 카메라센서(11.1)에 의해 만들어진 영상정보(IMAGEx)에서 영상피사체가 될 것이다. 그러면 선택된 얼굴특징들은 사용자(21)의 머리(22)에서 탐색되어 하나 이상의 선택된 특징들(24) 또는 그것들의 조합들이 탐색될 수 있거나 정해질 수 있다.
이러한 얼굴특징의 하나의 제1예는 사용자(21)의 눈 위치들(23.1 23.2)이 될 수 있다. 다수의 다른 필터링 알고리즘들이 존재하고 그로 인해 사용자(21)의 눈 위치들(23.1, 23.2), 또는 눈 위치들에 있는 눈들조차도 식별될 수 있다. 눈 위치들(23.1, 23.2)은 예를 들면 선택된 비선형 필터링 알고리즘(12)을 이용하여 식별될 수 있고, 이것에 의해 양 눈의 위치들에 있는 골(valley)들이 발견될 수 있다.
게다가, 기기(10)는, 실시예에 따르는 경우, 카메라수단(11.1)에 의해 만들어진 영상정보(IMAGEx)에서, 눈 위치들(23.1, 23.2), 일반적으로는 그것들이 형성하는 특징 이 경우 눈 선(24)의 방위(Oeyeline)를 식별하기 위한 기능부(13)를 구비한다. 이 기능부(13)에 뒤따르는 기능부(14)에 의해 디스플레이(20)에 보인 정보(INFO)는 영상정보(IMAGEx)로부터 식별된 특징(24)의 방위(Oeyeline)에 따라 배향될 수 있고, 그래서 각각의 현재의 동작상황에 적합하게 될 수 있다. 이것은 디스플레이(20)의 배향(Oeyeline)이 영상정보(IMAGEx) 내의 특징(24)의 방위(Oeyeline)로부터 식별될 수 있고 그러면 디스플레이(20)에 의해 보인 정보는 사용자(21)에 관하여 적합하게 배향될 수 있다는 것을 뜻한다.
배향 기능부(14)는 사용자인터페이스(GUI)의 테스크들을 다루는 대응하는 기능부(18)를 직접 제어하는데 이용될 수 있고, 이 대응하는 기능부는 기기(10)의 디스플레이(20)에 대해 정해진 방위(Oeyeline)에 따라 정보(INFO)를 배향시키는 대응하는 적응동작을 수행한다.
도 2는 본 발명에 따른 예의 흐름도를 보이고 있다. 기기(10)의 디스플레이 부품(20) 상의 정보(INFO)의 배향은 기기(10)의 동작절차들로 자동화될 수 있다. 한편, 그것은 옵션적으로 설정될 수 있는 동작이 될 수도 있고, 그래서 예를 들면 기기(10)의 사용자인터페이스(GUI; 18)로부터 적당한 방식으로 기동될 수 있다. 게다가, 이 기동(activation)은 예를 들면 화상회의 또는 멀티미디어 기능들의 기동에 관련한 것과 같이 기기(10)의 사용자에 관련한 어떤 특정 동작단계에 연결될 수 도 있다.
본 발명에 따른 방법이 기기(10)에서 활성화될 때(단계 200), 디지털 영상(IMAGEx)은 카메라센서(11.1)에 의해 연속적으로 또는 정해진 간격으로 포획된다(단계 201). 카메라센서(11.1)가 기기(10)의 사용자(21) 쪽을 겨냥하도록 앞서 위에서 설명한 방식으로 바람직하게 구성되기 때문에, 카메라센서가 만든 영상정보(IMAGEx)의 영상의 피사체는 예를 들면 적어도 한 사용자(21)의 머리(22)이다. 이 때문에, 예를 들면, 사용자(21)의 머리(22)는, 일 실시예에 따라, 디스플레이(20) 및 정보(INFO)의 각각의 배향상태를 사용자(21)에 대해 정할 때 기준점으로서 설정될 수 있다. 그래서, 디스플레이 부품(20) 및 이것이 보여주는 정보(INFO)의 방위들(Odisplay, Oinfo)은 사용자(21)의 머리(22)의 방위에 대해 정해질 수 있고, 머리(22)의 방위는 설정된 방식으로 정해진 영상정보(IMAGEx)의 방위(Oeyeline)에 대해, 선택된 특징(24)의 방위(Oeyeline)를 설정방식으로 정함으로써 얻어진다.
다음으로, 영상정보(IMAGE1, IMAGE2)는 기능부(12)를 이용하여 영상피사체(22)로부터 하나 이상의 특징들(24)을 찾기 위해 분석된다(단계 202). 특징(24)은 예를 들면 기하적일 수 있다. 분석은 예를 들면 하나 이상의 선택된 얼굴특징 분석 알고리즘들을 이용하여 행해질 수 있다. 대충, 얼굴특징 분석은 예를 들면 눈, 코, 및 입 위치들을 영상정보(IMAGEx)로부터 정할 수 있는 하나의 절차이다.
실시예들에 보인 경우들에서, 이 선택된 특징은 사용자(21)의 눈 위치들(23.1, 23.2)에 의해 형성된 눈 선(24)이다. 다른 가능한 특징들은, 예를 들면, 사용자(21)의 머리(22)에 의해 형성되는 기하회전영상(geometric rotation image)(예를 들면, 타원)일 수 있고, 이것으로부터 선택된 기준점(22)의 방위가 매우 명확히 식별될 수 있다. 게다가, 얼굴에서 발견되는 콧구멍들은 식별용 특징으로서 선택될 수도 있고, 콧구멍들에 의해 정해지는 콧망울, 또는 입, 또는 이러한 특징들의 어떤 조합이 식별용 특징으로서 선택될 수도 있다. 그래서 식별하려는 특징들을 선택하는 다수의 방식이 있다.
얼굴특징분석부(12)를 구현하는 하나의 방법은 얼굴의 이러한 특정 지점들에서는 깊은 골들(얼굴의 나머지에 비해 그늘진 어두운 영역들로 보임)이 형성되고 그것들은 휘도값들에 기초하여 식별될 수도 있다는 사실에 기초한다. 그래서 골들의 위치는 소프트웨어 필터링을 이용하여 영상정보(IMAGEx)로부터 검출될 수 있다. 비선형 필터링이 얼굴특징들의 결정의 전처리단계에서 골들을 식별하는데 이용될 수도 있다 얼굴특징 분석에 관련한 일부 예들은 상세한 설명의 끝에서 참고문헌 [1] 및 [2]로 주어진다. 이 기술분야의 숙련자에게는, 본 발명에 따른 방법에 관련하여 얼굴특징 분석을 구현하는 것이 명백한 절차적인 작업이고, 그러므로 이에 관해 더 상세히 설명할 이유는 없다.
일단 선택된 얼굴특징들(23.1, 23.2)이 영상정보(IMAGEx)로부터 발견되었다면, 다음 단계는 기능부(13)를 이용하여 영상정보(IMAGEx)에 대해 그것들의 방위(Oeyeline)를 정하는 것이다(단계 203).
영상정보(IMAGEx)에서 특징(24)의 방위(Oeyeline)가 일단 정해진다면, 그것으 로부터 기준점, 즉 영상피사체(22)이고 그래서 사용자(21)의 머리(22)인 기준점에 대한 디스플레이 부품(20)의 방위(Odisplay)를 결정하는 것이 설정된 방식에서 가능하다. 당연히, 이것은 선택된 기준점들에, 그것들의 정해진 특징들에, 그리고 그것들의 방위들에 의존하고, 일반적으로는 선택된 배향 방향들에 의존한다.
목표 방위(Oitgt)는, 디스플레이(20)의 방위(Odisplay)에 따라 가장 적당한 방식으로 디스플레이(20)에 대해 정보(INFO)를 배향시키기 위해, 선택된 기준점(22)에 관해 디스플레이(20)에 보인 정보(INFO)를 위해 설정된다. 이 목표 방위(Oitgt)는 디스플레이 부품(20) 및 정보(INFO)의 방위들(Odisplay, Oinfo)을 정하는 기준점(22)에 따라 고정될 수 있고, 그 경우 목표 방위(Oitgt)는 기기(10)의 사용자(21)의 머리(22)의 기기(10)에 대한 방위에 해당한다.
게다가, 선택된 기준점(22)에 대해 디스플레이(20)의 방위(Odisplay)가 일단 알려지면, 디스플레이(20)에 보인 정보(INFO)의 방위(Oinfo)를 선택된 기준점(22)에 대해 결정하는 것도 가능하다. 이것은 기기(10)의 디스플레이(20) 상에서의 정보(INFO)의 방위(Oinfo)가 기기(10)의 디스플레이(20)를 제어하는 기능부들(18, 19)에 항상 알려질 수 있게 한다.
단계 204에서 비교동작이 수행된다. 디스플레이 부품(20)에 보인 정보(INFO)의 선택된 기준점(22)에 대한 배향(Oinfo)가 그것을 위해 설정된 목표 방위(Oitgt)로 부터 설정방식에서 다르다면, 그 경우 방위 변경(ΔO)이 디스플레이 부품(20)에 보인 정보(INFO)에 대해 수행된다. 다음으로, 요구된 방위 변경(ΔO)을 정하는 것이 가능하다(단계 205). 이 변경의 결과로서, 디스플레이 부품(20)에 보인 정보(INFO)의 방위(Oinfo)는 선택된 기준점(22)에 대해 그것을 위해 설정된 목표 방위(Oitgt)에 대응하게 이루어진다(단계 206).
그 설정에 따라, 정보(INFO)의 방위(Oinfo) 및 정보(INFO)의 목표 방위(Oitgt) 사이에 차이가 없다면, 디스플레이(20)에 보인 정보(INFO)의 방위(Oinfo)는 적절하게 된다. 즉, 이 경우, 사용자(21)의 눈 선(24)에 직각으로 배향된다. 이것을 확정한 후, 가능한 지연단계(단계 207)(나중에 설명됨) 뒤에, 단계 201로 되돌아가서, 사용자(21) 및 기기(10)의 디스플레이 부품(20) 사이의 방위 관계를 조사하기 위해, 새로운 영상정보(IMAGEx)가 포획하는 것이 가능하다. 정보(INFO)의 방위에서 그 설정에 따른 차이는, 예를 들면, 사용자(21)의 눈 선(24)이 머리(22)의 세로방위에 정확히 직각이 아닌 상황(즉, 눈들이 머리의 단면에 대해 약간 다른 높이에 있음)으로 정의될 수 있지만, 디스플레이 부품(20)에 의해 보인 정보(INFO)를 재 배향하는 대책들을 아직은 요구하지는 않는다.
다음은 도 3과 4의 실시예들을 참조하여 본 발명에 따른 방법에 이용되는 배향 알고리즘의 C-의사코드 예를 매우 일반적인 수준에서 설명한다. 본 발명에 따른 시스템에서, 이러한 소프트웨어 구현은 예를 들면 기능부(14) 내에 있을 수 있고, 그것에 의해 디스플레이(20)의 방위 설정 테스크들은 자동으로 다루어진다. 실시예 들에서, 세로 및 가로 방위들만이 다루어진다. 그러나, 이 기술의 숙련자에게는 코드를 다른 방위들에 적용하고 디스플레이 부품(20)의 배향방향들(수평 시계방향, 수평 반시계방향 및 수직 정규/수직 업다운)을 선택된 기준점(22)에 대해 고려하는 것도 자명할 것이다.
처음에는, 방위들을 제어하는데 필요한 일부 방위 고정용 선택들이 코드에서 다음과 같이 이루어질 수 있다:
if(Oimage == 세로방향) -> Odisplay = 세로방향;
if(Oimage == 가로방향) -> Odisplay = 가로방향;
도 3a ~4b를 참조하면, 그러한 정의들 후에, 카메라(11.1)가 영상정보(IMAGE1)를 포획하기 위해 이용되었고 영상정보(IMAGE1)가 세로방향(초상화) 위치에 있다면, 기기(10) 역시 선택된 기준점, 즉 , 이 경우 사용자(21)의 머리(22)에 대해 세로방향 위치에 있다. 마찬가지로, 영상정보(IMAGE2)가 가로방향(풍경화) 위치로 있다면, 설정된 방위 고정용 정의들에 기초하여 기기(10) 역시 선택된 기준점(22)에 대해 가로방향 위치에 있다.
다음으로, 어떤 초기화 정의들이 다음과 같이 만들어질 수 있다:
set Oitgt, Oinfo = 세로방향;
이러한 초기화 정의들 후, 선택된 기준점(22)에 대해 디스플레이(20)에 보인 정보(INFO)의 목표 방위(Oitgt)는 세로방향이고, 이는 정보(INFO)의 방위(Oinfo)의 초기설정과도 같다.
다음으로, 카메라수단(11; 11.1)을 이용하여, (i) 영상정보(IMAGEx)가 포획되며, (ii) 영상정보(IMAGEx)는 분석되어 선택된 기하 특징(24)이 찾아지고 (iii) 그것의 영상정보(IMAGEx) 내에서의 배향(Oeyeline)가 정해진다:
(i) capture_image(IMAGE);
(ii) detect_eyepoints(IMAGE);
(iii) detect_eyeline(IMAGE, eyepoints);
다음 단계로서, 카메라(11.1)에 의해 포획된 영상정보(IMAGEx)(x = 1 - 3)로부터 정해진 선택된 기하 특징(24)의 방위(Oeyeline)를 영상정보의 방위(Oimage) 정의들에 대해 검사하고, 이것에 기초하여, 선택된 기준점(22)에 관하여 디스플레이(20)에 보인 정보(INFO)의 방위(Oinfo)에 대해 변경 동작들을 하는 것이 가능하다. 설명된 2단계 실시예의 견지에서, 디스플레이(20)의 방위(Odisplay)는 이제 선택된 기준점, 즉 사용자(21)에 대해 세로방향 또는 가로방향이 될 수 있다. 실시예의 제1단계에서, 다음을 조사하는 것이 가능하다:
If((Oeyeline ┻ Oimage) && (Odisplay != Oinfo)) {
set_orientation(Odisplay, Oinfo, Oitgt);
}
달리 말하면, 이 단계는 코드의 초기 단계에서 행해진 초기 정의들 때문에 그리고 기준점(22)의 선택된 기하 특징(24)의 배향 특성 때문에 그 상황은 도 3a에 보인 것이 됨을 나타낸다. 이 경우, 기기(10)와, 정해진 방위 정의 때문에, 그것의 디스플레이 부품(20)은, 사용자에 대해 세로방향이다. 카메라수단(11; 11.1)이 기기(10)의 사용자(21)의 영상(IMAGE1)을 세로방향 위치에서 포획하는데 이용될 때, (또한 초기 설정 시에 행해진 영상(IMAGE1)의 배향 정의로 인해) 영상(IMAGE1)에서 발견되는 사용자(21)의 눈 선(24)의 배향(Oeyeline)는 영상(IMAGE1)의 방위(Oimage)에 대해 직각이다.
그러나, 이 경우, 후자의 조건 검사는 유효하지 않다. 이것은, 행해진 방위 설정으로 인해, 영상(IMAGE1)의 방위(Oimage)가 세로방향인 것으로 식별되고, 그 결과로서 초기화 단계에서 이미 행해진 정의는 Odisplay가 기준점(22)에 대해 수직하다는 것이기 때문이다. 이러한 결론에 관하여, 정보(INFO)의 방위(Oinfo)가 초기단계에서 기준점(22)에 대해 세로방향인 것으로서 초기화되었다는 사실을 받아들인다면, 후자의 조건 검사는 유효하지 않고, 정보(INFO)는 올바른 배향으로, 즉, 선택된 기준점(22)에 대해 세로방향으로 디스플레이 부품(20)에 이미 표시되고 있다.
그러나, 이 조건 검사 단계가 도 3d에 보인 상황에 적용되는 경우, 그 경우에 후자의 조건 검사 역시 유효하다. 도 3d에서, 기기(10)는 도 3c에 보인 가로방향 위치(여기서 정보(INFO)의 방위(Oinfo)는 사용자(21)에 대해 정정되어 있음)로부터 사용자(21)에 대해 세로방향 위치로 바뀌어 간다. 이것의 결과로서, 사용자(21)에 대해 디스플레이(20)에 보인 정보(INFO)의 배향(Oinfo)는 여전히 가로방향이다. 즉, 그것은 목표 방위(Oitgt)와는 다르다. 이제 조건검사의 후자의 조건 역시 참인데, 디스플레이(20)의 방위(Odisplay)가 정보(INFO)의 방위(Oinfo)로부터 설정방식에서 다르기 때문이다. 그 결과로서, 정보에 관한 배향 절차는 디스플레이(20)에 대해 반복되는데(set_orientation), 그것의 수행은 이 기술분야의 숙련자에게는 자명할 것이므로 상세히 설명하는 것은 불필요하다. 이 동작의 결과로서, 도 3a에 보인 상황에 도달된다.
절차는 또한 제2 조건 검사 단계를 구비하며, 이 단계는 예를 들면 이전에 행해진 초기설정선택들과 조정들에 기초하여 다음과 같이 형성될 수 있다:
If((Oeyeline || Oimage) && (Odisplay == Oinfo)) {
set_orientation(Odisplay, Oinfo, Oitgt);
}
이것은 예를 들면 도 3b에 보인 상황을 다루는데 이용될 수 있다. 이 경우 기기(10)와 동시에 그것의 디스플레이(20) 역시, 사용자(21)에 대해, 도 3a에 보인 세로방향 위치에서부터 가로방향 위치로(세로방향 -> 가로방향) 회전된다. 이 방위 변경의 결과로서, 디스플레이(20)에 보인 정보(INFO)는 사용자(21)에 대해 가로방향으로 배향된다. 즉, 그것은 이제 잘못된 위치에 있게 된다.
이제 영상(IMAGE2)에서 사용자(21)의 눈 선(24)의 방위(Oeyeline)가 초기 설정에서 정해진 영상 방위(Oimage)에 평행한지가 If 구역에서 검출된다. 이로부터, (만 들어진 초기설정들에 기초하여) 기기(10)의 디스플레이 부품(20)이 사용자(21)에 대해 가로방향에 있다는 것이 추론될 수 있다. 게다가, If 구역에서 후자의 조건을 검사할 때, 기준점, 즉 사용자(21)에 대한 디스플레이(20)의 방향은 가로방향이고 디스플레이(20)에 보인 정보(INFO)에 평행하다는 것을 알아챌 수 있다. 이것은 정보(INFO)가 그것을 위해 설정된 목표 방위(Oitgt)에 있지 않고 그러므로 배향 절차(set_orientation)는 정보(INFO)를 위해 디스플레이(20) 상에서 수행되어야 한다는 것을 뜻한다. 그러나, 이것은 상세히 설명되지는 않는데, 그것의 이행이 이 기술분야의 숙련자에게는 자명하고 디스플레이 구동기 엔티티(19)에서 다수의 다른 방법들로 수행될 수 있기 때문이다. 이 경우, 최종 결과는 도 3c에 보인 상황이다.
게다가, 직각 배향만이 변경되는(초상화/풍경화) 다른 것의 검사가 도입되는 일 실시예에 의하면, 기기(10)의 디스플레이 부품(20)만이 그러한 증가하게 변하는 배향들을 지원한다면 도 4a 및 4b는 그러한 실시예에 관련한 상황의 예를 보인다. 일 실시예에 의하면, 이것은 예를 들면 다음과 같은 방식으로 의사코드 레벨로 표현될 수 있다:
define_orientation_degree(Oimage, Oeyeline)
대략, 이 절차(그러나, 상세하게 설명되지는 않음)에서, 눈 선의 회전도(α)는 예를 들면 선택된 영상(IMAGE3)의 방위(Oimage)(초상화/풍경화)에 대해 정해질 수 있다. 이로부터 사용자(21)의 위치를 기기(10)에 대해 그래서 디스플레이(21)에 대해서도 확인하는 것이 가능하다. 요구된 방위 변경은, 앞서의 단계들에서와 동일하 지만 예를 들면, 영상 방위(Oimage) 및 기하 특징(24)의 방위(Oeyeline) 사이의 다수의 각도들을 가능한 부가적인 매개변수로서 가지는 원리를 이용하여 수행될 수 있다.
하나 더의 최종 단계로서, 절차에는 지연간격이 있을 수 있다:
delay(2초);
그 후 영상획득 단계(capture_image)로의 되돌아감이 행해질 수 있다.
몇몇 사람들이 디스플레이(20)에 보인 정보(INFO)를 검사하는 기기(10) 근처에 있다면, 몇몇 얼굴들이 영상정보(IMAGEx)에서 발견될 수 있다. 그 경우, 영상정보(IMAGEx)로부터 예를 들면 얼굴들의 및 결과적으로 얼굴들로부터 정해진 눈 선들(24)의 평균 방위를 정하는 것이 가능할 것이다. 이것은 디스플레이(20)의 방위(Odisplay)를 정하는 특징에 대응하게 설정된다. 이 평균 특징(24)의 방위(Oeyeline)에 기초하여, 디스플레이(20)의 방위(Odisplay)는 정해질 수 있고, 그것에 기초하여, 정보(INFO)는 디스플레이(20) 상에서 적당한 위치로 배향될 수 있다. 다른 가능성은, 디스플레이(20)의 방위가 기능부를 이용하여 명시적으로 정해지지 않는다면, 디스플레이(20) 상의 정보(INFO)를 예를 들면 디폴트 방위로 배향시키는 것이다.
영상정보(IMAGEx)로부터 기준점(22)에 대해 기기(10)의 디스플레이(20)의 현재 방위(Odisplay)를 식별하는 위의 예는 예시에 불과하다는 점에 주의해야 한다. 각종 영상정보 분석알고리즘들, 및 그것들로 정해진 객체들의 식별들 및 조작들은 이 기술분야의 숙련자에게는 자명할 것이다. 더구나, 디지털 영상 처리 시, 영상정보에 풍경화/초상화 배향 방식을 적용할 필요가 반드시 있는 것은 아니고, 대신에 센 서(11.1)에 의해 생성된 영상정보(IMAGEx)는 모든 방향들에서 동등하게 '넓게' 될 수 있다. 그 경우, 영상센서(11.1)의 한 측면이 기준측면으로서 선택될 수 있고, 그 기준측면에 대해 디스플레이 부품(20) 및 선택된 특징(24)의 방위들이 정해질 수 있다.
일반적으로 디스플레이(20)에 보인 정보(INFO)에 관련하여 디스플레이(20)의 방위(Odisplay)를 정하는 것이면 충분하다. 디스플레이(20)의 방위(Odisplay)가 정해질 수 있고 디스플레이(20)에 관련하여 디스플레이(20)에 보인 정보(INFO)의 현재 방위(Oinfo)가 알려진다면, 그 결과로 그것을 위해 설정된 목표 방위(Oitgt)에 관련하여 정보(INFO)의 방위(Oinfo)는 최종적으로 결정될 수 있다. 그래서, 본 발명에 따른 방법은 위에서 설명된 바와 같이 생각하는 기준점 방식을 이용할 필요가 있게끔 적용될 수도 있다.
이 때문에, 카메라센서(11.1)에 의해 생성된 영상정보(IMAGEx)로부터 선택된 특징의 방위를 정하기 위한 더욱 고도로 발전된 해법들은 이 기술분야의 숙련자에게 자명할 것이고, 그래서 그것들은 예를 들면 센서매트릭스(11.1)의 좌표로부터 방위의 식별에 기초할 수 있다.
앞서 미리 언급된 바와 같이, 기기(10)의 디스플레이 부품(20)의 방위의 식별을 본질적으로 연속적으로 수행하는 대신에, 식별은 간격을 두는 설정 방식으로 행해질 수도 있다. 일 실시예에 의하면, 방위의 식별은 1~5초 간격, 예를 들면 2~4초 간격, 바람직하게는 2~3초 간격으로 수행될 수 있다.
간격의 이용은 많은 다른 기능부들에 적용될 수도 있다. 제1실시예에 의하면, 그것은 프로세서(17)의 클록주파수로 묶일 수 있거나, 또는 제2실시예에 의하면 멀티미디어 클립의 감상(viewing)에 묶일 수 있거나, 또는 화상회의 기능성에 묶일 수 있다. 앞선 동작 상황들은 간격의 이용에 영향을 줄 수도 있고, 그래서 기기(10)를 이용하는 중간에 변경될 수도 있다. 기기(10)가 장시간 동일 방위에서 이용되어 왔고 그리고 그것의 방위가 갑자기 바뀐다면, 방위 정의의 빈도는 증가하는데, 앞선 장기간의 방위로의 복귀가 곧 일어날 수도 있기 때문이다.
영상정보(IMAGEx) 및/또는 방위의 검출을 이용하여 수행되는, 이러한 어느 정도 지연되거나 또는 그렇지 않으면 덜 빈번한 배향 수행의 이용은 실용적으로는 기기(10)의 유용성에 상당히 불이익을 준다. 대신에, 예를 들면, 카메라수단(11.1)의 연속검출 주파수(빈도)보다 덜 빈번한 간격들로 영상화 및/또는 검출을 이용하여 수행되는 그러한 영상화 및/또는 검출은 예를 들면 연속하는 뷰파인더 또는 비디오 영상화 시에 이용되는 영상화주파수들(예를 들면, 15~30프레임/초)에 비교하여 예를 들면 전류소비가 낮다는 이점을 달성한다.
개별적인 프레임 획득 또는 실질적으로 덜 빈번한 연속 검출(예를 들면, 1~5(10) 프레임/초) 대신에, 알려진 주파수들에서의 그 자체의 연속하는 영상화는 예를 들면 설정된 시간간격으로 덜 빈번하게 수행될 수 있다. 그래서, 종래기술에 따른 영상화는 예를 들면 2~4초의 전술한 주기에서 1초마다 수행된다. 한편, 단일 주기에서 몇 개의 영상프레임들의 포획이 고려될 수도 있다. 그러나, 분석하려는 영상정보(IMAGEx)를 형성하기에 적합하도록 카메라 매개변수들을 조절하기 위해, 어쩌면 적어도 몇 개의 영상프레임들이 단일 영상화 세션에 요구될 수도 있다.
또다른 부가적인 이점으로서, 기기(10)의 다른 동작들을 위한 기기 자원들(DSP/CPU)의 절약이 달성된다. 그래서, 기기 자원들(DSP/CPU)의 30~95%, 예를 들면 50~80%이지만 바람직하게는 90%보다 적은(80%보다 많음) 전력의 프로세서가 방위 정의/영상화를 위해 예비해 둘 수 있다. 덜 빈번한 간격으로 수행되는 이러한 정의는 제한된 처리 능력 및 전력 용량이 특징이 되는 예를 들면 이동국들 및 디지털 카메라들과 같은 휴대형 기기들의 경우에 특히 중요하다.
위의 설명 및 관련 도면들이 본 발명을 예시하는 의도만임이 이해되어야 한다. 그래서 본 발명은 위에서 설명된 실시예들로만, 또는 청구범위에 언급된 것들로 결코 한정되지 않고, 대신에 첨부의 청구범위에서 정해진 발명의 아이디어의 범위 내에서 가능한 본 발명의 많은 다른 변형들 및 개조들이 이 기술분야의 숙련자에게는 자명할 것이다.
참고문헌:
[1] Ru-Shang Wang 및 Yao Wang, "Facial Feature Extraction and Tracking in Video Sequences", IEEE 신호처리학회 1997 멀티미디어 신호처리 워크샵, 1997년 6월 23~25일, 뉴저지 프린스턴, USA 전자 학회지, pp.233~235.
[2] Richard Fateman, Paul Debevec, "A Neural Network for Facial Feature Location", CS283 코스프로젝트, 미합중국, UC 버클리.

Claims (21)

  1. 디스플레이(20) 상에 적어도 한 사용자(21)를 위해 보인 정보(INFO)로서 목표 방위(Oitgt)를 가지는 정보(INFO)의 방위(Oinfo)를 제어하기 위한 방법에 있어서,
    디스플레이(20)의 방위(Odisplay)는, 디스플레이(20)에 동작적으로 연결된 카메라수단(11)을 이용하여 영상정보(IMAGEx)를 형성하고, 이 영상정보를 분석하여 영상정보(IMAGEx) 내에서 하나 이상의 선택된 특징들(24)을 찾고 그것/그것들의 방위(Oeyeline)를 정함으로써 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)에 대해 정해지는 단계(200~203), 및
    디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)가 그것을 위해 설정된 목표 방위(Oitgt)와 다르다면, 방위 변경(ΔO)이 이행되고, 그 결과로서 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)는 목표 방위(Oitgt)에 대응하게 만들어지는 단계(204~206)를 포함하며,
    방위의 정의는 카메라수단(11)이 그것의 연속하는 검출 빈도에 대해 덜 빈번하게 영상정보(IMAGEx)를 형성하는데 이용되도록 하는 간격으로 수행되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 적어도 한 사용자(21)의 머리(22)는 영상정보(IMAGEx)이 영 상피사체로서 선택되는 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 선택된 특징은 예를 들면 적어도 한 사용자(21)의 얼굴특징들(23.1, 23.2, 24)을 포함하며, 이 얼굴특징들은 하나 이상의 얼굴특징들을 찾기 위해 얼굴특징 분석(12)을 이용하여 분석되는 것을 특징으로 하는 방법.
  4. 제3항에 있어서, 얼굴특징은 예를 들면 적어도 한 사용자(21)의 눈 위치들(23.1, 23.2)이며, 선택된 특징은 예를 들면 눈 위치들(23.1, 23.2)에 의해 정해지는 눈 선(24)인 것을 특징으로 하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 방위의 정의는 1~5초의 간격, 예를 들면, 2~4초의 간격, 바람직하게는 2~3초의 간격으로 수행되는 것을 특징으로 하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 30~95%, 예를 들면, 50~80%이지만 바람직하게는 90%미만인 기기 자원들이 방위의 정의를 위해 예약되는 것을 특징으로 하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 적어도 두 사용자들은 영상정보(IMAGEx)로부터 검출되고, 그들의 얼굴 특징들로부터 평균값이 정해지고 상기 특 징(24)에 대응하게 설정되는 것을 특징으로 하는 방법.
  8. 기기(10)의 디스플레이(20) 상에 적어도 한 사용자(21)를 위해 보인 정보(INFO)의 방위(Oinfo)를 제어하기 위한 시스템에 있어서,
    기기(10)에 연결되게 구성되어 정보(INFO)를 보이기 위한 디스플레이(10);
    기기(10)에 동작적으로 연결되게 구성되어 영상정보(IMAGEx)를 형성하기 위한 카메라수단(11, 11.1)으로서, 영상정보(IMAGEx)로부터 디스플레이(20)의 방위(Odisplay)는 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)에 대해 정해지도록 배치되는 카메라수단(11, 11.1);
    디스플레이(20)의 방위(Odisplay)와 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)가 설정방식에서 서로 다르다면, 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)를 그것을 위해 설정된 목표 방위(Oitgt)로 변경하는 수단(14)을 포함하며,
    디스플레이(20)의 방위의 정의는 카메라수단(11)이 그것의 연속하는 검출 빈도에 대해 덜 빈번하게 영상정보(IMAGEx)를 형성하는데 이용되도록 하는 간격으로 수행되도록 구성되는 것을 특징으로 하는 시스템.
  9. 제8항에 있어서, 영상정보(IMAGEx)의 영상피사체는 기기(10) 근처에 있는 적 어도 한 사용자(21)로서 선택되며, 이 경우 상기 시스템은, 영상정보(IMAGEx)로부터 하나 또는 수 명의 사용자들(21)의 얼굴 부분들(23.1, 23.2)을 찾기 위한 얼굴특징 분석 기능부(12)를 구비하며, 정해진 특징(24)으로, 영상정보(IMAGEx)에 대해, 상기 디스플레이(20)의 방위(Odisplay)가 정해지도록 구성되는 것을 특징으로 하는 시스템.
  10. 제8항 또는 제9항에 있어서, 방위의 정의가 1~5초의 간격, 예를 들면 2~4초의 간격, 바람직하게는 2~3초의 간격으로 수행되도록 구성된 것을 특징으로 하는 시스템.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 30~95%, 예를 들면, 50~80%이지만 바람직하게는 90%미만인 기기 자원들이 방위의 정의를 위해 이용되도록 구성된 것을 특징으로 하는 시스템.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서, 적어도 두 사용자가 영상정보(IMAGEx)로부터 검출되며 그 사람들의 얼굴 특징들로부터 평균값이 정해지고 상기 특징(24)에 대응하게 설정되도록 구성되는 것을 특징으로 하는 시스템.
  13. 정보(INFO)를 보이기 위한 디스플레이(20);
    휴대형 기기(10)에 동작적으로 연결되게 구성되어 영상정보(IMAGEx)를 형성하기 위한 카메라수단(11, 11.1)으로서, 영상정보(IMAGEx)로부터 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)에 대해 디스플레이(20)의 방위(Odisplay)가 정해지도록 배치되는 카메라수단(11, 11.1); 및
    디스플레이(20)의 방위(Odisplay)와 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)가 설정방식에서 서로 다르다면, 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)를 그것을 위해 설정된 목표 방위(Oitgt)로 변경하는 수단(14)을 포함하며,
    디스플레이(20)의 방위의 정의는 카메라수단(11)이 그것의 연속하는 검출 빈도에 대해 덜 빈번하게 영상정보(IMAGEx)를 형성하는데 이용되도록 하는 간격으로 수행되도록 구성되는 것을 특징으로 하는 휴대형 기기(10).
  14. 제13항에 있어서, 방위의 정의가 1~5초의 간격, 예를 들면 2~4초의 간격, 바람직하게는 2~3초의 간격으로 수행되도록 구성된 것을 특징으로 하는 휴대형 기기(10).
  15. 제13항 또는 제14항에 있어서, 30~95%, 예를 들면, 50~80%이지만 바람직하게는 90%미만인 기기 자원들이 방위의 정의를 위해 이용되도록 구성된 것을 특징으로 하는 휴대형 기기(10).
  16. 제13항 내지 제15항 중 어느 한 항에 있어서, 적어도 두 사용자가 영상정보(IMAGEx)로부터 검출되도록 구성되며 그 사람들의 얼굴 특징들로부터 평균값이 정해지고 그것에 기초하여 디스플레이(20)의 방위(Odisplay)가 정해지도록 구성된 것을 특징으로 하는 휴대형 기기(10).
  17. 제1항 내지 제7항 중 어느 한 항에 따른 방법을 구현하기 위한 소프트웨어 기기에 있어서, 디스플레이(20)와 동작적으로 연결되게 구성되는 것들로서,
    영상정보(IMAGEx)를 형성하기 위한 카메라수단(11, 11.1)으로서, 영상정보(IMAGEx)는 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)에 대해 디스플레이(20)의 방위(Odisplay)를 정하기 위한 하나 이상의 선택된 알고리즘들을 적용하는 소프트웨어수단들(12, 13)을 이용하여 분석되도록 구성되는, 카메라수단(11, 11.1);
    디스플레이(20)의 방위(Odisplay)와 디스플레이(20) 상에 보인 정보(INFO)의 방위(Oinfo)가 설정방식에서 서로 다르다면, 디스플레이(20)에 보인 정보(INFO)의 방위(Oinfo)를 그것을 위해 설정된 목표 방위(Oitgt)로 변경하기 위한 소프트웨어수단(14)을 포함하며,
    디스플레이(20)의 방위(Odisplay)를 정하고 그것에 기초하여 정보(INFO)의 방 위(Oinfo)를 설정하기 위한 소프트웨어수단들(12~14)은, 카메라수단(11)이 그것의 연속하는 검출 빈도에 대해 덜 빈번하게 영상정보(IMAGEx)를 형성하는데 이용되도록 하는 간격으로 수행되도록 구성되는 것을 특징으로 하는 소프트웨어 기기.
  18. 제17항에 있어서, 얼굴특징 분석부(12)는 방위의 정의에 이용되도록 구성된 것을 특징으로 하는 소프트웨어 기기.
  19. 제17항 또는 제18항에 있어서, 방위의 정의가 1~5초의 간격, 예를 들면 2~4초의 간격, 바람직하게는 2~3초의 간격으로 수행되도록 구성된 것을 특징으로 하는 소프트웨어 기기.
  20. 제17항 내지 제19항 중 어느 한 항에 있어서, 30~95%, 예를 들면, 50~80%이지만 바람직하게는 90%미만인 기기 자원들이 방위의 정의를 위해 예약되도록 구성된 것을 특징으로 하는 소프트웨어 기기.
  21. 제17항 내지 제20항 중 어느 한 항에 있어서, 적어도 두 사용자가 영상정보(IMAGEx)로부터 검출되도록 구성되며 그 사람들의 얼굴 특징들로부터 평균값이 정해지도록 구성되고 그것에 기초하여 디스플레이(20)의 방위(Odisplay)가 정해지도록 구성되는 것을 특징으로 하는 소프트웨어 기기.
KR1020067006378A 2003-10-01 2004-09-23 사용자인터페이스를 제어하기 위한 방법 및 장치, 대응기기, 및 방법을 구현하기 위한 소프트웨어 기기들 KR20060057639A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20035170A FI117217B (fi) 2003-10-01 2003-10-01 Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
FI20035170 2003-10-01

Publications (1)

Publication Number Publication Date
KR20060057639A true KR20060057639A (ko) 2006-05-26

Family

ID=29226024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067006378A KR20060057639A (ko) 2003-10-01 2004-09-23 사용자인터페이스를 제어하기 위한 방법 및 장치, 대응기기, 및 방법을 구현하기 위한 소프트웨어 기기들

Country Status (7)

Country Link
US (1) US20060265442A1 (ko)
EP (1) EP1687709A2 (ko)
JP (2) JP2007534043A (ko)
KR (1) KR20060057639A (ko)
CN (1) CN1860433B (ko)
FI (1) FI117217B (ko)
WO (1) WO2005031492A2 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1892611A4 (en) * 2005-05-27 2013-03-06 Sharp Kk DISPLAY DEVICE
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
JP5453717B2 (ja) * 2008-01-10 2014-03-26 株式会社ニコン 情報表示装置
JP2009171259A (ja) * 2008-01-16 2009-07-30 Nec Corp 顔認証による画面切替装置、方法、プログラム及び携帯電話機
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
RU2576344C2 (ru) * 2010-05-29 2016-02-27 Вэньюй ЦЗЯН Системы, способы и аппараты для создания и использования очков с адаптивной линзой на основе определения расстояния наблюдения и отслеживания взгляда в условиях низкого энергопотребления
WO2012030265A1 (en) * 2010-08-30 2012-03-08 Telefonaktiebolaget L M Ericsson (Publ) Face screen orientation and related devices and methods
US8957847B1 (en) * 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
JP5857257B2 (ja) 2011-03-04 2016-02-10 パナソニックＩｐマネジメント株式会社 表示装置及び表示方向切替方法
US8843346B2 (en) 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
WO2013069796A1 (ja) * 2011-11-10 2013-05-16 株式会社ニコン 電子機器、情報システム及びサーバ
KR101366861B1 (ko) * 2012-01-12 2014-02-24 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10890965B2 (en) 2012-08-15 2021-01-12 Ebay Inc. Display orientation adjustment using facial landmark information
EP2950180B1 (en) * 2013-01-24 2020-09-02 Huawei Device Co., Ltd. Method for determining screen display mode and terminal device
CN103795922A (zh) * 2014-01-24 2014-05-14 厦门美图网科技有限公司 一种移动终端的摄像头智能校正方法
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
CN106295287B (zh) * 2015-06-10 2019-04-09 阿里巴巴集团控股有限公司 活体检测方法和装置以及身份认证方法和装置
CN109451243A (zh) * 2018-12-17 2019-03-08 广州天越电子科技有限公司 一种基于移动智能终端实现360°环拍的方法
CN117456542B (zh) * 2023-12-26 2024-04-26 苏州镁伽科技有限公司 图像匹配方法、装置、电子设备及存储介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ055999A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (npage01)
JPS60167069A (ja) * 1984-02-09 1985-08-30 Omron Tateisi Electronics Co 図形認識装置
US6728404B1 (en) * 1991-09-12 2004-04-27 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
JP3227218B2 (ja) * 1992-09-11 2001-11-12 キヤノン株式会社 情報処理装置
JPH08336069A (ja) * 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
US5923781A (en) * 1995-12-22 1999-07-13 Lucent Technologies Inc. Segment detection system and method
US6804726B1 (en) * 1996-05-22 2004-10-12 Geovector Corporation Method and apparatus for controlling electrical devices in response to sensed conditions
US6137468A (en) * 1996-10-15 2000-10-24 International Business Machines Corporation Method and apparatus for altering a display in response to changes in attitude relative to a plane
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
JP3985373B2 (ja) * 1998-11-26 2007-10-03 日本ビクター株式会社 顔画像認識装置
US6539100B1 (en) * 1999-01-27 2003-03-25 International Business Machines Corporation Method and apparatus for associating pupils with subjects
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US6851851B2 (en) * 1999-10-06 2005-02-08 Hologic, Inc. Digital flat panel x-ray receptor positioning in diagnostic radiology
JP3269814B2 (ja) * 1999-12-03 2002-04-02 株式会社ナムコ 画像生成システム及び情報記憶媒体
GB0011455D0 (en) * 2000-05-13 2000-06-28 Mathengine Plc Browser system and method for using it
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002093879A1 (de) * 2001-05-14 2002-11-21 Siemens Aktiengesellschaft Mobilfunkgerät
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
US7079707B2 (en) * 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US7113618B2 (en) * 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US6959099B2 (en) * 2001-12-06 2005-10-25 Koninklijke Philips Electronics N.V. Method and apparatus for automatic face blurring
JP3864776B2 (ja) * 2001-12-14 2007-01-10 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
JP2003244786A (ja) * 2002-02-15 2003-08-29 Fujitsu Ltd 電子機器
EP1345422A1 (en) * 2002-03-14 2003-09-17 Creo IL. Ltd. A device and a method for determining the orientation of an image capture apparatus
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
US6845914B2 (en) * 2003-03-06 2005-01-25 Sick Auto Ident, Inc. Method and system for verifying transitions between contrasting elements
US20040201595A1 (en) * 2003-04-11 2004-10-14 Microsoft Corporation Self-orienting display
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7716585B2 (en) * 2003-08-28 2010-05-11 Microsoft Corporation Multi-dimensional graphical display of discovered wireless devices
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法

Also Published As

Publication number Publication date
JP2007534043A (ja) 2007-11-22
WO2005031492A3 (en) 2005-07-14
JP2010016907A (ja) 2010-01-21
US20060265442A1 (en) 2006-11-23
EP1687709A2 (en) 2006-08-09
CN1860433A (zh) 2006-11-08
WO2005031492A2 (en) 2005-04-07
FI20035170A0 (fi) 2003-10-01
CN1860433B (zh) 2010-04-28
FI117217B (fi) 2006-07-31
FI20035170A (fi) 2005-04-02

Similar Documents

Publication Publication Date Title
KR20060057639A (ko) 사용자인터페이스를 제어하기 위한 방법 및 장치, 대응기기, 및 방법을 구현하기 위한 소프트웨어 기기들
CN108734736B (zh) 相机姿态追踪方法、装置、设备及存储介质
US9774780B1 (en) Cues for capturing images
JP5498573B2 (ja) ディスプレイを含む携帯電子機器、及び該機器の制御方法
US9696859B1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
KR100556856B1 (ko) 이동통신 단말기에서 화면 제어 방법 및 장치
JP5857257B2 (ja) 表示装置及び表示方向切替方法
TWI436647B (zh) 具有透視失真校正之臉部姿勢之改良
US9417689B1 (en) Robust device motion detection
EP2393042A1 (en) Selecting view orientation in portable device via image analysis
CN103428428A (zh) 影像捕获设备以及影像捕获方法
US20140160019A1 (en) Methods for enhancing user interaction with mobile devices
EP2950180B1 (en) Method for determining screen display mode and terminal device
CN105072328B (zh) 一种视频拍摄方法、装置以及终端
TWI631506B (zh) 螢幕旋轉控制方法及系統
US9105132B2 (en) Real time three-dimensional menu/icon shading
US9412190B2 (en) Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program
US20130286049A1 (en) Automatic adjustment of display image using face detection
TW200941313A (en) Apparatus and methods for a touch user interface using an image sensor
CN107077200B (zh) 基于反射的控件激活
US20120092519A1 (en) Gesture recognition using chroma-keying
CN104866809B (zh) 画面播放方法和装置
US9857869B1 (en) Data optimization
KR20120040320A (ko) 단말의 디스플레이 장치 및 방법
KR20140095601A (ko) 자세 분류 장치 및 자세 분류 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
E801 Decision on dismissal of amendment
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20080530

Effective date: 20081024