KR20100129629A - 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치 - Google Patents

움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치 Download PDF

Info

Publication number
KR20100129629A
KR20100129629A KR1020090048289A KR20090048289A KR20100129629A KR 20100129629 A KR20100129629 A KR 20100129629A KR 1020090048289 A KR1020090048289 A KR 1020090048289A KR 20090048289 A KR20090048289 A KR 20090048289A KR 20100129629 A KR20100129629 A KR 20100129629A
Authority
KR
South Korea
Prior art keywords
point
image
reference point
display surface
display
Prior art date
Application number
KR1020090048289A
Other languages
English (en)
Other versions
KR101585466B1 (ko
Inventor
김태환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020090048289A priority Critical patent/KR101585466B1/ko
Publication of KR20100129629A publication Critical patent/KR20100129629A/ko
Application granted granted Critical
Publication of KR101585466B1 publication Critical patent/KR101585466B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N2007/243—Bitstream control arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

사용자의 동작을 추적하면서 신속하고 정확하며 안정되게 사용자가 포인팅하고자 의도하는 화면상의 지점을 추정할 수 있고, 이를 통해 사용자가 효과적으로 그리고 편리하게 전자장치의 기능을 조정할 수 있게 해주는 전자장치 동작 제어방법과, 이를 채용하여 사용자가 효과적으로 그리고 편리하게 기능을 조정할 수 있는 전자장치. 본 발명의 동작 제어방법은 디스플레이 표시면과 이미지센서를 구비하는 전자장치에서 구현되며, 사용자가 상기 전자장치에 접촉하지 않는 상태로 전자장치를 조작할 수 있도록 해준다. 바람직한 실시예에 따르면, 먼저 이미지센서를 사용하여 디스플레이 표시면 전방을 촬상한다. 촬상한 이미지에서 사용자의 집게손가락 끝점과, 미간 중심점의 위치를 결정한다. 이어서, 상기 미간 중심점과 집게손가락 끝점을 연결하는 가상의 직선이 표시면과 만나는 점을 사용자가 포인팅하고자 하는 지점으로 추정하고, 추정된 포인팅 지점에 포인터를 표시하게 된다. 전자장치 사용자가 전자장치를 직접 접촉하거나 리모콘을 사용하지 않고서도 마치 터치패널을 사용하는 것과 같이 정확하고 안정되게 화면상의 메뉴를 포인팅할 수 있게 되고, 전자장치의 편의성이 크게 높아지는 효과가 있다.
텔레비전, 유저 인터페이스, UI, 터치스크린, 포인팅, 카메라, 이미지센서

Description

움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치{Method for Controlling Operation of Electronic Appliance Using Motion Detection and Electronic Appliance Employing the Same}
본 발명은 전자장치 및 그 동작제어 방법에 관한 것으로서, 특히, 사용자의 형상이나 움직임을 검출하고 이로부터 사용자가 의도하는 조작명령을 추정하여 동작하는 전자장치와, 이와 같은 전자장치의 동작제어 방법에 관한 것이다.
통신기술과 부품기술의 발전에 힘입어, 텔레비전은 화면의 풀칼라화, 디지털 전송방식의 채택, 전송채널의 다양화, 화면의 대형화 등 여러 측면에서 큰 발전을 거듭해왔다. 그렇지만, 방송신호 전송과 화상 재생 등 본질적 기능에 있어서의 비약적 발전에도 불구하고, 사용자인터페이스 그중에서도 조작 방식에 있어서는 발전이 매우 더딘 것이 현실이다. 즉, 텔레비전 사용자는 20~30년전과 마찬가지로 수신기 외면에 마련된 버튼을 누르거나 또는 리모콘을 조작하여야만 텔레비전 기능을 조정할 수 있다. 이에 따라, 리모콘을 찾을 수 없거나 리모콘의 건전지가 방전된 경우에는, 텔레비전 본체로 이동하여 버튼조작을 하여야만 하게 되는데, 텔레비전 설치장소가 넓은 경우에는 이 작업이 여간 번거로운 것이 아니다.
이러한 문제점을 해소하기 위한 시도를 살펴보면, 공개특허 1997-57020호(발명의 명칭: 음성인식에 의한 텔레비전 제어장치)는 사용자의 음성을 인식하여 선택메뉴용 OSD정보를 화면 표시함과 아울러, 음성에 의해 지정된 선택사항에 상응하는 텔레비젼의 동작이 행해지도록 함으로써, 리모콘을 쉽게 찾을 수 없을 경우에도 사용상의 편리함을 도모할 수 있게 해주는 텔레비전을 제시하고 있다. 그렇지만, 이와 같이 음성인식을 토대로 동작하는 텔레비전은 음성에 의한 지시명령이 어색할 수 있을 뿐만 아니라, 사용자의 통상적인 대화가 텔레비전 동작제어 명령과 혼동될 수 있기 때문에, 사용자로 하여금 조심스러움을 야기하여 불편할 수 있다.
음성 대신에 사용자의 형상이나 움직임을 검출하고 이로부터 조작명령을 인식하여 동작하게 하려는 시도도 다양하게 이루어진 바 있다.
예컨대, 공개특허공보 2003-21988호(발명의 명칭: 영상처리를 이용한 원격 손가락 조종기)에는 텔레비젼 수신기에 부착된 카메라로 사용자의 손을 촬영하여 사용자의 손가락의 패턴을 인식한 후 그 패턴이 시스템 내에 저장되어 있는 특정 기능 수행을 위한 패턴과 일치하는 경우 해당 기능을 수행하는 방식이 기재되어 있다. 또한, 공개특허 2007-103895호(발명의 명칭: 손 제스쳐 인식 시스템 및 방법)는 카메라에 의하여 촬영한 영상 내에서 사용자의 손 제스쳐를 인식하여 손의 방향을 검출함으로써 전자기기의 동작을 조정할 수 있게 해주는 시스템이 기재되어 있다. 그러나, 이와 같은 방식에 따른 텔레비전은 사전에 정의되어있는 몇가지 제스쳐만을 인식할 수 있기 때문에, 사용자가 원하는 특정 기능을 수행하기 위해서는 해당 기능 수행을 위해 미리 지정된 제스쳐 패턴을 미리 학습하여 숙지하여야 하는 번거로움이 있고, 화면상의 특정 지점을 포인팅하는 것은 아예 불가능하다.
공개특허공보 2003-37692호(발명의 명칭: 손 지시 인식을 이용한 원격제어 시스템)에는 다수의 카메라에 의하여 사람의 형상을 영상 데이터로 취득하고, 취득된 사람의 형상으로부터 손 형상과, 손의 위치 및 손이 가리키는 방향을 인식하여, 전자기기를 제어하는 시스템이 기재되어 있다. 그렇지만, 이 시스템을 구현하기 위해서는 다수의 카메라를 실내에 설치해야 할 뿐만 아니라, 사용자의 손이 가리키는 방향이 불안정한 경우 손에 의한 포인팅이 실질적으로 어렵다는 문제점이 여전히 있다.
한편, 눈의 위치나 시선을 검출하여 기기를 동작시키는 아이디어들도 제시된 바 있다.
예컨대, 공개특허공보 2000-56563호(발명의 명칭: 응시위치 추적시스템)에는 카메라를 통하여 사용자의 얼굴영상을 취득하고, 취득된 디지털 영상신호로부터 사용자의 응시위치를 산출함으로써, 응시위치 정보로 기기를 제어할 수 있도록 하는 시스템이 기재되어 있다. 그렇지만, 이 시스템은 얼굴형상 취득과 응시위치 산출에 컴퓨팅파워 부담이 클 뿐만 아니라, 응시위치 파악이 부정확한 경우 정교한 포인팅이 어려워진다는 문제점이 있을 수 있다.
공개특허공보 2005-120132호(발명의 명칭: 영상 처리를 이용한 사용자 모션에 의한 원격제어 텔레비젼 및 그 제어 방법)에는 카메라에 의하여 사용자 모션을 검출하고, 사용자 인체의 특정 부위가 미리 지정된 시간 범위 내에 임의의 위치에 미리 지정된 횟수 이상 존재하는 경우 가상 메뉴를 활성화시키되, 사용자의 눈의 위치를 인식하여 사용자 시선이 향하는 곳에 가상 메뉴를 표시하며, 사용자의 손이 일정시간 머무는 메뉴에 대하여 사용자가 선택한 것으로 보고 기능을 실행하는 시스템이 기재되어 있다. 그렇지만, 이 시스템의 경우 촬상된 이미지 내에서 사용자 손의 위치로 사용자가 선택하고자 하는 메뉴를 인식하기 때문에, 텔레비전의 화면이 크고 화면과 사용자의 거리가 가까운 경우 사용자가 손을 움직여야 하는 범위가 과다하고, 더욱이 메뉴 선택을 위하여 일정 시간동안 손을 고정상태로 유지해야 하기 때문에, 팔이 아프고 메뉴 선택 및 기능 실행에 많은 시간이 소요될 수 있다.
이와 같이, 리모콘 조작의 불편함을 해소할 수 있도록 사용자의 형상이나 움직임, 시선 등을 검출하여 텔리비전을 조작할 수 있게 해주는 방법이 다양하게 제시된 바 있지만, 종래의 방법들은 포인팅이 부정확 또는 불안정하거나 아예 불가능할 수 있고, 메뉴 선택에 많은 시간이 소요되어 실시간 처리가 어렵다는 문제점이 있다. 이러한 문제점으로 말미암아, 본 출원이 행해지는 시점에 있어서 위와 같이 사용자의 형상이나 움직임, 시선 등을 검출하여 텔리비전 동작을 제어하는 방법들이 채택된 텔레비전이 상업적으로 실시되고 있는 예는 아직 없다.
텔레비전에서의 포인팅은 특히 인터넷TV에서 심각한 문제라고 할 수 있다. 인터넷TV란 텔레비전 방송신호 수신과 아울러 인터넷접속 기능을 구비하는 TV를 말하는데, 이러한 인터넷TV에서는 화면에 표시된 웹문서 상의 많은 하이퍼텍스트 내지 메뉴항목 중 어느 하나를 선택하는 것이 매우 어렵다. 웹 서핑을 용이해게 해준다는 목적하에 다양한 형태의 리모콘이 제시된 바 있지만, 이러한 리모콘은 웹 서핑의 불편함은 크게 개선하지 못하면서 텔레비전 방송 시청시의 불편함만 가중시 키는 경우가 대부분이다. 즉, 텔레비전 방송 시청시에 사용자가 텔레비전을 조작하기 위해 본체 외주면 또는 리모콘의 키패드에서 주로 사용하는 키는 '채널업(+)', '채널다운(-)', '볼륨업(+)', '볼륨다운(-)', '전원 온/오프' 등 너댓 개에 불과한데, 조작키 숫자가 증가된 웹 서핑용 리모콘들은 제품 코스트를 상승시키는 것은 차치하고 방송시청시의 사용자의 불편함을 크게 가중시킨다.
따라서, 텔레비전 사용자가, TV시청 중에 또는 인터넷 서핑 중에, 텔레비전에 직접 접촉하지 않는 상태에서 화면상의 특정 지점을 신속하고 정확하며 안정되게 포인팅할 수 있게 해주는 방안이 절실하게 요구된다.
[문헌 1] 공개특허공보 2003-21988호 2003. 3. 15.
[문헌 2] 공개특허공보 2007-103895호 2007. 10. 25.
[문헌 3] 공개특허공보 2003-37692호 2003. 5. 16.
[문헌 4] 공개특허공보 2000-56563호 2000. 9. 15.
[문헌 5] 공개특허공보 2005-120132호 2005. 12. 22.
본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 사용자의 동작을 추적하고, 추적된 동작으로부터 사용자가 포인팅하고자 의도하는 화면상의 지점을 정확하고 안정되게 그리고 실시간으로 추정하고, 사용자가 실행하고자 조정기능을 추정하여 실행함으로써, 사용자가 효과적으로 그리고 편리하게 기능을 조정할 수 있게 해주는 이미지 디스플레이 장치를 제공하는 것을 그 기술적 과제로 한다.
또한, 본 발명은 사용자의 동작을 추적하면서 신속하고 정확하며 안정되게 사용자가 포인팅하고자 의도하는 화면상의 지점을 추정할 수 있고, 이를 통해 사용자가 효과적으로 그리고 편리하게 전자장치의 기능을 조정할 수 있게 해주는 전자장치 동작 제어방법을 제공하는 것을 다른 기술적 과제로 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 이미지 디스플레이 장치는 표시면을 구비하는 디스플레이 유닛과, 영상신호 처리부와, 이미지 캡쳐 유닛과, 제어부를 구비한다. 영상신호 처리부는 소정 포맷의 비디오 신호를 디스플레이 유닛에 제공하여 상기 비디오 신호에 상응한 영상이 표시면에 표시되도록 한다. 이미지 캡쳐 유닛은 상기 표시면 전방을 촬상한다. 제어부는 이미지 캡쳐 유닛이 촬상한 이미지를 사용하여 표시면 전방에 있는 사용자의 손에서의 제1 기준점과 사용자의 몸체에서의 제2 기준점의 위치를 결정하며, 상기 제1 및 제2 기준점의 위치정보를 사용하여 사용자가 상기 표시면 상에서 포인팅하고자 하는 지점을 추정한다. 그리고, 제어부는 디스플레이 유닛의 표시면 상에서 상기 추정된 포인팅 지점에 소정의 포인터가 표시되도록 영상신호 처리부를 제어한다.
특허청구범위를 포함한 본 명세서에 있어서, "몸체"란 사용자의 신체 중 상체에서 팔꿈치 아래의 하박과 손을 제외한 부분을 지칭하는 의미로 사용한다.
바람직한 실시예에 있어서, 상기 이미지 디스플레이 장치는 디지털텔레비전 형태로 구현된다. 이와 같은 실시예에 있어서, 이미지 디스플레이 장치는 방송신호를 수신하고 수신된 방송신호를 복조하고 복호화하여 비디오 비트스트림을 출력하는 방송신호 수신부를 더 구비한다. 이때, 영상신호 처리부는 비디오 비트스트림을 상기 포맷으로 변환하고, 포맷변환된 비디오 신호를 디스플레이 유닛에 출력함으로써 포맷변환된 비디오 신호에 상응한 영상이 표시면에 표시되도록 한다.
이미지 캡쳐 유닛은 상기 이미지 디스플레이 장치의 전면에서 서로 상이한 위치에 배치되는 2개 이상의 이미지 센서들을 구비하는 것이 바람직하다. 특히 바람직하기로는, 이미지 캡쳐 유닛이 수평위치와 수직위치가 서로 상이하게 배치되는 2개의 이미지 센서들로 구성된다.
바람직한 실시예에 있어서, 상기 영상신호 처리부는 상기 포맷변환된 비디오 신호와 소정의 온스크린디스플레이(OSD) 조정메뉴 데이터를 합성함으로써, 상기 포맷변환된 비디오 신호에 상응한 영상에 소정의 온스크린디스플레이 조정메뉴가 융합되어, 상기 포인터와 함께 디스플레이에 표시되도록 한다.
바람직한 실시예에 있어서, 상기 OSD 조정메뉴 데이터는 상기 제어부가 상기 영상신호 처리부에 제공한다.
상기 제1 기준점은 손가락 끝점인 것이 바람직하다. 상기 제2 기준점으로는 어느 한쪽 눈(目)의 안구 중심, 미간 중심점 즉 양쪽 눈 안구 중심의 중점, 상기 손가락에 관련된 어깨 윤곽선 상의 한 점, 머리 상단 끝점, 팔꿈치 부위의 한 점 중 한 지점을 사용하는 것이 바람직하다.
바람직한 실시예에 있어서, 이미지 디스플레이 장치는 이미지 캡쳐 유닛에 의하여 촬상된 이미지로부터 소정의 선택 이벤트를 검출하기 위한 선택 이벤트 검출수단을 더 구비한다. 제어부는 상기 선택 이벤트에 응답하여 상기 포인팅 지점에 상응한 동작이 이루어지도록 이미지 디스플레이 장치를 제어할 수 있다.
보다 일반적인 관점에서 상기 기술적 과제를 해결하기 위하여, 본 발명은 표시면을 구비하는 디스플레이 유닛과, 이미지 캡쳐 유닛과, 제어부를 구비하는 전자장치를 제공한다. 이미지 캡쳐 유닛은 전자장치의 전면에 설치되어, 표시면 전방을 촬상한다. 제어부는 이미지 캡쳐 유닛이 촬상한 이미지를 사용하여, 사용자의 손에서의 제1 기준점과, 몸체에서의 제2 기준점의 위치를 결정하며, 상기 제1 및 제2 기준점의 위치정보를 사용하여 사용자가 표시면상에서 포인팅하고자 하는 지점을 추정하고, 디스플레이 유닛의 표시면 상에서 상기 추정된 포인팅 지점에 소정의 포인터가 표시되도록 한다.
이미지 캡쳐 유닛은 상기 전자장치의 전면에서 서로 상이한 위치에 배치되는 2개 이상의 이미지 센서들을 구비하는 것이 바람직하다. 보다 바람직하기로는, 이미지 캡쳐 유닛이 수평위치와 수직위치가 서로 상이하게 배치되는 2개의 이미지 센서들로 구성된다.
한편, 상기 다른 기술적 과제를 해결하기 위한 본 발명의 전자장치 동작 제어방법은 디스플레이 표시면과 이미지센서를 구비하는 전자장치에서 구현되며, 사용자가 상기 전자장치에 접촉하지 않는 상태로 상기 전자장치를 조작할 수 있도록 해준다. 먼저, 상기 이미지센서를 사용하여 상기 표시면 전방을 촬상한다. 촬상한 이미지에서 사용자의 손에서의 제1 기준점의 위치를 결정하고, 사용자의 몸체에서의 제2 기준점의 위치를 결정한다. 이어서, 상기 제1 및 제2 기준점의 위치정보를 사용하여 사용자가 표시면상에서 포인팅하고자 하는 지점을 추정한다. 마지막으로, 추정된 포인팅 지점에 포인터를 표시하게 된다.
상기 제1 기준점은 손가락 끝점인 것이 바람직하다. 상기 제2 기준점으로는 어느 한쪽 눈(目)의 안구 중심, 미간 중심점 즉 양쪽 눈 안구 중심의 중점, 상기 손가락에 관련된 어깨 윤곽선 상의 한 점, 머리 상단 끝점, 팔꿈치 부위의 한 점 중 한 지점을 사용하는 것이 바람직하다.
포인팅 지점을 추정함에 있어서는, 상기 제1 기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정할 수 있다. 그렇지만, 사용자의 손이 표시면 일부를 가리게 되는 현상을 감소시키고, 사용자가 팔을 높이 들지 않아도 되도록 추정 방식이 변형될 수도 있다. 일 예로서, 상기 제1 기준점보다 소정 거리만큼 위에 있는 보조기준점을 결정하고, 상기 보조기준점과 상기 제2 기준점을 연결하는 가상의 직선이 표시면과 만나는 점을 포인팅 지점으로 추정할 수 있다. 다른 예로서, 상기 제2 기준점보다 소정 거리만큼 아래에 있는 보조기준점을 결정하고, 상기 제1 기준점과 상기 보조기준점을 연결하 는 가상의 직선이 표시면과 만나는 점을 포인팅 지점으로 추정할 수 있다. 또 다른 예로서, 상기 제1 기준점과 상기 제2 기준점을 연결하는 가상의 직선이 표시면과 만나는 점을 결정하고, 결정된 점보다 소정 거리만큼 위에 있는 점을 포인팅 지점으로 추정할 수도 있다.
디스플레이 표시면 상에 포인터가 표시된 상태에서 상기 이미지센서에 의하여 소정의 선택 이벤트가 발생하는지를 모니터링하고, 상기 선택 이벤트가 발생하는 경우 이에 응답하여 포인팅 지점에 상응한 동작이 이루어지도록 하는 것이 바람직하다.
또한, 소정의 기능비활성화 이벤트가 발생하는지를 모니터링하고, 상기 기능비활성화 이벤트가 발생하면 표시면에서 포인터를 소거함으로써, 포인터가 필요할 때에만 선택적으로 표시되도록 하는 것이 바람직하다. 상기 기능비활성화 이벤트는 예컨대 포인팅 지점이 표시면 밖에 있는 시간이 일정 시간이상 지속되는 것, 또는 포인터 내지 제1 기준점이 일정 시간이상 정지해있는 것이 될 수 있다.
본 발명에 따르면, 전자장치 사용자가 전자장치를 직접 접촉하거나 리모콘을 사용하지 않고서도 마치 터치패널을 사용하는 것과 같이 정확하고 안정되게 화면상의 메뉴를 포인팅할 수 있게 해주고, 포인팅, 메뉴/항목 선택, 기능조정 등 사용자가 의도하는 기능을 실시간 처리할 수 있다. 이에 따라, 전자장치에 대한 직감적인 유저 인터페이스가 가능해지는데, 특히 이러한 유저 인터페이스를 구현함에 있어 사용자의 사전학습이 요구되는 바는 거의 없다. 그러므로, 전자장치의 편의성 이 크게 높아지는 효과가 있다.
도 1은 본 발명에 의한 디지털텔레비전 수신기에서 사용자가 화면상의 한 지점을 포인팅하는 예를 개념적으로 보여준다.
도시된 디지털텔레비전 수신기의 전면에는 액정패널 디스플레이(50)가 마련되어 있고, 디스플레이(50)의 표시면(52)은 전방을 향하도록 상하방향으로 연이어져 배치되어 있다. 한편, 액정패널 디스플레이(50)의 네 모서리를 수납하면서 보호하는 하우징의 전면에서, 대각선 방향으로 위치하는 두 구석지점 부근에는 이미지센서(54a, 54b)가 각각 마련되어 있다.
이와 같은 디지털텔레비전 수신기를 통해 방송을 시청하는 중에 볼륨이나 채널 또는 여타의 기능을 조정하고 싶은 경우, 사용자는 사전에 정해진 특정 제스쳐를 취함으로써 하프톤(Half tone) 또는 완전한 톤(Full tone)의 OSD(On-screen Display) 조정메뉴가 방송영상에 중첩되어 표시되게 할 수 있다. 일 실시예에 있어서, OSD 조정메뉴는 '채널업(+)' 아이콘(56a), '채널다운(-)' 아이콘(56b), '볼륨업(+)' 아이콘(56c), '볼륨다운(-)' 아이콘(56d), 볼륨 레벨 인디케이터(56e), '전원 온/오프' 아이콘(56f)을 포함한다.
OSD 조정메뉴가 표시된 상태에서, 사용자는 별도의 리모콘이나 포인팅 디바이스를 사용하지 않고서 자신의 손으로 자신이 포인팅하고자 하는 위치를 손으로 가리킴으로써, 이 위치를 포인팅할 수 있다. 일 실시예에 있어서, 텔레비전 수신기는 이미지센서(54a, 54b)에 의하여 지속적으로 전방을 촬상하면서, 사용자의 미 간 중심점 Peye(Xeye,Yeye,Zeye)와 화면에 가까운 손의 손가락 끝점 Pf(Xf,Yf,Zf)의 공간좌표를 결정한다. 여기서, 상기 손가락은 사용자가 뻗고 있는 손가락 또는 집게손가락이 될 수 있다. 이어서, 수신기는 두 기준점 (Xeye,Yeye,Zeye), (Xf,Yf,Zf)을 연결하는 가상의 직선이 디스플레이 표시면(52)과 만나는 점 Ppoint(Xpoint,Ypoint,Zpoint)을 결정하고, 이 점을 사용자가 포인팅하고자 의도하는 점이라고 추정한다. 이어서, 디지털텔레비전 수신기는 추정된 포인팅 지점에 포인터를 표시하고, 포인터 지점에 위치하는 아이콘을 두드러지게 하여 강조하여 표시한다.
두 기준점 Peye(Xeye,Yeye,Zeye), Pf(Xf,Yf,Zf)의 좌표가, 비록 사용자의 자세 등에 따른 정확도 변동은 있을지라도, 쉽게 결정될 수 있기 때문에 포인팅 지점의 결정이 신속하게 이루어질 수 있다. 또한, 위 두 점이 20~30 센티미터(cm) 이상 이격되어 있기 때문에 포인팅의 안정성이 매우 높게 된다. 사용자가 손을 움직이는 경우, 표시면 상의 포인터는 신속하게 손의 움직임을 추종한다. 직감적이고 감각적인 방식으로 이루어지는 이와 같은 포인팅은 쉬울 뿐만 아니라, 별도의 기기 조작을 요하지 않기 때문에 간단하다. 이와 같이, 사용자는 수신기 방향으로 손가락을 가리킴으로써 오히려 터치패널을 사용하는 것보다도 디스플레이(50) 표시면 위의 한 점을 쉽고 간단하게 포인팅할 수 있다.
한편, 포인팅을 의도했던 지점에 포인터가 표시되어 있는 상태에서, 사용자는 사전에 정해진 선택 이벤트를 연출함으로써, 예컨대 전방의 가상 버튼을 누르듯이 집게손가락 끝을 앞으로 구부림으로써, 포인터 주변에 있는 메뉴 항목이 선택, 실행되도록 할 수 있다. 예컨대, 사용자가 '채널업(+)' 아이콘 위에 포인터를 가져다 둔 상태에서 선택 이벤트를 연출하면, 수신기는 방송신호 수신 채널번호를 증가시킨다. 연속적으로 선택 이벤트가 발생하는 경우, 그에 상응하여 채널번호가 연속적으로 증가될 수 있다. 음량의 경우에도 이와 동일한 방식으로 변경될 수 있다. 한편, '볼륨업(+)'이나 '볼륨다운(-)' 아이콘을 연속적으로 선택하는 대신에 레벨 인디케이터(56e) 상의 특정 세그먼트를 선택함으로써 볼륨 레벨을 한번에 여러 단계 변화시킬 수도 있다.
도 2a 및 도 2b는 일 실시예에 있어서 두 기준점 Peye(Xeye,Yeye,Zeye), Pf(Xf,Yf,Zf)의 좌표를 결정하는데 사용되는 좌표계를 보여준다. 본 실시예에 있어서, 수신기의 전방 공간에 있는 각 점 Po(Xo,Yo,Zo)의 위치를 결정하기 위한 원점으로는 디스플레이 표시면(52)의 중앙점이 사용된다. 그리고, 이 원점을 기준으로 직교좌표계의 각 좌표축이 적절하게 배치된다.
도 3은 본 발명에 의한 디지털텔레비전 수신기의 일 실시예를 보여준다. 도시된 디지털텔레비전 수신기는 방송신호 수신부(10), 영상신호 처리부(40), 디스플레이(50) 및 시스템 제어부(60)를 포함한다.
방송신호 수신부(10)에 있어서, 튜너(12)는 안테나 또는 케이블을 통해 입력되는 다수의 방송신호들 중에서 사용자가 선국한 어느 한 채널의 방송신호를 선택하여 출력한다. 복조부(14)는, 해당 수신기에 채택된 변조방식 예컨대 8-VSB 변조방식에 상응하는 복조기법에 의하여, 튜너(12)로부터의 방송신호를 복조하여, 복조된 트랜스포트 스트림을 출력한다. 역다중화부(16)는 복조된 트랜스포트 스트림을 역다중화하여, 부호화된 비디오 비트스트림과 부호화된 오디오 비트스트림을 분리해낸다. 영상복호화부(18)는 부호화된 비디오 비트스트림을 복호화하여 비디오 비트스트림을 출력한다.
영상신호 처리부(40)는 영상복호화부(18)로부터의 비디오 비트스트림을 디스플레이 가능한 영상 출력포맷으로 변환 처리하며, 디스플레이(50)는 포맷변환된 비디오 신호에 상응한 영상을 그 표시면(52)에 디스플레이한다. 한편, 디스플레이(50) 표시면(52)에는 방송 영상 이외에도 기능조정을 위한 OSD 조정메뉴가 하프톤(Half tone) 또는 온전한 톤(Full tone)으로 표시될 수 있다. 다른 한편으로, 방송 영상 및 OSD 조정메뉴 이외에, 인터넷 콘텐츠가 디스플레이(50) 표시면(52)에 표시될 수도 있다. 이를 위하여, 영상신호 처리부(40)는 시스템 제어부(60)로부터 선택제어신호와, OSD 표시 데이터 또는 인터넷 콘텐츠 데이터를 받아들여, 선택제어신호에 따라, 포맷변환된 비디오 신호에 OSD 조정메뉴가 중첩된 영상 또는 인터넷 콘텐츠 영상신호를 디스플레이(50)에 제공한다. 디스플레이(50)는 영상신호 처리부(40)로부터의 영상신호에 상응한 영상을 디스플레이하게 된다.
음성복호화부(20)는 부호화된 오디오 비트스트림을 복호화하여 오디오 비트스트림을 출력한다. 디지털-아날로그 변환기(DAC, 미도시됨)는 오디오 비트스트림을 아날로그 음성신호로 변환하고, 증폭기(미도시됨)는 아날로그 음성신호를 증폭하여 스피커(30)를 통해 출력한다.
시스템 제어부(60)는 수신기의 각 부분을 전반적으로 제어하고, 사용자의 조작 명령에 응답하여 수신기의 각 부분의 기능을 조정한다. 시스템 제어부(60)는 마이크로프로세서 또는 마이크로컨트롤러에 의하여 구현되는데, 특히, 역할이 분담되는 두 개 이상의 마이크로프로세서 또는 마이크로컨트롤러에 의하여 구현될 수도 있다. 시스템 제어부(60)는 사용자의 조작 명령을 수신기 본체 외면에 마련된 버튼들(미도시됨) 또는 리모콘으로부터 받아들일 수 있다.
나아가, 본 발명에 따르면, 시스템 제어부(60)는 사용자의 조작 명령을, 이미지센서(54a, 54b)가 촬상한 사용자 화상으로부터 사용자가 포인팅하고자 의도하는 표시면 위의 지점을 추정하여, 인식할 수도 있다. 포인팅 지점을 추정하면, 시스템 제어부(60)는 영상신호 처리부(40)에 포인터에 관한 영상신호를 제공하여, 디스플레이(50) 표시면의 포인팅 지점에 포인터가 표시되도록 한다. 이와 같은 상태에서, 사용자가 특정 기능 또는 메뉴를 선택하면, 시스템 제어부(60)는 이 선택에 응답하여 그에 상응한 기능조정이 이루어지도록 수신기의 해당 부분을 제어한다.
메모리(70)에서, ROM(72)은 시스템 제어부(60)의 동작을 위한 운영체제 내지 펌웨어와, 그리고 본 발명을 구현하는데 필요한 응용프로그램을 저장한다. 특히, ROM(72)에는 본 발명에 의한 제어 기능 활성화의 판단에 필요한 사용자 제스처 패턴 데이터와, 손가락 끝점 추출에 필요한 윤곽선 패턴 데이터를 저장하는 것이 바람직하다. RAM(74)은 시스템 동작 과정에서 발생하는 임시데이터를 저장한다. 메모리(70) 중 전부 또는 일부는 시스템 제어부(60)를 구성하는 마이크로컨트롤러의 내장 메모리에 의하여 대체될 수도 있다.
네트웍인터페이스(80)는 시스템 제어부(60)가 인터넷에 접근할 수 있게 해준다. 이 네트웍인터페이스(80)는 예컨대, 케이블 모뎀, xDSL 모뎀, 광망종단장 치(ONU: Optical Network Unit) 내지 FTTH(Fiber-to-the-Home) 모뎀이 될 수 있다. 한편, 위와 같이 네트웍인터페이스(80)가 디지털텔레비전 수신기에 내장될 수도 있지만, 변형된 실시예에 있어서는 디지털텔레비전 수신기와는 별도로 제작된 형태의 모뎀이 디지털텔레비전 수신기에 외부적으로 접속될 수도 있다. 시스템 제어부(60)는 사용자 제어 명령에 따라 인터넷을 통해 외부의 웹서버, 메일서버, 또는 FTP서버에 접속하여 콘텐츠를 요구하고, 수신되는 콘텐츠를 영상신호 처리부(40)를 통하여 디스플레이(50)에 표시되게 할 수 있다. 여기서, 인터넷 기능 선택, 인터넷 접속 요청, HTTP요구, 전자메일 수발신 또는 FTP요구 등 인터넷 관련 제어 명령도, 디스플레이(50)에 메뉴 내지 선택항목을 표시한 상태에서, 이미지센서(54a, 54b)로부터의 촬상한 이미지에서 사용자가 의도하는 포인팅 지점을 추정하고 선택 이벤트를 인식하여 받아들일 수 있음은 물론이다.
도 4는 시스템 제어부(60)에서 실행되는 프로그램 모듈의 구성을 보여준다. 각 프로그램 모듈의 동작을 총체적으로 제어하는 주 제어부(100) 이외에, 기능활성화 이벤트 검출부(102), 기준점 화소 검출부(104), 포인터 위치 결정부(106), 포인터 표시 제어부(108), 선택 이벤트 검출부(110), 동작 제어부(112), 및 기능비활성화 이벤트 검출부(114)가 시스템 제어부(60)에서 실행된다.
한편, 시스템 제어부(60)의 일부를 구성하는 것은 아니지만, 도 4에는 설명의 편의상 제1 내지 제4 프레임 메모리들(122~128)을 함께 도시하였다. 제1 내지 제4 프레임 메모리(122~128) 각각은 이미지센서(54a 또는 54b)가 촬상한 화상 데이터를 1 프레임 단위로 저장한다. 제1 프레임 메모리(122)는 제1 이미지센서(54a) 에 의해 촬상된 현재 프레임의 화상 데이터를 저장한다. 제2 프레임 메모리(124)는 제1 이미지센서(54a)에 의해 촬상된 이전 프레임의 화상 데이터를 저장한다. 여기서, 연산 부담을 줄이기 위하여, 이미지센서들(54a 또는 54b)이 촬상한 영상프레임을 모두 사용하는 대신에, 일부를 스키핑하고, 예컨대 0.1초 또는 0.5초당 한 프레임씩만을 선택하여 사용할 수도 있는데, 이러한 경우 '이전 프레임'이란 0.1초 또는 0.5초 이전의 프레임을 일컫는다. 3 프레임 메모리(126)는 제2 이미지센서(54a)에 의해 촬상된 현재 프레임의 화상 데이터를 저장한다. 제4 프레임 메모리(128)는 제2 이미지센서(54a)에 의해 촬상된 이전 프레임의 화상 데이터를 저장한다. 일 실시예에 있어서, 제1 내지 제4 프레임 메모리들(122~128)은 메모리(70)의 RAM(74)에 의해 구현될 수 있다.
시스템 제어부(60)에 있어서, 주 제어부(100)는 기능활성화 이벤트 검출부(102)로 하여금 본 발명에 의한 제어기능을 활성화시키기 위한 이벤트가 발생하는지를 모니터링하도록 한다. 기능활성화 이벤트 검출부(102)로부터 이벤트 발생 보고 내지 제어기능 활성화 요구가 수신되면, 주 제어부(100)는 도 1에 도시된 바와 같이 디스플레이(50) 상에서 OSD 조정메뉴가 방송영상에 중첩되어 표시되도록 포인터 표시 제어부(108)를 통하여 영상신호 처리부(40)를 제어한다. 아울러, 제어기능 활성화 요구에 응답하여, 주 제어부(100)는 기준점 화소 검출부(104), 포인터 위치 결정부(106), 포인터 표시 제어부(108), 및 선택 이벤트 검출부(110)를 활성화시킨다.
그리고, 주 제어부(100)는 기준점 화소 검출부(104)로 하여금 이미지센 서(54a,54b)에 의해 획득한 화상 내에서 기준점들의 화소 위치를 검출하도록 하고, 포인터 위치 검출부(106)로 하여금 상기 화소 위치들을 토대로 사용자가 포인팅하고자 하는 지점의 위치를 추정하여 포인터 위치를 결정하도록 한다. 포인터 위치를 수신하면, 주 제어부(100)는 포인터 표시 제어부(108)로 하여금 포인터 위치를 재조정하고 포인터 주변의 아이콘을 강조하여 표시하도록 한다. 선택 이벤트 검출부(110)로부터 선택 이벤트 검출 신호를 수신하면, 주 제어부(100)는 포인터 주변의 아이콘에 해당하는 기능조정이 이루어지도록 동작제어부(112)를 통해서 튜너(12), 음성증폭기(미도시됨) 등 수신기 요소들의 동작을 제어한다. 기능 비활성화 이벤트 검출부(114)로부터 기능 비활성화 이벤트 발생신호를 수신하면, 주 제어부(100)는 디스플레이(50) 상에서 OSD 조정메뉴를 소거하도록 포인터 표시 제어부(108)를 제어하고, 기준점 화소 검출부(104), 포인터 위치 결정부(106), 포인터 표시 제어부(108), 및 선택 이벤트 검출부(110)를 대기모드로 전환한다.
기능활성화 이벤트 검출부(102)는 본 발명에 의한 제어기능 활성화 조건으로서 사전에 정해진 기능활성화 이벤트가 발생하는지를 모니터링하고, 기능활성화 이벤트가 발생하는 경우 주 제어부(102)로 하여금 제어기능 활성화를 위한 프로세스를 실행해줄 것을 요구하게 된다. 바람직한 실시예에 있어서, 기능활성화 이벤트는 사용자가 사전에 정해진 패턴의 제스쳐를 일정 시간, 예컨대 3초 이상의 시간동안, 취하는 것으로 정해진다. 이와 같은 제스쳐의 예로는 한 눈을 감아 윙크하는 것, 얼굴의 특정 부위에 손바닥 또는 주먹을 가져다대고 있는 것, 손가락 또는 손바닥을 모니터 쪽으로 향하게 가리키고 있는 것 등을 들 수 있다.
기능활성화 이벤트 검출부(102)는 일정 주기(예컨대 1초)마다 제1 프레임 메모리(122)에 저장된 영상 데이터를 독출하여 ROM(72)에 저장되어 있는 제스쳐 패턴 데이터와 비교함으로써, 사용자가 기능활성화를 위한 제스쳐를 취하고 있는지를 판단한다. 사용자가 상기 제스쳐를 취하고 있고 일정 시간 이상 유지하는 것으로 판단하는 경우, 기능활성화 이벤트 검출부(102)는 사용자가 기능활성화를 요구하는 것으로 판단하고, 주 제어부(100)에 제어기능 활성화를 요구한다.
기준점 화소 검출부(104)는 제1 이미지센서(54a)에 의해 촬상된 현재 프레임의 화상 데이터를 제1 프레임 메모리(122)로부터 독출하고, 이 화상(도 5의 154a) 내에서 객체인 사용자의 윤곽선을 검출하고, 이 윤곽선을 메모리(70)에 저장된 패턴과 비교함으로써, 화상 내에서 제1 기준점에 해당하는 화소(도 5의 155a)의 위치를 결정한다. 여기서, 제1 기준점이란 사용자의 신체에서 양손 중 화면에 가까운 손의 손가락 끝점, 특히 뻗쳐져 있는 손가락 또는 집게손가락의 끝점을 말한다. 윤곽선 검출이나 패턴 비교는 기존에 다양한 방법이 제시되어 있고 본 발명이 속하는 기술분야에서 당업자가 용이하게 구현할 수 있으므로 이에 대한 상세한 설명은 생략한다.
마찬가지 방법으로, 기준점 화소 검출부(104)는 제2 이미지센서(54b)에 의해 촬상된 현재 프레임의 화상 데이터를 제3 프레임 메모리(126)로부터 독출하고, 이 화상(도 5의 154b) 내에서 제1 기준점에 해당하는 화소(도 5의 155b)의 위치를 결정한다. 나아가, 기준점 화소 검출부(104)는 제1 및 제2 이미지센서(54a, 54b)에 의해 각각 촬상된 화상(도 5의 154a, 154b) 내에서 사용자의 좌우측 안구 중심에 해당하는 화소들의 위치를 결정한다. 그리고, 각 화상에서 좌우측 안구 중심에 해당하는 화소들의 위치를 평균하여, 제2 기준점 즉 좌우측 안구 중심의 중점 내지 미간 중심점에 해당하는 화소의 위치를 결정한다.
포인터 위치 결정부(106)는 제1 및 제2 이미지센서(54a, 54b)에 의해 각각 촬상된 화상(도 5의 154a, 154b) 내에서 제1 및 제2 기준점에 해당하는 화소(도 5의 155a, 55b)의 위치 데이터를 기준점 화소 검출부(104)로부터 받아들이고, 이 데이터들을 사용하여 제1 기준점 Pf(Xf,Yf,Zf) 및 제2 기준점 Peye(Xeye,Yeye,Zeye)의 공간좌표를 계산한다. 그리고, 포인터 위치 결정부(106)는 제1 기준점 Pf(Xf,Yf,Zf) 및 제2 기준점 Peye(Xeye,Yeye,Zeye)의 공간좌표를 사용하여, 디스플레이 표시면(52)에서의 포인터 위치 Ppoint(Xpoint,Ypoint,0)를 결정한다.
이를 위하여, 포인터 위치 결정부(106)는 먼저 제1 이미지센서(54a)에 의해 촬상된 화상(154a)에 대하여, 제1 기준점 즉 손가락 끝점에 해당한다고 결정된 화소(155a)의 위치를 토대로, 해당 화소에 상이 맺힐 수 있는 점들의 위치를 기술하는 가상의 직선(156a)의 방정식을 계산한다. 또한, 포인터 위치 결정부(106)는 제2 이미지센서(54b)에 의해 촬상된 화상(154b)에 대하여, 화상 내에서 제1 기준점에 해당한다고 결정된 화소(155b)의 위치를 토대로, 해당 화소에 상이 맺힐 수 있는 점들의 위치를 기술하는 가상의 직선(156b)의 방정식을 계산한다. 그 다음, 포인터 위치 결정부(106)는 두 직선의 교점을 결정한다. 교점 결정은, 두 직선(156a, 156b)의 방정식을 대수적으로 연립하여 풀어서 이루어질 수도 있지만, 계산 오류를 감안하여 수치해석적으로 예컨대 반복법(iteration)에 의하여 각각의 직선에서 상 대 직선과 가장 거리가 가까운 점들을 결정하고 그 중점을 계산하여 결정하는 것이 바람직하다. 이 교점이 제1 기준점 Pf(Xf,Yf,Zf)이 된다. 그리고, 제2 기준점 Peye(Xeye,Yeye,Zeye) 즉, 사용자의 미간 중심점도 이와 유사한 방식으로 결정할 수 있다.
나아가, 포인터 위치 결정부(106)는 도 1에 도시된 바와 같이 두 기준점 Pf(Xf,Yf,Zf), Peye(Xeye,Yeye,Zeye)을 연결하는 가상의 직선이 디스플레이 표시면(52)과 만나는 지점의 좌표(Xpoint,Ypoint,0)를 결정하고, 이 점을 사용자가 포인팅하고자 의도하는 점이라고 추정한다.
포인터 표시 제어부(108)는, 주 제어부(100)의 메뉴 활성화 지시신호에 응답하여, 선택제어신호를 영상신호 처리부(40)에 출력함과 아울러, 디스플레이(50) 상에서 OSD 조정메뉴가 방송영상에 중첩되어 표시되도록 OSD 조정메뉴 데이터를 영상신호 처리부(40)에 제공한다. 도 1에 도시된 바와 같이, OSD 조정메뉴는 '채널업(+)' 아이콘(56a), '채널다운(-)' 아이콘(56b), '볼륨업(+)' 아이콘(56c), '볼륨다운(-)' 아이콘(56d), 볼륨 레벨 인디케이터(56e), '전원 온/오프' 아이콘(56f)을 포함하며, 그밖에 수신기 기능조정 아이콘이나, 'OSD 조정메뉴 끝내기' 아이콘을 추가로 포함할 수 있다. 포인터가 표시될 때에는, 포인팅 지점에 위치하는 아이콘이 색상이나 명도 또는 채도에 있어 두드러지게 강조되어 표시된다. 그리고, 주 제어부(100)를 통하여 또는 포인터 위치 결정부(106)로부터 직접 포인터 좌표 데이터를 수신하면, 새로운 포인터 좌표에 맞추어 OSD 조정메뉴 데이터를 갱신하여 영상신호 처리부(40)에 제공한다.
선택 이벤트 검출부(110)는 사용자가 포인터 위치에 상응한 기능조정을 요구하는 선택 이벤트가 발생하는지를 모니터링하고, 선택 이벤트가 발생하는 경우 주 제어부(102)로 하여금 해당 기능조정을 위한 프로세스를 실행해줄 것을 요구하게 된다. 바람직한 실시예에 있어서, 선택 이벤트는 사용자가 전방의 가상 버튼을 누르듯이 집게손가락 끝을 앞으로 구부리는 것, 즉 허공에 대한 클릭을 검출하는 것으로 정해진다. 이와 같이 사용자가 허공에 클릭하는 순간, 도 6에 도시된 바와 같이, 손가락 끝 좌표는 높이가 낮아지거나 화면쪽으로 이동하거나 또는 양자가 모두 발생하게 된다.
도 7은 선택 이벤트 검출 과정의 일 실시예를 보여준다. 본 실시예에 있어서, 선택 이벤트 검출부(110)는 기준점 화소 검출부(104)로부터 프레임 단위로 제1 기준점 즉, 손가락 끝점 데이터를 받아들여 RAM(74)에 저장한다(제200단계). 한편, 선택 이벤트 검출부(110)는 제1 및 제2 프레임 메모리(122, 124)로부터의 화상 데이터를 받아들이고, 손의 윤곽선을 추출한 후 윤곽선 상의 특징점 또는 중심점의 위치를 저장해둔다(제202단계). 선택 이벤트 검출부(110)는 기준점 화소 검출부(104)로부터 받아들인 좌표로부터 전후방향(z축 방향) 및 상하방향(y축 방향)의 프레임간 좌표 변화량을 계산한 후, 일정 시간(예컨대 0.5초) 동안의 누적 좌표변화량을 계산한다(제204단계). 그리고, 선택 이벤트 검출부(110)는 전후방향(z축 방향) 또는 상하방향(y축 방향)의 누적 좌표변화량(ΔZf, ΔYf)이 각각 기준치(TH1, TH2)보다 큰 지를 판단한다(제206단계). 만약 전후방향(z축 방향)과 상하방향(y축 방향)의 누적 좌표변화량(ΔZf, ΔYf)이 모두 각각의 기준치(TH1, TH2)보 다 작다면, 제어명령 비활성화 명령이 인가되지 않는 한 검출 프로세스는 제200단계로 복귀한다(제214단계).
한편, 제206단계에서 전후방향(z축 방향) 또는 상하방향(y축 방향)의 누적 좌표변화량(ΔZf, ΔYf)이 각각 기준치(TH1, TH2)보다 크다고 판단된 경우, 선택 이벤트 검출부(110)는 해당 시간동안의 윤곽선 이동량을 계산하고, 윤곽선 이동량이 일정 기준치(TH3)보다 작은 지를 판단한다(제208단계, 제210단계). 만약 제210단계에서 윤곽선 이동량이 기준치(TH3)보다 작다고 판단되면, 선택 이벤트 검출부(110)는 손이 전체적으로 움직이지 않은 상태에서 손가락만 클릭했다고 간주하고 선택 이벤트 발생신호를 주 제어부(100)로 송신한다(제212단계). 그렇지만, 제210단계에서 윤곽선 이동량이 기준치(TH3)보다 크다고 판단된 경우에는, 선택 이벤트 검출부(110)는 포인팅을 위하여 손이 전체적으로 이동하였다고 보고 선택 이벤트 발생신호를 송신하지 않는다. 주 제어부(100)로부터 제어명령 비활성화 명령이 인가되지 않는 한, 이 프로세스가 반복적으로 수행된다.
선택 이벤트 검출부(110)로부터 선택 이벤트 검출 신호를 수신하면, 주 제어부(100)는 포인터 주변의 아이콘에 해당하는 기능조정이 이루어지도록 동작제어부(112)에게 기능조정을 지시한다. 이에 따라, 동작 제어부(112)는 튜너(12), 음성증폭기(미도시됨) 등 수신기 요소들의 동작을 제어하여 사용자가 의도한 기능조정이 이루어지도록 한다.
기능비활성화 이벤트 검출부(114)는 본 발명에 의한 제어기능을 종료하기 위한 기능비활성화 이벤트가 발생하는지를 모니터링하고, 기능비활성화 이벤트가 발 생하는 경우 주 제어부(102)에 기능비활성화 이벤트 발생신호를 송신한다. 기능비활성화 이벤트의 예로는 예컨대 5초 이상의 시간동안 손가락의 움직임이 없는 것을 들 수 있다.
본 발명에 의한 디지털텔레비전 수신기는 다음과 같이 동작한다.
도 8은 본 발명에 의한 디지털텔레비전 수신기에서 제어기능의 전체적인 흐름을 보여준다.
방송시청 중에 또는 인터넷 사용 중에 사용자는 기능 활성화를 위한 요건으로 사전에 정해진 이벤트를 발생시킴으로써 본 발명에 의한 제어기능을 활성화시켜 편리하게 수신기의 기능을 조정할 수 있다. 이러한 기능활성화 이벤트는 일정한 패턴의 제스쳐, 예컨대 한 눈을 감아 윙크하는 것, 얼굴의 특정 부위에 손바닥 또는 주먹을 가져다대고 있는 것, 손가락으로 또는 손바닥을 모니터 쪽으로 향하게 가리키고 있는 것 등의 제스쳐를 일정 시간(예컨대 3초 이상의 시간)동안 취하는 것으로 정해질 수 있음은 위에서 설명한 바와 같다.
전원이 켜져 있는 한, 수신기는 이미지센서(54a, 54b)를 통하여 수신기 전방의 화상을 계속 획득하면서, 위와 같은 기능활성화 이벤트가 발생하는지 모니터링한다(제300단계). 기능활성화 이벤트가 발생하면, 시스템 제어부(60)는 수신기가 방송수신 모드를 수행하고 있는지, 인터넷 모드를 수행하고 있는지를 판단한다(제302단계). 만약, 수신기가 방송수신 모드를 수행하고 있는 상태였다면, 시스템 제어부(60)는 방송수신 제어프로세스를 수행한다(제304단계). 이에 반하여, 수신기가 인터넷 모드를 수행하고 있었다면, 시스템 제어부(60)는 인터넷 브라우징 제어 프로세스를 수행한다(제306단계).
도 9는 도 8에 도시된 방송수신 제어프로세스(제304단계)를 보여준다.
포인터 표시 제어부(108)는 OSD 조정메뉴 데이터를 영상신호 처리부(40)에 제공하는 한편 선택제어신호를 출력하여, 영상신호 처리부(40)가 방송영상에 OSD 조정메뉴가 중첩된 영상을 디스플레이(50)를 통해 출력하도록 한다(제320단계). 이와 같은 상태에서, 포인터 위치 결정부(106)는 사용자가 포인팅하고자 의도하는 위치를 추정하여 포인터 위치로 결정하고, 결정된 포인터 위치에 포인터를 표시한다(제322단계).
포인터 위치 결정 과정을 도 10을 참조하여 보다 구체적으로 설명한다.
제1 및 제2 이미지센서(54a, 54b)는 지속적으로 화상이 획득하여 프레임 메모리(122, 126)에 저장한다(제340단계). 기준점 화소 검출부(104)는 제1 및 제2 이미지센서(54a, 54b)에 의해 촬상된 화상 내에서, 제1 기준점 즉, 사용자의 집게손가락 끝점에 해당하는 화소(도 5의 155a, 155b)의 위치를 결정하고, 마찬가지로 제2 기준점 즉, 미간 중심점에 해당하는 해당하는 화소의 위치를 결정한다. 포인터 위치 결정부(106)는 이 화소들의 위치 데이터를 사용하여 제1 기준점 Pf(Xf,Yf,Zf) 및 제2 기준점 Peye(Xeye,Yeye,Zeye)의 공간좌표를 계산한다(제342단계, 제344단계). 그리고, 포인터 위치 결정부(106)는 제1 기준점 Pf(Xf,Yf,Zf) 및 제2 기준점 Peye(Xeye,Yeye,Zeye)의 공간좌표를 사용하여, 디스플레이 표시면(52)에서의 포인터 좌표 Ppoint(Xpoint,Ypoint,0)를 결정한다(제346단계). 포인터 좌표가 결정되면, 포인터 표시 제어부(108)는 새로운 포인터 좌표에 맞게 OSD 조정메 뉴 데이터를 갱신하여 영상신호 처리부(40)에 제공한다. 이에 따라, 화면상에서 갱신된 포인터 좌표에 해당하는 위치에 포인터가 표시되고, 포인터 주위에 있는 메뉴항목 하이이콘이 색상이나 명도 또는 채도에 있어 두드러지게 강조되어 표시된다(제348단계).
다시 도 9를 참조하면, 제322단계에서 포인팅하고자 하는 위치에 포인터가 표시되면, 사용자는 선택 이벤트를 발생시킴으로써 즉, 손가락으로 허공에 클릭을 함으로써, 포인터가 위치하고 있는 지점과 관련된 아이콘을 선택하여, 이 아이콘에 해당하는 조정기능을 실행시킬 수 있다. 시스템 제어부(60)의 선택 이벤트 검출부(110)는 선택 이벤트가 발생하면(제324단계), 선택 이벤트 발생신호를 주 제어부(100)에 출력한다. 주 제어부(100)는 동작 제어부(112)로 하여금 음성증폭기 또는 튜너를 제어하도록 함으로써 해당 조정기능이 실행될 수 있도록 한다(제326단계). 이에 따라 사용자가 의도하는 기능이 손쉽게 구현될 수 있다. 한편, 사용자가 조정기능을 이용하던 중에 일정 시간동안 손가락을 움직이지 않거나 화면상의 'OSD 조정메뉴 끝내기' 아이콘을 선택하면(328), 비활성화 이벤트 검출부(114)는 비활성화 이벤트 검출신호를 주 제어부(100)에 출력한다. 이 신호에 응답하여, 주 제어부(100)는 포인터 표시 제어부(108)를 제어하여 OSD 조정메뉴가 소거되도록 하고, 기준점 화소 검출부(104), 포인터 위치 결정부(106), 포인터 표시 제어부(108), 및 선택 이벤트 검출부(110)를 대기모드로 전환시킨다.
도 11은 도 8에 도시된 인터넷 브라우징 제어프로세스(제306단계)를 보여준다.
인터넷TV 모드에서, 주 제어부(100)는 네트웍 인터페이스(80)를 통해 수신되는 인터넷 콘텐츠 데이터를 영상신호 처리부(40)에 제공하며, 이에 따라 인터넷 콘텐츠가 디스플레이(50)에 표시된다(제360단계). 이와 같은 상태에서, 제어기능이 활성화되면, 포인터 위치 결정부(106)는 사용자가 포인팅하고자 의도하는 위치를 추정하여 포인터 위치로 결정하고, 결정된 포인터 위치에 포인터를 표시한다(제362단계). 포인터 위치를 결정하는 과정을 도 10과 관련하여 위에서 설명한 것과 같다. 포인팅하고자 하는 위치에 포인터가 표시되면, 사용자는 선택 이벤트를 발생시킬 수 있다. 시스템 제어부(60)의 선택 이벤트 검출부(110)는 선택 이벤트가 발생하면(제364단계), 선택 이벤트 발생신호를 주 제어부(100)에 출력한다. 주 제어부(100)는 디스플레이(50) 표시면 상에서 현재의 포인팅 위치에 있는 하이퍼링크 내지 메뉴항목을 추출하고, 추출된 하이퍼링크 내지 메뉴항목에 상응하는 콘텐츠를 이와 관련된 서버에 요구한다(제366단계). 제368단계에서 네트웍 인터페이스(80)를 통해 콘텐츠를 수신하면, 주 제어부(100)는 수신된 콘텐츠가 디스플레이(50)에 표시되도록 한다. 한편, 사용자가 화면상의 'OSD 조정메뉴 끝내기' 아이콘을 선택하면(328), OSD 조정메뉴 또는 인터넷TV 모드 자체가 종료된다(제370단계).
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
예컨대, 이상의 설명에서는 디지털텔레비전 수신기를 중심으로 본 발명의 바람직한 실시예를 설명하였지만, 본 발명은 이에 한정되지 않고 여타의 이미지 디스 플레이 장치에도 동일하게 적용할 수 있다. 이와 같은 장치로는 예컨대, 아날로그텔레비전 수신기, 텔레비전 신호 수신 기능이 없이 복합영상신호 또는 비디오 비트스트림을 받아들여 표시하는 모니터, 프리젠테이션용 프로젝터, PC 및 여타의 정보기기 등을 들 수 있는데, 이에 한정되는 것은 아니다. 나아가, 본 발명은 디스플레이 유닛을 구비하고 사용자가 조작명령을 인가할 수 있는 여타의 전자장치에도 유사하게 적용할 수 있다.
한편, 이상의 설명에서는 집게손가락의 끝점(Pf)을 제1 기준점으로 하고, 좌우측 안구 중심의 중점(Peye) 내지 미간 중심점을 제2 기준점으로 하여, 포인터 좌표 (Xpoint,Ypoint,0)를 결정하였지만, 본 발명의 다른 실시예에 있어서는 미간 중심점이 아닌 다른 몸체 부분 예컨대 어느 한쪽 눈의 안구 중심, 어깨 윤곽선 상의 한 점, 머리 상단 끝점 등을 제2 기준점으로 할 수도 있다.
다른 한편으로, 이상의 설명에서는, 도 12a와 같이, 집게손가락의 끝점(Pf)과 미간 중심점(Peye)을 연결하는 가상의 직선이 디스플레이 표시면(52)과 만나는 점(Ppoint)을 포인팅 지점으로 결정하게 되면, 포인팅하는 손에 의해 화면 일부가 가리게 되어, 사용자에게 불편함을 야기할 수 있다. 이를 감안하여, 본 발명의 다른 실시예에 있어서는, 도 12b와 같이 제1 기준점(Pf)보다 일정한 옵셋(D1)만큼 위에 보조기준점(Pfup)을 상정하고, 이 보조기준점(Pfup)과 제2 기준점(Peye)을 연결하는 가상의 직선이 디스플레이 표시면(52)과 만나는 점(Ppoint2)을 포인팅 지점으로 결정할 수도 있다. 또 다른 실시예에 있어서는, 도 12c와 같이 제2 기준점(Peye)보다 일정한 옵셋(D2)만큼 아래에 보조기준점(Peyedown)을 상정하고, 제1 기준점(Pf)과 보조기준점(Peyedown)을 연결하는 가상의 직선이 디스플레이 표시면(52)과 만나는 점(Ppoint2)을 포인팅 지점으로 결정할 수도 있다. 또 다른 실시예에 있어서는, 도 12d와 같이 제1 기준점(Pf)과 제2 기준점(Peye)을 연결하는 가상의 직선이 디스플레이 표시면(52)과 만나는 점(Ppoint)을 결정한 후, 이보다 일정한 옵셋(D3)만큼 위에 있는 점(Ppoint3)을 포인팅 지점으로 결정할 수도 있다. 이와 같은 변형된 실시예들에 따르면, 사용자가 포인팅할 때 손에 의해 화면이 가리는 문제가 없게 되며, 손을 높게 들지 않아도 되기 때문에 포인팅이 더욱 손쉬워진다는 장점이 있다.
이와 같이, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명에 의한 디지털텔레비전 수신기에서 사용자가 화면상의 한 지점을 포인팅하는 예를 개념적으로 보여주는 도면.
도 2a 및 도 2b는 일 실시예에 있어서 기준점들의 좌표를 결정하는데 사용되는 좌표계를 예시하는 도면.
도 3은 본 발명에 의한 디지털텔레비전 수신기의 일 실시예의 블록도.
도 4는 도 3에 도시된 시스템 제어부에서 실행되는 프로그램 모듈의 상세 블록도.
도 5는 제어부에서 제1 기준점 또는 제2 기준점의 위치를 결정하는 과정을 설명하기 위한 도면.
도 6은 사용자가 허공에 클릭하는 순간의 손가락 변화를 보여주는 도면.
도 7은 선택 이벤트 검출 과정의 일 실시예를 보여주는 흐름도.
도 8은 본 발명에 의한 디지털텔레비전 수신기에서 제어기능의 전체적인 흐름을 보여주는 흐름도.
도 9는 방송수신 제어프로세스를 보여주는 흐름도.
도 10은 도 9의 프로세스에서 포인터 위치 결정 및 표시 단계를 구체적으로 보여주는 흐름도.
도 11은 인터넷 브라우징 제어프로세스를 보여주는 흐름도.
도 12a 내지 도 12d는 표시면 상의 포인팅 지점을 결정하는 예들을 설명하기 위한 도면.

Claims (33)

  1. 표시면을 구비하는 디스플레이 유닛;
    소정 포맷의 비디오 신호를 상기 디스플레이 유닛에 제공하여 상기 비디오 신호에 상응한 영상이 상기 표시면에 표시되도록 하는 영상신호 처리부;
    상기 표시면 전방을 촬상하는 이미지 캡쳐 유닛; 및
    상기 이미지 캡쳐 유닛이 촬상한 이미지를 사용하여, 상기 표시면 전방에 있는 사용자의 손에서의 소정의 제1 기준점의 위치를 결정하고, 상기 사용자의 몸체에서의 소정의 제2 기준점의 위치를 결정하며, 상기 제1 및 제2 기준점의 위치정보를 사용하여 상기 사용자가 상기 표시면 상에서 포인팅하고자 하는 지점을 추정하는 제어부;
    를 구비하며, 상기 제어부는 상기 디스플레이 유닛의 표시면 상에서 상기 추정된 포인팅 지점에 소정의 포인터가 표시되도록 상기 영상신호 처리부를 제어하는 이미지 디스플레이 장치.
  2. 청구항 1에 있어서,
    방송신호를 수신하고, 상기 수신된 방송신호를 복조하고 복호화하여 비디오 비트스트림을 출력하는 방송신호 수신부;
    를 더 구비하며,
    상기 영상신호 처리부는 상기 비디오 비트스트림을 상기 포맷으로 변환하고, 포맷변환된 비디오 신호를 상기 디스플레이 유닛에 출력함으로써 상기 포맷변환된 비디오 신호에 상응한 영상이 상기 표시면에 표시되도록 하는 이미지 디스플레이 장치.
  3. 청구항 2에 있어서, 상기 이미지 캡쳐 유닛이
    상기 이미지 디스플레이 장치의 전면에서 서로 상이한 위치에 배치되는 2개 이상의 이미지 센서들;
    을 구비하는 이미지 디스플레이 장치.
  4. 청구항 3에 있어서, 상기 이미지 캡쳐 유닛이
    수평위치와 수직위치가 서로 상이하게 배치되는 2개의 이미지 센서들;
    을 구비하는 이미지 디스플레이 장치.
  5. 청구항 2에 있어서,
    상기 영상신호 처리부가 상기 포맷변환된 비디오 신호와 소정의 온스크린디스플레이(OSD) 조정메뉴 데이터를 합성하며,
    상기 디스플레이 유닛에 상기 포맷변환된 비디오 신호에 상응한 영상에 소정의 온스크린디스플레이 조정메뉴가 융합되어, 상기 포인터와 함께 표시되는 이미지 디스플레이 장치.
  6. 청구항 5에 있어서,
    상기 제어부가 상기 영상신호 처리부에 상기 OSD 조정메뉴 데이터를 제공하는 이미지 디스플레이 장치.
  7. 청구항 6에 있어서,
    상기 제어부가 상기 영상신호 처리부에, 상기 디스플레이 유닛 상에서 상기 포인팅 지점에 상응하는 메뉴항목이 강조되어 표시되도록 하기 위한, 변형된 OSD 조정메뉴 데이터를 제공하는 이미지 디스플레이 장치.
  8. 청구항 5에 있어서,
    상기 영상신호 처리부가, 상기 디스플레이 유닛 상에서 상기 포인팅 지점에 상응하는 메뉴항목이 강조되어 표시되도록 하기 위한 변형된 OSD 조정메뉴 데이터를 상기 포맷변환된 비디오 신호에 합성하는 이미지 디스플레이 장치.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서, 상기 제1 기준점은 어느 한 손가락의 끝점이고, 상기 제2 기준점은 어느 한쪽 눈(目)의 안구 중심, 미간 중심점, 상기 손가락에 관련된 어깨 윤곽선 상의 한 점, 머리 상단 끝점, 팔꿈치 부위의 한 점으로 구성된 특이점 그룹에서 선택되는 어느 한 점인 이미지 디스플레이 장치.
  10. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서, 상기 제어부가 상기 제1 기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 이미지 디스플레이 장치.
  11. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서, 상기 제어부가 상기 제1 기준점보다 소정 거리만큼 위에 있는 보조기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 이미지 디스플레이 장치.
  12. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서, 상기 제어부가 상기 제1 기준점과, 상기 제2 기준점보다 소정 거리만큼 아래에 있는 보조기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 이미지 디스플레이 장치.
  13. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서, 상기 제어부가 상기 제1 기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 결정하고, 상기 결정된 점보다 소정 거리만큼 위에 있는 점을 상기 포인팅 지점으로 추정하는 이미지 디스플레이 장치.
  14. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    상기 이미지 캡쳐 유닛에 의하여 촬상된 이미지로부터, 소정의 선택 이벤트를 검출하기 위한 선택 이벤트 검출수단;
    을 더 구비하고, 상기 제어부가 상기 선택 이벤트에 응답하여 상기 포인팅 지점에 상응한 동작이 이루어지도록 상기 이미지 디스플레이 장치를 제어하는 이미지 디스플레이 장치.
  15. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    상기 이미지 캡쳐 유닛에 의하여 촬상된 이미지로부터, 소정의 기능비활성화 이벤트를 검출하기 위한 기능비활성화 이벤트 검출수단;
    을 더 구비하고, 상기 제어부가 상기 기능비활성화 이벤트에 응답하여 상기 표시면에서 상기 포인터를 소거하는 이미지 디스플레이 장치.
  16. 표시면을 구비하는 디스플레이 유닛;
    상기 표시면 전방을 촬상하는 이미지 캡쳐 유닛; 및
    상기 이미지 캡쳐 유닛이 촬상한 이미지를 사용하여, 사용자의 손에서의 소정의 제1 기준점의 위치를 결정하고, 상기 사용자의 몸체에서의 소정의 제2 기준점의 위치를 결정하며, 상기 제1 및 제2 기준점의 위치정보를 사용하여 상기 사용자가 상기 표시면상에서 포인팅하고자 하는 지점을 추정하고, 상기 디스플레이 유닛의 표시면 상에서 상기 추정된 포인팅 지점에 소정의 포인터가 표시되도록 하는 제어부;
    를 구비하는 전자장치.
  17. 청구항 16에 있어서, 상기 이미지 캡쳐 유닛이
    상기 전자장치의 전면에서 서로 상이한 위치에 배치되는 2개 이상의 이미지 센서들;
    을 구비하는 전자장치.
  18. 청구항 17에 있어서, 상기 이미지 캡쳐 유닛이
    수평위치와 수직위치가 서로 상이하게 배치되는 2개의 이미지 센서들;
    을 구비하는 전자장치.
  19. 청구항 16 내지 청구항 18 중 어느 한 항에 있어서, 상기 제어부가 상기 제1 기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 전자장치.
  20. 청구항 16 내지 청구항 18 중 어느 한 항에 있어서, 상기 제어부가 상기 제1 기준점보다 소정 거리만큼 위에 있는 보조기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 전자장치.
  21. 청구항 16 내지 청구항 18 중 어느 한 항에 있어서, 상기 제어부가 상기 제1 기준점과, 상기 제2 기준점보다 소정 거리만큼 아래에 있는 보조기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 전자장치.
  22. 청구항 16 내지 청구항 18 중 어느 한 항에 있어서, 상기 제어부가 상기 제1 기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 결정하고, 상기 결정된 점보다 소정 거리만큼 위에 있는 점을 상기 포인팅 지점으로 추정하는 전자장치.
  23. 청구항 16 내지 청구항 18 중 어느 한 항에 있어서,
    상기 이미지 캡쳐 유닛에 의하여 촬상된 이미지로부터, 소정의 선택 이벤트를 검출하기 위한 선택 이벤트 검출수단;
    을 더 구비하고, 상기 제어부가 상기 선택 이벤트에 응답하여 상기 포인팅 지점에 상응한 동작이 이루어지도록 상기 전자장치를 제어하는 전자장치.
  24. 청구항 16 내지 청구항 18 중 어느 한 항에 있어서,
    상기 이미지 캡쳐 유닛에 의하여 촬상된 이미지로부터, 소정의 기능비활성화 이벤트를 검출하기 위한 기능비활성화 이벤트 검출수단;
    을 더 구비하고, 상기 제어부가 상기 기능비활성화 이벤트에 응답하여 상기 표시면에서 상기 포인터를 소거하는 전자장치.
  25. 디스플레이 표시면과 이미지센서를 구비하는 전자장치에 있어서, 사용자가 상기 전자장치에 접촉하지 않는 상태로 상기 전자장치를 조작할 수 있도록 해주는 동작 제어방법으로서,
    (a) 상기 이미지센서를 사용하여 상기 표시면 전방을 촬상하는 단계;
    (b) 촬상한 이미지에서 상기 사용자의 손에서의 소정의 제1 기준점의 위치를 결정하고, 상기 사용자의 몸체에서의 소정의 제2 기준점의 위치를 결정하는 단계;
    (c) 상기 제1 및 제2 기준점의 위치정보를 사용하여 상기 사용자가 상기 표시면상에서 포인팅하고자 하는 지점을 추정하는 단계; 및
    (d) 추정된 포인팅 지점에 포인터를 표시하는 단계;
    를 구비하는 전자장치 동작 제어방법.
  26. 청구항 1에 있어서, 상기 제1 기준점은 어느 한 손가락의 끝점이고, 상기 제2 기준점은 어느 한쪽 눈의 안구 중심, 미간 중심점, 상기 손가락에 관련된 어깨 윤곽선 상의 한 점, 머리 상단 끝점, 팔꿈치 부위의 한 점으로 구성된 특이점 그룹에서 선택되는 어느 한 점인 전자장치 동작 제어방법.
  27. 청구항 25 또는 청구항 26에 있어서, 상기 (c)단계가
    상기 제1 기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 단계;
    를 포함하는 전자장치 동작 제어방법.
  28. 청구항 25 또는 청구항 26에 있어서, 상기 (c)단계가
    (c1) 상기 제1 기준점보다 소정 거리만큼 위에 있는 보조기준점의 위치를 결정하는 단계; 및
    (c2) 상기 보조기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 단계;
    를 포함하는 전자장치 동작 제어방법.
  29. 청구항 25 또는 청구항 26에 있어서, 상기 (c)단계가
    (c1) 상기 제2 기준점보다 소정 거리만큼 아래에 있는 보조기준점의 위치를 결정하는 단계; 및
    (c2) 상기 제1 기준점과 상기 보조기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 상기 포인팅 지점으로 추정하는 단계;
    를 포함하는 전자장치 동작 제어방법.
  30. 청구항 25 또는 청구항 26에 있어서, 상기 (c)단계가
    (c1) 상기 제1 기준점과 상기 제2 기준점을 연결하는 가상의 직선이 상기 표시면과 만나는 점을 결정하는 단계; 및
    (c2) 상기 (c1)단계에서 결정된 점보다 소정 거리만큼 위에 있는 점을 상기 포인팅 지점으로 추정하는 단계;
    를 포함하는 전자장치 동작 제어방법.
  31. 청구항 25 또는 청구항 26에 있어서,
    (d) 상기 이미지센서에 의하여 소정의 선택 이벤트를 검출하고, 상기 선택 이벤트에 응답하여 상기 포인팅 지점에 상응한 동작이 이루어지도록 하는 단계;
    를 더 포함하는 전자장치 동작 제어방법.
  32. 청구항 25 또는 청구항 26에 있어서,
    소정의 기능비활성화 이벤트가 발생하는지 모니터링하는 단계; 및
    상기 기능비활성화 이벤트가 발생하면, 상기 표시면에서 상기 포인터를 소거하는 단계;
    를 더 포함하는 전자장치 동작 제어방법.
  33. 청구항 32에 있어서, 상기 기능비활성화 이벤트가
    상기 포인팅 지점이 상기 표시면 밖에 있는 시간이 일정 시간 이상 지속되는 것인 전자장치 동작 제어방법.
KR1020090048289A 2009-06-01 2009-06-01 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치 KR101585466B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090048289A KR101585466B1 (ko) 2009-06-01 2009-06-01 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090048289A KR101585466B1 (ko) 2009-06-01 2009-06-01 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치

Publications (2)

Publication Number Publication Date
KR20100129629A true KR20100129629A (ko) 2010-12-09
KR101585466B1 KR101585466B1 (ko) 2016-01-15

Family

ID=43506209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090048289A KR101585466B1 (ko) 2009-06-01 2009-06-01 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치

Country Status (1)

Country Link
KR (1) KR101585466B1 (ko)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012091185A1 (en) * 2010-12-27 2012-07-05 Lg Electronics Inc. Display device and method of providing feedback for gestures thereof
WO2012111976A2 (ko) 2011-02-16 2012-08-23 Kim Seok-Joong 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2012111998A2 (ko) 2011-02-18 2012-08-23 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
WO2012154001A2 (ko) * 2011-05-12 2012-11-15 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
WO2013009040A2 (ko) 2011-07-11 2013-01-17 Kim Seok-Joong 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR101272458B1 (ko) * 2012-05-11 2013-06-07 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
WO2013162235A1 (ko) * 2012-04-23 2013-10-31 Kim Seok-Joong 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
WO2013162236A1 (ko) * 2012-04-23 2013-10-31 Kim Seok-Joong 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
WO2013180446A1 (ko) * 2012-05-29 2013-12-05 Kim Seok-Joong 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
WO2014104734A1 (en) * 2012-12-31 2014-07-03 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
WO2014104686A1 (en) * 2012-12-27 2014-07-03 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
WO2014106991A1 (ko) * 2013-01-04 2014-07-10 엘지전자 주식회사 영상표시장치의 동작 방법
KR101453815B1 (ko) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
KR101487800B1 (ko) * 2011-12-15 2015-01-29 애플 인크. 개선된 스피커 성능을 위해 댐핑을 갖는 연장된 덕트
WO2015126197A1 (ko) * 2014-02-22 2015-08-27 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US9158391B2 (en) 2011-11-08 2015-10-13 Electronics And Telecommunications Research Institute Method and apparatus for controlling content on remote screen
KR20160048062A (ko) * 2013-06-27 2016-05-03 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
WO2018080142A1 (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20180130869A (ko) 2017-05-30 2018-12-10 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
KR20190050639A (ko) 2017-11-03 2019-05-13 주식회사 케이티 컨볼루션 신경망에 기반한 제스처 분류장치 및 방법
US10299032B2 (en) 2017-09-11 2019-05-21 Apple Inc. Front port resonator for a speaker assembly
KR20190061956A (ko) 2017-11-28 2019-06-05 주식회사 케이티 가상 커서의 정확성을 향상시키는 장치 및 방법
KR20210123266A (ko) * 2015-01-12 2021-10-13 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11451902B1 (en) 2021-05-07 2022-09-20 Apple Inc. Speaker with vented resonator
US11490190B1 (en) 2021-05-07 2022-11-01 Apple Inc. Speaker with multiple resonators
WO2023128611A1 (ko) * 2021-12-30 2023-07-06 주식회사 브이터치 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102024314B1 (ko) * 2016-09-09 2019-09-23 주식회사 토비스 공간터치 인식방법 및 이를 이용한 공간터치 인식장치
JP7109193B2 (ja) * 2018-01-05 2022-07-29 ラピスセミコンダクタ株式会社 操作判定装置及び操作判定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
JP2003316510A (ja) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
KR20030093601A (ko) * 2002-06-03 2003-12-11 삼성전자주식회사 고속 데이터 전송을 위한 이동통신시스템에서의 임시식별자 할당 방법
JP2006277666A (ja) * 2005-03-30 2006-10-12 Nhk Engineering Services Inc 表示画面上位置解析装置及び表示画面上位置解析プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
JP2003316510A (ja) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
KR20030093601A (ko) * 2002-06-03 2003-12-11 삼성전자주식회사 고속 데이터 전송을 위한 이동통신시스템에서의 임시식별자 할당 방법
JP2006277666A (ja) * 2005-03-30 2006-10-12 Nhk Engineering Services Inc 表示画面上位置解析装置及び表示画面上位置解析プログラム

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012091185A1 (en) * 2010-12-27 2012-07-05 Lg Electronics Inc. Display device and method of providing feedback for gestures thereof
US9360943B2 (en) 2010-12-27 2016-06-07 Lg Electronics Inc. Display device and method of providing feedback for gestures thereof
WO2012111976A3 (ko) * 2011-02-16 2012-12-20 Kim Seok-Joong 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2012111976A2 (ko) 2011-02-16 2012-08-23 Kim Seok-Joong 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2012111998A3 (ko) * 2011-02-18 2012-12-20 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
WO2012111998A2 (ko) 2011-02-18 2012-08-23 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
CN103370678A (zh) * 2011-02-18 2013-10-23 维塔驰有限公司 不使用指示器的虚拟触摸装置
WO2012154001A3 (ko) * 2011-05-12 2013-03-21 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
WO2012154001A2 (ko) * 2011-05-12 2012-11-15 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101235432B1 (ko) * 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
CN103688236B (zh) * 2011-07-11 2017-03-22 维塔驰有限公司 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法
WO2013009040A3 (ko) * 2011-07-11 2013-03-07 Kim Seok-Joong 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US9367138B2 (en) 2011-07-11 2016-06-14 VTouch Co., Ltd. Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
WO2013009040A2 (ko) 2011-07-11 2013-01-17 Kim Seok-Joong 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
CN103688236A (zh) * 2011-07-11 2014-03-26 维塔驰有限公司 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法
EP2733585A4 (en) * 2011-07-11 2015-01-14 Vtouch Co Ltd TELEMANIPULATION DEVICE AND METHOD USING A VIRTUAL CONTACT OF A THREE-DIMENSIONALLY MODELED ELECTRONIC DEVICE
EP2733585A2 (en) * 2011-07-11 2014-05-21 VTouch Co., Ltd. Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
US9158391B2 (en) 2011-11-08 2015-10-13 Electronics And Telecommunications Research Institute Method and apparatus for controlling content on remote screen
KR101487800B1 (ko) * 2011-12-15 2015-01-29 애플 인크. 개선된 스피커 성능을 위해 댐핑을 갖는 연장된 덕트
WO2013100367A1 (en) * 2011-12-30 2013-07-04 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
WO2013162236A1 (ko) * 2012-04-23 2013-10-31 Kim Seok-Joong 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
CN104246664B (zh) * 2012-04-23 2017-03-15 维塔驰有限公司 不显示指针的透明显示器虚拟触摸装置
WO2013162235A1 (ko) * 2012-04-23 2013-10-31 Kim Seok-Joong 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
CN104246664A (zh) * 2012-04-23 2014-12-24 维塔驰有限公司 不显示指针的透明显示器虚拟触摸装置
CN104620201A (zh) * 2012-04-23 2015-05-13 维塔驰有限公司 不需要指针的三维虚拟对象信息获得装置
KR101272458B1 (ko) * 2012-05-11 2013-06-07 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
US9569103B2 (en) 2012-05-29 2017-02-14 VTouch Co., Ltd. Remote control apparatus and method for performing virtual touch by using information displayed by a projector
KR101334585B1 (ko) * 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
WO2013180446A1 (ko) * 2012-05-29 2013-12-05 Kim Seok-Joong 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
US9411488B2 (en) 2012-12-27 2016-08-09 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
WO2014104686A1 (en) * 2012-12-27 2014-07-03 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
WO2014104734A1 (en) * 2012-12-31 2014-07-03 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
CN103916707A (zh) * 2012-12-31 2014-07-09 三星电子株式会社 显示装置及其用于控制显示装置的方法
WO2014106991A1 (ko) * 2013-01-04 2014-07-10 엘지전자 주식회사 영상표시장치의 동작 방법
KR20140089209A (ko) * 2013-01-04 2014-07-14 엘지전자 주식회사 영상표시장치의 동작 방법
KR20160048062A (ko) * 2013-06-27 2016-05-03 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
US11314335B2 (en) 2013-06-27 2022-04-26 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
US10642372B2 (en) 2014-02-22 2020-05-05 VTouch Co., Ltd. Apparatus and method for remote control using camera-based virtual touch
WO2015126197A1 (ko) * 2014-02-22 2015-08-27 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US10234954B2 (en) 2014-02-22 2019-03-19 Vtouch Co., Ltd Apparatus and method for remote control using camera-based virtual touch
WO2016017932A1 (ko) * 2014-08-01 2016-02-04 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
KR101453815B1 (ko) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
US10365713B2 (en) 2014-08-01 2019-07-30 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
US11782591B2 (en) 2015-01-12 2023-10-10 Samsung Electronics Co., Ltd. Display apparatus for performing function of user selected menu item on a user interface and method for controlling display apparatus
US11442611B2 (en) 2015-01-12 2022-09-13 Samsung Electronics Co., Ltd. Display apparatus for performing function of user selected menu item on a user interface and method for controlling display apparatus
KR20210123266A (ko) * 2015-01-12 2021-10-13 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10948995B2 (en) 2016-10-24 2021-03-16 VTouch Co., Ltd. Method and system for supporting object control, and non-transitory computer-readable recording medium
WO2018080142A1 (ko) * 2016-10-24 2018-05-03 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20180130869A (ko) 2017-05-30 2018-12-10 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
US10299032B2 (en) 2017-09-11 2019-05-21 Apple Inc. Front port resonator for a speaker assembly
KR20190050639A (ko) 2017-11-03 2019-05-13 주식회사 케이티 컨볼루션 신경망에 기반한 제스처 분류장치 및 방법
KR20220146396A (ko) 2017-11-03 2022-11-01 주식회사 케이티 컨볼루션 신경망에 기반한 제스처 분류장치 및 방법
KR20190061956A (ko) 2017-11-28 2019-06-05 주식회사 케이티 가상 커서의 정확성을 향상시키는 장치 및 방법
US11451902B1 (en) 2021-05-07 2022-09-20 Apple Inc. Speaker with vented resonator
US11490190B1 (en) 2021-05-07 2022-11-01 Apple Inc. Speaker with multiple resonators
WO2023128611A1 (ko) * 2021-12-30 2023-07-06 주식회사 브이터치 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR101585466B1 (ko) 2016-01-15

Similar Documents

Publication Publication Date Title
KR101585466B1 (ko) 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
US10198870B2 (en) Information processing apparatus, information processing system, and information processing method
CN103500061B (zh) 控制显示器的方法及设备
CN110199251B (zh) 显示装置和远程操作控制装置
US8666115B2 (en) Computer vision gesture based control of a device
US20170102776A1 (en) Information processing apparatus, method and program
JP5829390B2 (ja) 情報処理装置、および情報処理方法
CN107817939B (zh) 一种图像处理方法及移动终端
CN111182205B (zh) 拍摄方法、电子设备及介质
CN110809115B (zh) 拍摄方法及电子设备
JP4697279B2 (ja) 画像表示装置および検出方法
US20110080337A1 (en) Image display device and display control method thereof
US20140053115A1 (en) Computer vision gesture based control of a device
CN110312073B (zh) 一种拍摄参数的调节方法及移动终端
KR20130081580A (ko) 표시 장치 및 그 제어 방법
KR20130094023A (ko) 디스플레이장치 및 그 시선추적방법
JP2012103800A (ja) 表示装置
KR20220158101A (ko) 이미지 촬영 방법 및 전자 장비
EP3617851B1 (en) Information processing device, information processing method, and recording medium
CN112672062B (zh) 一种显示设备及人像定位方法
CN109104566B (zh) 一种图像显示方法及终端设备
US20230090916A1 (en) Display apparatus and processing method for display apparatus with camera
CN112866772A (zh) 一种显示设备及声像人物定位追踪方法
WO2022100262A1 (zh) 显示设备、人体姿态检测方法及应用
JP2022160533A (ja) 表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant