KR20140024769A - 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치 - Google Patents

지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20140024769A
KR20140024769A KR1020120091422A KR20120091422A KR20140024769A KR 20140024769 A KR20140024769 A KR 20140024769A KR 1020120091422 A KR1020120091422 A KR 1020120091422A KR 20120091422 A KR20120091422 A KR 20120091422A KR 20140024769 A KR20140024769 A KR 20140024769A
Authority
KR
South Korea
Prior art keywords
image
electronic device
pointer
perform
function
Prior art date
Application number
KR1020120091422A
Other languages
English (en)
Inventor
송세준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120091422A priority Critical patent/KR20140024769A/ko
Priority to EP13180631.7A priority patent/EP2701388A3/en
Priority to CN201310364366.2A priority patent/CN103634545A/zh
Priority to US13/972,685 priority patent/US20140055355A1/en
Publication of KR20140024769A publication Critical patent/KR20140024769A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • G02B27/20—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective for imaging minute objects, e.g. light-pointer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Abstract

본 발명은 전자 장치의 기능 수행 방법에 관한 것으로서, 전자 장치 이외의 영역에 이미지를 출력하는 과정과, 상기 출력된 이미지를 획득하는 과정과, 상기 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하는 과정과, 상기 검출된 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는 과정을 포함하여 전자 장치를 원격 제어하고, 이에 따라 사용자 편의를 향상시킬 수 있다.

Description

지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치{METHOD FOR EVENT HANDLING OF PROJECTOR BY USING DIRECTION POINTER AND AN ELECTRONIC DEVICE THEREOF}
본 발명은 전자 장치의 이벤트 처리에 관한 것으로서, 특히 프로젝터를 구비한 전자 장치의 이벤트 처리 방법 및 장치에 관한 것이다.
최근 스마트폰 및 태블릿 PC(Personal Computer) 등과 같은 전자 장치의 급격한 발달에 따라 무선 음성 통화 및 정보 교환이 가능한 전자 장치는 생활 필수품이 되었다. 전자 장치는 보급 초기에 단순히 무선 통화가 가능한 휴대 장치로 인식되었으나, 그 기술이 발달하고 무선 인터넷이 도입됨에 따라 단순히 무선 통화가 가능한 휴대 장치에서 벗어나 일정관리, 게임, 리모컨, 이미지 촬영 및 프로젝터 등의 기능을 수행하는 멀티미디어 장치로 발전하여 사용자의 욕구를 충족시키고 있다.
최근에는 프로젝터(Projector)의 기능을 지원하는 전자 장치가 출시되고 있다. 프로젝터가 구비된 전자 장치는 외부 스크린에 동영상 및 이미지를 출력할 수 있으며, 이러한 프로젝터의 기능은 사용자의 프레젠테이션(Presentation)을 위해 사용될 수 있다. 일반적으로, 프로젝터를 이용하여 프레젠테이션을 하는 경우, 발표자는 보다 정확한 의사 전달을 위해 레이저 포인터(Laser Pointer)등과 같은 지시 포인터를 이용하여 외부 스크린에 출력된 이미지의 특정 지점을 가리킬 수 있다. 그러나, 대부분의 프레젠테이션 발표자는 이미지가 출력된 외부 스크린 근처에서 지시 포인터를 사용하여 프레젠테이션을 하기 때문에, 출력된 이미지에 특정 이벤트를 발생시키기 위해서는 발표자가 직접 전자 장치의 위치까지 이동하여 특정 이벤트를 발생시키기 위한 조작을 해야하는 불편함을 겪게된다. 예를 들어, 프레젠테이션 발표자가 출력된 프레젠테이션의 이미지를 전환하고 싶은 경우, 발표자는 직접 전자 장치로 이동한 후, 전자 장치를 조작하여 프레젠테이션의 이미지를 전환해야한다. 이와 같은 방식은 프레젠테이션 발표자가 프레젠테이션을 하기 위해 이미지가 출력된 위치와 전자 장치의 위치 사이를 자주 이동해야하는 번거로움이 존재한다. 따라서, 지시 포인터를 이용해 원격에서 용이하게 프로젝터를 조작할 수 있는 방식이 제공될 필요가 있다.
따라서, 본 발명의 실시 예는 전자 장치에서 프로젝터를 통해 이미지 출력시, 지시 포인터에 따라 이벤트를 처리하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 실시 예는 전자 장치에서 프로젝터를 통해 출력된 이미지를 획득하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 프로젝터를 통해 출력된 이미지를 분석하여 지시 포인터의 궤적을 추적하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 프로젝터를 통해 출력된 이미지를 분석하여 지시 포인터의 궤적에 따른 기능을 수행하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 유, 무선 통신 장치 및 유선 데이터 케이블을 통해 다른 디스플레이 장치에 이미지를 출력하고, 이미지를 분석하여 지시 포인터의 궤적에 따른 기능을 수행하는 방법 및 장치를 제공함에 있다.
본 발명의 실시 예에 따르면, 전자 장치의 기능 수행 방법은 전자 장치 이외의 영역에 이미지를 출력하는 과정과, 상기 출력된 이미지를 획득하는 과정과, 상기 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하는 과정과, 상기 검출된 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는 과정을 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따르면, 기능을 수행하는 전자 장치는 하나 이상의 프로세서; 프로젝터; 메모리; 및 상기 메모리에 저장되어 있으며, 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 것으로서, 상기 프로그램은 전자 장치 이외의 영역에 이미지를 출력하고, 상기 출력된 이미지를 획득한 후, 상기 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하여 상기 검출된 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는 명령어를 포함하는 것을 특징으로 한다.
본 발명에서는 전자 장치에서 전자 장치 이외의 영역에 이미지를 출력하고, 출력된 이미지를 카메라 혹은 프로젝터를 통해 획득한 후, 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하여, 검출된 지시 포인터의 이동 궤적에 따라 기 설정된 기능을 수행함으로써, 전자 장치를 원격 제어할 수 있고, 이에 따라 사용자 편의를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따라 지시 포인터를 이용하여 프로젝터의 이벤트를 처리하기 위한 전자 장치의 블록 구성을 도시하는 도면,
도 2는 본 발명의 실시 예에 따라 카메라와 프로젝터가 서로 다른 방향에 위치하는 전자 장치의 블록 구성을 도시하는 도면,
도 3a는 본 발명의 실시 예에 따른 전자 장치에서 지시 포인터를 이용한 이벤트 처리 절차를 도시하는 도면,
도 3b는 본 발명의 실시 예에 따른 전자 장치에서 지시 포인터를 이용한 이벤트 처리 절차를 수행하는 장치를 도시하는 도면,
도 4a 및 4b는 본 발명의 실시 예에 따른 전자 장치에서 카메라를 통해 획득한 이미지를 분석하여 이벤트를 처리하는 절차를 도시하는 도면,
도 5는 본 발명의 일 실시 예에 따른 전자 장치의 프레젠테이션 모드에서 다음 페이지로 전환하는 이벤트 처리 예를 도시하는 도면,
도 6은 본 발명의 다른 실시 예에 따른 전자 장치의 프레젠테이션 모드에서 이전 페이지로 전환하는 이벤트 처리 예를 도시하는 도면,
도 7은 본 발명의 또 다른 실시 예에 따른 전자 장치의 프레젠테이션 모드에서 작성된 데이터 전체를 삭제하는 이벤트 처리 예를 도시하는 도면,
도 8a는 본 발명의 또 다른 실시 예에 따른 전자 장치의 프레젠테이션 모드에서 삭제 모드로 동작하는 이벤트 처리 예를 도시하는 도면,
도 8b는 본 발명의 또 다른 실시 예에 따른 전자 장치의 프레젠테이션 모드에서 작성 모드로 동작하는 이벤트 처리 예를 도시하는 도면,
도 9는 본 발명의 또 다른 실시 예에 따른 전자 장치의 일반 모드에서 지시 포인터의 이동 형태에 대응하는 기능 수행 예를 도시하는 도면,
도 10은 본 발명의 또 다른 실시 예에 따른 전자 장치의 일반 모드에서 다음 페이지로 전환하는 이벤트 처리 예를 도시하는 도면,
도 11은 본 발명의 또 다른 실시 예에 따른 전자 장치의 일반 모드에서 이전 페이지로 전환하는 이벤트 처리 예를 도시하는 도면,
도 12는 본 발명의 또 다른 실시 예에 따른 전자 장치의 일반 모드에서 새 창을 띄우는 이벤트 처리 예를 도시하는 도면,
도 13은 본 발명의 또 다른 실시 예에 따른 전자 장치의 일반 모드에서 창을 닫는 이벤트 처리 예를 도시하는 도면,
도 14는 본 발명의 또 다른 실시 예에 따른 전자 장치에서 무선 통신 기술을 이용해서 다른 디스플레이 장치에 화면을 출력하는 장치 구성의 예를 도시하는 도면, 및
도 15는 본 발명의 또 다른 실시 예에 따른 전자 장치에서 유선 통신 기술을 이용해서 또는 유선 데이터 케이블을 이용해서 다른 디스플레이 장치에 화면을 출력하는 장치 구성의 예를 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따라 지시 포인터를 이용하여 프로젝터의 이벤트를 처리하기 위한 전자 장치의 블록 구성을 도시하고 있다.
도 1을 참조하면, 전자 장치(100)는 메모리(110), 프로세서(120), 카메라(130), 프로젝터(140) 및 입출력부(150)를 포함한다. 메모리(110) 및 프로세서(120) 각각은 다수개의 메모리(110) 및 다수개의 프로세서(120)로 구성될 수 있다.
메모리(110)는 데이터 저장부(111), 운영체제 프로그램(112), 애플리케이션 프로그램(113), 그래픽 사용자 인터페이스 프로그램(114) 및 이미지 분석 프로그램(115) 및 이벤트 처리 프로그램(116) 등을 포함한다. 또한 소프트웨어 구성요소인 프로그램은 명령어들의 집합으로 표현할 수 있으므로, 프로그램은 명령어 세트(instruction set)라고 표현하기도 한다. 프로그램은 또한 모듈로 표현하기도 한다.
메모리(110)는 본 발명의 실시 예를 수행하는 명령어들을 포함하는 하나 이상의 프로그램을 저장할 수 있다.
데이터 저장부(111)는 전자 장치(100)의 동작 중에 발생 되는 데이터를 저장한다. 본 발명에 따른 데이터 저장부(111)는 이미지 분석 프로그램(115)에서 분석된 이미지의 모서리 정보, 행렬 변환 정보 및 이미지 픽셀의 RGB 데이터 정보 등과 같은 이미지 정보를 저장할 수 있다. 또한, 본 발명에 따른 데이터 저장부(111)는 지시 포인터의 궤적별로, 대응하는 기능을 저장할 수 있다. 예를 들어, 데이터 저장부(111)는 지시 포인터가 이미지 왼쪽에서 오른쪽으로 이동하는 경우, 해당 이미지의 다음 페이지로 전환하는 기능을 저장할 수 있다. 이때, 지시 포인터는 원거리 및 근거리에서 특정 영역을 지시할 수 있는 포인터를 의미한다. 예를 들어, 지시 포인터는 레이저 포인팅 기능을 지원하는 외부 장치에 의해 이미지에 생성된 포인터를 의미한다.
운영 체제 프로그램(112)(예를 들어, WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, 또는 VxWorks와 같은 내장 운영 체제)은 일반적인 시스템 작동(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함한다. 예를 들어, 일반적인 시스템 작동의 제어는, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미한다. 운영 체제 프로그램(112)은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(프로그램) 사이의 통신을 원활하게 하는 기능을 수행한다.
애플리케이션 프로그램(113)은 브라우저(browser), 이메일(email), 메시지(message), 워드 프로세싱(word processing), 어드레스 북(address book), 위젯(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 및 PPT(Power Point) 등의 애플리케이션을 포함한다.
그래픽 사용자 인터페이스 프로그램(114)은 사용자와 전자 장치(100) 사이의 그래픽을 이용한 사용자 인터페이스를 제공하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 즉, 그래픽 사용자 인터페이스 프로그램(114)은 입출력부(150) 상에 사용자 인터페이스 정보를 표시하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 예를 들어, 그래픽 사용자 인터페이스 프로그램(114)은 프레젠테이션을 위한 이미지를 입출력부(150)에 출력하도록 제어하고, 동일한 이미지를 프로젝터(140)를 통해 외부 영역에 출력하도록 제어한다. 다른 예를 들어, 그래픽 사용자 인터페이스 프로그램(114)은 사용자가 프레젠테이션 모드 및 일반 모드 전환을 선택할 수 있는 화면을 입출력부(150)에 표시하도록 제어한다.
여기서, 프레젠테이션 모드는 지시 포인터가 이미지의 내부에서 외부로 혹은 외부에서 내부로 이동하면 특정 이벤트가 처리되고, 이미지의 내부에서 이동 시, 작성 모드로 동작하여, 지시 포인터의 이동 형태에 대응하는 그래픽 데이터를 출력하거나 삭제 모드로 동작하여 작성된 지시 포인터의 이동 형태에 대응하는 그래픽 데이터를 삭제하는 모드를 나타낸다. 다시 말해, 프레젠테이션 모드의 전자 장치(100)는 사용자 제어에 의해 이동하는 지시 포인터의 이동 궤적에 대응하는 모든 형태의 작성 데이터를 출력할 수 있다. 일반 모드는 지시 포인터가 이미지 내부에서 이동되면 지시 포인터의 이동 형태에 따라 특정 이벤트를 처리하는 모드를 나타낸다.
이미지 분석 프로그램(115)은 카메라(130) 혹은 프로젝터(140)를 통해 획득한 이미지에서 4개의 모서리를 검출한 후, 획득한 이미지를 행렬 변환한다. 이때, 이미지 분석 프로그램(115)은 검출된 모서리를 바탕으로 이미지의 영역 및 크기를 설정하고, 획득된 이미지를 행렬 변환함으로써, 프로젝터(140)를 통해 출력된 이미지와 카메라(130) 혹은 프로젝터(140)를 통해 획득된 이미지 사이의 시점(View Point) 차이를 조절한다. 만약, 출력 이미지와 획득된 이미지의 시점이 동일한 경우, 이미지 분석 프로그램(115)은 행렬 변환을 수행하지 않을 수도 있다.
이후, 이미지 분석 프로그램(115)은 이미지에서 지시 포인터를 검출하고, 검출된 지시 포인터의 색상, 빛 퍼짐 및 모양 등을 바탕으로 지시 포인터의 클릭 이벤트 발생 여부를 판단할 수 있다. 예를 들어, 이미지 분석 프로그램(115)은 빨간색의 지시 포인터가 검출되면 클릭 이벤트가 발생한 것으로 판단할 수 있고, 그외 색상의 지시 포인터가 검출되면 클릭이벤트가 발생 되지 않은 것으로 판단한다. 또 다른 예로, 이미지 분석 프로그램(115)은 지시 포인터의 모양이 하트 모양으로 검출되면 클릭 이벤트가 발생한 것으로 판단하고, 그외 모양의 지시 포인터가 검출되면 클릭 이벤트가 발생 되지 않은 것으로 판단한다. 이때, 클릭 이벤트 발생 여부를 판단하기 위한 지시 포인터의 색상, 빛 퍼짐 및 모양은 설계 방식에 따라 미리 설정될 수 있으며, 사용자에 의해 변경될 수 있다. 더하여, 지시 포인터의 빛 퍼짐은 지시 포인팅 기능을 지원하는 외부장치에서 빛이 발생하는 부분과 렌즈 사이의 거리 조절을 통해 실질적으로 상이 맺히는 지시 포인터의 지름을 변경하여 조절할 수 있다. 여기서, 클릭 이벤트는 지시 포인터의 이동 궤적에 따라 미리 설정된 이벤트를 처리하거나 외부로 출력된 이미지에 그래픽 데이터를 작성 혹은 삭제하기 위한 이벤트를 의미한다.
이하 본 발명에서는 설명의 편의를 위해 지시 포인터의 색상을 검출하여 지시 포인터의 클릭 이벤트를 판단하는 것을 예를 들어 설명한다. 그러나, 이하 설명은 지시 포인터의 모양 혹은 빛 퍼짐을 이용하여 클릭 이벤트를 판단하는 경우에도 동일한 방식으로 적용될 수 있음은 당연하다.
예를 들어, 이미지 분석 프로그램(115)은 획득된 이미지의 픽셀별로 RGB 데이터를 검출하고, 획득된 이미지의 픽셀들 중에서 지시 포인터의 RGB 데이터와 일치하는 픽셀을 검색한다. 이때, 이미지 분석 프로그램(115)은 획득된 이미지의 픽셀들 중에서 지시 포인터의 RGB 데이터와 일치하는 RGB 데이터를 가지는 픽셀이 존재하는 경우, 해당 픽셀에 지시 포인터가 존재하는 것으로 판단한다. 예를 들어, 지시 포인터의 RGB 데이터가 R:255, G:0, B:0, 혹은 R:0, G:0, B:255인 경우, 이미지 분석 프로그램(115)은 획득된 이미지의 픽셀들 중에서 RGB 데이터가 R:255:, G:0, B:0이거나 R:0, G:0, B:255인 픽셀을 검색하여, 검색된 픽셀을 지시 포인터가 존재하는 픽셀로 판단한다. 이때, R:255:, G:0, B:0인 픽셀이 존재하면 이미지 분석 프로그램(115)은 클릭 이벤트가 발생한 것으로 판단하고, R:0, G:0, B:255인 픽셀이 존재하면 클릭 이벤트가 발생 되지 않은 것으로 판단한다. 이와 같이, 이미지 분석 프로그램(115)은 카메라(130) 혹은 프로젝터(140)를 통해 실시간으로 획득되는 이미지들로부터 검색되는 지시 포인터의 RGB 데이터를 실시간으로 분석하여 클릭 이벤트 발생 여부 및 지시 포인터의 이동 궤적을 추적할 수 있다.
이벤트 처리 프로그램(116)은 이미지 분석 프로그램(115)에서 추적된 지시 포인터의 궤적에 따른 기능을 수행하도록 제어한다. 예를 들어, 이미지 분석 프로그램(115)에 의해 추적된 지시 포인터의 궤적이 이미지 왼쪽에서 오른쪽으로 이동한 것으로 추적되면, 이벤트 처리 프로그램(116)은 현재 출력중인 이미지 대신 다음 페이지로 설정된 이미지를 출력시킬 수 있다. 또 다른 예를 들어, 이미지 분석 프로그램(115)에 의해 추적된 지시 포인터의 궤적이 이미지 오른쪽에서 왼쪽으로 이동한 것으로 추적되면, 이벤트 처리 프로그램(116)은 현재 출력중인 이미지 대신 이전 페이지로 설정된 이미지를 출력 시킬 수 있다.
프로세서(120)는 도시되지는 않았지만 적어도 하나의 프로세서 및 주변 인터페이스로 구성될 수 있다. 또한, 프로세서(120)는 메모리(110)에 저장되어 있는 특정한 프로그램(명령어 세트)을 실행하여 그 프로그램에 대응하는 특정한 다수의 기능을 수행한다.
카메라(130)는 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함한다. 본 발명에서, 카메라는(130)는 프로젝터(140)를 통해 출력된 이미지를 프로젝터(140)의 렌즈(미도시)와 동일한 방향으로 설치된 카메라(130) 렌즈(미도시)를 이용하여 획득한다. 이때, 카메라(130)가 획득한 이미지는 지시 포인터를 포함한 이미지 일 수 있다
프로젝터(140)는 전자 장치(100)의 입출력부(150) 외의 영역(예를 들어, 외부 스크린 및 건물 벽면)에 이미지를 확대 혹은 축소하여 출력하는 장치를 의미한다. 이때, 프로젝터(140)가 출력하는 이미지는 전자 장치(100)의 입출력부(150)에서 출력되는 모든 이미지를 포함하며, 프로젝터(140)를 통해 출력된 이미지는 입출력부(150)를 통해 출력된 이미지와 동일한 이미지이다. 예를 들어, 프로젝터(140)는 전자 장치(100)에서 실행되는 PPT(Power Point) 이미지를 확대하여 벽면에 출력할 수 있다. 또한, 본 발명에 따른 프로젝터(140)는 카메라(130)가 수행하는 기능을 대체하여 수행할 수 있다. 예를 들어, 카메라(130)가 구비되지 않거나 혹은 카메라(130)와 프로젝터(140)가 서로 다른 방향에 구비된 경우, 프로젝터(140)는 프로젝터(140)를 통해 출력된 이미지를 획득할 수도 있다.
입출력(I/O, Input/Output)부(150)는 데이터 입력이 가능한 입력 장치와 데이터 출력이 가능한 출력 장치를 포함하여 사용자에게 인터페이스를 제공한다. 예를 들어, 입출력부(150)는 데이터 입력과 출력이 동시에 가능한 터치 스크린일 수 있다. 본 발명에 따른 입출력부(150)는 사용자로부터 프로젝터(140)를 통해 이미지를 출력하기 위한 데이터를 입력받을 수 있고, 사용자로부터 데이터가 입력되면 사용자 입력에 따른 화면을 출력할 수 있다. 예를 들어, 입출력부(150)는 사용자로부터 프레젠테이션을 위한 데이터를 입력받을 수 있고, 입력된 데이터에 대응하는 프레젠테이션을 사용자에게 제공할 수 있다.
추가로 입출력부(150)는 유선, 무선 네트워크 장치 혹은 유선 데이터 케이블을 구비하여 전자 장치(100)의 이미지를 다른 디스플레이 장치로 출력할 수 있다. 그리고 해당 출력된 이미지를 상술한 동일한 방법으로 카메라(130)을 이용해서 이미지를 획득하여 지시 포인터를 검출 할 수 있다. 여기서 상술한 유무선 네트워크 장치는 Ethernet 접속장치나 Wifi 기술, Bluetooth 기술등을 의미하며 해당 기술을 이용해서 이미지를 외부 디스플레이 장치로 출력할 수 있다. 즉, 프로젝터(140)가 구비되지 않은 전자 장치에서도 입출력부(150)를 통해 이미지를 외부 디스플레이 장치로 출력할 수 있다.
또한 유선 데이터 케이블을 이용해서 이미지를 출력할 수 있는데, 이때 사용하는 데이터 케이블로는 RGB Data Cable,HDMI Data Cable, DVI Data Cable등 이미지를 외부로 출력하는 다양한 케이블이 사용될 수 있다.
도 1에 도시되지는 않았으나, 전자 장치(100)는 통신부를 추가로 구비하여 카메라(130) 및 프로젝터(140)를 통해 획득한 이미지를 사용자 제어에 의해 다른 사용자의 전자 장치로 실시간으로 제공할 수 있다.
도 2는 본 발명의 실시 예에 따라 카메라와 프로젝터가 서로 다른 방향에 위치하는 전자 장치의 블록 구성을 도시하고 있다.
도 2에 도시된 바와 같이, 전자 장치(100)에 영상(Image)을 출력하는 프로젝터(140)의 렌즈(201, 211)와 영상을 획득하는 카메라(130)의 렌즈(202, 212)가 서로 다른 방향에 구비된 경우, 전자 장치(100)는 프로젝터(140)를 통해 출력된 영상을 카메라(130)로 획득할 수 없게 된다. 이에 따라, 카메라(130)의 렌즈(202, 212)와 프로젝터(140)의 렌즈(201, 211)가 서로 다른 방향에 구비된 전자 장치(100)는 도 2의 (a) 및 (b)에 도시된 바와 같이, 전자 장치(100) 내에 기구적 장치 혹은 전자적 영상 처리 장치를 구비하여 프로젝터(140)의 렌즈(201,211)를 통해 영상 출력과 획득을 모두 수행할 수 있다.
예를 들어, 도 2의 (a)에 도시된 바와 같이, 전자 장치(100)는 제 1 반사경(203) 및 프로젝터 렌즈(201)를 통해 원본 영상(209)를 외부로 출력하면서 동시에 프로젝터 렌즈(201)를 통해 외부 영상을 획득한 후, 획득된 외부 영상을 제 1 반사경(203)과 기구적 장치(205)를 통해 반사시켜 CCD(Charge Coupled Device)(207)로 전달할 수 있다. 여기서, 기구적 장치(205)는 반사경 혹은 다중 화각을 가지는 광학 부채일 수 있다. 또 다른 예를 들어, 도 2의 (b)에 도시된 바와 같이, 전자 장치(100)는 제 1 반사경(213) 및 프로젝터 렌즈(211)를 통해 원본 영상(219)를 외부로 출력하면서 동시에 프로젝터 렌즈(211)를 통해 원본 영상을 획득한 후, 획득된 외부 이미지를 제 1 반사경(213)과 전자적 영상 처리 장치(215)를 통해 반사시켜 CCD(217)로 전달할 수 있다.
도 3a는 본 발명의 실시 예에 따른 전자 장치에서 지시 포인터를 이용한 이벤트 처리 절차를 도시하고 있다.
도 3a를 참조하면, 전자 장치(100)는 301단계에서 전자 장치(100)의 이외의 영역에 이미지를 출력한다. 이때, 출력된 이미지는 입출력부(150)에 출력된 이미지와 동일한 이미지이며, 입출력부(150)에 출력된 이미지를 확대 혹은 축소한 이미지 일 수 있다. 예를 들어, 전자 장치(150)는 입출력부(150)를 통해 출력되는 PPT 실행 이미지를 확대하여 벽면에 출력할 수 있다.
이후, 전자 장치(100)는 303단계로 이동하여 301단계에서 출력된 이미지를 획득한다. 다시 말해, 전자 장치(100)는 전자 장치(100)의 이외의 영역에 출력된 이미지를 카메라(130) 혹은 프로젝터(140)를 통해 획득한다. 만약, 카메라(130)가 구비된 전자 장치(100)일 경우, 카메라(130)를 통해 이미지를 획득할 수 있다. 반면, 카메라(130)가 구비되지 않거나 혹은 카메라(130)와 프로젝터(140)가 서로 다른 방향에 구비된 경우, 전자 장치(100)는 프로젝터(140)를 통해 이미지를 획득할 수 있다.
이후, 전자 장치(100)는 305단계로 이동하여 획득된 이미지에서 지시 포인터의 이동 궤적을 검출한다. 여기서, 전자 장치(100)는 지시 포인터에 대해 미리 설정된 색상, 빛 퍼짐 및 모양 등을 검출하여 지시 포인터의 이동한 궤적을 검출할 수 있다.
이후, 전자 장치(100)는 307단계로 이동하여 검출된 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행한다. 예를 들어, 검출된 지시 포인터의 궤적이 이미지 왼쪽에서 오른쪽으로 이동한 것으로 검출되면, 전자 장치(100)는 현재 출력중인 이미지 대신 다음 페이지로 설정된 이미지를 출력시킬 수 있다. 또 다른 예를 들어, 전자 장치(100)에 의해 검출된 지시 포인터의 궤적이 이미지 오른쪽에서 왼쪽으로 이동한 것으로 검출되면, 전자 장치(100)는 현재 출력중인 이미지 대신 이전 페이지로 설정된 이미지를 출력시킬 수 있다.
도 3b는 본 발명의 실시 예에 따른 전자 장치에서 지시 포인터를 이용한 이벤트 처리 절차를 수행하는 장치를 도시하고 있다.
도 3b를 참조하면, 전자 장치(100)는 전자 장치(100)의 이외의 영역에 이미지를 출력하는 수단(311)과 출력된 이미지를 획득하는 수단(313)을 포함한다. 추가로, 전자 장치(100)는 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하는 수단(315)과 검출된 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능 수행 수단(317)을 포함할 수 있다.
도 4a 및 4b는 본 발명의 실시 예에 따른 전자 장치에서 카메라를 통해 획득한 이미지를 분석하여 이벤트를 처리하는 절차를 도시하고 있다.
도 4a 및 4b를 참조하면, 전자 장치(100)는 401단계에서 프로젝터(140)를 이용하여 이미지를 출력한다. 이때, 전자 장치(100)는 프로젝터(140)를 이용하여 전자 장치(100)의 이외의 영역에 이미지를 출력한다. 예를 들어, 전자 장치(100)는 프로젝터(140)를 통해 건물의 내부 벽면에 이미지를 출력할 수 있다.
이후, 전자 장치(100)는 403단계에서 카메라를 통해 이미지를 획득하고, 405단계로 이동하여 획득된 이미지의 모서리를 검출한 후, 407단계로 이동하여 검출된 모서리를 기반으로 획득된 이미지를 행렬 변환하고, 409단계로 이동하여 획득된 이미지를 분석한다. 자세히 말해, 전자 장치(100)는 획득된 이미지의 모서리 4개를 모두 검출하여 이미지의 크기 및 영역을 결정하고, 검출된 모서리 4개를 기반으로 출력된 이미지와 획득된 이미지 사이의 시점차이를 조절하기 위해 획득된 이미지를 행렬 변환한 후, 획득된 이미지의 픽셀별 RGB 데이터를 분석한다.
이후, 전자 장치(100)는 411단계로 이동하여 분석된 이미지에서 지시 포인터를 검출한다. 자세히 말해, 전자 장치(100)는 분석된 이미지의 픽셀들 중에서 지시 포인터의 RGB 데이터와 일치하는 픽셀을 검색한다. 만약, 획득된 이미지의 픽셀들 중에서 지시 포인터의 RGB 데이터와 일치하는 RGB 데이터를 가지는 픽셀이 존재하는 경우, 전자 장치(100)는 해당 픽셀에 지시 포인터가 존재하는 것으로 판단한다. 예를 들어, 지시 포인터의 RGB 데이터가 R:255, G:0, B:0 혹은 R:0, G:0, B:255인 경우, 전자 장치(100)는 획득된 이미지의 픽셀들 중에서 RGB 데이터가 R:255:, G:0, B:0 혹은 R:0, G:0, B:255인 픽셀을 검색하여, 검색된 픽셀을 지시 포인터가 존재하는 픽셀로 판단한다.
지시 포인터가 검출된 경우, 전자 장치(100)는 413단계로 이동하여 검출된 지시 포인터가 클릭 이벤트에 의해 발생된 지시 포인터인지 판단한다. 자세히 말해, 전자 장치(100)가 획득된 이미지에서 지시 포인터를 검출한 경우, 검출된 지시 포인터는 단순한 지시 기능만 수행하는 종래의 지시 포인터 일 수 있고, 특정 이벤트 처리를 수행하는 지시 포인터일 수 있다. 이때, 전자 장치(100)는 지시 포인터의 색상, 빛 퍼짐, 모양 및 크기를 인식하여 클릭 이벤트에 의해 발생된 지시 포인터인지 여부를 결정할 수 있다. 예를 들어, 전자 장치(100)는 지시 포인터의 색상이 빨간색인 경우, 클릭 이벤트에 의해 발생된 지시 포인터인 것으로 결정하고, 지시 포인터의 색상이 파란색인 경우, 단순한 지시 기능만 수행하는 종래의 지시 포인터인 것으로 결정할 수 있다.
검출된 지시 포인터가 클릭 이벤트에 의해 발생된 지시 포인터가 아닌 경우, 전자 장치(100)는 403단계로 되돌아가 이하 단계를 재수행한다.
검출된 지시 포인터가 클릭 이벤트에 의해 발생된 지시 포인터인 경우, 전자 장치(100)는 415단계로 이동하여 프레젠테이션 모드인지 여부를 판단한다. 여기서, 프레젠테이션 모드는 지시 포인터가 이미지의 내부에서 외부로 혹은 외부에서 내부로 이동하는 경우 특정 이벤트를 처리하고, 내부에서 이동 시, 작성 모드인 경우, 지시 포인터의 이동 형태를 나타내는 그래픽 데이터를 출력하고, 삭제 모드인 경우, 지시 포인터의 이동 형태에 대응하는 그래픽 데이터를 삭제하는 모드를 나타낸다. 이때, 전자 장치(100)는 사용자로부터 프레젠테이션 모드와 일반 모드에 대한 모드 전환을 위한 데이터 혹은 키 버튼을 입력받을 수 있다.
만약, 프레젠테이션 모드인 경우, 전자 장치(100)는 417단계에서 지시 포인터의 이동 형태 및 이동 방향을 분석한 후, 419단계로 이동하여 지시 포인터가 이미지의 영역을 벗어나는지 여부를 판단한다. 예를 들어, 전자 장치(100)가 벽면에 이미지를 출력하는 경우, 전자 장치(100)는 지시 포인터가 이미지 내부에서 외부로 혹은 이미지 외부에서 내부로 이동되는지 여부를 판단한다.
지시 포인터가 이미지의 영역을 벗어나는 경우, 전자 장치(100)는 지시 포인터의 이동 방향에 대응하는 기능을 수행한 후, 본 발명에 따른 절차를 종료한다. 이때, 지시 포인터가 이미지의 영역을 벗어나는 경우는 지시 포인터가 출력된 이미지의 내부에서 외부로 이동되는 경우 및 외부에서 내부로 이동되는 경우를 포함한다. 예를 들어, 도 5에 도시된 바와 같이 지시 포인터가 출력된 프레젠테이션 이미지의 내부에서 오른쪽 방향으로 이동하여 출력된 프레젠테이션 이미지의 외부 영역으로 이동되는 경우, 전자 장치(100)는 현재 출력중인 프레젠테이션 이미지 대신 다음 페이지로 설정된 이미지를 출력시킬 수 있다. 또 다른 예를 들어, 도 6에 도시된 바와 같이 지시 포인터가 출력된 프레젠테이션 이미지의 내부에서 왼쪽 방향으로 이동하여 출력된 프레젠테이션 이미지의 외부 영역으로 이동되는 경우, 전자 장치(100)는 현재 출력중인 프레젠테이션 이미지 대신 이전 페이지로 설정된 페이지를 출력시킬 수 있다.
또 다른 예를 들어, 도 7에 도시된 바와 같이 지시 포인터가 출력된 프레젠테이션 이미지의 내부에서 위쪽 방향으로 이동하여 출력된 프레젠테이션 이미지의 외부 영역으로 이동되는 경우, 전자 장치(100)는 프레젠테이션 이미지 지시 포인터를 이용하여 작성된 데이터 전체를 삭제 시킬 수 있다. 또 다른 예를 들어, 지시 포인터가 출력된 프레젠테이션 이미지의 내부에서 아래쪽 방향으로 이동하여 출력된 프레젠테이션 이미지의 외부 영역으로 이동되는 경우, 전자 장치(100)는 프레젠테이션 이미지에 데이터를 작성할 수 있는 작성 모드와 이미지에 작성된 데이터를 삭제할 수 있는 삭제 모드를 전환 시킬 수 있다. 만약, 도 8a에 도시된 바와 같이, 작성 모드인 상태에서 아래쪽 방향으로 이동하여 이미지 내부에서 이미지의 외부 영역으로 이동되는 경우, 전자 장치(100)는 모드를 작성 모드에서 삭제 모드로 전환 시킨다. 반면, 도 8b에 도시된 바와 같이, 삭제 모드인 상태에서 아래쪽 방향으로 이동하여 이미지 내부에서 이미지의 외부 영역으로 이동되는 경우, 전자 장치(100)는 모드를 삭제 모드에서 작성 모드로 전환 시킨다. 여기서, 전자 장치(100)는 지시 포인터에 대응하는 위치에 현재 작성 모드 혹은 삭제 모드로 동작중임을 나타내는 아이콘(예: 펜, 지우개)을 출력할 수 있다.
본 발명의 실시 예에 따른 지시 포인터의 이동 방향에 대응하는 기능은 프레젠테이션에 특정 이벤트를 처리하기 위한 기능으로 전자 장치(100)에 미리 설정되어 저장된 기능 혹은 사용자가 직접 설정한 기능일 수 있다.
지시 포인터가 이미지의 영역을 벗어나지 않는 경우, 전자 장치(100)는 423단계에서 현재 출력중인 이미지 혹은 다음 출력될 이미지에 지시 포인터의 이동 형태를 나타내는 그래픽을 실시간으로 추가하여 출력한 후, 본 발명에 따른 절차를 종료한다. 다시 말해, 전자 장치(100)는 사용자가 지시 포인터를 이용하여 작성하는 모든 형태의 작성 데이터를 출력할 수 있다.
반면, 프레젠테이션 모드가 아닌 경우, 전자 장치(100)는 425단계에서 지시 포인터의 이동 형태를 분석하고, 427단계로 이동하여 분석된 지시 포인터의 이동 형태에 대응하는 기능을 수행한 후, 본 발명에 따른 절차를 종료한다. 예를 들어, 전자 장치(100)는 도 9에 도시된 바와 같이, 지시 포인터의 이동 형태에 따른 다양한 기능들을 수행할 수 있다.
도 9에서 Web이라고 도시된 부분은 전자 장치(100)에서 인터넷 애플리케이션 디스플레이 시, 지시 포인터의 이동 형태에 대응하는 동작 결과에 대한 설명이다. 예를 들어, 지시 포인터의 이동 형태가 오른쪽에서 왼쪽으로 이동할 경우, 인터넷 애플리케이션 디스플레이 중에는 앞 페이지로 이동할 수 있고, 인터넷 애플리케이션 이외의 애플리케이션 디스플레이 중에는 이전에 실행했던 애플리케이션으로 이동할 수 있다.
추가로, 도 10에 도시된 바와 같이 지시 포인터가 이미지 내부에서 오른쪽으로 이동할 경우, 전자 장치(100)는 현재 출력중인 이미지 대신 다음 페이지로 설정된 이미지를 출력시킬 수 있다. 또 다른 예를 들어, 도 11에 도시된 바와 같이, 지시 포인터가 이미지 내부에서 왼쪽으로 이동할 경우, 전자 장치(100)는 현재 출력중인 이미지 대신 이전 페이지로 설정된 이미지를 출력시킬 수 있다. 또 다른 예를 들어, 도 12에 도시된 바와 같이, 지시 포인터가 이미지 내부에서 위쪽으로 이동한 후, 왼쪽으로 이동하는 경우, 전자 장치(100)는 새 페이지를 생성하여 출력할 수 있다. 또 다른 예를 들어, 도 13에 도시된 바와 같이, 지시 포인터가 이미지 내부에서 아래쪽으로 이동한 후, 오른쪽으로 이동하는 경우, 전자 자치(100)는 출력된 창을 닫을 수 있다.
여기서, 전자 장치(100)는 이미지 내에서 이동하는 지시 포인터의 이동 형태에 따라 대응하는 기능을 수행하였으나 설계 방식에 따라 전자 장치(100)는 이미지 내에 미리 설정된 영역 내에서 이동하는 지시 포인터의 이동 형태에 따라 대응하는 기능을 수행할 수도 있다.
즉, 일반 모드로 동작하는 전자 장치(100)는 이미지의 기 설정된 영역 내에서 지시 포인터가 이동할 경우, 지시 포인터의 이동 형태에 따라 대응하는 기능을 수행하고, 이미지의 기 설정된 영역 외에서 지시 포인터가 이동할 경우, 지시 포인터의 이동 형태를 나타내는 그래픽 데이터를 출력할 수 있다.
본 발명에 따른 전자 장치는 상술한 실시 예에 제한되지 않고, 지시 포인터의 이동 방향 및 이동 형태에 다른 기능들을 매칭시킬 수 있다. 이때, 지시 포인터의 이동 방향 및 이동 형태와 기능들의 매칭 관계는 설계 단계에서 기 설정된 매칭관계 혹은 사용자로부터 입력받은 매칭 관계일 수 있다.
상술한 설명에서는 전자 장치(100)에서 지시 포인터의 색상과 일치하는 색상을 가지는 획득된 이미지의 픽셀을 검색하여, 지시 포인터를 검출하는 방식에 대해 설명하였으나, 본 발명은 이에 제한되지 않고, 출력된 이미지와 획득된 이미지 사이를 비교한 후, 출력된 이미지와 획득된 이미지의 차이를 분석하여 지시 포인터를 검출하는 방식으로 수행될 수 있다. 또한, 획득된 이미지들을 시간별로 저장하여, 이전 시점에 획득된 이미지와 현재 시점에 획득된 이미지의 차이를 분석하여 지시 포인터를 검출하는 방식으로 수행될 수 있다.
추가로 지시 포인터를 검출하는 방법에 있어서 지시 포인터와 주위 배경색이 유사하거나 조명의 영향을 받아 지시 포인터 검출이 힘들 경우, 신경망 알고리즘을 사용하거나 지시 포인터를 검출하는 방식을 다른 수학적인 알고리즘을 이용하여 노이즈를 검출 및 제거함으로써, 지시 포인터를 검출할 수 있다.
이와 더불어 본 발명에서 상술한 전자 장치의 출력 방법에 있어서 프로젝터가 아닌 도 14, 도 15에서 도시된 바와 같이, 유, 무선 통신 기술을 이용하여 다른 디스플레이 장치에 출력한 이후에 지시 포인터를 검출하여 상술한 방법으로 동작을 수행할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (26)

  1. 전자 장치 이외의 영역에 이미지를 출력하는 과정과,
    상기 출력된 이미지를 획득하는 과정과,
    상기 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하는 과정과,
    상기 검출된 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  2. 제 1 항에 있어서,
    상기 전자 장치의 이외의 영역에 이미지를 출력하는 과정은,
    프로젝터를 통해 이미지를 출력하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  3. 제 2 항에 있어서,
    상기 출력된 이미지를 획득하는 과정은,
    상기 프로젝터 렌즈를 통해 획득하는 과정을 포함하며,
    상기 프로젝터 렌즈를 통해 이미지를 획득하는 과정은,
    상기 프로젝터 렌즈로부터 획득되는 이미지를 반사하는 기구적 장치 및 프로젝터 렌즈로부터 획득되는 이미지를 전달하는 전자적 영상 처리 장치 중 적어도 하나를 구비하여 이미지를 획득하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  4. 제 1 항에 있어서,
    상기 출력된 이미지를 획득하는 과정은,
    상기 카메라 렌즈를 통해 획득하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  5. 제 1 항에 있어서,
    상기 전자 장치의 이외의 영역에 이미지를 출력하는 과정은,
    상기 전자 장치의 유,무선 네트워크 장비 및 유선 데이터 출력 장치 중 적어도 하나를 이용하여 상기 전자 장치 이외의 디스플레이 장치에 이미지를 출력하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  6. 제 1 항에 있어서,
    상기 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하는 과정은
    상기 출력된 이미지의 영역을 결정하는 과정과,
    상기 획득된 이미지의 픽셀들 중에서 상기 지시 포인터의 색상과 일치하는 색상을 가지는 픽셀을 검색하는 과정과,
    검색된 픽셀을 기반으로 지시 포인터의 이동 궤적을 검출하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  7. 제 6 항에 있어서,
    상기 출력된 이미지의 영역을 결정한 후,
    상기 출력된 이미지와 상기 획득된 이미지 사이에 시점(View Point) 차이가 존재할 경우, 시점 차이를 조절하는 과정과,
    상기 시점 차이가 조절된 이미지를 획득된 이미지로 결정하는 과정을 더 포함하는
    전자 장치의 기능 수행 방법.
  8. 제 1 항에 있어서,
    상기 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하는 과정은,
    상기 획득된 이미지에서 지시 포인터의 색상, 빛 퍼짐, 모양 및 크기 중 적어도 하나를 검출하는 과정과,
    상기 검출된 지시 포인터의 색상, 빛 퍼짐, 모양 및 크기 중 적어도 하나를 바탕으로 전자 장치의 동작 모드를 결정하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  9. 제 8 항에 있어서,
    상기 검출된 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는 과정은,
    상기 결정된 전자 장치의 동작 모드에 따라 미리 저장된 이동 궤적별 기능 중에서 상기 검출된 지시 포인터의 이동 궤적에 대응하는 기능을 결정하는 과정과,
    상기 결정된 기능을 수행하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  10. 제 9 항에 있어서,
    상기 결정된 기능을 수행하는 과정은,
    상기 결정된 전자 장치의 동작 모드가 제 1 모드인 경우, 상기 이미지 영역의 외부에서 내부로 이동하는 지시 포인터의 이동 궤적, 상기 이미지 영역의 내부에서 외부로 이동하는 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는
    전자 장치의 기능 수행 방법.
  11. 제 9 항에 있어서,
    상기 결정된 기능을 수행하는 과정은,
    상기 결정된 전자 장치의 동작 모드가 제 1 모드인 경우, 상기 이미지 영역의 내부에서 이동하는 지시 포인터의 이동 궤적을 나타내는 그래픽 데이터를 출력하는 과정을 포함하는
    전자 장치의 기능 수행 방법.
  12. 제 9 항에 있어서,
    상기 결정된 기능을 수행하는 과정은,
    상기 결정된 전자 장치의 동작 모드가 제 2 모드인 경우, 상기 이미지 영역의 미리 설정된 영역 내에서 이동하는 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는
    전자 장치의 기능 수행 방법.
  13. 제 1 항에 있어서,
    상기 이동 궤적에 대응하는 기 설정된 기능은 페이지 전환하기, 작성 및 삭제 모드 전환하기, 작성 모드에서 작성된 내용 전체 삭제하기, 문서 영역 이동하기, 새 창 띄우기, 새 탭 띄우기, 새로 고침, 창 닫기, 탭 전환 하기, 작업 표시줄로 이동하기, 창 크기 변경하기 및 빠른 검색창 띄우기 중 적어도 하나를 포함하는
    전자 장치의 기능 수행 방법.
  14. 하나 이상의 프로세서;
    이미지 출력 및 획득 장치;
    메모리; 및
    상기 메모리에 저장되어 있으며, 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하는 것으로서,
    상기 프로그램은 전자 장치 이외의 영역에 이미지를 출력하고, 상기 출력된 이미지를 획득한 후, 상기 획득된 이미지에서 지시 포인터의 이동 궤적을 검출하여 상기 검출된 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는 명령어를 포함하는
    기능 수행 전자 장치.
  15. 제 14 항에 있어서,
    상기 이미지 출력 및 획득 장치는 프로젝터를 포함하는
    기능 수행 전자 장치.
  16. 제 15 항에 있어서,
    상기 프로젝터는, 상기 출력된 이미지를 획득하며, 상기 프로젝터의 렌즈로부터 획득되는 이미지를 반사하는 기구적 장치 및 상기 프로젝터 렌즈로부터 획득되는 이미지를 전달하는 전자적 영상 처리 장치 중 적어도 하나를 더 포함하는
    기능 수행 전자 장치.
  17. 제 14 항에 있어서,
    상기 이미지 출력 및 획득 장치는 카메라를 포함하며,
    상기 카메라 렌즈를 통해 상기 출력된 이미지를 획득하는
    기능 수행 전자 장치.
  18. 제 14 항에 있어서,
    상기 이미지 출력 및 획득 장치는 전자 장치 이외의 디스플레이 장치에 이미지를 출력하는 유, 무선 네트워크 장비 및 유선 데이터 출력 장치 중 적어도 하나를 포함하는
    기능 수행 전자 장치.
  19. 제 14 항에 있어서,
    상기 프로그램은 상기 출력된 이미지의 영역을 결정한 후, 상기 획득된 이미지의 픽셀들 중에서 상기 지시 포인터의 색상과 일치하는 색상을 가지는 픽셀을 검색하여, 검색된 픽셀을 기반으로 지시 포인터의 이동 궤적을 검출하는 명령어를 포함하는
    기능 수행 전자 장치.
  20. 제 18 항에 있어서,
    상기 프로그램은 상기 출력된 이미지의 영역을 결정한 후, 상기 출력된 이미지와 상기 획득된 이미지 사이에 시점(View Point) 차이가 존재할 경우, 시점 차이를 조절한 후, 상기 시점 차이가 조절된 이미지를 획득된 이미지로 결정하는 명령어를 더 포함하는
    기능 수행 전자 장치.
  21. 제 14 항에 있어서,
    상기 프로그램은 상기 획득된 이미지에서 지시 포인터의 색상, 빛 퍼짐, 모양 및 크기 중 적어도 하나를 검출하고, 상기 검출된 지시 포인터의 색상, 빛 퍼짐, 모양 및 크기 중 적어도 하나를 바탕으로 전자 장치의 동작 모드를 결정하여 상기 지시 포인터의 이동 궤적을 검출하는 명령어를 포함하는
    기능 수행 전자 장치.
  22. 제 20 항에 있어서,
    상기 프로그램은 상기 결정된 전자 장치의 동작 모드에 따라 미리 저장된 이동 궤적별 기능 중에서 상기 검출된 지시 포인터의 이동 궤적에 대응하는 기능을 결정하고, 상기 결정된 기능을 수행하는 명령어를 포함하는
    기능 수행 전자 장치.
  23. 제 21 항에 있어서,
    상기 프로그램은 상기 결정된 전자 장치의 동작 모드가 제 1 모드인 경우, 상기 이미지 영역의 외부에서 내부로 이동하는 지시 포인터의 이동 궤적, 상기 이미지 영역의 내부에서 외부로 이동하는 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는 명령어를 포함하는
    기능 수행 전자 장치.
  24. 제 21 항에 있어서,
    상기 프로그램은 상기 결정된 전자 장치의 동작 모드가 제 1 모드인 경우, 상기 이미지 영역의 내부에서 이동하는 지시 포인터의 이동 궤적을 나타내는 그래픽 데이터를 출력하는 명령어를 포함하는
    기능 수행 전자 장치.
  25. 제 21 항에 있어서,
    상기 프로그램은 상기 결정된 전자 장치의 모드가 제 2 모드인 경우, 상기 이미지 영역의 미리 설정된 영역 내에서 이동하는 지시 포인터의 이동 궤적에 대응하는 기 설정된 기능을 수행하는 명령어를 포함하는
    기능 수행 전자 장치.
  26. 제 14 항에 있어서,
    상기 이동 궤적에 대응하는 기 설정된 기능은 페이지 전환하기, 작성 및 삭제 모드 전환하기, 작성 모드에서 작성된 내용 전체 삭제하기, 문서 영역 이동하기, 새 창 띄우기, 새 탭 띄우기, 새로 고침, 창 닫기, 탭 전환 하기, 작업표시줄로 이동하기, 창 크기 변경하기 및 빠른 검색창 띄우기 중 적어도 하나를 포함하는
    기능 수행 전자 장치.
KR1020120091422A 2012-08-21 2012-08-21 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치 KR20140024769A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120091422A KR20140024769A (ko) 2012-08-21 2012-08-21 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치
EP13180631.7A EP2701388A3 (en) 2012-08-21 2013-08-16 Method for processing event of projector using pointer and an electronic device thereof
CN201310364366.2A CN103634545A (zh) 2012-08-21 2013-08-20 使用指点器处理投影仪的事件的方法及其电子设备
US13/972,685 US20140055355A1 (en) 2012-08-21 2013-08-21 Method for processing event of projector using pointer and an electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120091422A KR20140024769A (ko) 2012-08-21 2012-08-21 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR20140024769A true KR20140024769A (ko) 2014-03-03

Family

ID=48985646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120091422A KR20140024769A (ko) 2012-08-21 2012-08-21 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치

Country Status (4)

Country Link
US (1) US20140055355A1 (ko)
EP (1) EP2701388A3 (ko)
KR (1) KR20140024769A (ko)
CN (1) CN103634545A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192335B1 (en) 2014-08-25 2019-01-29 Alexander Wellen Remote control highlighter
WO2016105321A1 (en) * 2014-12-25 2016-06-30 Echostar Ukraine, L.L.C. Multi-mode input control unit with infrared and laser capability
CN105573493B (zh) * 2015-11-27 2020-08-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN107680416A (zh) * 2017-09-28 2018-02-09 深圳市鑫汇达机械设计有限公司 一种智能儿童学习机系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
US6952198B2 (en) * 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
US7039253B2 (en) * 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
US20060197756A1 (en) * 2004-05-24 2006-09-07 Keytec, Inc. Multi-mode optical pointer for interactive display system
CN100543578C (zh) * 2006-01-17 2009-09-23 联想(北京)有限公司 一种获取亮点坐标的投影机以及方法
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US7862179B2 (en) * 2007-11-07 2011-01-04 Omnivision Technologies, Inc. Dual-mode projection apparatus and method for locating a light spot in a projected image
US20090132926A1 (en) * 2007-11-21 2009-05-21 Samsung Electronics Co., Ltd. Interactive presentation system and authorization method for voice command controlling interactive presentation process
TW201101152A (en) * 2009-06-30 2011-01-01 Avisonic Technology Corp Light pointing touch panel display device and related touch panel detecting method
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
US20110289461A1 (en) * 2010-05-20 2011-11-24 Joshua Morgan Jancourtz Method and sytem for rendering computer interface cursors
US20120154595A1 (en) * 2010-12-17 2012-06-21 Sony Ericsson Mobile Communications Ab Integrated Camera-Projection Device

Also Published As

Publication number Publication date
CN103634545A (zh) 2014-03-12
EP2701388A2 (en) 2014-02-26
US20140055355A1 (en) 2014-02-27
EP2701388A3 (en) 2014-09-03

Similar Documents

Publication Publication Date Title
US10984169B2 (en) Systems, methods, and computer-readable media for providing a dynamic loupe for displayed information
US10228848B2 (en) Gesture controlled adaptive projected information handling system input and output devices
US9324305B2 (en) Method of synthesizing images photographed by portable terminal, machine-readable storage medium, and portable terminal
US9880727B2 (en) Gesture manipulations for configuring system settings
US9348420B2 (en) Adaptive projected information handling system output devices
KR100764698B1 (ko) 카메라 영상의 패턴인식과 해석에 의한 휴대 단말기의사용자 인터페이스 제어 방법 및 그 단말기
EP3686723A1 (en) User terminal device providing user interaction and method therefor
US9544556B2 (en) Projection control apparatus and projection control method
US20150268773A1 (en) Projected Information Handling System Input Interface with Dynamic Adjustment
JP4283317B2 (ja) プロジェクタシステム
US10809898B2 (en) Color picker
US9965038B2 (en) Context adaptable projected information handling system input environment
US9588673B2 (en) Method for manipulating a graphical object and an interactive input system employing the same
US9880721B2 (en) Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method
JP5344651B2 (ja) 情報処理装置、制御方法、プログラム、および情報処理システム
US20180284954A1 (en) Identifying a target area to display a popup graphical element
WO2018198703A1 (ja) 表示装置
US10133355B2 (en) Interactive projected information handling system support input and output devices
KR20140024769A (ko) 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치
US20160321968A1 (en) Information processing method and electronic device
CN108108417B (zh) 跨平台自适应控制的交互方法、系统、设备及存储介质
US20140075376A1 (en) Display control apparatus, storage medium, display control system, and display method
JP2014095891A (ja) プロジェクタ、画像投影方法ならびにプログラム
JP6747262B2 (ja) ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム
KR101998470B1 (ko) 디스플레이 장치에 표시된 내용의 확대, 축소, 이동을 위한 명령 입력 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid