KR101709529B1 - 휴대 단말을 이용한 영상 화면 제어 방법 및 장치 - Google Patents

휴대 단말을 이용한 영상 화면 제어 방법 및 장치 Download PDF

Info

Publication number
KR101709529B1
KR101709529B1 KR1020160009349A KR20160009349A KR101709529B1 KR 101709529 B1 KR101709529 B1 KR 101709529B1 KR 1020160009349 A KR1020160009349 A KR 1020160009349A KR 20160009349 A KR20160009349 A KR 20160009349A KR 101709529 B1 KR101709529 B1 KR 101709529B1
Authority
KR
South Korea
Prior art keywords
distance value
external display
motion
screen
portable terminal
Prior art date
Application number
KR1020160009349A
Other languages
English (en)
Other versions
KR20160014759A (ko
Inventor
정대광
오윤제
박성범
신홍석
이경우
최정석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160009349A priority Critical patent/KR101709529B1/ko
Publication of KR20160014759A publication Critical patent/KR20160014759A/ko
Application granted granted Critical
Publication of KR101709529B1 publication Critical patent/KR101709529B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 카메라가 구비된 휴대단말을 이용한 영상 화면 제어 방법에 있어서, 상기 휴대단말 내 기준점이 표시된 화면을 외부 디스플레이에 확대 투영하는 과정과, 상기 외부 디스플레이에 투영된 화면의 기준점을 소정의 도구를 통해 포인팅하면, 상기 포인팅된 외부 디스플레이 화면의 좌표값과 상기 휴대단말 내 기준점 표시된 화면의 좌표값이 일치하도록 설정하는 과정 및 상기 포인팅된 지점에서의 소정의 도구를 이용한 움직임 패턴을 인식하여 외부 디스플레이에 투영된 휴대단말 내 컨텐츠를 제어하는 과정을 포함함을 특징으로 하는 가시광 통신 시스템에서 휴대단말을 이용한 영상 화면 제어 방법에 관한 것이다.

Description

휴대 단말을 이용한 영상 화면 제어 방법 및 장치{APPARATUS AND METHOD FOR CONTROLLING IMAGE SCREEN USING PORTABLE TERMINAL}
본 발명은 휴대 단말기의 프리젠테이션 기능 구현 방법 및 장치에 관한 것으로, 특히 카메라가 구비된 휴대 단말을 이용하여 이의 표시화면을 외부 기기의 디스플레이 화면에 확대 영사하고, 상기 외부 기기의 디스플레이 화면에 새로이 투영되는 가시광 점 또는 포인팅 도구를 통해 휴대 단말 내 컨텐츠를 제어하는 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법 및 장치에 관한 것이다.
일반적으로 프리젠테이션이라 하면 연구 내용의 발표, 계획서나 사업 설명서 등의 발표, 세미나에서의 발표 등을 총칭하는 것으로, 다수의 사람들에게 자신의 주장이나 의견을 발표하는 것을 지칭한다.
상기 프리젠테이션에 필요한 자료를 다수의 사람들에게 제공할 필요가 있는 경우에는 유인물의 배부, 브리핑 챠트의 이용, 슬라이더 영사기, OHP 등을 사용한다.
근래 들어서는 사용하기에 간편하고 다양한 기능을 가진 프로젝터(Projector)를 많이 장치에 사용하는 것이 일반적이다.
이때, 주로 컴퓨터와 상기 컴퓨터와 연결되는 확대 영상 투영 장치, 그리고 상기 컴퓨터와 연결되는 카메라가 준비된 환경에서만 사용이 가능하므로 활용되는 공간이 제한적이며, 단지 투영되는 영상 상에 투영되는 가시광 점의 좌표를 추출하여 상기 컴퓨터 화면 상의 좌표와 대응하도록 함으로써 활용되는 기능이 매우 단순하여 활성화되는 기능이 매우 제한적 이었다.
도 1에 도시된 바와 같이 휴대용 컴퓨터를 프로젝터와 같은 외부 디스플레이 장치에 연결하여 사용하나, 휴대용 컴퓨터를 이용하는 경우에도 그 부피가 크고 무게가 상당한 이유로 휴대하기가 불편한 점이 있으며, 적은 분량의 화면 데이터를 출력하기 위해 휴대용 컴퓨터 자체를 휴대해야 하는 불편함이 있다.
그리고 공간의 제약을 받는 경우, 예를 들어 프로젝터가 멀리 떨어져 있는 경우에는 발표자가 직접 휴대용 컴퓨터를 조작할 수 없으므로, 발표의 진행에 따라 휴대용 컴퓨터를 조작할 사람이 필요하기 때문에 발표자 이외에 별도의 인력이 필요한 문제점이 발생한다.
아울러, 발표자의 진행에 따라 휴대용 컴퓨터의 화면 정보가 전화되어야 하는데, 두 사람이 진행을 함에 따라 발표자와 컴퓨터 조작자는 서로 간에 눈짓이나 수신호 등으로 이러한 동기를 맞출 노력이 필요한 불편함이 있었다.
또한, 가시광 점을 투영하는 장치를 지탱하는 손의 의도하지 않은 움직임 또는 손떨림에 의해 발생하는 가시광점의 급격한 움직임 또는 떨림에 의해서 발생하고, 이때 추출된 가시광점의 좌표가 마우스의 지적 지점과 대응하면서 의도하지 않은 좌표로 인하여 동작의 안정성이 저해되는 문제가 발생한다.
본 발명의 목적은 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어 장치 및 방법에 관한 것으로, 휴대 단말 내의 화면이 외부 디스플레이에 확대 영상으로 투영되도록 하고, 상기 확대된 영상에서 소정의 도구를 통해 특정 지점을 포인팅하여 상기 휴대 단말 내의 기능이 동작하도록 제어하기 위함이다.
본 발명의 또 다른 목적은 외부 디스플레이 화면에서, 소정의 도구를 이용하는 사용자의 손의 의도하지 않은 움직임 또는 손떨림에 의해 발생하는 소정의 도구의 무의미한 움직임 또는 떨림을 움직임 양식을 인식함에 있어서, 상기 손의 의도하지 않은 움직임 또는 손떨림의 발생을 최대한 제거함으로써 의도한 기능의 동작이 이루어지지 않거나 의도하지 않았던 기능의 동작이 이루어지는 오류를 감소시켜 기능의 정확성을 확보하기 위함이다.
상기한 목적을 달성하기 위해서 본 발명의 일 견지에 따르면, 카메라가 구비된 휴대단말을 이용한 영상 화면 제어 방법에 있어서, 상기 휴대단말 내 기준점이 표시된 화면을 외부 디스플레이에 확대 투영하는 과정과, 상기 외부 디스플레이에 투영된 화면의 기준점을 소정의 도구를 통해 포인팅하면, 상기 포인팅된 외부 디스플레이 화면의 좌표 값과 상기 휴대단말 내 기준점 표시된 화면의 좌표 값이 일치하도록 설정하는 과정 및 상기 포인팅된 지점에서의 소정의 도구를 이용한 움직임 패턴을 인식하여 외부 디스플레이에 투영된 휴대단말 내 컨텐츠를 제어하는 과정을 포함함을 특징으로 한다.
상기한 목적을 달성하기 위해서 본 발명의 다른 견지에 따르면, 카메라가 구비된 휴대단말을 이용한 영상 화면 제어 장치에 있어서, 상기 휴대단말에서 디스플레이하고자 하는 화면을 출력하여 외부 디스플레이에 확대 영사하는 영상전송부와, 상기 외부 디스플레이 화면을 촬영하는 촬영부와, 상기 촬영부를 통해 외부 디스플레이 화면상에서의 소정의 도구를 통한 포인팅 및 움직임을 인식하는 인식부와, 상기 포인팅된 외부 디스플레이 화면의 좌표 값과 상기 휴대단말 내 화면의 좌표 값을 일치하도록 설정하는 좌표 설정부와, 상기 포인팅된 지점에서의 소정의 도구를 이용한 움직임 패턴을 추출하는 움직임 패턴 추출부와, 상기 추출된 소정의 도구의 움직임을 이용하여 외부 디스플레이에 투영된 휴대 단말 내 컨텐츠를 제어하는 제어부를 포함함을 특징으로 한다.
상술한 바와 같이, 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법 및 장치에 있어서, 프리젠테이션에 필요한 기능들을 휴대 단말에 집약함으로써 간단한 회의 등에서 별도의 발표 장비를 준비해야 하는 번거로움을 감소시키는 효과가 있다.
그리고, 프리젠테이션 시 확대 영상 투영 장치를 이용하지 않고, 직접적으로 대형의 화면을 표현할 있는 대형 디스플레이를 활용하는 환경에서도 본 발명의 기술을 응용하여 외부 디스플레이 화면상에서의 포인팅 지점뿐만 아니라, 3차원 공간상에서의 한 개 이상의 포인팅 지점들에 대한 위치와 움직임 양식을 추출하도록 하여 다양한 기능들을 대응하도록 함으로써 편리한 사용자 인터페이스 환경을 제공하는 효과가 있다.
또한, 의도하지 않은 손의 움직임 또는 손떨림에 의해 발생하는 가시광점 또는 도구 포인팅 지점의 무의미한 움직임 또는 떨림을 움직임 양식을 추출하는 과정에서 최대한 제거하여 동작의 오류를 억제함으로써 안정적으로 의도한 기능의 동작이 가능하다.
도 1은 종래의 프리젠테이션 기능을 구비한 확대 영상 장치 시스템의 개략적인 구성도.
도 2는 본 발명의 일실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어에 관한 전체 시스템의 개략적인 구성도.
도 3은 휴대 단말 내 화면과 외부 디스플레이 화면에서의 기준점 설정 및 좌표 대응을 개략적으로 보인 구성도.
도 4는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법에 관한 흐름도.
도 5는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법 중에서 각 움직임 패턴의 특성에 따른 움직임 패턴 인식 절차에 관한 흐름도.
도 6의 (a), (b), (c), (d) 및 (e)는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법에서, 각 움직임 패턴인식을 개략적으로 보인 예시도.
도 7은 (a), (b) 및 (c)는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법에서, 특정 패턴 궤적의 보정을 개략적으로 보인 예시도.
도 8의 (a) 및 (b)는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 장치에 관한 상세 블록도 및 제어부의 상세 블록도.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 2는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어에 관한 전체 시스템의 개략적인 구성도이다.
본 발명이 적용된 시스템은, 휴대 단말(216)과 연결되는 외장형 확대 영상 투영 장치(214) 혹은 휴대 단말 내에 장착된 내장형 확대 영상 투영 장치(212)와 상기 휴대 단말에 구비된 카메라와, 휴대 단말 내의 화면이 확대 투영되는 외부 디스플레이 화면(210)과, 상기 외부 디스플레이 화면(210)에 새로이 투영되어 임의의 지점을 포인팅하기 위한 소정의 도구(218) 즉, 본원발명에서는 가시광점 혹은 임의의 색이 임의의 위치에 도색된 도구로 구성된다.
이하, 후술 되는 본 발명 상세 설명에서 언급되는 휴대 단말은, 휴대 단말 내에 장착된 확대 영상 투영 장치를 예로 들어 설명하기로 한다.
다음으로, 본 발명이 적용된 시스템의 개략적인 동작을 도 3의 구성도를 참조하여 대략적으로 설명하기로 한다.
도 3은 휴대 단말 내 화면과 외부 디스플레이 화면에서의 기준점 설정 및 좌표 대응을 개략적으로 보인 구성도이다.
우선, 외부 디스플레이 화면(310)에 투영되는 지적 지점의 좌표를 휴대 단말의 화면(312)에서와 같이 휴대 단말 (316) 내 화면상에서의 좌표와 대응하도록 하기 위해 기준점을 설정하는 동작을 수행한다.
더욱 상세하게는, 초기 동작 시 상기 휴대 단말(316)에서 디스플레이하고자 하는 화면을 출력하여 외부 디스플레이 화면(310)에 확대 영사할 때, 상기 휴대 단말(316)과 외부 디스플레이 화면(310)의 좌표 설정을 위해 휴대 단말(316) 내 화면의 네 모서리에 + 표시가 있는 즉, 기준점이 설정된 화면을 외부 디스플레이 화면(310)에 확대 영상으로 투영 한 다음, 사용자가 사용하는 소정의 도구(318) 즉, 가시광선 또는 임의의 색으로 임의의 위치에 도색한 도구를 이용하여 각각의 + 표시를 지적하면, 상기 외부 디스플레이 화면(310)상에 투영된 확대 영상 상에서 위치한 네 모서리의 + 표시 지점의 좌표가 휴대 단말(316) 내 화면의 네 모서리 + 표시 지점의 좌표와 대응하도록 설정된다.
상기 설정이 완료된 다음 투영된 확대 영상(310) 상에서의 소정의 도구(318)를 통해 포인팅된 위치는 기준점 설정 시 설정된 + 표시 지점들로부터 상대적인 거리로 그 위치가 설정되며, 휴대 단말(316) 내 화면상의 + 표시 지점들로부터 상대적으로 동일한 비율의 거리에 놓인 지점 위치와 대응이 이루어진다.
상기 휴대 단말(316) 내 화면과, 외부 디스플레이 화면(310)의 좌표 대응은 하기와 같다.
외부 디스플레이 확대 영상 휴대 단말 내 화면
(0,0)
(x,0)
(0,y)
(x,y)		 (0,0)
(x,0)
(0,y)
(x,y)
이하, 전술한 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어에 관한 전체 시스템의 개략적인 구성 및 도 4를 참조하여 본 발명의 바람직한 실시 예에 따른 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어 방법을 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어 방법에 관한 흐름도이다.
먼저, 410 과정에서는 좌표 설정을 위한 휴대 단말 내 기준점이 표시된 화면을 외부 디스플레이 화면에 확대 투영한다.
상기 기준점은 디스플레이하고자 하는 화면의 네 모서리에 + 표시되며, 이는 좌표 설정을 위한 초기 화면 출력 시에만 발생하는 것으로, 상기 기준점은 현재 디스플레이되는 화면의 실제 범위를 의미한다.
412 과정에서는 상기 외부 디스플레이 화면상에 표시된 + 표시를 소정의 도구를 통해 포인팅하고, 이를 통해 외부 디스플레이 화면과, 휴대 단말 내의 화면의 좌표값이 일치하도록 설정한다.
이때, 상기 소정의 도구는 사용자에 의해 사용되는 가시광점 혹은 임의의 색을 임의의 위치에 도색한 한 개 이상의 도구를 의미하며, 이를 통해 포인팅된 외부 디스플레이 화면상의 특정 지점은 식별 가능하다.
414 과정에서는 상기 외부 디스플레이 화면을 촬영한다.
여기서, 상기 촬영된 화면은 외부 디스플레이 화면상에 휴대 단말 내의 좌표 값과 동일한 지점에서 새로이 투영되는 가시광점 혹은 임의의 색을 임의의 위치에 도색한 한 개 이상의 도구를 통해 포인팅 되는 전체 화면을 의미한다.
416 과정에서는 상기 촬영된 화면을 통해 포인팅된 특정 지점의 좌표값 및 움직임 패턴을 인식한다.
이때, 상기 움직임 패턴은 예를 들어, 소정의 도구가 가시광점 일 경우, 한 번 깜빡임을 "클릭(Click)" 기능으로 대응하고, 두 번 깜빡임을 "더블 클릭(Double Click)"으로 대응하도록 인식함으로써, 상기 외부 디스플레이 화면상에 투영된 휴대 단말에서 출력 중인 컨텐츠 상의 여러 동작 아이콘들을 활성화할 수 있다.
상기 외부 디스플레이 화면상에 투영된 확대 영상 상의 임의의 객체를 활성화 한 다음 가시광점을 이동함으로써 "드래깅(dragging)"을 할 수 있으며, "드로(draw)" 아이콘을 활성화 한 다음 가시광점을 움직임으로써 움직임에 따라 선, 도형, 그림들이 상기 외부 디스플레이 화면상에 표시된다.
또한, 상기 움직임 패턴은 도 6의 (a) 및 (b)에 도시된 바와 같이, 디스플레이 화면상에서 소정의 도구를 통해 표시되는 문자, 그림 혹은 특정 명령을 수행하는 명령 기호 일 수 있으며, 상기 문자, 그림 혹은 명령 기호를 표시하고 싶을 경우, 휴대 단말 내에서 사용자의 선택에 의하여 이를 설정하여, 상기 설정된 값에 따라 표시 가능하다. 이때, 상기 문자, 그림 혹은 명령 기호의 표시 중 발생하는 불필요한 혹은 의도하지 않은 손떨림으로 인한 패턴의 궤적은 보정 가능하며, 이를 417 과정에서 수행하며, 이는 후술하는 도 5의 설명을 통해 상세히 설명하도록 한다.
그리고 418 과정에서는, 상기 소정의 도구를 통해 포인팅되고, 상기 포인팅된 지점의 움직임 패턴을 인식하여 해당 객체의 동작을 수행 혹은 상기 417 과정에 보정된 명령 기호의 휴대 단말 내의 해당 동작을 수행함으로써, 상기 외부 디스플레이 화면에 디스플레이된 임의의 컨텐츠를 제어한다.
상술한 바와 같이, 본 발명은 소정의 도구를 통해 포인팅되고, 상기 포인팅된 지점의 움직임 패턴을 인식하여 해당 객체의 동작을 수행함으로써, 도 6의 (c)와 같이, 두 개 이상의 가시광점을 이용하여 투영된 확대 영상 상에 표현된 객체를 확대(Zoon In)하거나, 축소(Zoom Out)하여 표현하거나, 객체를 회전하도록 할 수 있도록 응용 가능하다.
도 6의 (d)와 같이, 외부 디스플레이 화면상에 투영된 화면상에서 새로이 투영되는 다수의 가시광점들을 모두 휴대 단말 내 화면상의 좌표 지점과 일치하도록 설정함으로써 한 명 이상의 사용들과 상기 다수의 가시광점들과 대응하도록 할 수 있도록 응용 가능하다.
도 6의 (e)와 같이, 외부 디스플레이 화면을 이용하여 투영된 확대 영상으로 게임을 동작시킬 경우, 투영되는 가시광점 또는 소정의 도구가 포인팅하는 지점을 게임기의 제어기로도 응용 가능하다.
한편, 본 발명에서는, 상기 416 과정에서의 움직임 패턴의 종류를 문자, 명령 기호 및 그림으로 정의하고 있으며, 도 5에서는 각 움직임 패턴의 특성에 따른 움직임 패턴 인식 절차 방법을 도시하였다.
도 5는 외부 디스플레이 화면상에서 소정의 도구를 이용하여 특정 패턴 예를 들어, 문자, 그림 혹은 명령 기호를 표시함에 있어서, 의도하지 않은 손떨림에 의해 발생하는 가시광점의 무의미한 움직임 또는 떨림의 움직임 양식을 보정하기 위한 것으로, 먼저, 510 과정에서 사용자가 외부 디스플레이 화면상에 소정의 도구를 통해 표시하고자 하는 움직임 패턴을 선택한다.
상기 선택된 움직임 패턴이 명령 기호일 경우(512 과정), 상기 명령 기호가 표시되는 시작지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고(514 과정), 원하는 인식에 따라 일정 시간 T1(516 과정) 즉, 상기 명령 기호의 특성에 따라 설정된 설정 시간 값 이후의 해당 이동 지점의 가시광점 좌표를 d1으로 선택하여(518 과정) 상기 d0과 d1과의 거리를 계산하고(520 과정), 이를
Figure 112016008522682-pat00001
로 선택한다.
이때, 상기 원하는 인식은 사용자가 외부 디스플레이 화면상에서 소정의 도구를 통해 명령 기호의 표시를 진행하고 있는 것을 의미하며, 상기 명령 기호는, 특정 기능을 수행하는 기호 예를 들어, 도 7의 (a)에 도시한 바와 같이 화살표와 같은 기호로 상기 화살표의 방향에 따라 현재 디스플레이되고 있는 화면의 페이지는 이동 가능하다.
상기
Figure 112016008522682-pat00002
가 원하는 인식에 따라 상기 명령 기호의 특성에 따라 설정된 일정 거리 D1 보다 작을 경우, 다시 말해 상기 계산된 거리 값
Figure 112016008522682-pat00003
가 설정된 거리 값보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간(linear interpolation)을 수행하고(523 과정), 상기
Figure 112016008522682-pat00004
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 516 과정으로 점프하여 일정 시간 T1을 기다린 다음 동일한 동작 흐름을 반복한다.
이러한 동작 흐름을 통하여 일정 시간 T 이내에서 일정 거리 D보다 큰 움직임은 소거되어 손떨림에 의한 급격한 움직임, 무의미한 움직임, 떨림 등의 움직임 궤적을 보정하는 과정에서 제거 가능하며, 이를 도 7의 (a)에 도시하였다.
따라서, 일정 시간 T와 일정거리 D는 원하는 인식 기능에 따라 다르게 설정함으로써 각 움직임 패턴의 특성에 따라, 보다 정밀한 동작의 정확성의 확보가 가능하다.
한편, 상기 선택된 움직임 패턴이 텍스트(text) 인식 일 경우(520 과정) 즉, 사용자가 텍스트 기능을 소정의 도구를 통해 선택한 경우, 상기 텍스트가 표시되는 시작지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고(522 과정), 원하는 인식에 따라 일정 시간 T2(524 과정), 이후의 가시광점 좌표를 d1으로 선택하여(526 과정), 상기 d0과 d1과의 거리를 계산하고(528 과정), 이를
Figure 112016008522682-pat00005
로 선택한다. 상기
Figure 112016008522682-pat00006
가 원하는 인식에 따라 설정된 일정 거리 D1보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간을 수행하고(523 과정), 상기
Figure 112016008522682-pat00007
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 524 과정으로 점프하여 일정 시간 T2를 기다린 다음 동일한 동작 흐름을 반복한다.
이러한 동작 흐름을 통하여 일정 시간 T 이내에서 일정 거리 D보다 큰 움직임은 소거되어 손떨림에 의한 급격한 움직임, 무의미한 움직임, 떨림 등의 움직임 궤적을 보정하는 과정에서 제거 가능하며, 이를 도 7의 (b)에 도시하였다.
따라서, 일정 시간 T와 일정거리 D는 원하는 인식 기능에 따라 다르게 설정함으로써 각 움직임 패턴의 특성에 따라 보다 정밀한 동작의 정확성의 확보가 가능하다.
또한, 상기 선택된 움직임 패턴이 그림(painting)인식 일 경우(532 과정), 상기 그림이 표시되는 시작 지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고(534과정), 원하는 인식에 따라 일정 시간 T1(536 과정), 이후의 가시광점 좌표를 d1으로 선택하여(538 과정) 상기 d0과 d1과의 거리를 계산하고(540 과정), 이를
Figure 112016008522682-pat00008
로 선택한다. 상기
Figure 112016008522682-pat00009
가 원하는 인식에 따라 설정된 일정 거리 D1보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간(linear interpolation)을 수행하고(523 과정), 상기
Figure 112016008522682-pat00010
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 536 과정으로 점프하여 일정 시간 T3을 기다린 다음 동일한 동작 흐름을 반복한다.
이러한 동작 흐름을 통하여 일정 시간 T 이내에서 일정 거리 D보다 큰 움직임은 소거되어 손떨림에 의한 급격한 움직임, 무의미한 움직임, 떨림 등의 움직임 궤적을 보정하는 과정에서 제거 가능하며, 이를 도 7의 (c)에 도시하였다.
따라서, 일정 시간 T와 일정거리 D는 원하는 인식 기능에 따라 다르게 설정함으로써 각 움직임 패턴의 특성에 따라 보다 정밀한 정확성의 확보가 가능하다.
더불어, 상기 선택된 움직임 패턴이 명령 기호, text 혹은 그림이 아닐 경우에는 상기 움직임 패턴을 드래깅 및 클릭으로 인정하고, 상기 드래깅 및 클릭이 표시되는 시작 지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고(544 과정), 원하는 인식에 따라 일정 시간 T1(546 과정), 이후의 가시광점 좌표를 d1으로 선택하여(548 과정), 상기 d0과 d1과의 거리를 계산하고(550 과정), 이를
Figure 112016008522682-pat00011
로 선택한다. 상기
Figure 112016008522682-pat00012
가 원하는 인식에 따라 설정된 일정 거리 D1 보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간(linear interpolation)을 수행하고(523 과정), 상기
Figure 112016008522682-pat00013
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 546 과정으로 점프하여 일정 시간 T4을 기다린 다음 동일한 동작 흐름을 반복한다.
예를 들어, 명령 기호를 인식하고자 할 경우 상대적으로 가시광점의 움직임이 빠르므로 일정 시간 T를 상대적으로 짧은 0.1초로 정하고, 일정 거리 D를 상대적으로 긴 30mm로 설정할 수 있으며, 세밀한 그림 그리기를 인식하고자 할 경우 상대적으로 긴 10mm 로 설정 가능하다.
따라서, 본 발명에서는 외부 디스플레이 화면상에 표시하고자 하는 패턴의 종류에 따라 예를 들어, 문자, 그림 혹은 메뉴 바에 나열되어 있는 특정 기능의 동작을 수행하는 명령 기호와 같이 특정한 패턴에 해당하는 특성에 맞춰 일정 시간 T와 일정 거리 D를 미리 설정 가능하다.
도 8은 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서의 휴대단말을 이용한 영상 화면 제어 장치에 관한 상세 블록도이다.
상기 장치(800)는 휴대 단말 내에 내장형으로 구비되거나 혹은 상기 휴대 단말과 케이블을 통해 연결 가능한 외장형 장치에 구비될 수 있음을 전제로 한다.
도 8의 (a)를 참조하면, 상기 장치(800)는 촬영부(810), 인식부(812), 좌표 설정부(814), 움직임 패턴부(816), 영상 전송부(818), 선택부(820), 설정부(822), 제어부(824)를 포함하여 구성된다.
상기 영상 전송부(818)는, 상기 휴대 단말에 디스플레이 하고자 하는 화면을 출력하여 외부 디스플레이에 확대 영사한다.
이때, 상기 휴대 단말에 디스플레이되는 화면에는 외부 디스플레이 화면과 일치하는 좌표를 설정하기 위한 기준점이 표시된다.
상기 촬영부(810)는, 외부 디스플레 화면을 촬영하고, 인식부(812)에서는, 상기 촬영부(810)를 통해 외부 디스플레이 화면상에서의 소정의 도구를 통한 포인팅 및 움직임을 인식한다.
더욱 상세하게는, 소정의 도구가 가시광점 일 경우, 한 번 움직임 즉, 한 번 깜빡임을 "클릭(Click)"기능으로 대응하고, 두 번 움직임 즉, 두 번 깜빡임을 "더블 클릭(Double Click)"으로 대응하도록 인식한다.
또한, 상기 인식부(812)에서는, 외부 디스플레이 화면상에 투영된 확대 영상 상의 임의의 객체를 활성화 한 다음 가시광점을 이동함으로써 "드래깅(dragging)"을 할 수 있으며, "드로(draw)"는 아이콘을 활성화 한 다음 가시광점을 움직임으로써 움직임에 따라 선, 도형, 그림들이 상기 외부 디스플레이 화면상에 표시된다.
상기 좌표 설정부(814)에서는, 상기 포인팅된 외부 디스플레이 화면의 좌표값과 상기 휴대 단말 내 화면의 좌표값을 일치하도록 설정한다.
상기 움직임 패턴 추출부(816)에서는, 외부 디스플레이 화면상에서 사용자에 의해 소정의 도구를 통해 포인팅 지점에서의 움직임 패턴을 추출하여 상기 제어부(824)로 출력한다.
더욱 상세하게는, 소정의 도구가 가시광점 일 경우, 한 번 움직임 즉, 한 번 깜빡임을 "클릭(Click)"기능으로 대응하고, 두 번 움직임 즉, 두 번 깜빡임을 "더블클릭(Double Click)"으로 대응하도록 추출하여 상기 제어부(824)로 출력함으로써, 상기 외부 디스플레이 화면상에 투영된 휴대 단말에서 출력 중인 컨텐츠 상의 여러 동작 아이콘들을 활성화할 수 있다.
상기 제어부(824)는, 움직임 패턴 추출부(816)에서 추출된 소정의 도구의 움직임을 이용하여 외부 디스플레이에 투영된 휴대 단말 내 컨텐츠를 제어한다.
상기 선택부(820)는, 외부 디스플레이 화면상에 사용자가 표시하고자 하는 패턴의 종류를 선택한다.
예를 들어, 외부 디스플레이 화면상에서 사용자가 표시하고자 하는 특정 패턴 즉, 텍스트, 그림 및 명령 기호를 각각 구분하여 선택 가능하다.
상기 설정부(822)는, 선택부(820)를 통해 입력된 특정 패턴의 특성에 해당하는 거리 및 시간 값이 미리 설정되어 저장된다.
예를 들어, 사용자가 상기 선택부(820)를 통해 명령 기호의 입력을 선택하였을 경우, 이에 따라 상기 설정부(822)에서는 상기 명령 기호에 해당하는 거리 및 시간 값을 추출하여 적용한다.
따라서, 사용자가 표시하고자 하는 특정 패턴 입력 시, 상기 설정부(822)에서는, 이에 해당하는 특성 값 즉, 거리 및 시간 값을 추출하여 상기 제어부(824)로 출력한다.
또한, 상기 제어부(824)는, 설정부(822)를 통해 획득된 특정 패턴의 특성에 해당하는 거리 값 및 시간 값을 이용하여 외부 디스플레이에 표시된 특정 패턴의 시작 지점 즉, 좌표에서부터 설정된 시간 값 이후의 해당 이동 지점 즉, 해당 좌표까지의 거리 값을 계산하고, 상기 계산된 거리 값과 설정된 거리 값을 비교하여 특정 패턴의 궤적을 보정하는 보정부(826)와, 상기 보정부(826) 를 통해 보정된 특정 패턴이 휴대 단말 내 특정 명령을 수행하는 기호와 일치하는지 비교하는 비교부(828)와, 상기 비교 결과, 일치할 경우 휴대 단말 내 특정 명령을 수행하는 기호와 일치하는 동작을 수행하도록 제어하는 기호 처리부(830)로 구성된다.
상기 보정부(826)는, 예를 들어, 상기 설정부(822)를 통해 출력된 명령 기호가 표시되는 시작지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고, 원하는 인식에 따라 일정 시간 T1즉, 상기 명령 기호의 특성에 따라 설정된 설정 시간 값 이후의 해당 이동 지점의 가시광점 좌표를 d1으로 선택하여, 상기 d0과 d1과의 거리를 계산하고, 이를
Figure 112016008522682-pat00014
로 선택한다.
이때, 상기 원하는 인식은 사용자가 외부 디스플레이 화면상에서 소정의 도구를 통해 명령 기호의 표시를 진행하고 있는 것을 의미하며, 상기 명령 기호는, 특정 기능을 수행하는 기호 예를 들어, 도 7의 (a)에 도시한 바와 같이 화살표와 같은 기호로 상기 화살표의 방향에 따라 현재 디스플레이되고 있는 화면의 페이지는 이동 가능하다.
상기
Figure 112016008522682-pat00015
가 원하는 인식에 따라 상기 명령 기호의 특성에 따라 설정된 일정 거리 D1보다 작을 경우, 다시 말해 상기 계산된 거리 값
Figure 112016008522682-pat00016
가 설정된 거리 값보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간(linear interpolation)을 수행하고(523 과정), 상기
Figure 112016008522682-pat00017
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 516 과정으로 점프하여 일정 시간 T1을 기다린 다음 동일한 동작 흐름을 반복한다.
이러한 동작 흐름을 통하여 일정 시간 T 이내에서 일정 거리 D보다 큰 움직임은 소거되어 손떨림에 의한 급격한 움직임, 무의미한 움직임, 떨림 등의 움직임 궤적을 보정하는 과정에서 제거 가능하며, 이를 도 7의 (a)에 도시하였다.
따라서, 상기 보정부(826)를 통해 사용자 표시하고자 하는 특정 패턴을 명확히 인식하여, 이를 비교부(828)를 통해 휴대 단말 내 특정 기능과 연결하여 상기 기호 처리부(830)에서 해당하는 동작을 수행한다.
더불어, 상기 비교부(828)를 통해 휴대 단말 내 특정 명령과 일치하지 않을 경우에는, 이를 문자 혹은 그림으로 인식하여 상기 외부 디스플레이 화면상에 그대로 출력하도록 한다.
상기와 같이 본 발명의 일실시 예에 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어 장치 및 방법에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (12)

  1. 카메라가 구비된 영상 화면 제어 장치에 있어서,
    외부 디스플레이 화면을 촬영하는 촬영부; 및
    촬영된 영상으로부터 상기 외부 디스플레이 화면상의 소정의 도구를 통한 포인팅을 인식하고, 상기 포인팅의 움직임 궤적을 보정하고, 상기 외부 디스플레이 화면에 상기 보정된 움직임 궤적을 표시하도록 제어하는 제어부를 포함하고,
    상기 움직임 궤적은 상기 영상 화면 제어 장치를 제어하는 동작을 나타내는 미리 설정된 기호이며, 상기 영상 화면 제어 장치를 제어하는 동작을 나타내는 미리 설정된 기호들 중 상기 움직임 궤적에 해당하는 기호에 대응하여 저장된 동작에 기반하여, 상기 영상 화면 제어 장치의 컨텐츠가 제어됨을 특징으로 하는 영상 화면 제어 장치.
  2. 제1항에 있어서,
    상기 외부 디스플레이 화면상에 사용자가 표시하고자 하는 움직임 궤적의 종류를 선택하는 선택부; 및
    상기 선택부를 통해 선택된 움직임 궤적에 해당하는 거리 값 및 시간 값이 미리 설정된 설정부를 더 포함함을 특징으로 하는 영상 화면 제어 장치.
  3. 제2항에 있어서, 상기 제어부는,
    상기 움직임 궤적에 해당하는 거리 값 및 시간 값을 이용하여, 상기 외부 디스플레이에 표시된 움직임 궤적의 시작 지점에서부터 설정된 시간 값 이후의 해당 이동 지점까지의 거리 값을 계산하고, 상기 계산된 거리 값과 설정된 거리 값을 비교하여, 상기 움직임 궤적을 보정함을 특징으로 하는 영상 화면 제어 장치.
  4. 제3항에 있어서, 상기 제어부는,
    상기 계산된 거리 값이 상기 설정된 거리 값 보다 클 경우, 상기 설정된 시간 값 만큼 대기한 후 소정의 도구를 통해 표시된 움직임 궤적의 움직임을 계속하여 표시하고,
    상기 계산된 거리 값이 상기 설정된 거리 값 보다 작을 경우, 상기 움직임 궤적이 시작 지점에서부터 설정된 시간 값 이후의 해당 이동 지점까지의 거리 값을 선형 보간하여 표시함을 특징으로 하는 영상 화면 제어 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 소정의 도구는,
    상기 외부 디스플레이 화면상에 표시 가능한 가시광선 혹은 소정의 색으로 도색한 도구임을 특징으로 하는 영상 화면 제어 장치.
  8. 카메라가 구비된 영상 화면 제어 장치의 영상 화면 제어 방법에 있어서,
    외부 디스플레이에 투영된 화면상에 소정의 도구를 통한 포인팅을 인식하는 과정;
    상기 포인팅의 움직임 궤적을 보정하는 과정; 및
    상기 외부 디스플레이에 상기 보정된 움직임 궤적을 표시하는 과정을 포함하고,
    상기 움직임 궤적은 상기 영상 화면 제어 장치를 제어하는 동작을 나타내는 미리 설정된 기호이며, 상기 영상 화면 제어 장치를 제어하는 동작을 나타내는 미리 설정된 기호들 중 상기 움직임 궤적에 해당하는 기호에 대응하여 저장된 동작에 기반하여, 상기 영상 화면 제어 장치의 컨텐츠가 제어됨을 특징으로 하는 영상 화면 제어 방법.
  9. 제8항에 있어서, 상기 움직임 궤적을 보정하는 과정은,
    상기 움직임 궤적에 해당하는 거리 값 및 시간 값을 설정하는 과정;
    상기 움직임 궤적의 시작 지점에서부터 설정된 시간 값 이후의 해당 이동 지점까지의 거리 값을 계산하는 과정; 및
    상기 계산된 거리 값과 설정된 거리 값을 비교하여, 상기 움직임 궤적을 보정하는 과정;을 포함함을 특징으로 하는 영상 화면 제어 방법.
  10. 제9항에 있어서,
    상기 계산된 거리 값이 상기 설정된 거리 값 보다 클 경우, 상기 설정된 시간 값 만큼 대기한 후 소정의 도구를 통해 표시된 움직임 궤적의 움직임을 계속하여 표시하고,
    상기 계산된 거리 값이 상기 설정된 거리 값 보다 작을 경우, 상기 움직임 궤적이 시작 지점에서부터 설정된 시간 값 이후의 해당 이동 지점까지의 거리 값을 선형 보간하여 표시함을 특징으로 하는 영상 화면 제어 방법.
  11. 삭제
  12. 삭제
KR1020160009349A 2016-01-26 2016-01-26 휴대 단말을 이용한 영상 화면 제어 방법 및 장치 KR101709529B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160009349A KR101709529B1 (ko) 2016-01-26 2016-01-26 휴대 단말을 이용한 영상 화면 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160009349A KR101709529B1 (ko) 2016-01-26 2016-01-26 휴대 단말을 이용한 영상 화면 제어 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020080122588A Division KR20100064155A (ko) 2008-12-04 2008-12-04 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160014759A KR20160014759A (ko) 2016-02-11
KR101709529B1 true KR101709529B1 (ko) 2017-02-23

Family

ID=55351740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160009349A KR101709529B1 (ko) 2016-01-26 2016-01-26 휴대 단말을 이용한 영상 화면 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101709529B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620845B (zh) * 2019-09-12 2021-01-15 联想(北京)有限公司 信息处理方法、电子设备以及计算设备
EP4141861A4 (en) 2020-08-26 2023-10-25 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR ADJUSTING THE IMAGE QUALITY OF A DISPLAY DEVICE AND ASSOCIATED OPERATING METHOD

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100598939B1 (ko) * 2004-02-25 2006-07-12 김성필 영상인식 프리젠테이션 시스템 및 방법
KR100781265B1 (ko) * 2005-09-27 2007-11-30 엘지전자 주식회사 프로젝션 기능을 구비한 이동통신 단말기
KR20070120922A (ko) * 2007-10-02 2007-12-26 (주)지디유 레이저 포인터의 궤적을 카메라로 영상 처리하여디스플레이 화면을 제어하는 새로운 명령 처리 방식에 대한방법

Also Published As

Publication number Publication date
KR20160014759A (ko) 2016-02-11

Similar Documents

Publication Publication Date Title
US20180232135A1 (en) Method for window displaying on a mobile terminal and mobile terminal
JP6372487B2 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
EP4246287A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
US9544556B2 (en) Projection control apparatus and projection control method
EP2897043B1 (en) Display apparatus, display system, and display method
JP2003280805A (ja) データ入力装置
KR101709529B1 (ko) 휴대 단말을 이용한 영상 화면 제어 방법 및 장치
US20160026244A1 (en) Gui device
US8525890B2 (en) Projected-image based photographing apparatus control system
CN112672051B (zh) 拍摄方法、装置和电子设备
CN112333395B (zh) 对焦控制方法、装置及电子设备
US11386612B2 (en) Non-transitory computer-readable medium, image processing method, and image processing system for controlling progress of information processing in response to a user operation
US20150277728A1 (en) Method and system for automatically selecting parameters of interface objects via input devices
US9946333B2 (en) Interactive image projection
JP2010272078A (ja) 電子情報ボードシステム、電子情報ボード制御装置およびカーソル制御方法
US20220244788A1 (en) Head-mounted display
JP2010093512A (ja) 情報処理装置、遠隔指示システム及びプログラム
KR20100064155A (ko) 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법 및 장치
CN113225428A (zh) 影像临摹处理方法、装置、设备和计算机可读存储介质
JP2017199085A (ja) 情報処理装置、情報処理方法、およびプログラム
JP3744995B2 (ja) 撮像方法とその装置
JPWO2020095784A1 (ja) 表示制御装置、プレゼンテーションシステム、表示制御方法、及びプログラム
JP7239138B2 (ja) 情報表示装置、情報の表示方法及びプログラム
JP6193180B2 (ja) プレゼンテーション用端末及びプレゼンテーション方法
US9860480B2 (en) Method for processing information and electronic device

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant