KR20160047483A - 화면 상에서의 콘텐츠 조작 기법 - Google Patents

화면 상에서의 콘텐츠 조작 기법 Download PDF

Info

Publication number
KR20160047483A
KR20160047483A KR1020167005296A KR20167005296A KR20160047483A KR 20160047483 A KR20160047483 A KR 20160047483A KR 1020167005296 A KR1020167005296 A KR 1020167005296A KR 20167005296 A KR20167005296 A KR 20167005296A KR 20160047483 A KR20160047483 A KR 20160047483A
Authority
KR
South Korea
Prior art keywords
content
screen
location
user
obstruction
Prior art date
Application number
KR1020167005296A
Other languages
English (en)
Other versions
KR102244925B1 (ko
Inventor
시모네 레오린
응히엡 두이 두옹
스티븐 웨이 쇼
윌리엄 조지 버더인
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160047483A publication Critical patent/KR20160047483A/ko
Application granted granted Critical
Publication of KR102244925B1 publication Critical patent/KR102244925B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예들은 화면 상에서 콘텐츠의 신속한 조작을 가능하게 하여 한 명 이상의 참석자 또는 참가자가 콘텐츠를 신속하게 시각적으로 이용가능할 수 있도록 한다. 적어도 일부 실시예에서, 콘텐츠의 가려지지 않는 뷰(unobstructed view of the content)를 제공하는 화면 위치에 콘텐츠를 자동으로 프리젠트하도록 콘텐츠가 자동으로 조작될 수 있다. 이에 갈음하여 또는 이에 더하여, 콘텐츠는 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치로 콘텐츠를 이동시키는 방식으로 "부유(floating)"하게 되도록 수동으로 선택될 수 있다.

Description

화면 상에서의 콘텐츠 조작 기법{MANIPULATION OF CONTENT ON A SURFACE}
전자 칠판, 대화식(interactive) 전자칠판, 및 대형 터치 스크린과 같은 화면이, 특히 미팅, 강의 및 기타 다수의 사람들의 모임에서 정보를 프리젠테이션하는 동안 사용되는 메커니즘으로서, 인기를 얻고 있다. 통상적으로, 정보를 프리젠트하는 사람은 화면에 기록을 하거나 또는 참석자에게 프리젠트되는 주석을 달 것이다. 그러나, 많은 경우에, 참석자들은 프리젠터(presenter)가 화면에 위치해 있는 콘텐츠를 보여주기 위해 비켜설 때까지 기다려야 한다. 프리젠터가 화면에 추가되는 콘텐츠에 대해 참석자의 시야를 가릴 경우, 이는 참석자의 주의 및/또는 이해도를 떨어뜨릴 수 있다.
본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다.
다양한 실시예들은 화면 상에서 콘텐츠의 신속한 조작을 가능하게 하여 한 명 이상의 참석자 또는 참가자가 콘텐츠를 신속하게 시각적으로 이용가능할 수 있도록 한다. 적어도 일부 실시예에서, 콘텐츠의 가려지지 않는 뷰(unobstructed view of the content)를 제공하는 화면 위치에 콘텐츠를 자동으로 프리젠트하도록 콘텐츠가 자동으로 조작될 수 있다. 이에 갈음하여 또는 이에 더하여, 콘텐츠가 수동으로 선택되어 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치로 콘텐츠를 이동시키는 방식으로 "부유(floating)"하게 될 수 있다.
다른 실시예에서, 화면 상에 프리젠트되는 콘텐츠는 콘텐츠의 위치를 화면에 대한 감지된 방해물(obstruction)에 적응시키는 방식으로 동적으로 부유할 수 있다.
다른 실시예에서는, 복수의 상이한 화면이 전술한 실시예 및 후술하는 실시예를 이용하여 콘텐츠를 쉽게 알아볼 수 있도록 프리젠트할 수 있다.
발명을 실시하기 위한 구체적인 내용은 첨부 도면을 참고하여 설명된다. 도면에서 참조번호의 맨좌측 숫자는 그 참조번호가 처음 나타나는 도면을 나타낸다. 동일한 번호는 도면 전반에 걸쳐 유사한 특징부 및 컴포넌트를 나타내기 위해 사용된다.
도 1은 하나 이상의 실시예에 따른 예시적인 구현예에서의 환경의 일례이다.
도 2는 하나 이상의 실시예에 따른 예시적인 구현예에서의 환경의 일례이다.
도 3은 하나 이상의 실시예에 따른 예시적인 구현예에서의 환경의 일례이다.
도 4는 하나 이상의 실시예에 따른 예시적인 콘텐츠 조작 모듈을 도시한 것이다.
도 5는 하나 이상의 실시예에 따른 예시적인 화면을 도시한 것이다.
도 6은 하나 이상의 실시예에 따른 방법의 단계들을 나타내는 흐름도이다.
도 7은 하나 이상의 실시예에 따른 예시적인 화면을 도시한 것이다.
도 8은 하나 이상의 실시예에 따른 방법의 단계들을 나타내는 흐름도이다.
도 9는 본 명세서에 기재된 다양한 실시예들을 구현하기 위해 이용될 수 있는 예시적인 컴퓨팅 장치를 도시한 것이다.
다양한 실시예들은 화면 상에서 콘텐츠의 신속한 조작을 가능하게 하여 한 명 이상의 참석자 또는 참가자가 콘텐츠를 신속하게 시각적으로 이용가능할 수 있게 한다. 본 명세서에 기술된 다양한 실시예는 임의의 적절하게 구성된 화면과 함께 활용될 수 있다.
이러한 화면의 일례는 전자 칠판이다. 통상적으로, 전자 칠판은 프로젝터없이 사용되며, 메모, 예컨대 스타일러스나 펜에 의해 입력될 수 있는 메모가 컴퓨팅 장치를 통해 저장될 수 있게 한다. 컴퓨팅 장치는 전자 칠판에 물리적으로 연결될 수도 있고, 또는 이와 달리 전자 칠판 내에 통합될 수도 있다.
이러한 화면의 다른 예로는 대화식 전자칠판이 있다. 대화식 전자칠판은 컴퓨터 데스크탑을 디스플레이하는데 사용될 수 있고, 이 칠판을 통해, 컴퓨터 데스크탑을 경유하여 디스플레이된 정보와 상호작용을 가능하게 한다. 대화식 전자칠판은 애플리케이션을 열고, 웹사이트를 돌아다니며(navigate), 전자칠판 메모를 기록 및 저장하는데 사용될 수 있다. 대화식 전자칠판은, 예컨대, 프로젝터없이 전자 칠판 구성으로 사용되거나 또는 프로젝터를 포함하거나 포함하지 않을 수 있는 대화식 전자칠판으로서 사용될 수 있다. 대화식 전자칠판과 연관된 컴퓨팅 장치는 대화식 전자칠판에 연결되는 독립형 컴퓨팅 장치일 수도 있고, 또는 대화식 전자칠판의 구성에 통합되는 통합 유닛(integrated unit)으로 존재할 수도 있다.
이러한 화면의 다른 예로는, LCD 대형 스크린 등과 같이 임의의 적절한 유형의 기술을 이용할 수 있는 대형 멀티-터치 스크린과 같은 터치스크린이 있다.
적어도 일부 실시예에서, 콘텐츠는 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치에 콘텐츠를 자동으로 프리젠트하도록 자동으로 조작될 수 있다. 예를 들어, 사람이 화면 상에 콘텐츠를 추가하기 위해 화면 앞에서 작업할 경우, 이 사람은 통상적으로 화면에 나타나는 콘텐츠의 적어도 일부분을 가릴 것이다. 이들 실시예에서, 화면에 제공되는 콘텐츠는 그 콘텐츠의 가려지지 않는 뷰를 프리젠트하는 화면 위치로 자동으로 재배치될 수 있다. 이에 더하여 또는 이에 갈음하여, 화면은 콘텐츠를 다른 화면 위치에 프리젠트하도록 어떠한 신호(cue)를 이용할 수 있다. 예컨대, 신호는 콘텐츠를 화면에 제공하는 사람으로부터 도출될 수 있다. 따라서, 예를 들어, 한 신호는 사람이 화면에서 청중쪽으로 돌아서는 때일 수 있다. 이 예에서, 사람이 청중 쪽으로 돌아설 때, 화면에 제공된 콘텐츠가 콘텐츠의 가려지지 않는 뷰를 프리젠트하는 화면 위치로 이동할 수 있다.
이와 달리 또는 이에 더하여, 콘텐츠는 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치로 콘텐츠를 이동시키는 방식으로 "부유(floating)"하게 되도록 수동으로 선택될 수 있다. 예를 들어, 콘텐츠가 화면에 추가될 때, 그 콘텐츠를 추가하고 있는 사람은 임의의 적절한 방법으로, 예컨대, 제스처를 통해, 콘텐츠를 선택하여 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치로 콘텐츠가 이동하게 할 수 있다. 임의의 적절한 유형의 제스처가 이용될 수 있는데, 그 예들이 아래에 제시된다.
다른 실시예에서, 화면 상에 프리젠트되는 콘텐츠는 콘텐츠의 위치를 화면에 대한 감지된 방해물(obstruction)에 적응시키는 방식으로 동적으로 부유할 수 있다. 예컨대, 사람이 콘텐츠를 화면에 제공할 때, 그 사람이 화면 앞에서 그 주위를 돌아다닐 수 있다. 이 경우, 이 사람이 화면 앞에서 움직이거나 또는 화면 앞에 서 있을 경우, 콘텐츠가 가려지지 않는 뷰를 제공하는 위치로 이동할 수 있다. 따라서, 사람이 화면의 우측을 가리도록 서 있으면, 콘텐츠는 화면의 좌측으로 이동할 수 있다. 사람이 화면의 우측에서 좌측으로 이동하면, 콘텐츠는 가려지지 않는 뷰를 프리젠트하도록 화면의 우측으로 재배치될 수 있다.
이들 및 다른 실시예를 구현하기 위해, 화면에 대한 방해물의 영역을 검출하고 정의하기 위해 다양한 광학 센서 또는 광학 기술이 이용될 수 있다. 방해물의 이 영역은 콘텐츠가 화면의 가려지지 않은 부분에 배치되는 것을 가능하게 하는 기준을 형성할 수 있다. 또한, 이들 및 다른 실시예는 경계 박스(boundary-box)(이 경계 박스에 대해 가려진 콘텐츠가 재배치될 수 있음)를 제공하기 위해 화면과 화면 앞의 임의의 방해물의 이미지를 캡처하는 하나 이상의 카메라를 사용하여 구현될 수 있다.
다른 실시예에서는, 복수의 상이한 화면이 전술한 실시예 및 후술하는 실시예를 이용하여 콘텐츠를 쉽게 알아볼 수 있도록 프리젠트할 수 있다.
이하의 논의에서, 본 명세서에 기재된 기술을 이용하여 동작할 수 있는 예시적인 환경을 먼저 설명한다. 이어서 예시적인 환경 및 다른 환경에서 실시될 수 있는 다양한 실시예들을 설명한다. 따라서, 예시적인 환경은 기술된 실시예를 수행하는 것으로 제한되지 않고 기술된 실시예는 예시적인 환경에서 구현되는 것으로 제한되지 않는다.
예시적인 동작 환경
도 1은 본 명세서에 설명된 기술을 이용하도록 동작가능한 예시적인 구현예에서의 환경(100)의 일례이다. 도시된 환경(100)은 다양한 방식으로 구성될 수 있는 화면(102)의 일례를 포함한다. 전술한 바와 같이, 화면(102)은, 예컨대 전자 칠판, 대화식 전자칠판, 멀티터치 스크린 등을 포함하는 다수의 다양한 구성으로 구성될 수 있다.
화면(102)은 디스플레이(102a)와 화면의 제어 장치 역할을 하는 컴퓨팅 장치(102b)를 포함한다. 디스플레이(102a)는, 예컨대 손가락 끝, 스타일러스 또는 펜을 통해, 터치를 통한 입력을 수신하는데 이용될 수 있다. 컴퓨팅 장치(102b)는 독립형 컴퓨팅 장치일 수 있고, 이 경우 비디오 그래픽 어레이(VGA: video graphics array) 케이블에 의해 디스플레이(102a)에 연결될 수 있다. 또한, 데이터 및 기타 정보 교환을 위해 USB(universal serial bus) 케이블이 컴퓨팅 장치(102b)와 화면(102) 사이에 연결될 수 있다. 이와 달리 또는 이에 더하여, 컴퓨팅 장치(102b)는 화면(102)에 통합될 수 있다.
컴퓨팅 장치(102b)는, 도 3과 관련하여 자세히 기술되어 있는 바와 같이, 전통적인 컴퓨터(예컨대, 데스크탑 퍼스널 컴퓨터, 랩탑 컴퓨터 등), 모바일 스테이션, 엔터테인먼트 어플라이언스, 텔레비전에 통신가능하게 연결된 셋탑 박스, 무선 전화기, 넷북, 게임 콘솔, 핸드헬드 장치 등으로 구성될 수 있다. 따라서, 컴퓨팅 장치(102b)는 실질적인 메모리 및 프로세서 리소스를 갖는 풀 리소스(full resource) 장치(예컨대, 퍼스널 컴퓨터, 게임 콘솔)에서부터 제한된 메모리 및/또는 프로세싱 리소스를 갖는 로우 리소스(low-resource) 장치(예컨대, 통상의 셋탑 박스, 핸드헬드 게임 콘솔)에까지 이를 수 있다. 컴퓨팅 장치(102b)는 또한 컴퓨팅 장치(102b)로 하여금 후술하는 바와 같은 하나 이상의 동작을 수행하게 하는 소프트웨어를 포함한다.
컴퓨팅 장치(102b)는 하나 이상의 프로세서(103)를 포함하고, 적어도 일부 실시예에서는 웹 플랫폼(104)을 포함한다. 웹 플랫폼은 웹의 콘텐츠, 예컨대 웹 페이지 등과 같은 공용 콘텐츠와 함께 작동한다. 웹 플랫폼은, 예컨대 URL, HTTP, REST, HTML, CSS, JavaScript, DOM 등과 같은 많은 다른 유형의 기술을 포함하며 이들을 이용할 수 있다. 웹 플랫폼은 XML, JSON 등과 같은 다양한 데이터 포맷으로 작업할 수 있다. 웹 플랫폼은 웹 브라우저 및 로컬 애플리케이션을 포함할 수 있다. 웹 플랫폼(104)에 의해 획득된 콘텐츠는 디스플레이(102a) 상에 렌더링될 수 있다.
컴퓨팅 장치(102b)는 또한 하나 이상의 손가락 또는 다른 입력 장치에 의해 수행될 수 있는 입력 포인터 제스처를 인식하고 제스처에 대응하는 동작 또는 액션이 수행되게 하는 제스처 모듈(105)을 포함할 수 있다. 제스처는 다양한 다른 방식으로 모듈(105)에 의해 인식될 수 있다. 예를 들어, 제스처 모듈(105)은, 터치스크린 기능 또는 예컨대, 니어 필드 기술을 이용하여 반드시 디스플레이를 물리적으로 터치하지 않아도 되는 사용자의 손가락의 근접을 감지하는 기능을 이용하여 화면(102)의 디스플레이(102a)에 가까이 있는 사용자의 손의 손가락과 같은, 터치 입력을 인식하도록 구성될 수 있다. 모듈(105)은 단일 손가락 제스처 및 베젤 제스처, 복수 손가락/동일 손 제스처 및 베젤 제스처, 및/또는 복수 손가락/상이한 손 제스처 및 베젤 제스처를 인식하는데 이용될 수 있다.
컴퓨팅 장치(102b)는 또한 컴퓨팅 장치 및 화면(102) 상에서 실행하도록 호출될 수 있는 하나 이상의 애플리케이션(106)을 포함한다. 임의의 적절한 유형의 애플리케이션이 제공될 수 있다.
컴퓨팅 장치(102b)는 (예컨대 사용자의 손의 하나 이상의 손가락에 의해 제공된)터치 입력 및 (스타일러스 또는 펜(116)에 의해 제공된)스타일러스 또는 펜 입력 사이를 검출하고 구별하도록 구성될 수도 있다. 이 구별은, 사용자의 손의 손가락에 의해 접촉되는 디스플레이의 면적대 스타일러스(116)에 의해 접촉되는 디스플레이의 면적을 검출하는 것과 같이 다양한 방법으로 수행될 수 있다.
따라서, 제스처 모듈(105)은 스타일러스 및 터치 입력들뿐만 아니라 다양한 유형의 터치 입력들 및 비터치 입력들 사이의 경계(division)의 인식 및 이용을 통해 다양한 제스처 기법을 지원할 수 있다.
컴퓨팅 장치(102b)는 또한 전술 및 후술하는 바와 같이 동작하는 콘텐츠 조작 모듈(106)을 포함할 수도 있다. 구체적으로, 콘텐츠 조작 모듈(106)은 콘텐츠를 하나 이상의 참석자 또는 참가자가 신속하게 시각적으로 이용할 수 있도록 하기 위해 화면(102)에 나타나는 콘텐츠의 신속한 조작을 가능하게 할 수 있다. 적어도 일부 실시예에서, 콘텐츠 조작 모듈(106)은 콘텐츠의 가려지지 않는 뷰(unobstructed view of the content)를 제공하는 화면 위치, 예컨대, 화면(102)에 기록 중인 사용자의 우측 또는 좌측에, 콘텐츠를 자동으로 프리젠트하도록 콘텐츠를 자동으로 조작할 수 있다. 이에 갈음하여 또는 이에 더하여, 콘텐츠 조작 모듈(106)은 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치로 콘텐츠를 이동시키는 방식으로 선택된 콘텐츠가 "부유(floating)"할 수 있게 할 수 있다.
다른 실시예에서, 콘텐츠 조작 모듈(106)은 화면(102) 상에 프리젠트되는 콘텐츠가 콘텐츠의 위치를 화면(102)에 대한 감지된 방해물(obstruction)에 적응시키는 방식으로 동적으로 부유하게 하도록 할 수 있다.
다른 실시예에서는, 복수의 상이한 화면이 전술한 실시예 및 후술하는 실시예를 이용하여 콘텐츠를 쉽게 알아볼 수 있도록 프리젠트할 수 있다.
이제 하나 이상의 실시예에 따른 예시적인 환경(200)을 보여주는 도 2를 고려해 보자. 이 예에서, 도 1과 유사한 참조번호는 유사한 구성요소를 나타내는데 이용된다. 도시되고 설명되는 실시예에서, 화면(102)은 제각기의 디스플레이(102a, 102a', 102a'')를 제공하는 복수의 상이한 화면을 포함한다. 콘텐츠는, 콘텐츠를 복수의 상이한 화면들 사이에서 화살표처럼 이동시키는 콘텐츠 조작 모듈(106)에 의해 조작될 수 있다.
화면(102)은, 예컨대 적외선 스캔 기술, 저항, 터치 기반 기술, 전자기 펜 기술, 및 초음파 기반 기술과 같은 임의의 적절한 유형의 기술 및/또는 동작을 이용하여 구현될 수 있다. 다른 기술들은, 예컨대 용량, 저항, 능동/수동 전자기, 광학 (예컨대, 레이저 라이트 커튼(laser light curtain), 불완전 전반사(frustrated total internal reflection), 카메라 펜), 분산 신호 기술 등을 포함할 수 있다. 이들 유형의 기술의 동작 원리는 일반적으로 공지되어 있으며, 간략성을 위해 본 명세서에 설명하지 않는다.
도 3은 도 1 및 2를 참조하여 설명한 바와 같이 컴퓨팅 장치(102b)를 포함하는 예시적인 시스템(300)을 도시한 것이다. 예시적인 시스템(300)은 퍼스널 컴퓨터(PC), 텔레비전 장치, 및/또는 모바일 장치에서 화면(102)과 연계하여 애플리케이션을 실행할 때 끊김없는(seamless) 사용자 경험을 위한 유비쿼터스 환경을 가능하게 한다. 서비스 및 애플리케이션은, 애플리케이션을 활용하거나, 비디오 게임을 하거나, 비디오를 시청하거나 하는 동안 한 장치에서 다른 장치로 넘어갈 경우에 한 사용자 경험에 대해 총 3개의 환경에서 실질적으로 유사하게 실행된다.
예시적인 시스템(300)에서, 복수의 장치가 중앙 컴퓨팅 장치(102b)를 통해 상호연결되고 화면(102)과 상호작용할 수 있고 데이터를 교환할 수 있다. 중앙 컴퓨팅 장치는 복수의 장치에 대해 로컬일 수도 있고 복수의 장치로부터 원격으로 위치할 수 있다. 이들 컴퓨터는 네트워크, 인터넷 또는 기타 데이터 통신 링크를 통해 복수의 장치에 연결될 수 있다. 일실시예에서, 이 상호연결 아키텍처는 복수의 장치의 사용자에게 공통의 끊김없는 경험을 제공하기 위해 복수의 장치에 걸쳐 기능이 전달되게 할 수 있다. 복수의 장치 각각은 상이한 물리적 요건 및 능력을 가질 수 있고, 중앙 컴퓨팅 장치는 플랫폼을 사용하여 각 장치에 맞춤화되지만 아직 모든 장치에 일반적이지는 않은 경험을 전달할 수 있다. 일실시예에서, 타겟 장치의 클래스가 생성되고 경험들이 일반적인 클래스의 장치에 맞추어진다. 장치들의 클래스는 물리적 특징, 사용 유형 또는 장치의 다른 일반적인 특징에 의해 정의될 수 있다.
다양한 구현예에서, 컴퓨팅 장치는 컴퓨터(302), 모바일(304), 및 텔레비전(306)용과 같은 다양한 구성을 생각해볼 수 있다. 이들 구성 각각은 일반적으로 다른 구성 및 능력을 가질 수 있는 장치를 포함하며, 따라서 컴퓨팅 장치는 하나 이상의 다른 장치 클래스에 따라 구성될 수 있다. 예를 들어, 컴퓨팅 장치는 퍼스널 컴퓨터, 데스크탑 컴퓨터, 멀티 스크린 컴퓨터, 랩탑 컴퓨터, 넷북 등을 포함하는 장치의 컴퓨터(302) 클래스로서 구현될 수 있다. 이들 상이한 구성들 각각은 전술 및 후술하는 바와 같이, 예컨대 웹 브라우저와 같은 웹 플랫폼을 이용할 수 있다.
컴퓨팅 장치(302)는 또한 모바일 폰, 휴대형 뮤직 플레이어, 휴대형 게이밍 장치, 태블릿 컴퓨터, 멀티스크린 컴퓨터 등과 같은 모바일 장치를 포함하는 장치의 모바일(304) 클래스로서 구현될 수도 있다. 컴퓨팅 장치(302)는 또한 평상시의 뷰잉 환경에서 일반적으로 대형 스크린을 갖거나 이들 대형 스크린에 연결된 장치를 포함하는 장치의 텔레비전(306) 클래스로서 구현될 수 있다. 이들 장치는 텔레비전, 셋탑 박스, 게이밍 콘솔 등을 포함한다. 본 명세서에서 설명하는 기법들은 컴퓨팅 장치의 이들 다양한 구성에 의해 지원될 수 있지만, 본 명세서에서 설명하는 기법들의 특정 예로 제한되지는 않는다.
클라우드(308)는 콘텐츠 서비스(312)를 위한 플랫폼(310)을 포함하고/하거나 이를 나타낸다. 플랫폼(310)은 클라우드(308)의 하드웨어(예컨대, 서버) 및 소프트웨어 자원의 기본 기능을 추출한다. 콘텐츠 서비스(312)는 컴퓨터 처리가 컴퓨팅 장치로부터 원격인 서버에서 실행되는 동안 이용될 수 있는 애플리케이션 및/또는 데이터를 포함할 수 있다. 콘텐츠 서비스(312)는 인터넷 및/또는 셀룰러나 Wi-Fi 네트워크와 같은 가입자 네트워크를 통해 서비스로서 제공될 수 있다.
플랫폼(310)은 자원을 추출하고 컴퓨팅 장치를 다른 컴퓨팅 장치와 연결하는 기능을 할 수 있다. 플랫폼(310)은 또한 플랫폼(310)을 통해 구현되는 콘텐츠 서비스(312)에 대한 요구에 대해 대응하는 레벨의 스케일을 제공하기 위해 자원의 스케일링을 추출(abstract)하는 역할을 할 수도 있다. 따라서, 상호연결된 장치 실시예에서, 본 명세서에 기술된 기능의 구현은 시스템(300) 곳곳에 분산될 수 있다. 예를 들어, 이 기능은 컴퓨팅 장치에서 그리고 클라우드(208)의 기능을 추출하는 플랫폼(310)을 통해 부분적으로 구현될 수 있다.
일반적으로, 본 명세서에 기술된 기능들 중 임의의 기능은 소프트웨어, 펌웨어, 하드웨어(예컨대, 고정 논리 회로(fixed logic circuitry)), 수동 처리, 또는 이들 구현예들의 조합을 이용하여 구현될 수 있다. 본 명세서에 사용된 "모듈", "기능" 및 "로직"이란 용어는 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합을 나타낸다. 소프트웨어 구현예의 경우, 모듈, 기능, 또는 로직은 프로세서(예컨대, CPU나 CPU들)에서 또는 프로세서에 의해 실행될 때 지정된 태스크를 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독가능 메모리 장치에 저장될 수 있다. 후술하는 제스처 기법들의 특징은 플랫폼 독립적인데, 이는 이들 기법이 다양한 프로세서를 갖는 다양한 상용 컴퓨팅 플랫폼에서 수행될 수 있음을 의미한다.
아래 논의에서, 다양한 섹션들은 다양한 예시적인 실시예를 설명한다. "예시적인 콘텐츠 조작 모듈" 제목의 섹션은 하나 이상의 실시예에 따른 콘텐츠 조작 모듈을 설명한다. 이어지는 "자동으로 콘텐츠 배치하기"란 제목의 섹션은 콘텐츠가 하나 이상의 실시예에 따라 어떻게 자동으로 배치될 수 있는지를 설명한다. 그 다음에, "수동으로 콘텐츠 배치하기"란 제목의 섹션은 콘텐츠가 하나 이상의 실시예에 따라 어떻게 수동으로 배치될 수 있는지를 설명한다. 다음으로, "구현예 세부사항 및 사용 예들"이란 제목의 섹션은 구현예을 특징을 기술하고 본 발명의 실시예를 사용하는 방법에 대한 예를 제공한다. 마지막으로, "예시적인 장치"란 제목의 섹션은 하나 이상의 실시예를 구현하는데 이용될 수 있는 예시적인 장치의 특징을 기술한다.
본 발명의 원리가 이용될 수 있는 예시적인 동작 환경을 설명하였으므로, 이제 다양한 실시예에 대해 논의해 보자.
예시적인 콘텐츠 조작 모듈
도 4는 하나 이상의 실시예에 따른 예시적인 콘텐츠 조작 모듈을 도시한 것이다. 콘텐츠 조작 모듈은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합과 관련하여 구현될 수 있다. 적어도 일부 실시예에서, 콘텐츠 조작 모듈은 몇몇 형태의 컴퓨터 판독가능 저장 매체에 저장되는 소프트웨어로 구현된다.
도시되고 설명되는 예에서, 콘텐츠 조작 모듈은 콘텐츠 캡처 모듈(402), 위치 검출 모듈(404), 콘텐츠 재배치 모듈(406), 및 콘텐츠 렌더링 모듈(408)을 포함하거나 이용한다. 적어도 일부 실시예에서, 콘텐츠 조작 모듈은 하나 이상의 센서(410) 및/또는 하나 이상의 카메라(412)를 포함하거나 또는 이용할 수 있다.
동작 중에, 콘텐츠 캡처 모듈(402)은 화면(도 1의 102)과 같은 화면에 위치하거나 또는 나타나는 콘텐츠를 캡처한다. 예를 들어, 사용자가 화면에 기록할 때, 콘텐츠 캡처 모듈은 그 기록을 캡처하여 적절히 구성된 버퍼에 그것을 저장할 수 있다. 콘텐츠는, 예를 들어, 압축되지 않은 포맷(예컨대, 비트맵) 및 압축 포맷(예컨대, EIFF, JPEG 등)을 포함하는 임의의 적절한 포맷으로 저장될 수 있다. 사용자의 기록 이외의 다른 또는 추가적인 콘텐츠가 본 명세서에 기술된 대로 캡처되고 처리될 수 있다. 이 콘텐츠는, 예를 들어 이미지 비디오 웹 콘텐츠 등을 포함할 수 있다. 콘텐츠 캡처 모듈은 또한 자신이 캡처하는 콘텐츠의 위치 및 좌표를 저장할 수 있다.
위치 검출 모듈(404)은 화면(102) 가까이의 방해물의 위치 및 "풋프린트"를 확인하도록 구성된다. 통상적으로, 방해물은, 예컨대 화면에 기록함으로써 콘텐츠를 화면(102)에 추가하고 있는 사용자 형태로 존재한다. 임의의 적절한 유형의 위치 검출 기법이 위치 검출 모듈(404)에 의해 이용될 수 있다. 적어도 일부 실시예에서, 방해물의 위치 또는 풋프린트를 확인하는데 하나 이상의 센서(410)가 이용될 수 있다. 임의의 적절한 유형의 센서가 이용될 수 있다. 예를 들어, 화면(102)이 LCD 화면인 실시예에서, 센서는 방해물을 검출하기 위해 LCD 픽셀들 사이에 삽입될 수 있다. 이와 달리 또는 이에 더하여, 센서는 화면(102)의 주변에 삽입되어 방해물을 검출할 수 있다. 이용될 수 있는 예시적인 센서는, 예컨대, 포토셀, 적외선 센서, 용량 센서, 유도성 센서, 레이저 거리계, 자기 센서, 수동 광학 센서, 수동 열 센서, 소나, 초음파 센서 등을 포함하는 임의의 유형의 근접 센서를 포함한다. 적어도 일부 실시예에서, 방해물의 위치 및 풋프린트를 확인하기 위해 하나 이상의 카메라(412)가 이용될 수 있다. 카메라나 카메라들은 화면(102)에 대한 임의의 적절한 위치에 배치될 수 있다. 카메라나 카메라들은 센서(410) 대신에 또는 이에 더하여 사용될 수 있다.
콘텐츠 재배치 모듈(406)은 콘텐츠 캡처 모듈(402) 및 위치 검출 모듈(404)로부터 입력을 수신하도록 구성된다. 캡처된 콘텐츠의 위치뿐만 아니라 방해물의 위치 및 관련 풋프린트를 알면, 콘텐츠 재배치 모듈(406)은 방해물에 의해 가려지지 않는 위치를 계산하거나 또는 확인할 수 있다. 예를 들어, 콘텐츠 재배치 모듈은 화면에 맵핑하는 격타 타입 시스템을 이용할 수도 있다. 콘텐츠 재배치 모듈(406)이 방해물의 격자 좌표를 계산하면, 그것은 가려지지 않는 격자 좌표를 확인할 수 있다. 가려지지 않는 격자 좌표를 확인한 후에, 콘텐츠 렌더링 모듈(408)은 콘텐츠를 재배치하거나 또는 콘텐츠가 가려지지 않는 격자 좌표에서 렌더링되게 할 수 있다. 이에 더하여 또는 이에 갈음하여, 콘텐츠 재배치 모듈(406)은 재배치된 콘텐츠가 예측가능한 방식으로 제한된 위치로 이동하도록 미리 조정된 크기로 설정되는 경계 박스를 이용할 수 있다.
하나 이상의 실시예에 따른 예시적인 콘텐츠 조작 모듈을 설명하였으므로, 이제 콘텐츠 조작 모듈을 활용할 수 있는 다양한 구현예를 살펴보자.
자동으로 콘텐츠 배치하기
다양한 실시예들은 화면 상에서 콘텐츠의 신속한 조작을 가능하게 하여 한 명 이상의 참석자 또는 참가자가 콘텐츠를 신속하게 시각적으로 이용가능할 수 있도록 한다. 일례로서, 도 5를 살펴보면, 도 5는 상이한 두 상태에 있는 예시적인 화면을 일반적으로 500으로 도시하고 있다. 위쪽 도면에서, 사용자가 화면 앞에 보이고 콘텐츠를 화면에 기록하고 있다. 콘텐츠의 일부는 사용자 때문에 가려짐을 알 수 있다. 적어도 일부 실시예에서, 아래쪽 도면에 도시된 바와 같이, 콘텐츠가 자동으로 조작되어 점선(502)으로 표시된 화면 위치에 프리젠트될 수 있는데, 이는 콘텐츠의 가려지지 않는 뷰를 제공한다. 점선(502)은 사전 정의되거나 사전 설정된 크기를 가질 수 있는 경계 박스를 나타낼 수 있다.
재배치될 콘텐츠의 양을 확인하기 위해 임의의 적절한 기법이 이용될 수 있다. 예를 들어, 사전정의되거나 정의가능한 텍스트 임계량이 설정될 수 있다. 텍스트 임계량에 도달할 경우, 사용자가 다음 라인으로 돌아가서 기록을 계속하면, 이 텍스트는 새로운 가려지지 않는 화면 위치로 이동할 수 있다. 이에 더하여 또는 이에 갈음하여, 사용자가 기록을 계속하기 위해 새로운 라인으로 돌아갈 때마다 텍스트는 이동할 수 있다.
이에 더하여 또는 이에 갈음하여, 화면은 콘텐츠를 다른 화면 위치에 자동으로 프리젠트하기 위해 어떠한 신호를 이용할 수 있다. 예컨대, 신호는 콘텐츠를 화면에 제공하는 사람으로부터 도출될 수 있다. 예를 들어, 한 신호는 사람이 화면에서 청중 쪽으로 돌아서는 때일 수 있다. 위치 검출 모듈(404)은, 자신이 수신하는 입력 덕분에, 이 사람이 돌아선다는 것을 탐지할 수 있다. 사람이 청중 쪽으로 돌아섰음을 확인한 것에 응답하여, 콘텐츠 재배치 모듈(406)은 콘텐츠가 다른 화면 위치에 재배치되어 렌더링되게 할 수 있다.
또한, 다양한 실시예에서, 화면에 제공된 콘텐츠는 원격 컴퓨팅 장치에 제공될 수 있다. 이들 예에서, 화면에 콘텐츠를 추가하는 사람의 윤곽(ghost outline)이 원격 컴퓨팅 장치의 콘텐츠 위에 중첩될 수 있다. 이것은 원격 사용자에게 콘텐츠를 제공하는 사람과 연관된 컨텍스트를 제공할 수 있다. 이들 실시예에서, 콘텐츠는 원격 사용자의 컴퓨팅 장치 상에서 대응하는 방식으로 반드시 재배치되지는 않을 수 있다.
도 6은 하나 이상의 실시예에 따른 방법의 단계들을 설명하는 흐름도이다. 이 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합과 함께 구현될 수 있다. 적어도 일부 실시예에서, 이 방법은, 전술한 화면과 같은 화면의 일부로서 실행되는 콘텐츠 조작 모듈과 같이, 적절히 구성된 소프트웨어에 의해 구현될 수 있다.
단계(600)는 화면에 제공되는 콘텐츠를 캡처한다. 이 콘텐츠는, 예컨대, 사용자에 의해 화면에 제공되는 텍스트와 같은 임의의 적절한 유형의 콘텐츠를 포함할 수 있다. 단계(602)는 화면에 대한 방해물의 위치를 확인한다. 이 단계는 임의의 적절한 방법으로 수행될 수 있다. 적어도 일부 실시예에서, 콘텐츠를 화면에 제공하는 개인의 위치를 확인하기 위해 센서 및/또는 카메라가 이용될 수 있다. 단계(604)는 방해물에 의해 가려지지 않는 위치를 확인한다. 이 단계는 임의의 적절한 방법으로 수행될 수 있다. 예를 들어, 적어도 일부 실시예에서, 이 위치는 사전정의된 혹은 사전결정된 위치로서 확인될 수 있다. 이에 더하여 또는 이에 갈음하여, 이 위치는 온더 플라이로 및/또는 사용자가 돌아다닐 때 계산될 수 있다. 단계(606)는 캡처된 콘텐츠를 방해물에 의해 가려지지 않는 위치에 재배치한다. 이 단계는 임의의 적절한 방법으로 수행될 수 있다. 예를 들어, 적어도 일부 실시예에서, 단계(600 내지 606)는 사용자가 화면 앞에서 이동할 때 반복적으로 수행될 수 있다. 이런 방법으로, 콘텐츠는 자동으로 사용자 주위의 가려지지 않는 위치로 부유할 수 있다.
수동으로 콘텐츠 배치하기
이와 달리 또는 이에 더하여, 콘텐츠는 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치로 콘텐츠를 이동시키는 방식으로 "부유(floating)"하게 되도록 수동으로 선택될 수 있다. 예를 들어, 콘텐츠가 화면에 추가될 때, 콘텐츠를 추가하는 사람은 임의의 적절한 방법으로, 예컨대, 제스처를 통해, 콘텐츠를 선택한 다음 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치로 콘텐츠가 이동하게 할 수 있다. 임의의 적절한 유형의 제스처가 이용될 수 있는데, 그 예들이 아래에 제시된다. 일례로서, 일반적으로 700의 예시적인 화면을 상이한 두 상태로 도시하는 도 7을 살펴보자. 위쪽 도면에서, 위쪽 도면에서, 사용자가 화면 앞에 보이고 콘텐츠를 화면에 기록하고 있다. 콘텐츠의 일부는 사용자 때문에 가려짐을 알 수 있다. 적어도 일부 실시예에서, 아래쪽 도면에 도시된 바와 같이, 탭, 더블 탭과 같은 적절한 제스처를 통해 또는 제스처가 터치 기반이 아닌 내츄럴 유저 인터페이스를 통해 콘텐츠가 사용자에 의해 선택될 수 있다. 선택된 콘텐츠는 콘텐츠의 가려지지 않는 뷰를 제공하는 점선(702)으로 표시된 화면 위치에 프리젠트될 수 있다.
재배치될 콘텐츠의 양을 확인하기 위해 임의의 적절한 기법이 이용될 수 있다. 예를 들어, 사용자는 선택할 텍스트 위와 아래의 싱글 탭에 의해 텍스트를 지정하고 이어서 더블 탭으로 이 텍스트를 재배치되게 할 수 있다. 이에 더하여 또는 이에 갈음하여 사용자는 텍스트 주위에 호를 그리거나 괄호를 하는 제스처를 통해 텍스트를 선택하고 이어서 싱글 탭 또는 더블 탭으로 이 택스가 재배치되게 할 수 있다. 터치 기반이 아닌 내츄럴 유저 인터페이스의 콘텍스트에서는, 제스처가 텍스트를 선택하고 이어서 우측 또는 좌측 스윕 동작으로 텍스트가 사용자의 우측 또는 좌측으로 각각 재배치되게 하는 더블 스퀴즈(double-squeeze) 제스처를 포함할 수 있다.
다른 실시예에서, 화면 상에 프리젠트되는 콘텐츠는 콘텐츠의 위치를 화면에 대한 감지된 방해물에 적응시키는 방식으로 동적으로 부유할 수 있다. 예를 들어, 사람이 콘텐츠를 화면에 제공하고 콘텐츠가 부유하도록 지시하는 제스처를 제공할 때, 이 사용자는 화면 앞에서 서성거릴 수 있다. 이 경우, 사용자가 화면 앞에서 움직이거나 화면 앞에 서 있을 때, 콘텐츠는 가려지지 않는 뷰를 제공하는 위치로 이동할 수 있다. 따라서, 사람이 화면 오른쪽을 가리도록 서 있으면, 콘텐츠는 화면의 좌측으로 이동할 수 있다. 사람이 화면의 우측에서 좌측으로 이동하면, 콘텐츠는 가려지지 않는 뷰를 프리젠트하기 위해 화면의 우측으로 재배치될 수 있다.
또한, 다양한 실시예에서, 화면에 제공된 콘텐츠는 원격 컴퓨팅 장치에 제공될 수 있다. 이들 예에서, 화면에 콘텐츠를 추가하는 사람의 윤곽(ghost outline)이 원격 컴퓨팅 장치의 콘텐츠 위에 중첩될 수 있다. 이것은 원격 사용자에게 콘텐츠를 제공하는 사람과 연관된 컨텍스트를 제공할 수 있다. 이들 실시예에서, 콘텐츠는 원격 사용자의 컴퓨팅 장치 상에서 대응하는 방식으로 반드시 재배치되지는 않을 수 있다.
도 8은 하나 이상의 실시예에 따른 방법의 단계를 나타내는 흐름도이다. 이 방법은 임의의 유용한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합과 함께 구현될 수 있다. 적어도 일부 실시예에서, 이 방법은 전술한 화면과 같은 화면의 일부로서 실행되는 콘텐츠 조작 모듈과 같은 적절히 구성된 소프트웨어에 의해 구현될 수 있다.
단계(800)는 화면에 제공되는 콘텐츠를 캡처한다. 이 콘텐츠는, 예컨대, 사용자에 의해 화면에 제공되는 텍스트와 같은 임의의 적절한 유형의 콘텐츠를 포함할 수 있다. 단계(802)는 화면에 대한 방해물의 위치를 확인한다. 이 단계는 임의의 적절한 방법으로 수행될 수 있다. 적어도 일부 실시예에서, 콘텐츠를 화면에 제공하는 개인의 위치를 확인하기 위해 센서 및/또는 카메라가 이용될 수 있다. 단계(804)는 방해물에 의해 가려지지 않는 위치를 확인한다. 이 단계는 임의의 적절한 방법으로 수행될 수 있다. 예를 들어, 적어도 일부 실시예에서, 이 위치는 사전정의된 혹은 사전결정된 위치로서 확인될 수 있다. 이에 더하여 또는 이에 갈음하여, 이 위치는 온더 플라이로 및/또는 사용자가 돌아다닐 때 계산될 수 있다. 단계(804)는 선택된 콘텐츠를 재배치하라는 사용자 입력을 수신한다. 이 단계는 임의의 적절한 방법으로 수행될 수 있다. 예를 들어, 이 단계는 하나 이상의 제스처를 이용하여 수행될 수 있는데, 그 예들은 앞에 제시되어 있다. 단계(806)는 방해물에 의해 가려지지 않는 위치를 확인한다. 이 단계는 임의의 적절한 방법으로 수행될 수 있다. 예를 들어, 가려지지 않는 위치는 전술한 바와 같이 사전정의된 경계 박스일 수도 있다. 이에 더하여 또는 이에 갈음하여, 가려지지 않는 위치는 단순히 가려지지 않아서 동적인 방식으로 그렇게 결정되는 위치일 수 있다. 단계(808)는 캡처된 콘텐츠를 방해물에 의해 가려지지 않는 위치에 재배치한다. 이 단계는 임의의 적절한 방법으로 수행될 수 있다. 예를 들어, 적어도 일부 실시예에서, 단계(800 내지 808)는 사용자가 화면 앞에서 이동할 때 반복적으로 수행될 수 있다. 이런 방법으로, 콘텐츠는 자동으로 사용자 주위의 가려지지 않는 위치로 부유할 수 있다.
구현예 세부사항 및 사용 예들
한 구현예에서, 텍스트 및 다른 콘텐츠가 다양한 속성을 갖는 컨테이너나 윈도우 내의 화면에 추가될 수 있다. 컨테이너 속성들 중 하나는 "부유(floating)" 모드이다. 부유 모드는 콘텐츠를 재배치할 화면 상의 이용가능한 공간을 고려하는 단순한 휴리스틱에 기초할 수 있다. 이와 달리 또는 이에 더하여, 부유 모드는 콘텐츠가 청중들에게 보이게 하기 위하여 사전 결정된 콘텐츠를 화면의 한쪽에서 다른 쪽으로 이동시키는 것에 기초할 수 있다. 전술한 바와 같이, 텍스트 이외의 다른 또는 추가적인 다양한 유형의 콘텐츠가 본 명세서에서 기술된 바와 같이 처리될 수 있다. 예를 들어, 전술한 컨테이너의 상황에서, 다른 콘텐츠 유형들에 대해 다른 컨테이너 유형들이 정의될 수 있다. 컨테이너 유형은, 예를 들어, 텍스트 컨테이너, 그래프 컨테이너, 비디오 컨테이너, 공유된 콘텐츠 컨테이너, 이미지 컨테이너 등을 포함할 수 있다. 이들 다양한 유형의 컨테이너는 관련 콘텐츠의 가시성을 유지하기 위해 전술한 바와 같이 재배치될 수 있다.
이제 본 발명의 실시예들이 어떻게 이용될 수 있는지를 기술하는 몇몇 용례를 살펴보자.
전술한 바와 같이 구성된 복수의 상이한 화면을 갖춘 넓은 회의실에서 미팅이 열리는 회사 환경을 고려해 보자. 프리젠터는 화면에서 사진, 텍스트, 도표 등을 포함하는 복수의 상이한 유형의 콘텐츠를 보여주고자 한다. 이들의 프리젠테이션 동안, 프리젠터는 대화식으로 콘텐츠에 대해 작업을 계속하고 싶어할 수 있다. 프리젠터는 도표에 몇몇 메모를 하거나 주석을 달 수 있고 도표가 청중들이 볼 수 있는 위치에 재배치되게 할 수 있다. 또는 도표가 전술한 바와 같이 자동으로 재배치되어 청중들에게 보여질 수 있다.
이제 전술한 바와 같이 복수의 상이한 화면을 갖도록 구성된 대학 강의실을 고려해보자. 대학 화학 교수는 강의의 기초 역할을 하는 다수의 상이한 화학 공식을 기록한다. 교수가 각각의 화학 공식을 텍스트 컨테이너에 기록할 때, 학생들이 그 공식들을 필기할 수 있도록 텍스트 컨테이너는 가려지지 않는 위치에 자동으로 재배치되거나 또는 수동으로 재배치된다.
다양한 실시예들을 살펴보았으므로, 이제 전술한 다양한 실시예들을 구현하는데 이용될 수 있는 예시적인 장치를 살펴보자.
예시적인 장치
도 9는 본 명세서에 기술된 실시예들을 구현하기 위해 도 1 내지 3을 참조하여 설명한 임의의 유형의 휴대형 및/또는 컴퓨터 장치로서 구현될 수 있는 예시적인 장치(900)의 다양한 컴포넌트를 도시한 것이다. 장치(900)는 장치 데이터(904)(예컨대, 수신된 데이터, 수신 중인 데이터, 방송 예정 데이터, 데이터의 데이터 패킷들 등)의 유선 및/또는 무선 통신을 가능하게 하는 통신 장치(902)를 포함한다. 장치 데이터(904) 또는 다른 장치 콘텐츠는 장치의 구성 설정, 장치에 저장된 미디어 콘텐츠, 및/또는 장치의 사용자와 연관된 정보를 포함할 수 있다. 장치(900)에 저장된 미디어 콘텐츠는 임의의 유형의 오디오, 비디오, 및/또는 이미지 데이터를 포함할 수 있다. 장치(900)는 하나 이상의 데이터 입력(906)을 포함하며, 이를 통해, 사용자 선택가능 입력, 메시지, 뮤직, 텔레비전 미디어 콘텐츠, 녹화된 비디오 콘텐츠, 및 임의의 콘텐츠 및/또는 데이터 소스로부터 수신된 임의의 다른 유형의 오디오, 비디오, 및/또는 이미지 데이터와 같은, 임의의 유형의 데이터, 미디어 콘텐츠, 및/또는 입력이 수신될 수 있다.
장치(900)는 또한 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의의 유형의 네트워크 인터페이스, 모뎀, 및 임의의 다른 유형의 통신 인터페이스 중 임의의 하나 이상으로서 구현될 수 있는 통신 인터페이스(908)를 포함한다. 통신 인터페이스(908)는 장치(900), 화면(102)(도 1 참고) 및 통신 네트워크(이를 통해 다른 전자, 컴퓨팅, 및 통신 장치가 장치(900)와 데이터 통신함) 사이에 접속 및/또는 통신 링크를 제공한다.
장치(900)는 장치(900)의 동작을 제어하고 전술한 실시예들을 구현하도록 다양한 컴퓨터 실행가능 또는 판독가능 명령어를 처리하는 하나 이상의 프로세서(910)(예컨대, 임의의 마이크로프로세서, 제어기 등)를 포함한다. 이와 달리 또는 이에 더하여, 장치(900)는 하드웨어, 펌웨어, 또는 일반적으로 912로 표시되는 처리 및 제어 회로와 함께 구현되는 고정 논리 회로 중 어느 하나 또는 조합으로 구현될 수 있다. 도시되어 있지는 않지만, 장치(900)는 장치 내의 다양한 컴포넌트를 결합하는 시스템 버스 혹은 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 제어기, 주변 버스, 범용 직렬 버스, 및/또는 다양한 버스 아키텍처들 중 임의의 것을 이용하는 프로세서 또는 로컬 버스와 같이 상이한 버스 구조들 중 어느 하나 또는 이들의 조합을 포함할 수 있다.
장치(900)는 또한 하나 이상의 메모리 컴포넌트와 같은 컴퓨터 판독가능 매체(914)를 포함하며, 그 예로는 RAM, 비휘발성 메모리(예컨대, 하나 이상의 ROM, 플래시 메모리, EPROM, EEPROM 등), 및 디스크 저장 장치를 들 수 있다. 디스크 저장 장치는, 하드 디스크 드라이브, 기록가능 및/또는 재기록가능 콤팩트 디스크(CD), 임의의 유형의 DVD 등과 같은 임의의 유형의 자기 또는 광학 저장 장치로서 구현될 수 있다. 장치(900)는 또한 대용량 저장 매체 장치(916)를 포함할 수 있다.
컴퓨터 판독가능 매체(914)는 장치 데이터(904) 뿐만 아니라 다양한 장치 애플리케이션(918) 및 장치의 동작 특성과 관련된 임의의 다른 유형의 정보 및/또는 데이터를 저장하기 위한 데이터 저장 메커니즘을 제공한다. 예를 들어, 운영 체제(920)는 컴퓨터 애플리케이션으로서 컴퓨터 판독가능 매체(914) 내에 유지될 수 있고 프로세서(910) 상에서 실행될 수 있다. 장치 애플리케이션(918)은 장치 관리자(예컨대, 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 처리 및 제어 모듈, 특정 장치에 고유한 코드, 특정 장치용 하드웨어 추상화 계층 등) 뿐만 아니라, 웹 브라우저, 이미지 처리 애플리케이션, 인스턴스 메시징 애플리케이션과 같은 통신 애플리케이션, 워드 프로세싱 애플리케이션 및 다양한 다른 애플리케이션들을 포함할 수 있는 기타 애플리케이션들을 포함할 수 있다. 장치 애플리케이션(918)은 또한 본 명세서에 기술된 기법들의 실시예를 구현하기 위한 임의의 시스템 컴포넌트 또는 모듈을 포함한다. 이 예에서, 장치 애플리케이션(918)은 소프트웨어 모듈 및/또는 컴퓨터 애플리케이션으로서 보여지는 인터페이스 애플리케이션(922) 및 제스처 캡처 드라이버(924)를 포함한다. 제스처 캡처 드라이버(924)는 터치스크린, 트랙 패드, 카메라 등과 같이 제스처를 캡처하도록 구성된 장치와의 인터페이스를 제공하는데 사용되는 소프트웨어를 나타낸다. 이와 달리 또는 이에 더하여, 인터페이스 애플리케이션(922) 및 제스처 캡처 드라이버(924)는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로서 구현될 수 있다. 컴퓨터 판독가능 매체(914)는 웹 플랫폼(925a), 제스처 모듈(925b), 및 전술한 바와 같이 기능하는 콘텐츠 조작 모듈(925c)을 포함할 수 있다.
장치(900)는 또한 오디오 데이터를 오디오 시스템(928)에 제공하고/하거나 비디오 데이터를 디스플레이 시스템(930)에 제공하는 오디오 및/또는 비디오 입력-출력 시스템(926)을 포함한다. 오디오 시스템(928) 및/또는 디스플레이 시스템(930)은 오디오, 비디오, 및 이미지 데이터를 처리, 디스플레이 및/또는 렌더링하는 임의의 장치를 포함할 수 있다. 비디오 신호 및 오디오 신호는 장치(900)로부터 RF(radio frequency) 링크, S 비디오 링크, 합성 비디오 링크, 컴포넌트 비디오 링크, DVI(digital video interface), 아날로그 오디오 연결, 또는 기타 유사한 통신 링크를 통해 오디오 장치 및/또는 디스플레이 장치로 전달될 수 있다. 일실시예에서, 오디오 시스템(928) 및/또는 디스플레이 시스템(930)은 장치(900)에 대한 외부 컴포넌트로서 구현된다. 또는, 오디오 시스템(928) 및/또는 디스플레이 시스템(930)은 예시적인 장치(900)의 통합 컴포넌트로서 구현된다.
결론
다양한 실시예들은 화면 상에서 콘텐츠의 신속한 조작을 가능하게 하여 한 명 이상의 참석자 또는 참가자가 콘텐츠를 신속하게 시각적으로 이용가능할 수 있도록 한다. 적어도 일부 실시예에서, 콘텐츠의 가려지지 않는 뷰(unobstructed view of the content)를 제공하는 화면 위치에 콘텐츠를 자동으로 프리젠트하도록 콘텐츠가 자동으로 조작될 수 있다. 이에 갈음하여 또는 이에 더하여, 콘텐츠는 콘텐츠의 가려지지 않는 뷰를 제공하는 화면 위치로 콘텐츠를 이동시키는 방식으로 "부유(floating)"하게 되도록 수동으로 선택될 수 있다.
다른 실시예에서, 화면 상에 프리젠트되는 콘텐츠는 콘텐츠의 위치를 화면에 대한 감지된 방해물(obstruction)에 적응시키는 방식으로 동적으로 부유할 수 있다.
다른 실시예에서는, 복수의 상이한 화면이 전술한 실시예 및 후술하는 실시예를 이용하여 콘텐츠를 쉽게 알아볼 수 있도록 프리젠트할 수 있다.
실시예들은 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 기술되었지만, 첨부된 청구항에 정의된 청구대상은 반드시 전술한 특정한 특징이나 동작으로 한정되지는 않는다. 오히려 전술한 특정한 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 기술된다.

Claims (10)

  1. 컴퓨터 구현 방법으로서,
    화면(surface)에 제공되는 콘텐츠를 캡처하는 단계와,
    상기 화면에 대한 방해물(obstruction)의 위치를 확인하는 단계와,
    상기 방해물에 의해 가려지지 않는(unobstructed) 위치를 확인하는 단계와,
    캡처된 콘텐츠를 상기 방해물에 의해 가려지지 않는 위치에 재배치하는 단계
    를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 콘텐츠는 텍스트를 포함하고,
    상기 재배치하는 단계는 상기 캡처된 콘텐츠를 자동으로 재배치하는 단계를 포함하는
    컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 콘텐츠는 텍스트를 포함하고,
    상기 재배치하는 단계는 선택된 콘텐츠를 재배치하라는 사용자 입력을 수신하는 단계와, 상기 사용자 입력 수신에 응답하여 상기 캡처된 콘텐츠를 재배치하는 단계를 포함하는
    컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 방해물의 위치를 확인하는 단계는 상기 화면의 일부를 포함하는 하나 이상의 센서를 사용하여 수행되는
    컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 방해물의 위치를 확인하는 단계는 하나 이상의 카메라를 사용하여 수행되는
    컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 가려지지 않는 위치를 확인하는 단계는 사전정의된 위치를 확인함으로써 수행되는
    컴퓨터 구현 방법.
  7. 제1항에 있어서,
    상기 가려지지 않는 위치를 확인하는 단계는 상기 방해물에 대한 상기 위치를 계산함으로써 수행되는
    컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 가려지지 않는 위치를 확인하는 단계는 상기 방해물에 대한 상기 위치를 계산함으로써 그리고 상기 방해물이 상기 화면에 대해 이동함에 따라 수행되는
    컴퓨터 구현 방법.
  9. 제1항에 있어서,
    상기 방해물은 사람을 포함하는
    컴퓨터 구현 방법.
  10. 시스템으로서,
    사용자로부터의 입력을 수신하도록 구성된 하나 이상의 화면과,
    상기 하나 이상의 화면에 결합되어 동작들을 수행하도록 구성된 컴퓨팅 장치
    를 포함하되,
    상기 동작들은
    상기 하나 이상의 화면에 제공되는 콘텐츠를 캡처하는 동작과,
    상기 하나 이상의 화면에 대한 사용자의 위치를 확인하는 단계와,
    상기 사용자에 의해 가려지지 않는 위치를 확인하는 동작과,
    캡처된 콘텐츠를 상기 사용자에 의해 가려지지 않는 위치에 재배치하는 동작
    을 포함하는 시스템.
KR1020167005296A 2013-08-28 2014-08-25 화면 상에서의 콘텐츠 조작 기법 KR102244925B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/012,332 2013-08-28
US14/012,332 US9830060B2 (en) 2013-08-28 2013-08-28 Manipulation of content on a surface
PCT/US2014/052433 WO2015031219A1 (en) 2013-08-28 2014-08-25 Manipulation of content on a surface

Publications (2)

Publication Number Publication Date
KR20160047483A true KR20160047483A (ko) 2016-05-02
KR102244925B1 KR102244925B1 (ko) 2021-04-26

Family

ID=51535530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167005296A KR102244925B1 (ko) 2013-08-28 2014-08-25 화면 상에서의 콘텐츠 조작 기법

Country Status (5)

Country Link
US (2) US9830060B2 (ko)
EP (1) EP3017350B1 (ko)
KR (1) KR102244925B1 (ko)
CN (1) CN105493023B (ko)
WO (1) WO2015031219A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590257B1 (ko) * 2023-05-03 2023-10-19 (주)한성컴퓨터 와이-파이 위치 추적 기술을 이용한 스마트 인터랙티브 화이트보드 장치 및 그 제어방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675847B2 (en) 2007-01-03 2014-03-18 Cisco Technology, Inc. Scalable conference bridge
CN104469256B (zh) 2013-09-22 2019-04-23 思科技术公司 沉浸式和交互式的视频会议房间环境
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
US10542126B2 (en) 2014-12-22 2020-01-21 Cisco Technology, Inc. Offline virtual participation in an online conference meeting
US20160269254A1 (en) * 2015-03-09 2016-09-15 Michael K. Forney Meeting Summary
US9883003B2 (en) 2015-03-09 2018-01-30 Microsoft Technology Licensing, Llc Meeting room device cache clearing
US9948786B2 (en) 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
US10291762B2 (en) 2015-12-04 2019-05-14 Cisco Technology, Inc. Docking station for mobile computing devices
WO2017123394A1 (en) * 2016-01-15 2017-07-20 Pearson Education, Inc. Interactive presentation controls
US10574609B2 (en) 2016-06-29 2020-02-25 Cisco Technology, Inc. Chat room access control
US10592867B2 (en) 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US10514844B2 (en) * 2016-11-16 2019-12-24 Dell Products L.P. Automatically modifying an input area based on a proximity to one or more edges
US10516707B2 (en) 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US10515117B2 (en) 2017-02-14 2019-12-24 Cisco Technology, Inc. Generating and reviewing motion metadata
CN106970681A (zh) * 2017-02-21 2017-07-21 广州视源电子科技股份有限公司 书写显示方法及其系统
US9942519B1 (en) 2017-02-21 2018-04-10 Cisco Technology, Inc. Technologies for following participants in a video conference
JP6984648B2 (ja) * 2017-03-08 2021-12-22 ソニーグループ株式会社 画像処理装置および画像処理方法
US10440073B2 (en) 2017-04-11 2019-10-08 Cisco Technology, Inc. User interface for proximity based teleconference transfer
US10375125B2 (en) 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
US10404481B2 (en) 2017-06-06 2019-09-03 Cisco Technology, Inc. Unauthorized participant detection in multiparty conferencing by comparing a reference hash value received from a key management server with a generated roster hash value
CN107357512A (zh) * 2017-06-09 2017-11-17 丝路视觉科技股份有限公司 一种人物互动方法及人物互动装置
US10375474B2 (en) 2017-06-12 2019-08-06 Cisco Technology, Inc. Hybrid horn microphone
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
US10516709B2 (en) 2017-06-29 2019-12-24 Cisco Technology, Inc. Files automatically shared at conference initiation
US10706391B2 (en) 2017-07-13 2020-07-07 Cisco Technology, Inc. Protecting scheduled meeting in physical room
US10474417B2 (en) 2017-07-20 2019-11-12 Apple Inc. Electronic device with sensors and display devices
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls
US11237699B2 (en) 2017-08-18 2022-02-01 Microsoft Technology Licensing, Llc Proximal menu generation
US11301124B2 (en) 2017-08-18 2022-04-12 Microsoft Technology Licensing, Llc User interface modification using preview panel
US10771621B2 (en) 2017-10-31 2020-09-08 Cisco Technology, Inc. Acoustic echo cancellation based sub band domain active speaker detection for audio and video conferencing applications
CN108958861A (zh) * 2018-06-14 2018-12-07 广州视源电子科技股份有限公司 基于文本控件的对象显示方法、设备及存储介质
CN109343785A (zh) * 2018-08-31 2019-02-15 湖南新云网科技有限公司 电子白板的书写方法、存储介质及电子白板
CN109271086A (zh) * 2018-08-31 2019-01-25 湖南新云网科技有限公司 一种电子白板的书写方法、存储介质及电子白板
CN109407898A (zh) * 2018-08-31 2019-03-01 湖南新云网科技有限公司 一种电子白板的显示方法、存储介质及电子白板

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004271866A (ja) * 2003-03-07 2004-09-30 Canon Inc 表示装置及び表示装置の制御方法
US20060284850A1 (en) * 2003-06-05 2006-12-21 Timo Tokkonen Method and software application for transmitting information remaining behind an obstacle located in front of the display to the user of a data processing device
JP2009116727A (ja) * 2007-11-08 2009-05-28 Sharp Corp 画像入力表示装置
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US8519971B1 (en) * 2010-08-30 2013-08-27 Amazon Technologies, Inc. Rendering content around obscuring objects

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337698B1 (en) 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US6791530B2 (en) 2000-08-29 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Circular graphical user interfaces
US20040070616A1 (en) 2002-06-02 2004-04-15 Hildebrandt Peter W. Electronic whiteboard
US8416217B1 (en) 2002-11-04 2013-04-09 Neonode Inc. Light-based finger gesture user interface
US7224847B2 (en) * 2003-02-24 2007-05-29 Microsoft Corp. System and method for real-time whiteboard streaming
US20050239037A1 (en) 2004-04-06 2005-10-27 Surapong Lertsithichai Convertible podium system
JPWO2007010704A1 (ja) * 2005-07-22 2009-01-29 パイオニア株式会社 電子黒板装置、電子黒板装置の書き込み位置調整方法及び書き込み位置調整プログラム
US20090051661A1 (en) * 2007-08-22 2009-02-26 Nokia Corporation Method, Apparatus and Computer Program Product for Providing Automatic Positioning of Text on Touch Display Devices
US9830123B2 (en) * 2009-06-09 2017-11-28 Samsung Electronics Co., Ltd. Method for transmitting content with intuitively displaying content transmission direction and device using the same
US8539560B2 (en) * 2010-06-24 2013-09-17 International Business Machines Corporation Content protection using automatically selectable display surfaces
US8502816B2 (en) 2010-12-02 2013-08-06 Microsoft Corporation Tabletop display providing multiple views to users
US9864612B2 (en) * 2010-12-23 2018-01-09 Microsoft Technology Licensing, Llc Techniques to customize a user interface for different displays
JP2012173911A (ja) * 2011-02-21 2012-09-10 Seiko Epson Corp 画像生成装置、プロジェクターおよび画像生成方法
CA2844105A1 (en) * 2011-08-31 2013-03-07 Smart Technologies Ulc Detecting pointing gestures in a three-dimensional graphical user interface
US9092184B2 (en) * 2012-06-22 2015-07-28 Harborside Press, LLC Interactive synchronized multi-screen display
US20140281012A1 (en) * 2013-03-15 2014-09-18 Francois J. Malassenet Systems and methods for identifying and separately presenting different portions of multimedia content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004271866A (ja) * 2003-03-07 2004-09-30 Canon Inc 表示装置及び表示装置の制御方法
US20060284850A1 (en) * 2003-06-05 2006-12-21 Timo Tokkonen Method and software application for transmitting information remaining behind an obstacle located in front of the display to the user of a data processing device
JP2009116727A (ja) * 2007-11-08 2009-05-28 Sharp Corp 画像入力表示装置
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US8519971B1 (en) * 2010-08-30 2013-08-27 Amazon Technologies, Inc. Rendering content around obscuring objects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590257B1 (ko) * 2023-05-03 2023-10-19 (주)한성컴퓨터 와이-파이 위치 추적 기술을 이용한 스마트 인터랙티브 화이트보드 장치 및 그 제어방법

Also Published As

Publication number Publication date
KR102244925B1 (ko) 2021-04-26
CN105493023A (zh) 2016-04-13
EP3017350B1 (en) 2019-05-15
US20150067552A1 (en) 2015-03-05
CN105493023B (zh) 2019-01-08
WO2015031219A1 (en) 2015-03-05
US9830060B2 (en) 2017-11-28
US20180074686A1 (en) 2018-03-15
EP3017350A1 (en) 2016-05-11

Similar Documents

Publication Publication Date Title
KR102244925B1 (ko) 화면 상에서의 콘텐츠 조작 기법
US10310730B2 (en) Display device for controlling displaying of a window and method of controlling the same
CN103649900B (zh) 边缘手势
CN103562838B (zh) 边缘手势
KR102027612B1 (ko) 애플리케이션의 썸네일-이미지 선택 기법
US8413075B2 (en) Gesture movies
US8477122B2 (en) Display apparatus, displaying method and computer readable medium
US9507424B2 (en) User location-based display method and apparatus
US20160004373A1 (en) Method for providing auxiliary information and touch control display apparatus using the same
US20130198653A1 (en) Method of displaying input during a collaboration session and interactive board employing same
US20130055143A1 (en) Method for manipulating a graphical user interface and interactive input system employing the same
US20150067540A1 (en) Display apparatus, portable device and screen display methods thereof
CN103562831A (zh) 边缘手势
KR20150114526A (ko) 휴대용 컴퓨팅 장치의 디스플레이를 제어하는 방법
KR20130050606A (ko) 터치스크린을 구비한 전자 기기에서 독서 실행 방법 및 장치
US20190065030A1 (en) Display apparatus and control method thereof
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
KR20150025214A (ko) 동영상에 비주얼 객체를 중첩 표시하는 방법, 저장 매체 및 전자 장치
EP2660701A1 (en) Method for inputting touch and touch display apparatus
EP2712433B1 (en) User interface for drawing with electronic devices
CN108062921B (zh) 显示装置、显示系统、显示方法以及记录介质
CN110622119A (zh) 对象插入
KR101700117B1 (ko) 인터렉티브 전자저작도구, 이를 제공하는 컴퓨터 장치 및 방법
JP6068428B2 (ja) 画像表示システムの制御方法及び制御装置
JP2015225483A (ja) 表示制御装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant