KR20120138187A - 인쇄매체 기반 혼합현실 구현 장치 및 방법 - Google Patents

인쇄매체 기반 혼합현실 구현 장치 및 방법 Download PDF

Info

Publication number
KR20120138187A
KR20120138187A KR1020110057559A KR20110057559A KR20120138187A KR 20120138187 A KR20120138187 A KR 20120138187A KR 1020110057559 A KR1020110057559 A KR 1020110057559A KR 20110057559 A KR20110057559 A KR 20110057559A KR 20120138187 A KR20120138187 A KR 20120138187A
Authority
KR
South Korea
Prior art keywords
image
command
mixed reality
information
pattern image
Prior art date
Application number
KR1020110057559A
Other languages
English (en)
Other versions
KR101423536B1 (ko
Inventor
신희숙
정현태
이동우
신승용
임정묵
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110057559A priority Critical patent/KR101423536B1/ko
Priority to US13/495,560 priority patent/US20120320092A1/en
Publication of KR20120138187A publication Critical patent/KR20120138187A/ko
Application granted granted Critical
Publication of KR101423536B1 publication Critical patent/KR101423536B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 인쇄매체 기반 혼합현실 구현 장치 및 방법에 관한 것으로, 콘텐츠의 재생 영상과 특정된 패턴 영상을 삽입 또는 중첩시켜 출력하여 인쇄매체에 표시하는 영상 출력부와, 영상 출력부를 통해 출력한 패턴 영상과 인쇄매체에 대한 캡쳐 영상을 비교한 결과값에 의거하여 사용자 입력 명령을 판별하는 명령 판별부와, 명령 판별부에 의해 판별된 사용자 입력 명령에 따라 콘텐츠에 대한 저장 또는 재생을 제어하는 콘텐츠 관리부를 포함하며, 디지털 콘텐츠를 현실 세계의 콘텐츠 위에 직접 표현함으로써 사용자에게 새로운 경험을 제공 할 수 있고, 인쇄 매체와 같은 현실의 사물과 디지털 콘텐츠의 활용성을 높이고, 콘텐츠 재사용성도 높일 수 있으며, 현실과 가상의 정보가 현실의 매체에 융합되어 표현됨으로써 정보 표현 공간이 일치될 뿐 아니라 현실 매체의 디지털 및 실제 물체와의 인터랙션으로 사용자 입력을 수행함으로써 사용자 입력 공간의 일치도 가능하고, 개념적 설계뿐 아니라 실제 활용이 가능한 간단하면서도 효과적인 입출력 방식을 사용함으로써 사용자의 편의성을 향상시키는 이점이 있다.

Description

인쇄매체 기반 혼합현실 구현 장치 및 방법{SYSTEM FOR CONSTRUCTIING MIXED REALITY USING PRINT MEDIUM AND METHOD THEREFOR}
본 발명은 인쇄매체를 기반으로 한 혼합현실(mixed reality) 구현에 관한 것으로, 더욱 상세하게는 현실의 인쇄매체에 디지털 콘텐츠 정보를 융합 표현하고 이를 사용자 입력 공간과 일치시키는 인쇄매체 기반 혼합 현실 구현 장치 및 방법에 관한 것이다.
주지하는 바와 같이, 실세계 객체에 가상의 콘텐츠를 부가함으로써 현실 세계의 정보를 증강시키는 기술이 많이 다루어 지고 있다. 가상 세계의 표현을 중심으로 하는 가상현실(virtual reality) 기술로부터 현실 세계를 중심으로 가상의 정보를 부가하고자 하는 증강현실(augmented reality) 기술, 적절한 혼합을 시도하는 혼합현실 기술에 이르기까지 다양한 시각으로의 접근을 통해 기술적인 발전을 이루어왔다.
특히 스마트폰과 같이 향상된 컴퓨팅 성능과 카메라 입력 기능을 포함하는 단말이 널리 사용됨에 따라서 모바일 증강현실(mobile AR) 기술이 다시 대두되고 있다. 모바일 증강현실 기술 분야에서는 이동 중의 주변 환경에 사용자가 요구하는 가상의 정보를 부가하는 등과 같은 다양한 서비스가 제시되고 있기는 하지만 대부분이 단말에 장착된 디스플레이 장치를 통해서 실제의 영상과 가상의 정보를 함께 제공함으로써 사용자에게는 여전히 단말 속에 존재하는 가상적인 정보로(처럼) 느껴지고, 입력 방법 또한 단말기의 범위 안에서 벗어나지 못하고 있다.
또한 소형 프로젝터가 부착된 모바일폰과 같은 기기가 등장하면서 프로젝터를 새로운 디스플레이 장치로써 활용하고자 하는 시도도 이루어지고 있다. 작은 디스플레이 화면에서 벗어나 큰 화면으로 다수의 사람과 함께 영화를 보거나 정보를 공유하는 등의 서비스로도 활용되고 있다.
이러한 프로젝터 출력 수단과 카메라 입력 수단을 이용한 새로운 서비스의 개념을 미국의 메사추세츠공과대학교(MIT)에서 식스 센스(sixth sense)라는 이름으로 소개하였다. 이는 사람의 손 동작의 제스춰를 카메라 영상으로 입력하여 사용하고 프로젝터의 영상을 새로운 디스플레이로써 또는 실제 사물의 일부로써 정보를 부가하여 마치 디지털 정보가 실제 사물의 정보와 하나인 것처럼 융합되어 사용자에게 제공된다. 즉 인쇄된 신문의 정보를 사용자가 볼 때, 신문의 인쇄된 사진뿐 아니라 실시간의 동영상을 프로젝션되는 영상으로도 본다거나, 또는 비행기 티켓의 인쇄된 정보에 변경된 비행 정보를 부가적으로 티켓 안에서 표현함으로써 디지털 정보의 가상성(virtuality)을 좀더 현실성(reality)있게 표현하는 특징을 가진다.
최근에는 기술의 발달로 프로젝터 및 카메라가 소형화 되어 모바일 기기에 탑재가 되면서 이러한 소형 프로젝터 및 카메라를 착용형 형태로 제작하여 다양한 서비스를 제공하고자 하는 개념적인 제시뿐만 아니라, 포터블 형태로 가지고 다니면서 사용할 수 있는 시스템도 개발되고 있다. 물론 이러한 시스템을 사용함으로써 디지털 단말상의 화면이 아닌 현실의 물체(객체) 위에 디지털 정보를 표현하는 것이 가능하게 되었고, 또한 새로운 서비스의 창출도 가능하게 되었다. 하지만 위에서 소개한 종전의 포터블 형태의 시스템의 경우는 실제 사물이 제시하는 정보와 가상 정보의 융합을 통한 새로운 콘텐츠의 창출이라기 보다는 프로젝션되는 영역 자체를 새로운 디스플레이 영역으로 보면서 디지털 정보의 표현과 직접적인 사용자 인터랙션에 중점을 두는 한계가 있고, 또한 MIT의 식스 센스와 같은 착용형 형태의 시스템의 경우는 사용자의 손가락에 특정 색상의 마커를 부착하고 실제 객체에 별도의 센서를 부착하는 방법을 제시하여 실제 활용성이 낮은 문제점이 있다.
본 발명은 이와 같은 종래 기술의 문제점을 해결하기 위해 제안한 것으로서, 현실의 인쇄매체에 디지털 콘텐츠의 정보를 융합 표현하고 이에 사용자 입력 공간을 일치시켜 표시하는 기술에 관한 것이다.
본 발명은 프로젝터를 통한 디지털 정보의 표현을 별도의 디스플레이 화면으로 활용하는 것뿐만 아니라 디지털 정보를 기존의 실제 정보와 융합하여 표현하고, 정보의 표현 공간과 사용자의 입력 공간을 실제의 현실 공간에 일치시킴으로써 직관적인 사용자 입력이 가능하도록 한다.
또한 본 발명은 서비스의 실현을 위해서 사용자 입력의 인식 및 프로젝션되는 정보의 출력이 별도의 마커나 센싱 장치 없이 활용이 가능하도록 한다.
본 발명의 제 1 관점으로서 인쇄매체 기반 혼합현실 구현 장치는, 콘텐츠의 재생 영상에 효과적인 영상인식을 위해 특정된 패턴 영상을 삽입 또는 중첩시켜 출력하여 인쇄매체에 표시하는 영상 출력부와, 상기 영상 출력부를 통해 출력한 상기 패턴 영상과 상기 인쇄매체에 대한 캡쳐 영상을 비교한 결과값에 의거하여 사용자 입력 명령을 판별하는 명령 판별부와, 상기 명령 판별부에 의해 판별된 상기 사용자 입력 명령에 따라 상기 콘텐츠에 대한 저장 또는 재생을 제어하는 콘텐츠 관리부를 포함할 수 있다.
여기서, 상기 영상 출력부는, 상기 패턴 영상의 프레임을 상기 재생 영상의 프레임들 사이에 삽입하여 출력하거나 중첩하여 출력하며, 상기 명령 판별부는, 기 설정 주기에 맞추어서 캡쳐된 상기 패턴 영상의 프레임에 대한 상기 캡쳐 영상을 이용하여 상기 사용자 입력 명령을 판별할 수 있다.
상기 영상 출력부는, 비가시광선 영역의 상기 패턴 영상을 출력하며, 상기 명령 판별부는, 연속적으로 또는 기 설정 주기마다 캡쳐된 상기 패턴 영상에 대한 상기 캡쳐 영상을 이용하여 상기 사용자 입력 명령을 판별할 수 있다.
상기 명령 판별부는, 기 저장된 명령 모델 정보를 기반으로 하여 사용자 손동작을 상기 사용자 입력 명령으로 맵핑하여 사용자 손끝의 움직임을 마우스의 움직임 입력 또는 클릭 입력으로 인식할 수 있다.
상기 명령 판별부는, 상기 인쇄매체에 대한 캡쳐 영상을 분석하여 상기 재생 영상을 위한 표시 공간을 찾을 수 있다.
상기 명령 판별부는, 상기 인쇄매체에 대한 캡쳐 영상을 분석하여 상기 표시 공간의 크기 정보, 밝기 정보, 평면여부 정보 또는 왜곡여부 정보 중에서 적어도 하나 이상의 정보를 표시 환경 정보로서 수집할 수 있다.
상기 콘텐츠 관리부는, 상기 명령 판별부가 수집한 상기 표시 환경 정보에 따라 상기 콘텐츠를 재구성할 수 있다.
상기 영상 출력부는, 상기 명령 판별부가 수집한 상기 표시 환경 정보에 따라 상기 재생 영상을 보정하여 출력할 수 있다.
본 발명의 제 2 관점으로서 인쇄매체 기반 혼합현실 구현 장치에 의한 혼합현실 구현 방법은, 콘텐츠의 재생 영상에 특정된 패턴 영상을 삽입 또는 중첩시켜 출력하여 인쇄매체에 표시하는 단계와, 상기 패턴 영상과 상기 인쇄매체에 대한 캡쳐 영상을 비교한 결과값에 의거하여 사용자 입력 명령을 판별하는 단계와, 판별된 상기 사용자 입력 명령에 따라 상기 콘텐츠에 대한 저장 또는 재생을 제어하는 단계를 포함할 수 있다.
상기 표시하는 단계는, 상기 패턴 영상의 프레임을 상기 재생 영상의 프레임들 사이에 삽입 또는 중첩하여 출력하며, 상기 판별하는 단계는, 기 설정 주기에 맞추어서 캡쳐된 상기 패턴 영상의 프레임에 대한 상기 캡쳐 영상을 이용하여 상기 사용자 입력 명령을 판별할 수 있다.
상기 표시하는 단계는, 비가시광선 영역의 상기 패턴 영상을 출력하며, 상기 판별하는 단계는, 연속적으로 또는 기 설정 주기마다 캡쳐된 상기 패턴 영상에 대한 상기 캡쳐 영상을 이용하여 상기 사용자 입력 명령을 판별할 수 있다.
상기 판별하는 단계는, 기 저장된 명령 모델 정보를 기반으로 하여 사용자 손동작을 상기 사용자 입력 명령으로 맵핑하여 사용자의 손끝의 움직임을 마우스의 움직임 입력 또는 클릭 입력으로 인식할 수 있다
상기 구현 방법은, 상기 인쇄매체에 대한 캡쳐 영상을 분석하여 상기 재생 영상을 위한 표시 공간을 찾는 단계를 더 포함할 수 있다.
상기 구현 방법은, 상기 인쇄매체에 대한 캡쳐 영상을 분석하여 상기 표시 공간의 크기 정보, 밝기 정보, 평면여부 정보 또는 왜곡여부 정보 중에서 적어도 하나 이상의 정보를 표시 환경 정보로서 수집하는 단계를 더 포함할 수 있다.
상기 구현 방법은, 수집된 상기 표시 환경 정보에 따라 상기 콘텐츠를 재구성하는 단계를 더 포함할 수 있다.
상기 구현 방법은, 수집된 상기 표시 환경 정보에 따라 상기 재생 영상을 보정하여 출력하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 의하면, 인쇄매체의 정보와 디지털 콘텐츠의 정보를 융합 표현한 후에 현실의 사용자 입력 공간과 일치하는 표현 공간에 융합된 정보를 표시하며, 프로젝터를 통한 디지털 정보의 표현을 별도의 디스플레이 화면으로 활용하는 것뿐만 아니라 디지털 정보를 기존의 실제 정보와 융합하여 표현하고, 정보의 표현 공간과 사용자의 입력 공간을 실제의 현실 공간에 일치시킴으로써 직관적인 사용자 입력이 가능하도록 하고, 서비스의 실현을 위해서 사용자 입력의 인식 및 프로젝션되는 정보의 출력이 별도의 마커나 센싱 장치 없이 활용이 가능하도록 한다.
따라서, 기존의 프로젝터 시스템 뿐만 아니라 모바일 기기에서도 활용 할 수 있으며, 디지털 콘텐츠를 현실 세계의 콘텐츠 위에 직접 표현함으로써 사용자에게 새로운 경험을 제공 할 수 있고, 인쇄 매체와 같은 현실의 사물과 디지털 콘텐츠의 활용성을 높이고, 콘텐츠 재사용성도 높일 수 있다.
아울러, 현실과 가상의 정보가 현실의 매체에 융합되어 표현됨으로써 정보 표현 공간이 일치될 뿐 아니라 현실 매체의 디지털 및 실제 물체와의 인터랙션으로 사용자 입력을 수행함으로써 사용자 입력 공간의 일치도 가능한 효과를 가진다. 또한 개념적 설계뿐 아니라 실제 활용이 가능한 간단하면서도 효과적인 입출력 방식을 사용함으로써 사용자의 편의성을 향상시키는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 인쇄매체 기반 혼합현실 구현 장치의 블록 구성도이다.
도 2는 본 발명의 실시 예에 따른 패턴 영상의 삽입 상태 및 캡쳐 상태를 보인 도면이다.
도 3은 본 발명의 실시 예에 따른 프로젝터/카메라 일체형 프로젝션 컴퓨터와 패턴 영상의 예시도이다.
도 4는 본 발명의 실시 예에 따른 인쇄매체 기반 혼합현실 구현 장치에 의해 캡쳐된 패턴 영상 프레임의 예로서, 사용자의 손에 의해서 패턴 영상의 변화된 모습이며, 손가락 터치 동작과 미터치 동작의 변화된 모양을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 인쇄매체 기반 혼합현실 구현 장치에 의한 혼합현실 구현 방법을 설명하기 위한 흐름도이다.
도 6a 내지 도 6h는 본 발명의 실시 예에 따른 인쇄매체 기반 혼합현실 구현 장치를 통해 사용자가 입력할 수 있는 각종 명령을 예시한 도면이다.
도 7은 본 발명의 실시 예에 따른 인쇄매체 기반 혼합현실 구현 장치에 의한 인쇄매체 상의 출력 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 1은 본 발명의 실시 예에 따른 인쇄매체 기반 혼합현실 구현 장치의 블록 구성도이다.
이에 나타낸 바와 같이 인쇄매체 기반 혼합현실 구현 장치는, 명령 판별부(100), 콘텐츠 관리부(200), 영상 출력부(300) 등을 포함할 수 있다.
명령 판별부(100)는 환경 인식부(110), 명령 감지부(120), 명령 인식부(130), 명령 모델 데이터베이스(140) 등을 포함하며, 영상 출력부(300)를 통해 출력한 패턴 영상과 인쇄매체에 대한 캡쳐 영상을 비교한 결과값에 의거하여 사용자 입력 명령을 판별한다. 인쇄매체에 대한 캡쳐 영상은 영상 출력부(300)로부터 제공받거나 직접 획득할 수 있다. 도 1의 실시예에서는 영상 출력부(300)가 인쇄매체에 대한 캡쳐 영상을 획득하여 명령 판별부(100)에게 제공하는 경우를 예시하였다.
환경 인식부(110)는 인쇄매체에 대한 캡쳐 영상을 분석하여 재생 영상을 위한 표시 공간을 찾으며, 표시 공간의 크기 정보, 밝기 정보, 평면여부 정보 또는 왜곡여부 정보 중에서 적어도 하나 이상의 정보 또는 모든 정보를 표시 환경 정보로서 수집한다.
명령 감지부(120)는 영상 출력부(300)가 패턴 영상의 프레임을 재생 영상의 프레임들 사이에 삽입하여 출력하는 경우라면 기 설정 주기에 맞추어서 캡쳐된 패턴 영상의 프레임에 대한 캡쳐 영상을 감지한다. 또는 명령 감지부(120)는 영상 출력부(300)가 비가시광선 영역의 패턴 영상을 중첩하여 출력하는 경우라면 연속적으로 또는 기 설정 주기마다 캡쳐된 패턴 영상에 대한 캡쳐 영상을 감지한다.
명령 모델 데이터베이스(140)는 명령 감지부(120)가 감지한 캡쳐 영상과의 비교를 통해 사용자 입력 명령을 판별할 수 있도록 하는 명령 모델 정보가 저장된다.
명령 인식부(130)는 연속적으로 또는 기 설정 주기마다 캡쳐된 패턴 영상에 대한 캡쳐 영상과 명령 모델 데이터베이스(140)에 기 저장된 명령 모델 정보의 비교 결과에 의거하여 사용자 입력 명령을 판별한다. 즉, 명령 인식부(130)는 기 저장된 명령 모델 정보를 기반으로 하여 사용자 손동작을 사용자 입력 명령으로 맵핑하여 사용자 손끝의 움직임을 마우스의 움직임 입력 또는 클릭 입력으로 인식한다. 이러한 명령 인식부(130)는 캡쳐된 패턴 영상의 왜곡 정보를 기반으로 하여 사용자 손의 움직임과 특정 객체의 외형 및 움직임을 인식할 수 있다.
콘텐츠 관리부(200)는 콘텐츠 저작부(210) 및 콘텐츠 데이터베이스(220)을 포함하며, 명령 판별부(100)에 의해 판별된 사용자 입력 명령에 따라 콘텐츠에 대한 저장 또는 재생을 제어한다.
콘텐츠 저작부(210)는 명령 판별부(100)가 수집한 표시 환경 정보에 따라 콘텐츠를 재구성할 수 있다. 영상 출력부(300)에 의해 인쇄매체에 출력 및 표시될 콘텐츠는 로컬의 콘텐츠 데이터베이스(220)에 저장된 콘텐츠이거나 외부의 서버로부터 제공된 콘텐츠일 수 있다. 외부의 서버로부터 제공된 콘텐츠의 경우에는 영상 출력부(300)에 의한 출력 환경에 적합하지 않은 구성으로 이루어질 수 있으며, 이 경우에 콘텐츠 저작부(210)는 명령 판별부(100)가 수집한 표시 공간의 크기 등과 같은 표시 환경 정보에 따라 외부 콘텐츠를 재구성하여 콘텐츠 데이터베이스(220)에 저장할 수 있다.
콘텐츠 데이터베이스(220)는 영상 출력부(300)에 의해 인쇄매체에 출력 및 표시될 콘텐츠를 저장한다.
영상 출력부(300)는 콘텐츠 출력부(310), 패턴 영상 출력부(320), 영상 획득부(330), 영상 보정부(340)를 포함하며, 콘텐츠의 재생 영상에 특정된 패턴 영상을 삽입 또는 중첩시켜 출력하여 인쇄매체에 표시한다.
콘텐츠 출력부(310)는 콘텐츠 관리부(200)로부터 제공되는 콘텐츠를 재생하여 인쇄매체의 표시 공간에 출력한다. 아울러, 콘텐츠 출력부(310)는 표시 공간에 콘텐츠 재생 영상을 조사하였을 때에 가독성에 문제가 없도록 포커스 및 출력 방향 등을 조정할 수 있다. 예컨대, 콘텐츠 출력부(310)는 적녹청(RGB)의 일반 영상을 표시 공간에 출력하며, 재생 영상을 확대하여 인쇄매체의 표시 공간에 투영하는 프로젝터로 구현할 수 있다.
패턴 영상 출력부(320)는 패턴 영상의 프레임을 재생 영상의 프레임들 사이에 삽입하여 출력하거나 비가시광선 영역의 패턴 영상을 연속적으로 또는 기 설정 주기마다 출력한다. 패턴 영상 출력부(320)는 레이저를 이용하여 패턴 영상을 형성할 수 있으며, 예컨대, 레이저의 빔을 회절시켜서 특정 패턴 영상을 형성하는 회절격자(diffraction gratings)를 포함할 수 있고, 패턴 영상은 그리드(grid) 형태를 포함할 수 있다.
영상 획득부(330)는 패턴 영상 출력부(320)에 의해 인쇄매체의 표시 공간에 출력된 패턴 영상을 촬영 및 캡쳐하여 획득하며, 획득한 패턴 영상의 캡쳐 영상을 명령 판별부(100)에게 제공한다. 예컨대, 영상 획득부(330)는 표시 공간에 출력된 적외선 패턴 영상을 캡쳐하는 적외선 카메라로 구현할 수 있으며, 패턴 영상 출력부(320)가 기 설정 주기에 맞추어서 패턴 영상 프레임을 출력하는 경우에는 기 설정 주기에 맞추어서 패턴 영상 프레임을 캡쳐할 수 있다.
영상 보정부(340)는 명령 판별부(100)가 수집한 표시 환경 정보에 따라 콘텐츠 출력부(310)에 의한 재생 영상을 보정하여 출력한다. 콘텐츠 출력부(310)가 출력할 영상을 표시 환경 정보에 따라서 색상 및 밝기 값을 변경할 수 있다. 실제 제시하고자 하는 색상이나 밝기 값이 투사되는 공간의 특성에 따라서 실제로는 다르게 표현될 수 있으므로 이를 미리 보정하여 출력한다. 또한 투사되는 영역이 평면이 아닌 경우에는 왜곡이 발생할 수 있으므로 출력 영상의 기하변형을 수행하여 이를 미리 보정할 수 있다. 이때 주변 환경에 대한 정보는 명령 판별부(100)의 환경 인식부(110)로부터 제공받을 수 있다.
도 2는 본 발명의 실시 예에 따른 패턴 영상의 삽입 상태 및 캡쳐 상태를 보인 도면이다.
도 2를 참조하면, 패턴 영상 프레임은 기 설정 주기에 맞추어서 일반 영상 프레임들 사이에 삽입할 수 있으며, 이 경우에 영상 획득부(330)는 설정 주기에 맞추어서 패턴 영상 프레임을 캡쳐한다. 특히, 출력 화면의 품질을 위해서는 패턴 영상 프레임이 사용자의 눈에 보이지 않아야 하기에 단위 시간당 삽입할 수 있는 패턴 영상 프레임의 횟수에 한계가 있으며, 사용자 입력을 인식하는 품질을 높이기 위해 많은 패턴 영상 프레임을 삽입하고자 할 경우에는 고속의 패턴 영상 삽입과 고속의 화면 캡쳐가 요구된다. 한편, 적외선 패턴 영상을 이용할 경우에는 적외선 카메라로 영상을 캡쳐할 때 패턴 영상만을 얻을 수 있어 영상 처리가 더욱 쉽고, 사람의 눈에 보이지 않기 때문에 시간당 삽입할 수 있는 패턴 영상 프레임의 횟수에 제한이 거의 없다.
도 3은 발명의 실시 예에 따른 프로젝터/카메라 일체형 프로젝션 컴퓨터와 패턴 영상의 예시도이다.
도 3을 참조하면, 패턴 영상은 그리드 영상(A)을 이용할 수 있으며, 사용자가 손(B)으로 인쇄매체의 표시 공간 표면(surface)을 터치하였을 때에는 손(B)과 표면이 거의 동일한 평면상에 위치하므로 패턴 영상의 변화(왜곡, 밝기, 두께 등)가 많이 발생하지 않음을 인식할 수 있으며, 사용자가 손(B)으로 표면을 터치하지 않았을 때에는 손(B)과 표면과의 원근 차이로 인하여 패턴 영상의 변화가 많이 발생함을 인식할 수 있다.
도 3에서는, 영상 출력부(300)을 구성하는 콘텐츠 출력부(310)의 일 예로서 프로젝터를 사용하고, 패턴 영상 출력부(320)의 일 예로서 레이저와 같은 부가적인 영상 출력 장치를 포함하며, 영상 획득부(330)의 일 예로서 카메라를 사용한 경우를 나타내었다. 여기서, 실시 예에 따라 패턴 영상 출력부(320)가 레이저와 같은 부가적인 영상 출력 장치를 포함하는 것으로 도시하였으나 생략할 수도 있다. 즉 내부에 설치된 패턴 영상 출력부(320)에서 패턴 영상을 콘텐츠 출력부(310)에서 출력되는 콘텐츠 재생 영상에 삽입하거나 중첩하여 출력하는 경우라면 이를 별도의 영상 출력 장치로 출력할 필요가 없기 때문에 생략할 수도 있는 것이다.
도 4는 본 발명의 실시 예에 따른 패턴 영상을 이용한 인쇄매체 기반 혼합현실 구현 장치에 의해 캡쳐된 패턴 영상 프레임의 예로서, 손가락 터치 동작과 미터치 동작의 변화된 모양을 나타낸 도면이다.
도 4에서 (a)는 손가락 터치 동작 시에 영상 획득부(330)가 캡쳐한 영상이고, (b)는 손가락 미터치 동작 시에 영상 획득부(330)가 캡쳐한 영상이다. 사용자가 손가락으로 인쇄매체의 표시 공간 표면을 터치하였을 때에는 손가락과 표면이 거의 동일한 평면상에 위치하므로 명령 판별부(100)에서 패턴 영상만을 추출하면 손 끝 부분에서 패턴 영상의 변화(왜곡, 밝기, 두께 등)가 거의 발생하지 않으며, 사용자가 손가락으로 표면을 터치하지 않았을 때에는 손가락과 표면과의 원근 차이로 인하여 명령 판별부(100)에서 패턴 영상만을 추출하면 패턴 영상의 변화가 발생한다.
도 5는 본 발명의 실시 예에 따른 패턴 영상을 이용한 인쇄매체 기반 혼합현실 구현 장치에 의한 혼합현실 구현 방법을 설명하기 위한 흐름도이다.
도 1 및 도 7을 참조하여 본 발명의 실시예에 따른 인쇄매체 기반 혼합현실 구현 장치에 의한 혼합현실 구현 방법을 시계열적으로 살펴보면 다음과 같다.
먼저, 영상 출력부(300)의 패턴 영상 출력부(320)는 책, 잡지, 신문 등과 같은 인쇄매체의 표면에 도 3의 그리드 영상(A) 등과 같은 패턴 영상을 출력한다(S401).
이처럼 패턴 영상이 출력된 인쇄매체의 표면 상에서 사용자가 밑줄을 긋는 행동을 취하거나 인쇄매체에 포함된 사진의 꼭지점들을 손가락으로 지칭하는 행동을 취하는 등과 같이 특정 제스처를 취하면 영상 출력부(300)의 영상 획득부(330)가 인쇄매체를 촬영 및 캡쳐하여 일반 영상과 패턴 영상을 획득하며, 획득한 일반 영상과 패턴 영상을 명령 판별부(100)에게 제공한다(S403).
그러면, 환경 인식부(110)는 인쇄매체에 대한 캡쳐 영상 중에서 일반 영상을 분석하여 재생 영상을 위한 표시 공간을 찾으며, 표시 공간의 크기 정보, 밝기 정보, 평면여부 정보 또는 왜곡여부 정보 중에서 적어도 하나 이상의 정보 또는 모든 정보를 표시 환경 정보로서 수집한다. 예컨대, 환경 인식부(110)는 일반 영상에 포함된 색상의 분포를 판별하여 도 7의 예시와 같이 정보를 표시할 수 있는 빈 공간(예컨대, 백색 공간)을 인쇄매체(C) 상의 표시 공간(D)으로 인식할 수 있다.
그리고, 명령 감지부(120)는 인쇄매체에 대한 캡쳐 영상 중에서 패턴 영상을 감지하여 명령 인식부(130)에게 제공하며, 명령 인식부(130)는 명령 감지부(120)에 의해 감지된 패턴 영상과 명령 모델 데이터베이스(140)에 기 저장된 명령 모델 정보를 비교하여 그 비교 결과에 의거하여 사용자 입력 명령을 판별한다(S405).
이처럼 명령 감지부(120)에서 판별할 수 있는 사용자 입력 명령을 예시하면 도 6a 내지 도 6h와 같다.
도 6a 및 도 6b는 멀티미디어 제어를 위한 사용자 제스처의 예를 보인 도면이다.
도 6a에 나타낸 바와 같이 인쇄매체 상에서 재생하고자 하는 영상을 가리키거나 아웃라인을 그리거나 체크 표시를 그려서 해당 영상의 재생을 선택할 수 있으며, 도 6b에 나타낸 바와 같이 인쇄매체 상의 재생을 정지하고자 하는 영상 위에서 손을 문질러 해당 영상의 재생 정지를 선택할 수 있다.
도 6c 내지 도 6e는 이미지 제어를 위한 사용자 제스처의 예를 보인 도면이다.
도 6c에 나타낸 바와 같이 마커를 이용하여 콘텐츠를 인식하며, 표면 터치 횟수 등을 이용하여 해당 이미지의 확대 또는 축소를 선택할 수 있다. 도 6d에 나타낸 바와 같이 복사하고자 하는 이미지를 손으로 잡는 제스처를 통해 복사하면 손 등에 해당 이미지가 프로젝션되며, 원하는 부분으로 이동하여 잡은 이미지를 떨어트리면 복사를 수행할 수 있다. 도 6e에 나타낸 바와 같이 복사한 이미지를 편집할 때에는 두 손을 사용하여 확대 및/또는 축소를 선택할 수 있으며, 이미지 옆에 저장 버튼 영역 및/또는 취소 버튼 영역을 함께 프로젝션하면 해당 버튼 영역의 표면을 터치하는 제스처를 통해 편집된 이미지를 저장할 수 있다.
도 6f는 키워드 검색을 위한 사용자 제스처의 예를 보인 도면이다.
도 6f에 나타낸 바와 같이 검색하고 싶은 단어에 밑줄을 그어 검색을 실행할 수 있다. 예컨대, 검색의 실행 결과는 단어를 하이라이트 시키면서 그 주변에 검색 결과를 보여줄 수 있다.
도 6g 내지 도 6h는 음악/미술 교육의 응용을 위한 사용자 제스처의 예를 보인 도면이다.
도 6g에 나타낸 바와 같이 손가락을 스포이트처럼 사용할 수 있다. 예컨대, 검지 손가락으로 원하는 색을 가리키고 엄지 손가락으로 빨아들이는 체스처를 하여 색을 추출한 후에 원하는 곳에 색칠을 할 수 있다. 도 6h에 나타낸 바와 같이 반복적으로 복사하고자 하는 이미지에 도장을 찍듯이 주먹을 쥐고 찍어 복사할 수 있다. 그리고 원하는 곳에 같은 방식으로 도장을 찍듯이 반복적으로 복사할 수 있다.
단계 S405를 통해 명령 및 환경 정보가 인식되면 콘텐츠 출력부(310)는 콘텐츠 관리부(200)로부터 인쇄매체 상에 출력하고자 하는 콘텐츠 출력 정보를 획득하며(S407), 영상 보정부(340)는 명령 판별부(100)가 수집한 표시 환경 정보에 따라 출력 콘텐츠를 재구성한다. 예컨대, 영상 보정부(340)는 표시 환경 정보에 따라 콘텐츠 출력부(310)가 출력할 영상의 색상 및 밝기 값을 변경할 수 있다. 실제 제시하고자 하는 색상이나 밝기 값이 투사되는 공간의 특성에 따라서 실제로는 다르게 표현될 수 있으므로 이를 미리 보정하여 출력하는 것이다. 또한 투사되는 영역이 평면이 아닌 경우에는 왜곡이 발생할 수 있으므로 출력 영상의 기하변형을 수행하여 이를 미리 보정할 수 있다(S409).
다음으로, 콘텐츠 출력부(310)는 콘텐츠의 출력을 제어(S411)하여 도 7의 예시와 같이 인쇄매체 상에 콘텐츠를 출력한다(S413).
앞서 설명한 본 발명의 실시 예에 따른 인쇄매체 기반 혼합현실 구현 방법은 컴퓨터 프로그램으로 작성 가능하다. 이 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable medium)에 저장되고, 컴퓨터나 본 발명의 실시 예에 따른 인쇄매체 기반 혼합현실 구현 장치 등에 의하여 읽혀지고 실행됨으로써 인쇄매체 기반 혼합현실 구현 방법을 구현할 수 있다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
100 : 명령 판별부 110 : 환경 인식부
120 : 명령 감지부 130 : 명령 인식부
140 : 명령 모델 데이터베이스 200 : 콘텐츠 관리부
210 : 콘텐츠 저작부 220 : 콘텐츠 데이터베이스
300 : 영상 출력부 310 : 콘텐츠 출력부
320 : 패턴 영상 출력부 330 : 영상 획득부
340 : 영상 보정부

Claims (16)

  1. 콘텐츠의 재생 영상에 특정된 패턴 영상을 삽입 또는 중첩시켜 출력하여 인쇄매체에 표시하는 영상 출력부와,
    상기 영상 출력부를 통해 출력한 상기 패턴 영상과 상기 인쇄매체에 대한 캡쳐 영상을 비교한 결과값에 의거하여 사용자 입력 명령을 판별하는 명령 판별부와,
    상기 명령 판별부에 의해 판별된 상기 사용자 입력 명령에 따라 상기 콘텐츠에 대한 저장 또는 재생을 제어하는 콘텐츠 관리부를 포함하는
    인쇄매체 기반 혼합현실 구현 장치.
  2. 제 1 항에 있어서,
    상기 영상 출력부는, 상기 패턴 영상의 프레임을 상기 재생 영상의 프레임들 사이에 삽입 또는 중첩하여 출력하며,
    상기 명령 판별부는, 기 설정 주기에 맞추어서 캡쳐된 상기 패턴 영상의 프레임에 대한 상기 캡쳐 영상을 이용하여 상기 사용자 입력 명령을 판별하는
    인쇄매체 기반 혼합현실 구현 장치.
  3. 제 1 항에 있어서,
    상기 영상 출력부는, 비가시광선 영역의 상기 패턴 영상을 출력하며,
    상기 명령 판별부는, 연속적으로 또는 기 설정 주기마다 캡쳐된 상기 패턴 영상에 대한 상기 캡쳐 영상을 이용하여 상기 사용자 입력 명령을 판별하는
    인쇄매체 기반 혼합현실 구현 장치.
  4. 제 1 항에 있어서,
    상기 명령 판별부는, 기 저장된 명령 모델 정보를 기반으로 하여 사용자 손동작을 상기 사용자 입력 명령으로 맵핑하여 사용자 손끝의 움직임을 마우스의 움직임 입력 또는 클릭 입력으로 인식하는
    인쇄매체 기반 혼합현실 구현 장치.
  5. 제 1 항에 있어서,
    상기 명령 판별부는, 상기 인쇄매체에 대한 캡쳐 영상을 분석하여 상기 재생 영상을 위한 표시 공간을 찾는
    인쇄매체 기반 혼합현실 구현 장치.
  6. 제 5 항에 있어서,
    상기 명령 판별부는, 상기 인쇄매체에 대한 캡쳐 영상을 분석하여 상기 표시 공간의 크기 정보, 밝기 정보, 평면여부 정보 또는 왜곡여부 정보 중에서 적어도 하나 이상의 정보를 표시 환경 정보로서 수집하는
    인쇄매체 기반 혼합현실 구현 장치.
  7. 제 6 항에 있어서,
    상기 콘텐츠 관리부는, 상기 명령 판별부가 수집한 상기 표시 환경 정보에 따라 상기 콘텐츠를 재구성하는
    인쇄매체 기반 혼합현실 구현 장치.
  8. 제 6 항에 있어서,
    상기 영상 출력부는, 상기 명령 판별부가 수집한 상기 표시 환경 정보에 따라 상기 재생 영상을 보정하여 출력하는
    인쇄매체 기반 혼합현실 구현 장치.
  9. 인쇄매체 기반 혼합현실 구현 장치에 의한 혼합현실 구현 방법으로서,
    콘텐츠의 재생 영상과 특정된 패턴 영상을 삽입 또는 중첩시켜 출력하여 인쇄매체에 표시하는 단계와,
    상기 패턴 영상과 상기 인쇄매체에 대한 캡쳐 영상을 비교한 결과값에 의거하여 사용자 입력 명령을 판별하는 단계와,
    판별된 상기 사용자 입력 명령에 따라 상기 콘텐츠에 대한 저장 또는 재생을 제어하는 단계를 포함하는
    인쇄매체 기반 혼합현실 구현 방법.
  10. 제 9 항에 있어서,
    상기 표시하는 단계는, 상기 패턴 영상의 프레임을 상기 재생 영상의 프레임들 사이에 삽입하여 출력하며,
    상기 판별하는 단계는, 기 설정 주기에 맞추어서 캡쳐된 상기 패턴 영상의 프레임에 대한 상기 캡쳐 영상을 이용하여 상기 사용자 입력 명령을 판별하는
    인쇄매체 기반 혼합현실 구현 방법.
  11. 제 9 항에 있어서,
    상기 표시하는 단계는, 비가시광선 영역의 상기 패턴 영상을 출력하며,
    상기 판별하는 단계는, 연속적으로 또는 기 설정 주기마다 캡쳐된 상기 패턴 영상에 대한 상기 캡쳐 영상을 이용하여 상기 사용자 입력 명령을 판별하는
    인쇄매체 기반 혼합현실 구현 방법.
  12. 제 8항에 있어서,
    상기 판별하는 단계는, 기 저장된 명령 모델 정보를 기반으로 하여 사용자 손동작을 상기 사용자 입력 명령으로 맵핑하여 사용자 손끝의 움직임을 마우스의 움직임 입력 또는 클릭 입력으로 인식하는
    인쇄매체 기반 혼합현실 구현 방법.
  13. 제 9 항에 있어서,
    상기 구현 방법은, 상기 인쇄매체에 대한 캡쳐 영상을 분석하여 상기 재생 영상을 위한 표시 공간을 찾는 단계를 더 포함하는
    인쇄매체 기반 혼합현실 구현 방법.
  14. 제 13 항에 있어서,
    상기 구현 방법은, 상기 인쇄매체에 대한 캡쳐 영상을 분석하여 상기 표시 공간의 크기 정보, 밝기 정보, 평면여부 정보 또는 왜곡여부 정보 중에서 적어도 하나 이상의 정보를 표시 환경 정보로서 수집하는 단계를 더 포함하는
    인쇄매체 기반 혼합현실 구현 방법.
  15. 제 14 항에 있어서,
    상기 구현 방법은, 수집된 상기 표시 환경 정보에 따라 상기 콘텐츠를 재구성하는 단계를 더 포함하는
    인쇄매체 기반 혼합현실 구현 방법.
  16. 제 14 항에 있어서,
    상기 구현 방법은, 수집된 상기 표시 환경 정보에 따라 상기 재생 영상을 보정하여 출력하는 단계를 더 포함하는
    인쇄매체 기반 혼합현실 구현 방법.
KR1020110057559A 2011-06-14 2011-06-14 인쇄매체 기반 혼합현실 구현 장치 및 방법 KR101423536B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110057559A KR101423536B1 (ko) 2011-06-14 2011-06-14 인쇄매체 기반 혼합현실 구현 장치 및 방법
US13/495,560 US20120320092A1 (en) 2011-06-14 2012-06-13 Method and apparatus for exhibiting mixed reality based on print medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110057559A KR101423536B1 (ko) 2011-06-14 2011-06-14 인쇄매체 기반 혼합현실 구현 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120138187A true KR20120138187A (ko) 2012-12-24
KR101423536B1 KR101423536B1 (ko) 2014-08-01

Family

ID=47353343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110057559A KR101423536B1 (ko) 2011-06-14 2011-06-14 인쇄매체 기반 혼합현실 구현 장치 및 방법

Country Status (2)

Country Link
US (1) US20120320092A1 (ko)
KR (1) KR101423536B1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5926184B2 (ja) 2009-09-22 2016-05-25 ペブルステック リミテッド コンピュータ装置の遠隔制御
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9182815B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9183807B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US9712693B2 (en) * 2012-08-15 2017-07-18 Nec Corporation Information provision apparatus, information provision method, and non-transitory storage medium
CN103777746B (zh) * 2012-10-23 2018-03-13 腾讯科技（深圳）有限公司 一种人机交互方法、终端及系统
KR102001218B1 (ko) * 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US9753534B2 (en) * 2012-11-09 2017-09-05 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
US9164609B2 (en) 2013-03-13 2015-10-20 Amazon Technologies, Inc. Managing sensory information of a user device
US9411432B2 (en) * 2013-04-18 2016-08-09 Fuji Xerox Co., Ltd. Systems and methods for enabling gesture control based on detection of occlusion patterns
EP3014407A4 (en) * 2013-06-28 2017-08-02 Chia Ming Chen Controlling device operation according to hand gestures
US9717118B2 (en) 2013-07-16 2017-07-25 Chia Ming Chen Light control systems and methods
KR102130798B1 (ko) 2014-01-13 2020-07-03 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6355081B2 (ja) * 2014-03-10 2018-07-11 任天堂株式会社 情報処理装置
JP6394190B2 (ja) * 2014-03-18 2018-09-26 富士ゼロックス株式会社 遮蔽パターン検出に基づくジェスチャ制御を可能とするシステムと方法
US10406967B2 (en) 2014-04-29 2019-09-10 Chia Ming Chen Light control systems and methods
JP6417702B2 (ja) * 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
MX364878B (es) 2015-02-25 2019-05-09 Facebook Inc Identificación de un objeto en un volumen con base en las características de la luz reflejada por el objeto.
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US10503278B2 (en) * 2015-12-22 2019-12-10 Sony Corporation Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
JP6947177B2 (ja) * 2016-07-05 2021-10-13 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2018170678A1 (zh) * 2017-03-20 2018-09-27 廖建强 一种头戴式显示装置及其手势动作识别方法
CN107315355B (zh) * 2017-06-30 2021-05-18 京东方科技集团股份有限公司 一种电器控制设备及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP4217021B2 (ja) 2002-02-06 2009-01-28 株式会社リコー 座標入力装置
KR100593606B1 (ko) * 2004-02-25 2006-06-28 이문기 패턴영상 투사에 의한 물체인식 장치 및 이에 적용되는영상처리 방법
KR100809351B1 (ko) * 2006-04-03 2008-03-05 삼성전자주식회사 투사 영상을 보정하는 방법 및 장치
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
KR100906577B1 (ko) * 2007-12-11 2009-07-10 한국전자통신연구원 혼합현실용 콘텐츠 재생 시스템 및 방법
KR101018361B1 (ko) 2008-11-28 2011-03-04 광주과학기술원 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템
US20100134409A1 (en) * 2008-11-30 2010-06-03 Lenovo (Singapore) Pte. Ltd. Three-dimensional user interface
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8351651B2 (en) * 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
KR101818024B1 (ko) * 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템

Also Published As

Publication number Publication date
KR101423536B1 (ko) 2014-08-01
US20120320092A1 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
KR101423536B1 (ko) 인쇄매체 기반 혼합현실 구현 장치 및 방법
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US10698560B2 (en) Organizing digital notes on a user interface
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
WO2014128787A1 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
JP6008076B2 (ja) プロジェクター及び画像描画方法
EP2560145A2 (en) Methods and systems for enabling the creation of augmented reality content
CN113806036A (zh) 虚拟内容的输出
Chan et al. Enabling beyond-surface interactions for interactive surface with an invisible projection
US10789726B2 (en) Methods and systems for film previsualization
CN105657304A (zh) 一种控制投影显示的方法及装置
US11258945B2 (en) Interactive data visualization environment
Kim et al. PicMe: interactive visual guidance for taking requested photo composition
CN113852757B (zh) 视频处理方法、装置、设备和存储介质
JP4703744B2 (ja) コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム
JP4550460B2 (ja) コンテンツ表現制御装置およびコンテンツ表現制御プログラム
KR20180071492A (ko) 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템
CN113434046A (zh) 三维交互系统、方法、计算机设备及可读存储介质
JP4330637B2 (ja) 携帯機器
US20140153836A1 (en) Electronic device and image processing method
CN116055708B (zh) 一种感知可视交互式球幕三维立体成像方法及系统
JP5533311B2 (ja) 展示物用情報提示装置および提示方法
US20240094886A1 (en) Applying visual modifiers to objects of interest selected by a pointer from a video feed in a frame buffer via processing circuitry
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 6