KR20170022088A - 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치 - Google Patents

증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR20170022088A
KR20170022088A KR1020150116630A KR20150116630A KR20170022088A KR 20170022088 A KR20170022088 A KR 20170022088A KR 1020150116630 A KR1020150116630 A KR 1020150116630A KR 20150116630 A KR20150116630 A KR 20150116630A KR 20170022088 A KR20170022088 A KR 20170022088A
Authority
KR
South Korea
Prior art keywords
motion
rendering
image
user
augmented reality
Prior art date
Application number
KR1020150116630A
Other languages
English (en)
Other versions
KR101732890B1 (ko
Inventor
조규성
김호원
김태준
김기남
박혜선
손성열
박창준
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150116630A priority Critical patent/KR101732890B1/ko
Priority to US15/235,570 priority patent/US20170053456A1/en
Publication of KR20170022088A publication Critical patent/KR20170022088A/ko
Application granted granted Critical
Publication of KR101732890B1 publication Critical patent/KR101732890B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치가 개시된다. 본 발명에 따른 증강현실 렌더링 장치는 적어도 하나의 이미지 센서로부터 사용자 및 증강대상체 중 적어도 하나에 상응하는 센서 영상을 획득하는 영상 획득부; 상기 센서 영상을 이용하여 상기 사용자의 눈의 좌표를 획득하는 사용자시점 인식부; 상기 센서 영상을 이용하여 증강현실을 적용할 상기 증강대상체를 인식하는 증강대상체 인식부; 상기 센서 영상에 상응하는 복수 개의 프레임을 기반으로 상기 증강대상체에 상응하는 모션 속도를 계산하는 모션분석부; 및 상기 모션 속도에 따라 상기 증강대상체에 적용될 가상 콘텐츠의 투명도를 조절하고, 상기 눈의 좌표를 기반으로 상기 가상 콘텐츠의 렌더링 위치를 결정하여 렌더링하는 렌더링부를 포함한다.

Description

증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치 {METHOD OF RENDERING AUGMENTED REALITY ON MIRROR DISPLAY BASED ON MOTION OF TARGET OF AUGMENTED REALITY AND APPARATUS USING THE SAME}
본 발명은 증강현실에서의 렌더링 기술에 관한 것으로, 특히 미러 디스플레이 상에서 증강현실 적용 시 필연적으로 발생하는 가상 콘텐츠의 딜레이로 인한 불일치 현상을 해결할 수 있는 증강대상 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 기술에 관한 것이다.
미러 디스플레이 혹은 스마트 미러는 외형은 거울이지만 반투명 성질의 거울 뒤에 디스플레이가 부착되어 있어 디스플레이에서 정보를 표출하게 되면 거울 위로 정보가 보이는 디스플레이 장치이다. 이와 같은 미러 디스플레이는 시각적으로 사용자들에게 신선하게 다가오기 때문에 광고, 패션 분야에서 점차 사용이 늘어가는 추세이다. 특히, 패션, 광고 분야에서 미러 디스플레이의 주요 어플리케이션으로 가상 의류 피팅 서비스를 꼽고 있다. 가상 의류 피팅 기술이란 이미지 센서를 장착한 키오스크 앞에 서있는 사용자를 인식하고, 인식된 사용자의 신체 부위에 가상의 의류나 액세서리를 그래픽적으로 렌더링하여 사용자가 본인과 잘 어울리는지를 판단할 수 있도록 도와주는 기술이다.
미러 디스플레이 상에서 종래 가상 의류 피팅 기술을 구현하게 되면 필연적으로 시스템 딜레이가 발생한다. 즉, 거울 상에서 사용자의 모습은 빛의 속도로 거울에 비치게 되지만 렌더링되는 가상 의류는 이미지 센싱에 필요한 프로세싱 시간, 사용자 모션 인식에 필요한 프로세싱 시간, 의류 시뮬레이션에 필요한 프로세싱 시간 및 의류 렌더링에 필요한 시간 등이 지연된 후에 디스플레이를 통해 표출된다. 이와 같은 지연 시간만큼 사용자는 움직일 수 있기 때문에 지연 시간에 따른 사용자 신체와 렌더링 되는 가상 의류 간의 불일치 현상이 발생한다. 이러한 불일치 현상은 사용자가 빨리 움직이는 상황에서 더욱 심각하게 발생하며, 이는 사용자의 가상 의류 피팅에 대한 몰입을 방해하는 요소로 작용한다.
따라서, 증강현실의 대상이 되는 사용자의 모션을 파악하여 렌더링되는 가상 콘텐츠의 효과를 제공함으로써 종래의 기술에 따른 문제점을 사용자가 인지하여 몰입도를 향상시킬 수 있는 새로운 렌더링 기술이 절실하게 대두된다.
한국 공개 특허 제10-2014-0128560호, 2014년 11월 6일 공개(명칭: 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법)
본 발명의 목적은 시스템 지연 시간으로 발생하는 불일치 문제를 투명도와 같은 렌더링 효과를 통해 사용자에게 인지시킴으로써 사용자가 서비스를 보다 효과적으로 이용하도록 유도하는 것이다.
또한, 본 발명의 목적은 사용자의 모션을 예측하여 렌더링을 수행함으로써 불일치의 정도를 완화시켜 사용자의 서비스 몰입도를 향상시키는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치는, 적어도 하나의 이미지 센서로부터 사용자 및 증강대상체 중 적어도 하나에 상응하는 센서 영상을 획득하는 영상 획득부; 상기 센서 영상을 이용하여 상기 사용자의 눈의 좌표를 획득하는 사용자시점 인식부; 상기 센서 영상을 이용하여 증강현실을 적용할 상기 증강대상체를 인식하는 증강대상체 인식부; 상기 센서 영상에 상응하는 복수 개의 프레임을 기반으로 상기 증강대상체에 상응하는 모션 속도를 계산하는 모션분석부; 및 상기 모션 속도에 따라 상기 증강대상체에 적용될 가상 콘텐츠의 투명도를 조절하고, 상기 눈의 좌표를 기반으로 상기 가상 콘텐츠의 렌더링 위치를 결정하여 렌더링하는 렌더링부를 포함할 수 있다.
이 때, 렌더링부는 상기 모션 속도의 절대값이 클수록 상기 투명도를 높게 조절하여 렌더링할 수 있다.
이 때, 렌더링부는 상기 모션 속도의 절대값이 기설정된 최고 속도 이상인 경우에 상기 투명도를 100퍼센트로 설정하고, 상기 모션 속도의 절대값이 기설정된 최저 속도 이하인 경우에 상기 투명도를 0퍼센트로 설정하고, 상기 모션 속도의 절대값이 상기 기설정된 최고 속도 미만이면서 상기 기설정된 최저 속도를 초과하는 경우에 상기 투명도를 상기 100퍼센트와 0퍼센트 사이의 값으로 선형적으로 설정할 수 있다.
이 때, 증강대상체 인식부는 전 배경 분리를 수행한 뒤 Random Forest 방식, Neural Network 방식, Support Vector Machine 방식 및 AdaBoost 방식 중 적어도 하나에 상응하는 인식 방식을 이용하여 2차원 영역에 상응하는 상기 증강대상체를 인식할 수 있다.
이 때, 모션분석부는 상기 복수 개의 프레임 간에 상기 2차원 영역을 대표하는 중심 값의 변화량을 이용하여 상기 모션 속도를 계산할 수 있다.
이 때, 증강대상체 인식부는 상기 적어도 하나의 이미지 센서가 깊이 센서에 상응하는 경우에 상기 2차원 영역의 3차원 위치 및 각도 중 적어도 하나에 상응하는 3차원 자세를 인식할 수 있다.
이 때, 모션분석부는 상기 복수 개의 프레임 간의 상기 3차원 위치의 변화량 및 각속도 중 적어도 하나를 조합하여 상기 모션 속도를 계산할 수 있다.
이 때, 영상 획득부는 상기 적어도 하나의 이미지 센서의 종류에 따라 RGB 영상, 깊이 영상, 적외선 영상 및 열화상 카메라 영상 중 적어도 하나에 상응하는 상기 센서 영상을 획득할 수 있다.
이 때, 사용자시점 인식부는 상기 센서 영상에 상응하는 3차원 공간 상에서 상기 사용자의 동공을 추적하여 상기 눈의 좌표를 획득할 수 있다.
이 때, 사용자시점 인식부는 상기 사용자의 동공을 추적할 수 없는 경우에 상기 눈의 좌표 대신에 상기 사용자의 머리에 상응하는 좌표를 대체하여 사용할 수 있다.
이 때, 증강대상체는 상기 센서 영상에 포함된 움직이는 물체 중 어느 하나에 상응할 수 있다.
이 때, 렌더링부는 상기 투명도에 상응하게 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나를 조절하여 상기 가상 콘텐츠를 렌더링할 수 있다.
이 때, 증강현실 렌더링 장치는 상기 복수 개의 프레임을 기반으로 상기 증강대상체의 다음 모션을 예측하여 예측 모션를 생성하는 모션 예측부를 더 포함하고, 상기 렌더링부는 상기 예측 모션에 상응하게 상기 렌더링 위치를 결정하여 상기 가상 콘텐츠를 렌더링할 수 있다.
또한, 본 발명의 일실시예에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법은, 적어도 하나의 이미지 센서로부터 사용자 및 증강대상체 중 적어도 하나에 상응하는 센서 영상을 획득하는 단계; 상기 센서 영상을 이용하여 상기 사용자의 눈의 좌표를 획득하는 단계; 상기 센서 영상을 이용하여 증강현실을 적용할 상기 증강대상체를 인식하고, 상기 센서 영상에 상응하는 복수 개의 프레임을 기반으로 상기 증강대상체에 상응하는 모션 속도를 계산하는 단계; 및 상기 모션 속도에 따라 상기 증강대상체에 적용될 가상 콘텐츠의 투명도를 조절하고, 상기 눈의 좌표를 기반으로 상기 가상 콘텐츠의 렌더링 위치를 결정하여 렌더링하는 단계를 포함한다.
이 때, 렌더링하는 단계는 상기 모션 속도의 절대값이 클수록 상기 투명도를 높게 조절하여 렌더링할 수 있다.
이 때, 렌더링하는 단계는 상기 모션 속도의 절대값이 기설정된 최고 속도 이상인 경우에 상기 투명도를 100퍼센트로 설정하고, 상기 모션 속도의 절대값이 기설정된 최저 속도 이하인 경우에 상기 투명도를 0퍼센트로 설정하고, 상기 모션 속도의 절대값이 상기 기설정된 최고 속도 미만이면서 상기 기설정된 최저 속도를 초과하는 경우에 상기 투명도를 상기 100퍼센트와 0퍼센트 사이의 값으로 선형적으로 설정할 수 있다.
이 때, 계산하는 단계는 전 배경 분리를 수행한 뒤 Random Forest 방식, Neural Network 방식, Support Vector Machine 방식 및 AdaBoost 방식 중 적어도 하나에 상응하는 인식 방식을 이용하여 2차원 영역에 상응하는 상기 증강대상체를 인식할 수 있다.
이 때, 계산하는 단계는 상기 복수 개의 프레임 간에 상기 2차원 영역을 대표하는 중심 값의 변화량을 이용하여 상기 모션 속도를 계산할 수 있다.
이 때, 계산하는 단계는 상기 적어도 하나의 이미지 센서가 깊이 센서에 상응하는 경우에 상기 2차원 영역의 3차원 위치 및 각도 중 적어도 하나에 상응하는 3차원 자세를 인식할 수 있다.
이 때, 계산하는 단계는 상기 복수 개의 프레임 간의 상기 3차원 위치의 변화량 및 각속도 중 적어도 하나를 조합하여 상기 모션 속도를 계산할 수 있다.
이 때, 센서 영상을 획득하는 단계는 상기 적어도 하나의 이미지 센서의 종류에 따라 RGB 영상, 깊이 영상, 적외선 영상 및 열화상 카메라 영상 중 적어도 하나에 상응하는 상기 센서 영상을 획득할 수 있다.
이 때, 눈의 좌표를 획득하는 단계는 상기 센서 영상에 상응하는 3차원 공간 상에서 상기 사용자의 동공을 추적하여 상기 눈의 좌표를 획득할 수 있다.
이 때, 눈의 좌표를 획득하는 단계는 상기 사용자의 동공을 추적할 수 없는 경우에 상기 눈의 좌표 대신에 상기 사용자의 머리에 상응하는 좌표를 대체할 수 있다.
이 때, 증강대상체는 상기 센서 영상에 포함된 움직이는 물체 중 어느 하나에 상응할 수 있다.
이 때, 렌더링하는 단계는 상기 투명도에 상응하게 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나를 조절하여 상기 가상 콘텐츠를 렌더링할 수 있다.
이 때, 증강현실 렌더링 방법은 상기 복수 개의 프레임을 기반으로 상기 증강대상체의 다음 모션을 예측하여 예측 모션를 생성하는 단계를 더 포함하고, 상기 렌더링하는 단계는 상기 예측 모션에 상응하게 상기 렌더링 위치를 결정하여 상기 가상 콘텐츠를 렌더링할 수 있다.
본 발명에 따르면, 시스템 지연 시간으로 발생하는 불일치 문제를 투명도와 같은 렌더링 효과를 통해 사용자에게 인지시킴으로써 사용자가 서비스를 보다 효과적으로 이용하도록 유도할 수 있다.
또한, 본 발명은 사용자의 모션을 예측하여 렌더링을 수행함으로써 불일치의 정도를 완화시켜 사용자의 서비스 몰입도를 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 증강현실 렌더링 장치를 이용한 가상 의류 피팅 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 증강현실 렌더링 장치를 나타낸 블록도이다.
도 3 내지 도4는 미러 디스플레이 기술의 일 예를 나타낸 도면이다.
도 5는 미러 디스플레이 기술을 이용한 가상 의류 피팅 서비스의 일 예를 나타낸 도면이다.
도 6은 종래의 미러 디스플레이를 이용한 가상 의류 피팅 서비스 시스템을 나타낸 도면이다.
도 7 내지 도 10은 본 발명에 따른 증강현실 렌더링 방법을 이용한 가상 의류 피팅 서비스의 일 예를 나타낸 도면이다.
도 11은 본 발명에 따른 증강현실 렌더링 방법을 투명 디스플레이에 적용한 가상 의류 피팅 서비스의 일 예를 나타낸 도면이다.
도 12는 본 발명에 따른 증강현실 렌더링 방법을 See-Through HMD에 적용한 일 예를 나타낸 도면이다.
도 13 내지 도 16은 도 2에 도시된 렌더링부를 렌더링 방식에 따라 상세하게 나타낸 블록도이다.
도 17은 본 발명의 일실시예에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법을 나타낸 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 증강현실 렌더링 장치를 이용한 가상 의류 피팅 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 증강현실 렌더링 장치를 이용한 가상 의류 피팅 시스템은 증강현실 렌더링 장치(110), 미러 디스플레이(120), 이미지 센서(130), 사용자(140), 거울에 비친 증강대상체(150) 및 가상 콘텐츠(160)를 포함할 수 있다.
증강현실 렌더링 장치(110)는 이미지 센서(130)로부터 입력된 센서 영상을 분석하여 사용자(140)의 시점과 증강대상체를 인식하고, 증강대상체의 모션 속도를 계산할 수 있다. 또한, 렌더링 시 모션 속도를 반영하여 렌더링을 수행할 수 있다.
이 때, 본 발명에서는 사용자(140)와 증강대상체를 구분하였는데, 사용자(140)는 미러 디스플레이(120)를 통해 거울에 비친 증강대상체(150)의 위에 렌더링된 가상 콘텐츠(160)를 관람하는 사람일 수 있다. 예를 들어, 가상 의류 피팅 서비스에서 사용자(140) 본인이 미러 디스플레이(120)를 보면서 본인 신체에 피팅된 가상 의류, 즉 가상 콘텐츠(160)를 감상한다면 사용자(140) 본인은 사용자(140)이자 증강대상체일 수 있다. 만약 A와 B 두 명이 거울에 비춰진 상태에서 A가 B의 신체에 피팅된 가상 콘텐츠(160)를 감상한다면, A는 사용자(140)이고 B는 증강대상체가 될 수 있다.
또한, 증강대상체는 사람으로 한정되지 않고, 동물도 될 수 있고 움직임이 있는 모든 물체가 그 대상에 상응할 수 있다.
미러 디스플레이(120)는 외부에서 들어온 빛을 반사하고 내부 디스플레이에서 표출되는 빛을 투과시킬 수 있도록 반사율과 투과율이 일정 수준 이상인 유리의 후면에 디스플레이 패널을 붙여서 구현할 수 있다.
이미지 센서(130)는 사용자(140)의 시점을 인식하고 가상 콘텐츠(160)에 해당하는 가상 의류를 입힐 증강대상체를 인식할 수 있도록 미러 디스플레이(120)의 주변에 배치할 수 있다.
또한, 이미지 센서(130)는 칼라 영상을 캡처할 수 있는 적어도 1대 이상의 카메라, 피사체까지의 거리를 측정할 수 있는 적어도 1대 이상의 깊이 센서, 적외선 영상을 캡처할 수 있는 적어도 1대 이상의 적외선 카메라 및 적어도 1대 이상의 열화상 카메라 중 어느 하나 또는 그 조합일 수 있다.
또한, 이미지 센서(130)는 미러 디스플레이(120)의 뒤에 배치될 수도 있고, 미러 디스플레이(120)의 테두리 주변에 배치될 수도 있다.
가상 콘텐츠(160)는 시스템 딜레이를 수반하여 미러 미스플레이(120)에 표출될 수 있다. 이 때, 시스템 딜레이는 증강현실 렌더링 장치(110)의 연산을 수행하는데 필요한 시간일 수 있다. 예를 들어, 시스템 딜레이는 영상센싱에 필요한 시간, 사용자 시점을 인식하는데 필요한 시간, 증강 현실 대상체를 인식하는데 필요한 시간 및 가상 의류를 렌더링하는 시간을 포함할 수 있다.
즉, 시스템 딜레이 시간 동안 증강대상체가 이동한다면 가상 콘텐츠(160)가 거울에 비친 증강대상체(150)의 위에 정밀하게 증강된 것처럼 인식되지 않을 수 있다. 또한, 증강대상체가 움직임이 거의 없다면 시스템 딜레이가 있더라도 증강이 잘 된 것처럼 인식될 수도 있다.
따라서, 본 발명의 핵심 내용은 증강대상체가 움직이는 속도, 즉 모션 속도를 계산하고, 모션 속도가 빠를 경우에는 렌더링시 가상 콘텐츠(160)에 투명한 효과를 주어 렌더링을 수행하고, 모션 속도가 느려지면 가상 콘텐츠(160)가 점차 불투명하도록 렌더링을 수행함으로써 거울에 비친 증강대상체(150)와 가상 콘텐츠(160)의 불일치가 눈에 잘 안 띄도록 하는 것이다.
따라서, 본 발명에 따르면 가상 콘텐츠(160)를 선명하게 관람하기 위해서는 증강대상체가 움직이지 않아야 한다는 사실을 사용자에게 인지시킬 수 있다. 즉, 증강대상체에 상응하는 사용자(140)가 자세를 바꾸는 동안 가상 콘텐츠(160)에 상응하는 가상 의류가 투명하게 보인다면 불일치도가 감소할 수 있고, 피팅된 모습과 색을 보기 위해 사용자(140)의 인지적으로 고정 자세를 취하게 유도할 수 있다. 이는 시스템 딜레이로 인한 불일치 문제를 해결할 수 있는 방안이 될 수 있다.
도 2는 본 발명의 일실시예에 따른 증강현실 렌더링 장치를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 증강현실 렌더링 장치(110)는 영상획득부(210), 사용자시점 인식부(220), 증강대상체 인식부(230), 모션분석부(240), 렌더링부(250) 및 모션 예측부(260)를 포함할 수 있다.
영상획득부(210)는 적어도 하나의 이미지 센서로부터 사용자 및 증강대상체 중 적어도 하나에 상응하는 센서 영상을 획득할 수 있다.
이 때, 적어도 하나의 이미지 센서의 종류에 따라 RGB 영상, 깊이 영상, 적외선 영상 및 열화상 카메라 영상 중 적어도 하나에 상응하는 센서 영상을 획득할 수 있다.
이 때, 증강대상체는 센서 영상에 포함된 움직이는 물체 중 어느 하나에 상응할 수 있다. 예를 들어, 사람이나 동물 또는 움직이는 물체에 해당할 수도 있다.
사용자시점 인식부(220)는 센서 영상을 이용하여 사용자의 눈의 좌표를 획득할 수 있다.
이 때, 센서 영상에 상응하는 3차원 공간 상에서 사용자의 동공을 추적하여 눈의 좌표를 획득할 수 있다. 예를 들어, 센서 영상으로부터 시선추적기술을 이용하여 3차원 공간 상의 사용자의 눈의 좌표를 획득할 수 있다.
이 때, 사용자의 동공을 추적할 수 없는 경우에 눈의 좌표 대신에 사용자의 머리에 상응하는 좌표를 대체하여 사용할 수 있다. 예를 들어, 사용자와 이미지 센서 간의 거리가 멀어 동공을 추적하는 시선추적기술을 활용하기 어려운 경우에, 3차원 공간 상의 사용자의 머리를 추적하여 머리의 위치로 눈의 위치를 근사(approximation) 대체할 수 있다.
이와 같이 획득된 눈의 좌표는 가상 콘텐츠를 미러 디스플레이 상 어느 위치에 렌더링 해야 할지 결정하는데 사용될 수 있다.
증강대상체 인식부(230)는 센서 영상을 이용하여 증강현실을 적용할 증강대상체를 인식할 수 있다. 이 때, 증강대상체 인식에는 전 배경 분리 후 학습기 또는 추적기를 통해 인식하는 방법이 활용될 수 있다.
이 때, 전 배경 분리 방법에는 색상에 의한 크로마키 기법, Background Subtraction 방법 및 깊이 기반 전 배경 분리 기법 등이 활용될 수 있다.
이 때, 전 배경 분리를 수행한 뒤 Random Forest 방식, Neural Network 방식, Support Vector Machine 방식 및 AdaBoost 방식 중 적어도 하나에 상응하는 인식 방식을 이용하여 2차원 영역에 상응하는 증강대상체를 인식할 수 있다.
이 때, 적어도 하나의 이미지 센서가 깊이 센서에 상응하는 경우에 2차원 영역의 3차원 위치 및 각도 중 적어도 하나에 상응하는 3차원 자세를 인식할 수 있다. 또한, 이미지 센서가 캘리브레이션 된 경우에도 3차원 자세를 인식할 수 있다.
또한, 증강대상체의 골격 구조를 미리 알고 있다면, 골격을 구성하는 관절 마다3차원 자세를 보다 정밀하게 인식할 수 있다.
모션분석부(240)는 센서 영상에 상응하는 복수 개의 프레임을 기반으로 증강대상체에 상응하는 모션 속도를 계산할 수 있다. 즉, 복수 개의 프레임에서 각각 인식된 증강대상체의 정보를 종합하여 모션 속도를 계산할 수 있다.
이 때, 복수 개의 프레임 간에 2차원 영역을 대표하는 중심 값의 변화량을 이용하여 모션 속도를 계산할 수 있다. 예를 들어, 2차원 영역에 상응하는 증강대상체에서 무게중심에 해당하는 부분을 중심 값으로 설정하고, 복수 개의 프레임마다 중심 값의 변화를 체크하여 모션 속도를 계산할 수 있다.
이 때, 복수 개의 프레임 간에 3차원 위치의 변화량 및 각속도 중 적어도 하나를 조합하여 모션 속도를 계산할 수 있다.
또한, 증강대상체의 골격 구조를 인식하여 골격의 모든 관절의 대해 3차원 위치 및 각도를 획득한 경우에는 모든 관절의 평균 관절 변화량과 평균 각속도의 조합을 이용하여 모션 속도를 계산할 수도 있다.
렌더링부(250)는 모션 속도에 따라 증강대상체에 적용될 가상 콘텐츠의 투명도를 조절하고, 눈의 좌표를 기반으로 가상 콘텐츠의 렌더링 위치를 결정하여 렌더링할 수 있다.
이 때, 모션 속도의 절대값이 클수록 투명도를 높게 조절하여 렌더링할 수 있다. 예를 들어, 의류 피팅 서비스의 경우에 모션 속도에 비례하여 가상 의류의 투명도를 조절할 수 있다.
이 때, 모션 속도의 절대값이 기설정된 최고 속도 이상인 경우에 투명도를 100퍼센트로 설정하고, 모션 속도의 절대값이 기설정된 최저 속도 이하인 경우에 투명도를 0퍼센트로 설정하고, 모션 속도의 절대값이 기설정된 최고 속도 미만이면서 기설정된 최저 속도를 초과하는 경우에 투명도를 100퍼센트와 0퍼센트의 사이의 값으로 선형적으로 설정할 수 있다.
예를 들어, 기설정된 최고 속도가 t1, 기설정된 최저 속도가 t2라고 가정한다면, 모션 속도의 절대값이 t1 이상일 때 투명도를 100퍼센트, 모션 속도의 절대값이 t2일 때 투명도를 0퍼센트에 상응하게 설정할 수 있다. 또한 모션 속도의 절대값이 t1과 t2의 사이에 상응하는 값일 경우 100퍼센트와 0퍼센트의 사이에서 선형적으로 설정할 수 있다.
즉, 모션 속도가 t2보다 느려 움직임이 거의 없는 경우에는 투명도가 0퍼센트이므로 사용자 눈에 가상 콘텐츠가 진하게 보일 수 있고, 점차 모션 속도가 빨라지면 투명도가 커져서 가상 콘텐츠가 점차 연하게 보이게 될 수 있다.
이와 같이 투명도와 연계하는 방법은 선형적인 방법 이외에도 다양한 함수를 이용할 수도 있다. 예를 들어, 계단함수나 지수함수 등을 이용할 수도 있다.
또한, 가상 콘텐츠는 3차원 공간 상에서의 눈의 좌표와 증강대상체의 3차원 위치를 이용하여 미러 디스플레이 상의 렌더링 위치를 결정할 수 있다.
이 때, 투명도에 상응하게 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나를 조절하여 가상 콘텐츠를 렌더링할 수 있다. 즉, 모션 속도에 따른 렌더링 방법은 투명도 외에도 다양한 방법이 있을 수 있다. 예를 들어, 가우시안 블러링이나 모션 블러링과 같은 블러링을 이용하여 모션 속도가 빠른 경우 블러링을 강하게 주고 모션 속도가 느린 경우 블러링을 적게 줄 수 있다. 또한, 점멸 효과를 이용하여 모션 속도가 빠르면 빠른 속도로 점멸하고 모션 속도가 점차 느려지면 점멸 속도가 점차 느려지다가 점멸 효과가 사라질 수 있다. 또한, 이미지 발생 효과를 이용하여 모션 속도가 빠르면 테두리만 보였다가 점차 모션 속도가 줄어들어 테두리의 내부가 채워지도록 할 수 있다. 또한, 원색 왜곡 효과를 이용하여 모션 속도가 빠를 경우에 흑백 효과처럼 원색을 왜곡시켰다가 모션 속도가 점차 느려지는 경우 점차 원색을 회복할 수 있다.
또한, 투명도, 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나의 효과를 가상 콘텐츠의 전체 영역에 적용하지 않고 사용자의 신체 부위와 연계하여 부분적으로 적용할 수도 있다. 예를 들어, 증강대상체의 중심 값을 이용하여 모션 속도를 계산하는 대신에 골격 구조를 인식하여 모든 관절을 인식할 수 있다. 이 후, 각 관절에 해당하는 가상 콘텐츠의 영역을 매칭하고, 각 관절의 모션 속도에 따라 매칭된 가상 콘텐츠의 영역에 투명도, 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나의 효과를 적용할 수 있다.
이 때, 예측 모션에 상응하게 렌더링 위치를 결정하여 가상 콘텐츠를 렌더링할 수 있다. 증강대상체의 모션 속도에 따라 가상 콘텐츠에 투명도, 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과를 적용하더라도, 가상 콘텐츠와 미러 디스플레이 상의 증강대상체의 위치차이가 심하면 시각적인 어색함이 존재할 수 있다.
따라서, 사전에 증강대상체의 모션을 예측하여 최대한 증강대상체에 근접하게 가상 콘텐츠를 렌더링한다면 불일치 현상을 줄여 시각적 어색함도 감소시킬 수 있다.
이에 따라, 모션 예측부(260)는 복수 개의 프레임을 기반으로 증강대상체의 다음 모션을 예측하여 예측 모션을 생성할 수 있다. 예를 들어, 복수 개의 프레임에 포함된 증강대상체의 모션을 기반으로 시스템 딜레이 시간 동안의 증강대상체의 예측 모션에 상응하는 3차원 자세를 예측할 수 있다. 이 때, 3차원 자세를 예측하기 위해 등속도 모델, 등가속도 모델, Alpha-Bate Filter, Kalman Filter 및 Extended Kalman Filter 중 적어도 하나를 사용할 수 있다.
따라서, 이와 같이 예측된 3차원 자세를 기반으로 렌더링시 모션 속도에 따라 투명도 또는 블러링 정도를 설정하여 렌더링을 수행할 수 있다.
도 3 내지 도 4는 미러 디스플레이 기술의 일 예를 나타낸 도면이다.
도 3 내지 도4를 참조하면, 미러 디스플레이(310) 혹은 스마트 미러는 외형은 거울이지만 반투명 성질의 거울 뒤에 디스플레이가 부착되어 있어서 디스플레이에서 데이터를 출력하면 거울 위로 데이터가 보일 수 있다.
예를 들어, 도 3과 같이 사용자(320)가 미러 디스플레이(310) 앞에 서서 본인의 모습을 바라볼 때, 미러 디스플레이(310)가 증가현실에 상응하는 데이터를 출력하기 위한 대상인 사용자(320)는 증강대상체에 해당할 수 있다. 이 때, 증강대상체는 사용자(320) 본인에 해당할 수도 있고, 다른 사람 또는 물체에 해당할 수도 있다.
따라서, 도 3을 확인하여 미러 디스플레이(310)는 사용자(320)의 모습에 해당하는 거울에 비친 증강대상체(330)와 함께 해당 미러 디스플레이(310)를 통해 제공하는 서비스의 일종으로 가상 증강대상체(340)를 출력한 것을 알 수 있다.
예를 들어, 도 4와 같이 거울에 비친 증강대상체(430)의 윤곽에 해당하는 영역을 인식하여 가상 증강대상체(440)를 선으로 나타낸 데이터일 수 있다.
이와 같이, 미러 디스플레이(310, 410)를 이용한 기술은 시각적으로 사용자들에게 신선하게 다가오기 때문에 광고나 패션 분야에서 점차 사용이 늘어나는 추세이다.
도 5는 미러 디스플레이 기술을 이용한 가상 의류 피팅 서비스의 일 예를 나타낸 도면이다.
도 5를 참조하면, 미러 디스플레이 기술을 이용한 가상 의류 피팅 서비스는 패션이나 광고 분야에서 주요 어플리케이션으로 사용하고 있음을 알 수 있다.
가상 의류 피팅 서비스 또는 가상 의류 피팅 기술이란 이미지 센서(510)를 장착한 키오스크 앞에 서있는 사용자를 인식하고, 인식된 사용자의 신체 부위에 가상의 의류나 액세서리를 그래픽적으로 렌더링하여 출력함으로써 사용자가 본인과 잘 어울리는지를 판단할 수 있도록 도와주는 기술이다.
도 6은 종래의 미러 디스플레이를 이용한 가상 의류 피팅 서비스 시스템을 나타낸 도면이다.
도 6를 참조하면, 종래의 미러 디스플레이(610)를 이용한 가상 의류 피팅 서비스 시스템은 필연적으로 발생하는 딜레이로 인해 가상 콘텐츠(650)가 거울에 비친 증강대상체(640)와 일치하지 않는 문제가 발생할 수 있다.
이와 같은 문제가 발생하는 이유는 거울에 비친 증강대상체(640)는 빛의 속도로 거울이 비치게 되지만 렌더링되는 가상 콘텐츠(650)는 이미지 센싱에 필요한 프로세싱 시간, 사용자 모션 인식에 필요한 프로세싱 시간, 의류 시뮬레이션에 필요한 프로세싱 시간 및 의류 렌더링에 필요한 프로세싱 시간이 지연된 후에 미러 디스플레이(610)를 통해서 출력되기 때문일 수 있다.
이 때, 가상 콘텐츠(650)에 상응하는 의류의 출력이 지연되는 시간만큼 증강대상체에 해당하는 사용자(630)는 움직일 수 있기 때문에, 지연되는 시간에 따른 거울에 비친 증강대상체(640)와 가상 콘텐츠(650) 간의 불일치 현상이 발생할 수밖에 없다.
이와 같은 불일치 현상은 사용자(630)가 빨리 움직이는 상황에서 더욱 심각하게 발생할 수 있으며, 이는 미러 디스플레이(610)를 통해 가상 의류 피팅 서비스를 제공받는 사용자(630)의 몰입을 방해하는 요소로 작용할 수 있다.
도 7 내지 도 10은 본 발명에 따른 증강현실 렌더링 방법을 이용한 가상 의류 피팅 서비스의 일 예를 나타낸 도면이다.
도 7 내지 도 9를 참조하면, 증강대상체에 상응하는 사용자의 모션 속도를 계산하여, 도 7과 같이 모션 속도(760)가 빠른 경우에는 가상 콘텐츠(750)를 렌더링 할 때 투명한 효과를 주어 렌더링을 수행할 수 있다. 이 때, 도 8 및 도 9와 같이 모션 속도(860, 960)가 느려지면 점차 가상 콘텐츠(850, 950)가 불투명하게 렌더링 될 수 있다.
따라서, 도 7과 같이 모션 속도(760)가 빨라서 가상 콘텐츠(750)와 거울이 비친 증강대상체(740) 간의 불일치가 큰 경우, 투명하게 렌더링함으로써 불일치가 사용자(730)의 눈에 잘 띄지 않을 수 있다.
또한, 투명도 효과를 통해 도 9와 같이 가상 콘텐츠(950)과 선명하게 보이도록 하기 위해서는 증강대상체인 사용자(930) 본인이 움직이지 않아야 한다는 사실을 사용자(930)에게 인지시키는 효과를 기대할 수 있다.
즉, 도 9에 나타낸 사용자(930)가 다시 자세를 바꾼다면, 자세를 바꾸는 동안에는 가상 콘텐츠(950)가 투명하게 보여서 사용자(930)가 보기에 불일치로 인한 어색함이 줄어들 수 있고, 사용자(930)가 다시 고정된 자세를 취하도록 유도하여 가상 콘텐츠(950)를 선명하고 일치되게 렌더링할 수 있다.
또한, 도 10을 참조하면, 시스템의 딜레이 시간 동안 증강대상체인 사용자(1030)의 모션을 예측하여 불일치성이 감소된 예측된 가상 콘텐츠(1051)를 생성할 수 있다.
도 7 및 도 9와 같은 방법으로 렌더링된 원래 가상 콘텐츠(1050)는 렌더링 되는 위치가 거울에 비친 증강대상체의 위치와 많이 벗어나기 때문에 렌더링 시 투명도나 블러링 효과를 적용한다 하여도 여전히 시각적인 어색함이 존재할 수 있다.
따라서, 증강대상체의 모션을 예측하여 최대한 거울에 비친 증강대상체(1040)와 근접한 위치에 예측된 가상 콘텐츠(1051)를 렌더링 한다면, 불일치 정도를 감소시킬 수 있으므로 사용자(1030)가 미러 디스플레이(1010)를 볼 때의 어색함 또한 감소될 수 있다.
이 때, 증강대상체의 3차원 자세를 예측하기 위해서 등속도 모델, 등가속도 모델, Alpha-Bate Filter, Kalman Filter 및 Extended Kalman Filter 중 적어도 하나를 사용할 수 있다.
도 11은 본 발명에 따른 증강현실 렌더링 방법을 투명 디스플레이에 적용한 가상 의류 피팅 서비스의 일 예를 나타낸 도면이다.
도 11을 참조하면, 종래의 투명 디스플레이 기술에서도 미러 디스플레이 기술과 동일하게 증강대상체와 가상 콘텐츠간 불일치 문제가 발생할 수 있다.
즉, 사용자(1140)가 투명 디스플레이(1120)를 통해 관람할 때, 투명 디스플레이로 보이는 증강대상체(1150)는 빛의 속도로 보이지만, 가상 콘텐츠(1160)는 투명 디스플레이 증강현실 렌더링 장치(1110)의 시스템 딜레이 후에 투명 디스플레이(1120)에 렌더링 될 수 있다. 따라서, 시스템 딜레이 시간 동안에 증강대상체(1141)가 이동한다면 가상 콘텐츠(1160)와 불일치 현상일 발생할 수 있다.
이와 같은 불일치 문제를 해결하기 위한 하드웨어 구성은 도 1에 도시된 본 발명에 따른 미러 디스플레이를 이용한 구성과 거의 동일할 수 있다.
예를 들면, 미러 디스플레이가 투명 디스플레이(1120)로 변경되었고, 이미지 센서의 센서 방향이 미러 디스플레이의 전면을 향했다면 도 11에서는 투명 디스플레이(1120)의 전면을 향하는 전면 이미지 센서(1130)와 후면을 향하는 후면 이미지 센서(1131)가 구비될 수 있다.
또한, 투명 디스플레이 증강현실 렌더링 장치(1110)도 도 1에 도시된 증강현실 렌더링 장치와 거의 동일할 수 있다. 단지, 사용자 시점을 인식할 때에는 전면 이미지 센서(1130)를 통해 획득한 센서 영상을 이용하고, 증강대상체를 인식할 때에는 후면 이미지 센서(1131)를 통해 획득한 센서 영상을 이용한다는 차이점이 존재할 수 있다.
도 12는 본 발명에 따른 증강현실 렌더링 방법을 See-Through HMD에 적용한 일 예를 나타낸 도면이다.
도 12를 참조하면, 투명 디스플레이 기술에서 나타나는 불일치 문제는 See-Through HMD(1220)를 이용한 서비스에서도 발생할 수 있다.
따라서, 이와 같은 불일치 문제는 도 12와 같이 See-Through HMD(1220)의 전후면에 각각 전면 이미지 센서(1230)와 후면 이미지 센서(1231)를 장착하고, 도 11의 투명 디스플레이 증강현실 렌더링 장치와 동일한 투명 디스플레이 증강현실 렌더링 장치(1210)로 처리하면 해결이 가능할 수 있다.
도 13 내지 도 16은 도 2에 도시된 렌더링부를 렌더링 방식에 따라 상세하게 나타낸 블록도이다.
도 13 내지 도 16을 참조하면, 먼저 도 13은 투명도 방식을 이용한 렌더링부(250)에 상응할 수 있다.
이 때, 렌더링부(250)는 3D 오브젝트 배치부(1310), 모션속도 연계 오브젝트 투명도 매핑부(1320) 및 투명도 반영 렌더링부(1330)를 포함할 수 있다.
이 때, 3D 오브젝트 배치부(1310)에서는 현실 세계와 매핑된 증강대상체의 3차원 위치를 이용하여 3D 오브젝트를 배치할 수 있고, 3차원 눈의 위치를 이용하여 렌더링용 가상 카메라를 배치할 수 있다.
이 후, 모션속도 연계 오브젝트 투명서 매핑부(1320)를 통해 3D 오브젝트 투명도의 속성, 즉 알파값을 모션 속도에 연계하여 부여한 후, 투명도 반영 렌더링부(1330)를 이용하여 렌더링을 수행할 수 있다.
도 14는 가우시안 블러링 방식을 이용한 렌더링부(250)에 상응할 수 있다.
이 때, 렌더링부(250)는 3D 오브젝트 배치부(1410), 2차원 투영이미지 렌더링부(1420) 및 모션속도 연계 투영이미지 가우시안 블러링부(1430)를 포함할 수 있다.
이 때, 3D 오브젝트 배치부(1410)는 도 13에 포함된 3D 오브젝트 배치부(1310)와 동일하게 동작할 수 있기 때문에 자세한 설명은 생략하도록 한다.
이 때, 3D 오브젝트와 가상 카메라를 배치한 후 2차원 투영이미지 렌더링부(1420)를 통해 렌더링을 수행하여 증강대상체의 2차원 투영이미지를 획득할 수 있다.
이 후, 가우시안 블러링부(1430)는 투영이미지에 2차원 가우시안 필터를 적용할 수 있다.
이 때, 가우시안 필터는 속도가 빨라지면 그에 대응하여 가우시안 분산도(sigma)를 크게 키우고, 속도가 느려지면 가우시안 분산도를 작게 줄일 수 있다. 즉, 가우시안 분산도가 커질수록 이미지의 블러링이 심해지는 효과가 있을 수 있다.
도 15는 모션 블러링 방식을 이용한 렌더링부(250)에 상응할 수 있다.
이 때, 렌더링부(250)는 3D 오브젝트 배치부(1510), 2차원 투영이미지 렌더링부(1520), 가우시안 블러링 및 투명도 매핑부(1530) 및 프레임 합성부(1540)을 포함할 수 있다.
이 때, 3D 오브젝트 배치부(1510) 및 2차원 투영이미지 렌더링부(1520)는 도 14에 포함된 3D 오브젝트 배치부(1410) 및 2차원 투영이미지 렌더링부(1420)와 동일하게 동작할 수 있기 때문에 자세한 설명은 생략하도록 한다.
이 때, 가우시안 블러링 및 투명도 매핑부(1530)는 과거 N프레임의 투영이미지를 합성하여 이미지를 생성할 수 있다.
이 때, 가장 과거의 투영이미지에 가장 강하게 블러링을 적용하고, 가장 최근의 투영이미지에는 가작 약하게 블러링을 적용한 뒤 합성할 수 있다.
또한, 가장 과거의 투영이미지에 가장 높은 투명도를 적용하고, 가장 최근의 투영이미지에는 가장 낮은 투명도를 적용한 뒤 합성할 수도 있다.
도 16은 점멸 방식을 이용한 렌더링부(250)에 상응할 수 있다.
이 때, 렌더링부(250)는 3D 오브젝트 배치부(1610), 모션속도 연계 점멸주기 매핑부(1620) 및 점멸여부 반영 렌더링부(1630)를 포함할 수 있다.
이 때, 3D 오브젝트 배치부(1610)는 도 15에 포함된 3D 오브젝트 배치부(1510)와 동일하게 동작할 수 있기 때문에 자세한 설명은 생략하도록 한다.
이 때, 모션속도 연계 점멸주기 매핑부(1620)를 통해 모션 속도와 연계하여 점멸 주기를 설정할 수 있다. 예를 들어, 속도가 빠르면 점멸 주기를 짧게 하고, 속도가 느리면 점멸 주기를 길게 설정할 수 있다.
이 때, 점멸여부 반영 렌더링부(1630)는 주기에 따라 오브젝트를 화면에 렌더링하거나, 렌더링하지 않는 방법으로 점멸 효과를 표현할 수 있다.
도 17은 본 발명의 일실시예에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법을 나타낸 동작 흐름도이다.
도 17을 참조하면, 본 발명의 일실시예에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법은 적어도 하나의 이미지 센서로부터 사용자 및 증강대상체 중 적어도 하나에 상응하는 센서 영상을 획득할 수 있다(S1710).
이 때, 적어도 하나의 이미지 센서의 종류에 따라 RGB 영상, 깊이 영상, 적외선 영상 및 열화상 카메라 영상 중 적어도 하나에 상응하는 센서 영상을 획득할 수 있다.
이 때, 증강대상체는 센서 영상에 포함된 움직이는 물체 중 어느 하나에 상응할 수 있다. 예를 들어, 사람이나 동물 또는 움직이는 물체에 해당할 수도 있다.
또한, 본 발명의 일실시예에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법은 센서 영상을 이용하여 사용자의 눈의 좌표를 획득할 수 있다(S1720)
이 때, 센서 영상에 상응하는 3차원 공간 상에서 사용자의 동공을 추적하여 눈의 좌표를 획득할 수 있다. 예를 들어, 센서 영상으로부터 시선추적기술을 이용하여 3차원 공간 상의 사용자의 눈의 좌표를 획득할 수 있다.
이 때, 사용자의 동공을 추적할 수 없는 경우에 눈의 좌표 대신에 사용자의 머리에 상응하는 좌표를 대체할 수 있다. 예를 들어, 사용자와 이미지 센서 간의 거리가 멀어 동공을 추적하는 시선추적기술을 활용하기 어려운 경우에, 3차원 공간 상의 사용자의 머리를 추적하여 머리의 위치로 눈의 위치를 근사(approximation) 대체할 수 있다.
이와 같이 획득된 눈의 좌표는 가상 콘텐츠를 미러 디스플레이 상 어느 위치에 렌더링 해야 할지 결정하는데 사용될 수 있다.
또한, 본 발명의 일실시예에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법은 센서 영상을 이용하여 증강현실을 적용할 증강대상체를 인식하고, 센서 영상에 상응하는 복수 개의 프레임을 기반으로 증강대상체에 상응하는 모션 속도를 계산할 수 있다(S1730).
이 때, 증강대상체 인식에는 전 배경 분리 후 학습기 또는 추적기를 통해 인식하는 방법이 활용될 수 있다.
이 때, 전 배경 분리 방법에는 색상에 의한 크로마키 기법, Background Subtraction 방법 및 깊이 기반 전 배경 분리 기법 등이 활용될 수 있다.
이 때, 전 배경 분리를 수행한 뒤 Random Forest 방식, Neural Network 방식, Support Vector Machine 방식 및 AdaBoost 방식 중 적어도 하나에 상응하는 인식 방식을 이용하여 2차원 영역에 상응하는 증강대상체를 인식할 수 있다.
이 때, 적어도 하나의 이미지 센서가 깊이 센서에 상응하는 경우에 2차원 영역의 3차원 위치 및 각도 중 적어도 하나에 상응하는 3차원 자세를 인식할 수 있다. 또한, 이미지 센서가 캘리브레이션 된 경우에도 3차원 자세를 인식할 수 있다.
또한, 증강대상체의 골격 구조를 미리 알고 있다면, 골격을 구성하는 관절 마다3차원 자세를 보다 정밀하게 인식할 수 있다.
이 때, 복수 개의 프레임 간에 2차원 영역을 대표하는 중심 값의 변화량을 이용하여 모션 속도를 계산할 수 있다. 예를 들어, 2차원 영역에 상응하는 증강대상체에서 무게중심에 해당하는 부분을 중심 값으로 설정하고, 복수 개의 프레임마다 중심 값의 변화를 체크하여 모션 속도를 계산할 수 있다.
이 때, 복수 개의 프레임 간의 3차원 위치의 변화량 및 각속도 중 적어도 하나를 조합하여 모션 속도를 계산할 수 있다.
또한, 증강대상체의 골격 구조를 인식하여 골격의 모든 관절의 대해 3차원 위치 및 각도를 획득한 경우에는 모든 관절의 평균 관절 변화량과 평균 각속도의 조합을 이용하여 모션 속도를 계산할 수도 있다.
또한, 본 발명의 일실시예에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법은 모션 속도에 따라 증강대상체에 적용될 가상 콘텐츠의 투명도를 조절하고, 눈의 좌표를 기반으로 가상 콘텐츠의 렌더링 위치를 결정하여 렌더링할 수 있다(S1740).
이 때, 모션 속도의 절대값이 클수록 투명도를 높게 조절하여 렌더링할 수 있다. 예를 들어, 의류 피팅 서비스의 경우에 모션 속도에 비례하여 가상 의류의 투명도를 조절할 수 있다.
이 때, 모션 속도의 절대값이 기설정된 최고 속도 이상인 경우에 투명도를 100퍼센트로 설정하고, 모션 속도의 절대값이 기설정된 최저 속도 이하인 경우에 투명도를 0퍼센트로 설정하고, 모션 속도의 절대값이 기설정된 최고 속도 미만이면서 기설정된 최저 속도를 초과하는 경우에 투명도를 100퍼센트와 0퍼센트 사이의 값으로 선형적으로 설정할 수 있다.
예를 들어, 기설정된 최고 속도가 t1, 기설정된 최저 속도가 t2라고 가정한다면, 모션 속도의 절대값이 t1 이상일 때 투명도를 100퍼센트, 모션 속도의 절대값이 t2일 때 투명도를 0퍼센트에 상응하게 설정할 수 있다. 또한 모션 속도의 절대값이 t1과 t2의 사이에 상응하는 값일 경우 100퍼센트와 0퍼센트의 사이에서 선형적으로 설정할 수 있다.
즉, 모션 속도가 t2보다 느려 움직임이 거의 없는 경우에는 투명도가 0퍼센트이므로 사용자 눈에 가상 콘텐츠가 진하게 보일 수 있고, 점차 모션 속도가 빨라지면 투명도가 커져서 가상 콘텐츠가 점차 연하게 보이게 될 수 있다.
이와 같이 투명도와 연계하는 방법은 선형적인 방법 이외에도 다양한 함수를 이용할 수도 있다. 예를 들어, 계단함수나 지수함수 등을 이용할 수도 있다.
또한, 가상 콘텐츠는 3차원 공간 상에서의 눈의 좌표와 증강대상체의 3차원 위치를 이용하여 미러 디스플레이 상의 렌더링 위치를 결정할 수 있다.
이 때, 투명도에 상응하게 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나를 조절하여 가상 콘텐츠를 렌더링할 수 있다. 즉, 모션 속도에 따른 렌더링 방법은 투명도 외에도 다양한 방법이 있을 수 있다. 예를 들어, 가우시안 블러링이나 모션 블러링과 같은 블러링을 이용하여 모션 속도가 빠른 경우 블러링을 강하게 주고 모션 속도가 느린 경우 블러링을 적게 줄 수 있다. 또한, 점멸 효과를 이용하여 모션 속도가 빠르면 빠른 속도로 점멸하고 모션 속도가 점차 느려지면 점멸 속도가 점차 느려지다가 점멸 효과가 사라질 수 있다. 또한, 이미지 발생 효과를 이용하여 모션 속도가 빠르면 테두리만 보였다가 점차 모션 속도가 줄어들어 테두리의 내부가 채워지도록 할 수 있다. 또한, 원색 왜곡 효과를 이용하여 모션 속도가 빠를 경우에 흑백 효과처럼 원색을 왜곡시켰다가 모션 속도가 점차 느려지는 경우 점차 원색을 회복할 수 있다.
또한, 투명도, 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나의 효과를 가상 콘텐츠의 전체 영역에 적용하지 않고 사용자의 신체 부위와 연계하여 부분적으로 적용할 수도 있다. 예를 들어, 증강대상체의 중심 값을 이용하여 모션 속도를 계산하는 대신에 골격 구조를 인식하여 모든 관절을 인식할 수 있다. 이 후, 각 관절에 해당하는 가상 콘텐츠의 영역을 매칭하고, 각 관절의 모션 속도에 따라 매칭된 가상 콘텐츠의 영역에 투명도, 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나의 효과를 적용할 수 있다.
이 때, 예측 모션에 상응하게 렌더링 위치를 결정하여 가상 콘텐츠를 렌더링할 수 있다. . 증강대상체의 모션 속도에 따라 가상 콘텐츠에 투명도, 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과를 적용하더라도, 가상 콘텐츠와 미러 디스플레이 상의 증강대상체의 위치차이가 심하면 시각적인 어색함이 존재할 수 있다.
따라서, 사전에 증강대상체의 모션을 예측하여 최대한 증강대상체에 근접하게 가상 콘텐츠를 렌더링한다면 불일치 현상을 줄여 시각적 어색함도 감소시킬 수 있다.
이에 따라, 도 17에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법은 복수 개의 프레임을 기반으로 증강대상체와 다음 모션을 예측하여 예측 모션을 생성할 수 있다. 예를 들어, 복수 개의 프레임에 포함된 증강대상체의 모션을 기반으로 시스템 딜레이 시간 동안의 증강대상체의 예측 모션에 상응하는 3차원 자세를 예측할 수 있다. 이 때, 3차원 자세를 예측하기 위해 등속도 모델, 등가속도 모델, Alpha-Bate Filter, Kalman Filter 및 Extended Kalman Filter 중 적어도 하나를 사용할 수 있다.
따라서, 이와 같이 예측된 3차원 자세를 기반으로 렌더링시 모션 속도에 따라 투명도 또는 블러링 정도를 설정하여 렌더링을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 증강현실 렌더링 장치
120, 310, 410, 610, 710, 810, 910, 1010: 미러 디스플레이
130, 510, 620, 720, 820, 920, 1020: 이미지 센서
140, 320, 630, 730, 830, 930, 1030, 1140: 사용자
150, 330, 430, 640, 740, 840, 940, 1040: 거울에 비친 증강대상체
160, 650, 750, 850, 950, 1160: 가상 콘텐츠
210: 영상획득부 220: 사용자시점 인식부
230: 증강대상체 인식부 240: 모션분석부
250: 렌더링부 260: 모션 예측부
340, 440: 가상 증강대상체 660: 사용자 이동방향
760, 860, 960, 1060: 모션 속도 1050: 원래 가상 콘텐츠
1051: 예측된 가상 콘텐츠
1110, 1210: 투명 디스플레이 증강현실 렌더링 장치
1120: 투명 디스플레이 1130, 1230: 전면 이미지 센서
1131, 1231: 후면 이미지 센서 1141, 1240: 증강대상체
1150: 투명 디스플레이로 보이는 증강대상체
1220: See-Through HMD

Claims (20)

  1. 적어도 하나의 이미지 센서로부터 사용자 및 증강대상체 중 적어도 하나에 상응하는 센서 영상을 획득하는 영상 획득부;
    상기 센서 영상을 이용하여 상기 사용자의 눈의 좌표를 획득하는 사용자시점 인식부;
    상기 센서 영상을 이용하여 증강현실을 적용할 상기 증강대상체를 인식하는 증강대상체 인식부;
    상기 센서 영상에 상응하는 복수 개의 프레임을 기반으로 상기 증강대상체에 상응하는 모션 속도를 계산하는 모션분석부; 및
    상기 모션 속도에 따라 상기 증강대상체에 적용될 가상 콘텐츠의 투명도를 조절하고, 상기 눈의 좌표를 기반으로 상기 가상 콘텐츠의 렌더링 위치를 결정하여 렌더링하는 렌더링부
    를 포함하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  2. 청구항 1에 있어서,
    상기 렌더링부는
    상기 모션 속도의 절대값이 클수록 상기 투명도를 높게 조절하여 렌더링하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  3. 청구항 2에 있어서,
    상기 렌더링부는
    상기 모션 속도의 절대값이 기설정된 최고 속도 이상인 경우에 상기 투명도를 100퍼센트로 설정하고, 상기 모션 속도의 절대값이 기설정된 최저 속도 이하인 경우에 상기 투명도를 0퍼센트로 설정하고, 상기 모션 속도의 절대값이 상기 기설정된 최고 속도 미만이면서 상기 기설정된 최저 속도를 초과하는 경우에 상기 투명도를 상기 100퍼센트와 0퍼센트 사이의 값으로 선형적으로 설정하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  4. 청구항 2에 있어서,
    상기 증강대상체 인식부는
    전 배경 분리를 수행한 뒤 Random Forest 방식, Neural Network 방식, Support Vector Machine 방식 및 AdaBoost 방식 중 적어도 하나에 상응하는 인식 방식을 이용하여 2차원 영역에 상응하는 상기 증강대상체를 인식하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  5. 청구항 4에 있어서,
    상기 모션분석부는
    상기 복수 개의 프레임 간에 상기 2차원 영역을 대표하는 중심 값의 변화량을 이용하여 상기 모션 속도를 계산하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  6. 청구항 4에 있어서,
    상기 증강대상체 인식부는
    상기 적어도 하나의 이미지 센서가 깊이 센서에 상응하는 경우에 상기 2차원 영역의 3차원 위치 및 각도 중 적어도 하나에 상응하는 3차원 자세를 인식하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  7. 청구항 6에 있어서,
    상기 모션분석부는
    상기 복수 개의 프레임 간의 상기 3차원 위치의 변화량 및 각속도 중 적어도 하나를 조합하여 상기 모션 속도를 계산하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  8. 청구항 5에 있어서,
    상기 영상 획득부는
    상기 적어도 하나의 이미지 센서의 종류에 따라 RGB 영상, 깊이 영상, 적외선 영상 및 열화상 카메라 영상 중 적어도 하나에 상응하는 상기 센서 영상을 획득하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  9. 청구항 1에 있어서,
    상기 사용자시점 인식부는
    상기 센서 영상에 상응하는 3차원 공간 상에서 상기 사용자의 동공을 추적하여 상기 눈의 좌표를 획득하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  10. 청구항 9에 있어서,
    상기 사용자시점 인식부는
    상기 사용자의 동공을 추적할 수 없는 경우에 상기 눈의 좌표 대신에 상기 사용자의 머리에 상응하는 좌표를 대체하여 사용하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  11. 청구항 1에 있어서,
    상기 증강대상체는
    상기 센서 영상에 포함된 움직이는 물체 중 어느 하나에 상응하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  12. 청구항 1에 있어서,
    상기 렌더링부는
    상기 투명도에 상응하게 블러링, 점멸 효과, 이미지 발생 효과 및 원색 왜곡 효과 중 적어도 하나를 조절하여 상기 가상 콘텐츠를 렌더링하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  13. 청구항 1에 있어서,
    상기 증강현실 렌더링 장치는
    상기 복수 개의 프레임을 기반으로 상기 증강대상체의 다음 모션을 예측하여 예측 모션를 생성하는 모션 예측부를 더 포함하고,
    상기 렌더링부는
    상기 예측 모션에 상응하게 상기 렌더링 위치를 결정하여 상기 가상 콘텐츠를 렌더링하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 장치.
  14. 적어도 하나의 이미지 센서로부터 사용자 및 증강대상체 중 적어도 하나에 상응하는 센서 영상을 획득하는 단계;
    상기 센서 영상을 이용하여 상기 사용자의 눈의 좌표를 획득하는 단계;
    상기 센서 영상을 이용하여 증강현실을 적용할 상기 증강대상체를 인식하고, 상기 센서 영상에 상응하는 복수 개의 프레임을 기반으로 상기 증강대상체에 상응하는 모션 속도를 계산하는 단계; 및
    상기 모션 속도에 따라 상기 증강대상체에 적용될 가상 콘텐츠의 투명도를 조절하고, 상기 눈의 좌표를 기반으로 상기 가상 콘텐츠의 렌더링 위치를 결정하여 렌더링하는 단계
    를 포함하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법.
  15. 청구항 14에 있어서,
    상기 렌더링하는 단계는
    상기 모션 속도의 절대값이 클수록 상기 투명도를 높게 조절하여 렌더링하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법.
  16. 청구항 15에 있어서,
    상기 렌더링하는 단계는
    상기 모션 속도의 절대값이 기설정된 최고 속도 이상인 경우에 상기 투명도를 100퍼센트로 설정하고, 상기 모션 속도의 절대값이 기설정된 최저 속도 이하인 경우에 상기 투명도를 0퍼센트로 설정하고, 상기 모션 속도의 절대값이 상기 기설정된 최고 속도 미만이면서 상기 기설정된 최저 속도를 초과하는 경우에 상기 투명도를 상기 100퍼센트와 0퍼센트 사이의 값으로 선형적으로 설정하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법.
  17. 청구항 15에 있어서,
    상기 계산하는 단계는
    전 배경 분리를 수행한 뒤 Random Forest 방식, Neural Network 방식, Support Vector Machine 방식 및 AdaBoost 방식 중 적어도 하나에 상응하는 인식 방식을 이용하여 2차원 영역에 상응하는 상기 증강대상체를 인식하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법.
  18. 청구항 17에 있어서,
    상기 계산하는 단계는
    상기 복수 개의 프레임 간에 상기 2차원 영역을 대표하는 중심 값의 변화량을 이용하여 상기 모션 속도를 계산하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법.
  19. 청구항 18에 있어서,
    상기 센서 영상을 획득하는 단계는
    상기 적어도 하나의 이미지 센서의 종류에 따라 RGB 영상, 깊이 영상, 적외선 영상 및 열화상 카메라 영상 중 적어도 하나에 상응하는 상기 센서 영상을 획득하는 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법.
  20. 청구항 14에 있어서,
    상기 눈의 좌표를 획득하는 단계는
    상기 센서 영상에 상응하는 3차원 공간 상에서 상기 사용자의 동공을 추적하여 상기 눈의 좌표를 획득하고, 상기 사용자의 동공을 추적할 수 없는 경우에 상기 눈의 좌표 대신에 상기 사용자의 머리에 상응하는 좌표를 대체하여 사용 것을 특징으로 하는 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법.
KR1020150116630A 2015-08-19 2015-08-19 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치 KR101732890B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150116630A KR101732890B1 (ko) 2015-08-19 2015-08-19 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
US15/235,570 US20170053456A1 (en) 2015-08-19 2016-08-12 Method and apparatus for augmented-reality rendering on mirror display based on motion of augmented-reality target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150116630A KR101732890B1 (ko) 2015-08-19 2015-08-19 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20170022088A true KR20170022088A (ko) 2017-03-02
KR101732890B1 KR101732890B1 (ko) 2017-05-08

Family

ID=58157679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150116630A KR101732890B1 (ko) 2015-08-19 2015-08-19 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치

Country Status (2)

Country Link
US (1) US20170053456A1 (ko)
KR (1) KR101732890B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180108048A (ko) * 2017-03-23 2018-10-04 박귀현 스마트 미러의 피사체 자동연동 장치, 방법 및 이를 이용한 스마트 미러
WO2018230760A1 (ko) * 2017-06-12 2018-12-20 주식회사 씽크브릿지 증강 현실 컨텐츠를 제공하는 전자 장치, 밴드 장치 및 컨텐츠 제공 시스템
CN109685911A (zh) * 2018-12-13 2019-04-26 谷东科技有限公司 一种可实现虚拟试衣的ar眼镜及其实现方法
WO2019103427A1 (ko) * 2017-11-23 2019-05-31 삼성전자 주식회사 이미지를 처리하는 방법, 디바이스 및 기록매체
WO2019164287A1 (ko) * 2018-02-23 2019-08-29 삼성전자 주식회사 전자 장치 및 그의 증강 현실 객체 제공 방법
WO2019177181A1 (ko) * 2018-03-12 2019-09-19 라인플러스(주) 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
CN111339918A (zh) * 2020-02-24 2020-06-26 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
KR102151265B1 (ko) * 2019-12-26 2020-09-02 주식회사 델바인 Hmd 시스템 및 이를 포함하는 재활훈련 시스템
KR20210002425A (ko) * 2018-12-11 2021-01-08 송진우 오토코칭정보 제공방법 및 시스템
KR102279487B1 (ko) * 2020-01-21 2021-07-19 심문보 키오스크를 이용한 증강현실 및 가상현실 체험 시스템
KR102313667B1 (ko) * 2021-03-22 2021-10-15 성균관대학교산학협력단 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
KR102681822B1 (ko) * 2023-03-23 2024-07-04 주식회사 큐에스 포지션 변동을 고려한 증강현실 영상 표시 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881528B2 (en) 2011-10-13 2018-01-30 Manufacturing Resources International, Inc. Transparent liquid crystal display on display case
US9633366B2 (en) 2014-06-16 2017-04-25 Manufacturing Resources International, Inc. System for tracking and analyzing display case usage
US10649273B2 (en) 2014-10-08 2020-05-12 Manufacturing Resources International, Inc. LED assembly for transparent liquid crystal display and static graphic
US10182665B2 (en) 2014-10-15 2019-01-22 Manufacturing Resources International, Inc. System and method for preventing damage to products
GB2532953A (en) * 2014-12-02 2016-06-08 Ibm Overlay display
US10692407B2 (en) * 2016-07-08 2020-06-23 Manufacturing Resources International, Inc. Mirror having an integrated electronic display
US10654422B2 (en) 2016-08-29 2020-05-19 Razmik Karabed View friendly monitor systems
US10043317B2 (en) * 2016-11-18 2018-08-07 International Business Machines Corporation Virtual trial of products and appearance guidance in display device
WO2018225187A1 (ja) * 2017-06-07 2018-12-13 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法
CN107340857A (zh) * 2017-06-12 2017-11-10 美的集团股份有限公司 自动截图方法、控制器、智能镜子和计算机可读存储介质
US10417829B2 (en) 2017-11-27 2019-09-17 Electronics And Telecommunications Research Institute Method and apparatus for providing realistic 2D/3D AR experience service based on video image
KR102366242B1 (ko) * 2017-12-07 2022-02-23 삼성전자주식회사 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
JP7152873B2 (ja) * 2018-05-10 2022-10-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN209171864U (zh) * 2018-07-11 2019-07-30 广州视源电子科技股份有限公司 一种模块化智能镜
CN209171865U (zh) * 2018-07-11 2019-07-30 广州视源电子科技股份有限公司 一种轻薄型智能镜
US10623905B2 (en) 2018-08-28 2020-04-14 Valvoline Licensing and Intellectual Property, LLC System and method for telematics for tracking equipment usage
US11017483B2 (en) 2018-08-28 2021-05-25 Valvoline Licensing and Intellectual Property, LLC System and method for telematics for tracking equipment usage
US11405547B2 (en) 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
US11145126B1 (en) 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
US11055920B1 (en) * 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
US11388354B2 (en) 2019-12-06 2022-07-12 Razmik Karabed Backup-camera-system-based, on-demand video player
KR20210072463A (ko) 2019-12-09 2021-06-17 한국전자통신연구원 인간-머신 상호작용 방법 및 이를 위한 장치
CN113140044A (zh) * 2020-01-20 2021-07-20 海信视像科技股份有限公司 一种虚拟穿戴物品显示的方法及智能试衣装置
JP7318795B2 (ja) * 2020-02-26 2023-08-01 日本電信電話株式会社 鏡像に情報を重畳して表示する表示装置と表示方法と表示プログラム
US20220072381A1 (en) * 2020-09-04 2022-03-10 Rajiv Trehan Method and system for training users to perform activities
CN112258658B (zh) * 2020-10-21 2023-02-17 河北工业大学 一种基于深度相机的增强现实可视化方法及应用
JP7414707B2 (ja) * 2020-12-18 2024-01-16 トヨタ自動車株式会社 画像表示システム
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11526324B2 (en) * 2022-03-24 2022-12-13 Ryland Stefan Zilka Smart mirror system and method
KR102434017B1 (ko) * 2022-03-30 2022-08-22 유디포엠(주) 증강현실 콘텐츠 출력 장치
US12054873B2 (en) 2022-07-11 2024-08-06 Haier Us Appliance Solutions, Inc. Washing machine appliance and augmented reality control features
CN115174985B (zh) * 2022-08-05 2024-01-30 北京字跳网络技术有限公司 特效展示方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128560A (ko) 2013-04-26 2014-11-06 (주)케이.피.디 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4443012B2 (ja) * 2000-07-27 2010-03-31 株式会社バンダイナムコゲームス 画像生成装置、方法および記録媒体
US6623428B2 (en) * 2001-10-11 2003-09-23 Eastman Kodak Company Digital image sequence display system and method
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
KR101413244B1 (ko) * 2013-02-19 2014-06-30 한국과학기술연구원 변형된 공통시역을 이용하는 다시점 3차원 영상표시장치
US9619131B2 (en) * 2013-02-22 2017-04-11 Blackberry Limited Methods and devices for displaying content
US9715113B2 (en) * 2014-03-18 2017-07-25 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128560A (ko) 2013-04-26 2014-11-06 (주)케이.피.디 개인 구매정보 기반의 인터렉티브 미러 시스템 및 그를 이용하는 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180108048A (ko) * 2017-03-23 2018-10-04 박귀현 스마트 미러의 피사체 자동연동 장치, 방법 및 이를 이용한 스마트 미러
WO2018230760A1 (ko) * 2017-06-12 2018-12-20 주식회사 씽크브릿지 증강 현실 컨텐츠를 제공하는 전자 장치, 밴드 장치 및 컨텐츠 제공 시스템
US11252400B2 (en) 2017-11-23 2022-02-15 Samsung Electronics Co., Ltd. Method, device, and recording medium for processing image
WO2019103427A1 (ko) * 2017-11-23 2019-05-31 삼성전자 주식회사 이미지를 처리하는 방법, 디바이스 및 기록매체
KR20190059666A (ko) * 2017-11-23 2019-05-31 삼성전자주식회사 이미지를 처리하는 방법, 디바이스 및 기록매체
US11164388B2 (en) 2018-02-23 2021-11-02 Samsung Electronics Co., Ltd. Electronic device and method for providing augmented reality object therefor
WO2019164287A1 (ko) * 2018-02-23 2019-08-29 삼성전자 주식회사 전자 장치 및 그의 증강 현실 객체 제공 방법
US11501500B2 (en) 2018-03-12 2022-11-15 LINE Plus Corporation Augmented reality (AR) providing apparatus and method for recognizing context using neural network, and non-transitory computer-readable record medium for executing the method
WO2019177181A1 (ko) * 2018-03-12 2019-09-19 라인플러스(주) 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
KR20210002425A (ko) * 2018-12-11 2021-01-08 송진우 오토코칭정보 제공방법 및 시스템
CN109685911A (zh) * 2018-12-13 2019-04-26 谷东科技有限公司 一种可实现虚拟试衣的ar眼镜及其实现方法
CN109685911B (zh) * 2018-12-13 2023-10-24 谷东科技有限公司 一种可实现虚拟试衣的ar眼镜及其实现方法
KR102151265B1 (ko) * 2019-12-26 2020-09-02 주식회사 델바인 Hmd 시스템 및 이를 포함하는 재활훈련 시스템
KR102279487B1 (ko) * 2020-01-21 2021-07-19 심문보 키오스크를 이용한 증강현실 및 가상현실 체험 시스템
CN111339918A (zh) * 2020-02-24 2020-06-26 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN111339918B (zh) * 2020-02-24 2023-09-19 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
KR102313667B1 (ko) * 2021-03-22 2021-10-15 성균관대학교산학협력단 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
WO2022203229A1 (ko) * 2021-03-22 2022-09-29 성균관대학교산학협력단 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
KR102681822B1 (ko) * 2023-03-23 2024-07-04 주식회사 큐에스 포지션 변동을 고려한 증강현실 영상 표시 방법

Also Published As

Publication number Publication date
KR101732890B1 (ko) 2017-05-08
US20170053456A1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
KR101732890B1 (ko) 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11170521B1 (en) Position estimation based on eye gaze
CN107209950B (zh) 从现实世界材料自动生成虚拟材料
WO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20150138069A1 (en) Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
CN107003521A (zh) 基于眼睛会聚的显示能见度
KR20170085477A (ko) 가상 현실 환경을 위한 가려진 얼굴 부분 재구성 방법 및 시스템
EP3398004B1 (en) Configuration for rendering virtual reality with an adaptive focal plane
CN112509040A (zh) 对提供镜面反射和反射修改的表面进行基于图像的检测
CN111226187A (zh) 通过镜子与用户交互的系统和方法
CN110267025B (zh) 虚拟3d显示的渲染方法、装置以及其显示方法、系统
KR20160096392A (ko) 직관적인 상호작용 장치 및 방법
WO2020115815A1 (ja) ヘッドマウントディスプレイ装置
JP2017107359A (ja) 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
US11170578B1 (en) Occlusion detection
CN108205823A (zh) Mr全息真空体验店和体验方法
GB2595909A (en) Gaze tracking apparatus and systems
US11544910B2 (en) System and method for positioning image elements in augmented reality system
JPH09181972A (ja) 画像合成装置
Petit et al. Virtualization gate
US20240103618A1 (en) Corrected Gaze Direction and Origin
JP6562371B1 (ja) 表示装置、表示処理装置、および表示処理プログラム
CN116612234A (zh) 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡
Kiyokawa Redesigning vision by head worn displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant