KR102265996B1 - 외형들을 캡처하고 디스플레이하는 디바이스들, 시스템들 및 방법들 - Google Patents

외형들을 캡처하고 디스플레이하는 디바이스들, 시스템들 및 방법들 Download PDF

Info

Publication number
KR102265996B1
KR102265996B1 KR1020157019333A KR20157019333A KR102265996B1 KR 102265996 B1 KR102265996 B1 KR 102265996B1 KR 1020157019333 A KR1020157019333 A KR 1020157019333A KR 20157019333 A KR20157019333 A KR 20157019333A KR 102265996 B1 KR102265996 B1 KR 102265996B1
Authority
KR
South Korea
Prior art keywords
image
user
camera
mirror
transform
Prior art date
Application number
KR1020157019333A
Other languages
English (en)
Other versions
KR20150102054A (ko
Inventor
니시 빌코브스키
오페르 사반
Original Assignee
아이즈매치 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/843,001 external-priority patent/US8982109B2/en
Application filed by 아이즈매치 리미티드 filed Critical 아이즈매치 리미티드
Publication of KR20150102054A publication Critical patent/KR20150102054A/ko
Application granted granted Critical
Publication of KR102265996B1 publication Critical patent/KR102265996B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/22—Optical, colour, or shadow toys
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J13/00—Panoramas, dioramas, stereoramas, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00—Show stands, hangers, or shelves, adapted for particular articles or materials
    • A47F7/19—Show stands, hangers, or shelves, adapted for particular articles or materials for garments
    • A47F2007/195—Virtual display of clothes on the wearer by means of a mirror, screen or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

외형 비교를 가능하게 하는 시스템들, 디바이스들, 및 방법들. 그 시스템은 적어도 하나의 인터랙티브 이미징 및 디스플레이 스테이션을 포함한다. 그 스테이션은 미러 또는 디스플레이 모드 중 하나 또는 양자를 동작시킬 수 있는 미러 디스플레이 디바이스; 미러 디스플레이 디바이스의 앞의 시계에서 하나 이상의 외형들을 캡처하기 위한 이미징 디바이스; 및/또는 사용자 커맨드에 따라 미러 디스플레이 디바이스의 동작 모드를 선택하기 위한 이미지 제어 유닛을 포함한다.

Description

외형들을 캡처하고 디스플레이하는 디바이스들, 시스템들 및 방법들{DEVICES, SYSTEMS AND METHODS OF CAPTURING AND DISPLAYING APPEARANCES}
관련 출원들에 대한 상호 참조
본 출원은 2013 년 3 월 15 일자로 출원된 미국 출원 제 13/843,001 호와, 2012 년 12 월 18 일자로 출원된 미국 가출원 제 61/738,957 호의 우선권 혜택을 주장한다. 상기 언급된 출원들의 전체 개시물들은 참조에 의해 본원에 통합된다.
기술분야
본 발명은 일반적으로 이미징 및 디스플레이 시스템들에 관한 것이고, 더 구체적으로, 모니터들, 및 예컨대 소매 및/또는 서비스 환경들, 의료 또는 가정 환경들, 화상 회의, 게임, 등에서의 인터랙티브 디스플레이들에 관한 것이다. 특정 구현들은, 평판 디스플레이가 미러로서 보이게 하는 것과 관련된다. 다른 특정 구현은, 평판 디스플레이가 아이-투-아이 (eye to eye) 화상 회의를 생성하기 위해 자신의 눈을 보고 있는 사람의 비디오를 제공하게 하는 것과 관련된다.
소비자들은 소비자 물품들, 예를 들면, 셔츠, 팬츠, 코트, 및 다른 의복과 같은 옷과 같은 의류뿐만 아니라 신발, 안경, 및/또는 화장품, 가구, 등등과 같은 임의의 다른 아이템들에 대하여 쇼핑할 수도 있다. 쇼핑은 일반적으로 쇼핑 시설, 예컨대 소매점들에서 발생한다. 어떤 물품을 구입할 것인지 결정하기 전에, 소비자는 다양한 물품들 (예컨대, 의류, 화장품들) 을 시착하고 (try on) 및/또는 다른 백그라운드 물품들 (예컨대, 가구) 과 함께 포즈를 취할 수도 있고, 각각의 트라이얼을 위해, 예컨대 소매점의 트라이얼 구역에 위치될 수도 있는 미러 앞에서 사용자-외형을 볼 수도 있다. 예를 들면, 소비자는 제 1 물품, 예컨대 슈트를 시착하고, 그 제 1 트라이얼을 위해 미러 앞에서 그/그녀의 사용자-외형을 볼 수도 있다. 그 후에, 소비자는 제 2 물품, 예컨대 다른 슈트를 시착할 수도 있다. 그 후에, 소비자는 제 1 물품과 제 2 물품 간에 정신적 비교를 수행하기 위해 제 1 트라이얼에서 그/그녀의 사용자 외형을 기억해야하고, 그에 따라 2 개 물품들 중 어떤 것이 소비자에게 더 잘 맞을 수도 있는지를 평가할 수도 있다.
불행하게도, 소비자가 다수의 물품들을 시착할 수도 있고 및/또는 제 2 트라이얼이 제 1 트라이얼로부터 상당한 양의 시간 이후에 또는 심지어 상이한 상점에서 발생할 수도 있기 때문에, 소비자는 각 트라이얼에 대하여 그/그녀의 외형을 상기할 수 없을 수도 있고, 따라서 이전에 시착된 물품들, 예컨대 의류 아이템들을 반복하여 재시도할 것이 요구될 수도 있다. 이는 불만스럽고 비효율적인 쇼핑 경험을 초래할 수도 있다.
종래의 미러 (즉, 반사면) 는 개인이 실제 자기 외형을 실시간으로 살펴보기 위한 일반적이고 가장 신뢰할만한 툴이다. 종래의 미러를 대체하기 위해 카메라와 스크린의 조합과 같은 몇가지 대안들이 종래 기술에 의해 제안되었다. 그러나, 이들 기술들은 확신적인 것이 아니며, 개인이 종래의 미러에서 자신을 보았던 것처럼 개인의 신뢰할만한 이미지로서 허용되지 않는다. 이는 주로 카메라에 의해 생성된 이미지가 미러에 의해 생성된 이미지와 매우 상이하기 때문이다.
사용자가 미러에서 자신을 보고 있을 경우, 그가 실제로 보고 있는 것은, 사용자가 사용자로부터 미러까지의 거리의 2 배인 거리에 서있는 것처럼 사용자 자신의 반사물이다. 이는 도 5a 에 도시되며, 여기서 거리 D1 에 서있는 사용자는 D1 의 2 배와 동일한 거리에 있는 사용자 자신을 본다. 유사하게, 도 5b 에 도시된 것과 같이, 거리 D2 에 서있는 사용자는 거리 2xD2 에 있는 사용자 자신을 볼 것이다. 추가로, 사용자의 시계 (FOV) 의 각도는, 사용자가 미러까지의 거리를 변화시킬 경우, 예컨대 더 가까이 가는 경우에 변화한다. FOV 는 미러로부터 사용자의 눈까지 및 미러의 모든 측면들 (직사각형 또는 사각형 미러에 대해서는 4 개 측면들) 상의 가시 이미지의 에지까지의 완전 반사각 (β) 에 의해 제한된다. 도 5b 에서, 수직 FOV 의 하부는 사용자의 눈을 미러의 하부로 연결하고 사용자의 신발로 반사하는 라인들에 의해 형성된 각도 (β) 의 2 배로서 예시된다. 결과적으로, 도 5b 에 도시된 것과 같이, 사용자가 미러에 접근할 경우, 사용자가 계속하여 동일한 사이즈의 반사물을 보기 때문에 FOV 각도가 증가하며 (FOV1 < FOV2), 따라서 사용자는 실제로, 대략적으로 동일한 사이즈이지만 더 가깝게 자신을 볼 수 있다. 이는 카메라와 현저한 차이를 보이며, 여기서 사용자가 카메라에 가까워질수록, 사용자는 이미지에서 더 크게 보인다. 이는 주로, 카메라의 FOV 가 고정되고 카메라 렌즈의 사이즈 또는 초점 길이에 의해 주로 결정되기 때문이다.
미러의 반사에 관하여 유의할 다른 현상들이 있다. 예를 들어, 사용자가 미러에 접근할 경우, 사용자의 눈의 반사는 항상, 미러 안으로의 동일한 가상 라인 상에 머무를 것이다. 반대로, 카메라의 높이에 의존하여, 사용자가 카메라에 가까워질수록, 사용자의 눈은 상이한 레벨들로 보일 수도 있다. 카메라와의 다른 차이는, 사용자가 미러를 볼 경우, 사용자의 이미지는 반전되어 보인다는 것이다 (예컨대, 사용자가 오른손을 들 경우, 미러에는 왼손이 올라간 것으로 보일 것이다). 그러나, 미러는 위아래를 바꾸지 않는 것처럼 좌우를 "바꾸지" 않는다. 미러는 전방/후방 축을 반전시키고 (즉, 미러 앞에 있는 사물이 미러 뒤에 있는 것으로 보인다), 우리는 전후에 대하여 좌우를 정의한다. 또한, 미러에서의 이미지는 가상이기 때문에, 미러가 전체 바디보다 더 작을 수 있고, 사용자는 여전히 전체 바디의 반사물을 볼 것이다. 그 이유는, 완전 반사 (도 5a 에서, 입사각 β 은 반사각 β 과 동일함) 가 사용자가 미러에 접근하는 동안의 유효 시계를 증가시킬 수 있는 것 때문이다. 또한, 미러는 2 차원 오브젝트이지만, 사용자는 그의 외형을 3 차원으로 볼 수 있다.
앞서 언급된 이유들 중 적어도 일부에 대하여, 지금까지 미러를 확실하게 모방하기 위해 어떤 시스템도 제공되지 않았다. 미러를 모방하는 것은, 소매점 및 다른 분야들에서의 다수의 애플리케이션들을 가질 수 있고, 소셜 네트워크들 및 다른 모바일 기술들에서의 공유와 같이, 실제 생활 경험들을 가상 생활 경험들과 통합하는 가능성을 열어놓는다.
본 발명의 일부 예시적인 실시형태들은 외형 비교를 가능하게 하는 디바이스들, 시스템들 및/또는 방법들을 포함한다.
본 발명의 일부 예시적인 실시형태들에 따라, 외형 비교를 가능하게 하는 시스템은 적어도 하나의 인터랙티브 이미징 및 디스플레이 스테이션을 포함할 수도 있다. 그 스테이션은 예컨대, 미러 모드 또는 디스플레이 모드 중 하나 또는 양자를 동작시킬 수 있는 미러 디스플레이 디바이스; 미러-디스플레이 디바이스의 앞의 시계로부터 하나 이상의 외형들을 캡처하기 위한 이미징 디바이스; 및/또는 사용자 커맨드에 따라 미러 디스플레이 디바이스의 동작 모드를 선택하기 위한 이미지 제어 유닛을 포함할 수도 있다. 미러 디스플레이 디바이스는 평면 TV 의 형태일 수도 있으며, 여기서 미러 모드 동안 TV 는 카메라로부터 트랜스포즈된 라이브 비디오 피드를 제시하는 반면, 디스플레이 모드 동안 TV 는 이전 시간에 취득되고 메모리로부터 인출된 트랜스포즈된 비디오를 제시한다.
본 발명의 일부 예시적인 실시형태들에 따라, 이미지 제어 유닛은 사용자 커맨드를 수신하기 위한 입력 디바이스를 포함할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 이미지 제어 유닛은 하나 이상의 외형들에 대응하는 하나 이상의 이미지들의 데이터를 저장하기 위한 스토리지 디바이스를 포함할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 미러-디스플레이 디바이스는 적어도 제 1 및 제 2 의 동시-디스플레이 가능한 프레임들로 분할될 수도 있다. 제 1 프레임은 예컨대, 미러 모드와 디스플레이 모드 양자에서 선택적으로 동작가능할 수도 있다. 제 2 프레임은 예컨대, 미러 모드에서 동작가능할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 이미징 디바이스는 외형들의 3 차원 이미지들을 캡처할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 미러-디스플레이 디바이스는 미리정의된 시퀀스들로 외형들의 이미지들을 디스플레이할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 이미지 제어 유닛은 예컨대, 사용자로부터 수신된 사용자 식별 데이터에 기초하여, 외형들의 이미지로의 사용자 액세스가 사용자에게 허가되는 것을 선택적으로 인에이블할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 적어도 하나의 인터랙티브 이미징 및 디스플레이 시스템은 네트워크를 통해 통신할 수 있는 2 이상의 인터랙티브 이미징 및 디스플레이 스테이션들을 포함할 수도 있다. 예를 들어, 2 이상의 스테이션들은 외형들의 이미지들을 표현하는 각각의 다른 데이터 간에 통신할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 이미지 제어 유닛은 예컨대, 디스플레이 모드 동안, 외형들에 대응하는 하나 이상의 이미지들을 디스플레이하도록 미러-디스플레이 디바이스를 제어할 수도 있다. 하나 이상의 이미지들은 예컨대, 하나 이상의 미러에 비춰진 외형들을 포함할 수도 있다. 미러에 비춰진 외형들은, 모니터 상에 제시될 경우, 미러에서의 외형을 닮은 이미지들과 비디오를 생성하기 위해, 카메라로부터 획득된 이미지들 또는 비디오 피드를 트랜스포즈함으로써 획득된다.
본 발명의 일부 예시적인 실시형태들에 따라, 외형 비교를 가능하게 하는 방법은, 미러 모드 또는 디스플레이 모드로 선택가능하게 동작될 수 있는 미러-디스플레이 디바이스의 미러 동작 모드를 사용하는 단계; 미러-디스플레이 디바이스의 앞에서 제 1 트라이얼의 외형에 대응하는 이미지를 캡처하는 단계; 제 1 트라이얼의 이미지를 저장하는 단계; 미러-디스플레이 디바이스의 디스플레이 동작 모드를 선택하는 단계; 및/또는 제 1 트라이얼의 이미지를 취출하고 그 이미지를 미러-디스플레이 디바이스 상에 디스플레이하는 단계를 포함할 수도 있다.
추가의 실시형태들에 따르면, 실감나는 미러 외형을 생성하기 위해 카메라와 평면 스크린 디스플레이를 활용하는 방법들 및 장치들이 제공된다.
본 발명으로 간주되는 주제는 본 명세서의 결론 부분에서 특히 지시되고 뚜렷하게 청구된다. 그러나, 본 발명은 구성 및 동작 방법과 함께 그 특징들 및 장점들에 대해서는, 이하 상세한 설명을 참조하여 첨부된 도면들과 함께 읽을 때 최대로 이해될 수도 있다.
도 1 은 본 발명의 일부 예시적인 실시형태들에 따라 외형 비교를 가능하게 하는 인터랙티브 시스템의 개략적인 도시이다.
도 2a 및 도 2b 는 본 발명의 일부 예시적인 실시형태들에 따른 인터랙티브 시스템을 사용한, 외형 비교의 2 개의 순차적인 스테이지들의 개략적인 도시이다.
도 3a, 도 3b 및 도 3c 는 본 발명의 일부 예시적인 실시형태들에 따른 인터랙티브 시스템을 사용한, 외형 비교의 3 개의 순차적인 스테이지들의 개략적인 도시이다.
도 4 는 본 발명의 일부 예시적인 실시형태들에 따라 하나 이상의 사용자 외형들의 비교를 가능하게 하는 방법의 개략적인 플로우차트이다.
도 5a 및 도 5b 는 미러 반사를 개략적으로 도시한다.
도 6 은 낮은 이미지 왜곡을 획득하기 위해 사용자의 눈높이에서 수직 어레이에 하나의 카메라 또는 다수의 카메라들을 갖는 일 실시형태를 도시한다.
도 7 은 스크린 위에 장착되고 수평으로 포인팅된 카메라를 사용할 경우 사용자가 미러에 접근하거나 미러로부터 멀리 이동할 때 발생하는 것을 도시하는 개략도이다.
도 8 은 카메라가 모니터 스크린 위에 위치되고 아래쪽으로 기울어진 시스템을 도시하는 개략도이다.
도 9 는 미러를 모방하는 이미지를 생성하기 위해 이미지 변환을 수행하는 본 발명의 일 실시형태의 블록 다이어그램이다.
도 10a 및 도 10b 는 본 발명의 실시형태들에 따른 캘리브레이션 프로세스들을 도시하는 개략도들이다.
도 11 은 본 발명의 일 실시형태에 따른 프로세스를 도시하는 블록 다이어그램이다.
도 12 는 본 발명의 일 실시형태에 따라 캘리브레이션 및 이미지 변환을 수행하기 위한 모듈들 및 프로세스들을 도시하는 블록 다이어그램이다.
도 13 은 캘리브레이션 및 변환 맵핑이 시스템의 설치 이후에 현장에서 수행되는 다른 실시형태를 도시한다.
도 14 는 카메라의 이미지로부터 데이터를 추출하는 일 실시형태를 도시한다.
도 15 는 n 개 카메라들로부터 이미지들의 스티칭이 수행되는 일 실시형태를 도시한다.
도 16 은 사용자가 미러에서 자신을 직접 보는 것을 최대한으로 모방하는 눈을 제시하는 일 실시형태를 도시한다.
도시의 간단함 및 명확함을 위해, 도면들에 도시된 요소들은 반드시 정확하게 또는 스케일에 맞게 도시되는 것은 아님이 인식될 것이다. 예를 들어, 일부 엘리먼트들의 치수들은 명확성을 위해 다른 엘리먼트들 또는 일 엘리먼트에 포함된 몇몇 물리적인 컴포넌트들에 비해 과장될 수도 있다. 추가로, 적절히 고려된다면, 참조 부호들은 도면들 중에서 대응하거나 유사한 엘리먼트들을 표시하도록 반복될 수도 있다. 이들 도면들은 본 발명의 실시형태들의 예들을 제시하고, 본 발명의 범위를 제한하기 위한 것은 아님이 인식될 것이다.
이하 설명에서, 본 발명의 다양한 양태들이 설명될 것이다. 설명의 목적으로, 특정 구성들 및 상세들은 본 발명의 철저한 이해를 제공하기 위해 기술된다. 하지만, 본 발명은 본원에 제시된 특정 상세들 없이도 실시될 수도 있음이 당업자에게 명백할 것이다. 또한, 당업계에 공지된 구현들 및 원칙들에 의존하는 본 발명의 일부 특징들은, 본 발명을 모호하게 하지 않도록 생략되거나 간략화될 수도 있다.
본 발명의 일부 예시적인 실시형태들은, 이하 상세히 설명되는 것과 같이, 사용자가 하나 이상의 외형들을 비교하는 것, 예컨대 상이한 외형들 간에 비교하는 것을 가능하게 하는 인터랙티브 시스템을 포함할 수도 있다.
본원에서 사용되는 것과 같은 용어 "사용자-외형" 은 소비자 물품을 시도하고 있는 소비자의 외형과 관련될 수 도 있다. 그 물품은 예컨대, 옷, 신발, 안경, 의복, 넥타이 등과 같은 의류; 소비자의 주변에 위치된 물품, 예컨대 가구; 뿐만 아니라 예컨대 화장품, 머리 장식, 머리 모양등과 같은 다른 아이템들, 물품들, 디자인들 또는 제품들을 포함할 수도 있다. 유사하게, 실시형태들은 예컨대, 디자인들의 버전들을 보기를 원하는 패션 디자이너들을 위한 기술적 사용에 채용될 수도 있고, 가족 구성원들의 실제 사이즈의 평생 앨범을 만들고 있는 집에 있는 사람이 사용하기 위한 것일 수 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 그 시스템은 사용자-외형들을 캡처할 수 있는 이미징 디바이스, 및 미러 또는 디스플레이로서 선택가능하게 동작할 수 있는 미러-디스플레이 디바이스를 포함할 수도 있다. 미러 모드에 있을 경우, 미러-디스플레이 디바이스는 사용자가 소비자 물품의 현재 트라이얼의 사용자-외형을 평가 및/또는 볼 수 있게 할 수도 있다. 이하 추가로 설명되는 것과 같이, 이는 평판 디스플레이로의 라이브 비디오 피드를 사용하여 실행될 수 있으며, 여기서 비디오 피드는 미러를 모방하도록 스크린 상으로의 프리젠테이션 이전에 수정된다. 디스플레이 모드에 있을 경우, 미러-디스플레이 디바이스는 사용자가 예컨대, 이하 상세히 설명되는 것과 같이 이전 트라이얼의 예컨대, 이미징 디바이스에 의해 이전에 캡처된, 하나 이상의 사용자-외형들을 평가 및/또는 볼 수 있게 할 수도 있다.
도 1 을 참조하여, 본 발명의 일부 예시적인 실시형태들에 따라 인터랙티브 시스템 (100) 을 개략적으로 도시한다.
본 발명의 일부 예시적인 실시형태들에 따라, 시스템 (100) 은 이미지 제어 유닛 (120), 이미징 디바이스 (130) (예컨대, 스틸 또는 비디오 카메라), 및 미러-디스플레이 디바이스 (140) (예컨대, 평판 디스플레이) 를 포함할 수도 있는 인터랙티브 이미징 및 디스플레이 시스템 (110) 을 포함할 수도 있다. 이미지 제어 유닛 (120) 은 제어기 (121), 네트워크 인터페이스 (122), 스토리지 디바이스 (123), 입력 디바이스 (124) 를 포함할 수도 있고, 이들의 엘리먼트들 모두는 이하 상세히 설명된다.
본 발명의 양태들은, 외형 비교 시스템, 예컨대 시스템 (100) 의 개별 유닛들인, 이미징 디바이스, 예컨대 이미징 디바이스 (130), 미러-디스플레이 디바이스, 예컨대 미러-디스플레이 디바이스 (140), 및/또는 이미지 제어 유닛, 예컨대 이미지 제어 유닛 (120) 의 예시적인 실시형태들의 컨텍스트에서 본원에 설명된다. 그러나, 본 발명은 이 점에 있어서 한정되지 않으며, 본 발명의 다른 실시형태들에 따라, 그 시스템은 이미징 디바이스, 미러-디스플레이 디바이스, 및/또는 이미지 제어 유닛의 임의의 적절한 구성, 조합, 및/또는 배열을 포함할 수도 있는 것이 당업자에 의해 인식될 것이다. 예를 들어, 그 시스템은 미러-디스플레이 디바이스, 이미징 디바이스 및/또는 이미지 제어 유닛을 포함하는 통합된 모듈을 포함할 수도 있다. 예를 들어, 이미징 디바이스 및/또는 이미지 제어 유닛은 미러-디스플레이 디바이스의 필수 부분으로서 구현될 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 미러-디스플레이 디바이스 (140) 가 구성될 수도 있고 및/또는 미러-디스플레이 디바이스 (140) 가 2 개의 동작 모드들로 선택가능하게 동작하게 하는 컴포넌트들 및 메커니즘들을 포함할 수도 있다. 제 1 동작 모드 ("미러-모드") 에서, 미러-디스플레이 디바이스 (140) 는 미러로서 동작할 수도 있다. 제 2 동작 모드 ("디스플레이 모드") 에서, 미러-디스플레이 디바이스 (140) 는 디스플레이로서 동작할 수도 있다. 미러-디스플레이 디바이스 (140) 가 미러-모드로 동작할 경우, 시스템 (100) 의 사용자 (111) 는 미러-디스플레이 디바이스 (140) 에 의해 실시간으로 반사될 수도 있는 것과 같은, 소비자 물품의 제 1 트라이얼의 사용자-외형을 평가하고 및/또는 볼 수도 있다. 이미징 디바이스 (130) 는 제 1 트라이얼의 사용자-외형의 이미지를 캡처할 수도 있다. 캡처된 이미지는 예컨대, 이하 설명된 것과 같은 스토리지 디바이스 (123) 에 의해 저장될 수도 있다. 그 후, 사용자 (111) 는 제 2 물품을 시도하면서 미러-디스플레이 디바이스 (140) 의 앞에서 자세를 취할 수도 있고, 이미징 디바이스 (130) 는 제 2 트라이얼의 사용자-외형의 제 2 이미지를 캡처할 수도 있다. 사용자는 미러 모드로 세팅된 미러-디스플레이 디바이스 (140) 를 사용하여 제 2 물품을 실시간으로 볼 수 있을 수도 있다. 미러-디스플레이 디바이스 (140) 가 디스플레이 모드로 스위칭될 경우, 미러-디스플레이 (140) 는 이전에 캡처된 이미지들 중 하나 이상을 디스플레이하도록 제어될 수도 있다. 미러-디스플레이 디바이스 (140) 가 미러 모드 또는 디스플레이 모드로 선택가능하게 동작하는 능력으로 인해, 사용자 (111) 는 이하 상세히 설명되는 것과 같이, 제 1 및 제 2 트라이얼들의 사용자-외형들 간을 동시에 또는 순차적으로 비교할 수도 있다.
예컨대, 도 1, 도 2a, 도 2b, 도 3a, 및/또는 도 3b 에 도시된 것과 같은 본 발명의 일부 예시적인 실시형태들에서, 제어기 (121) 는 디스플레이 동작 모드 동안, 디바이스 (140) 가 외형들의 미러-이미지를 디스플레이하도록 제어할 수도 있다. 그러나, 본 발명은 이 점에 있어서 제한되지 않으며, 다른 실시형태들에서 제어기는 예컨대 이하 설명되는 것과 같이, 디스플레이 동작 모드 동안, 디바이스 (140) 가 예컨대 회전된 외형, 반전된 외형, 실질적으로 변경되지 않은, 예컨대 정면의 외형, 렌더링된 외형 등등과 같은 외형에 대응하는 임의의 다른 이미지를 디스플레이하도록 제어할 수도 있는 것이 당업자에 의해 인식될 것이다.
디바이스 (140) 는 미러-디스플레이 디바이스 (140) 를 제 1 및 제 2 동작 모드들로 선택가능하게 동작시킬 수 있는 임의의 적절한 구성 및/또는 메커니즘을 포함할 수도 있다. 예를 들어, 일 실시형태에서 디바이스 (140) 는 예컨대, 반사도, 굴절률, 등등과 같은 광학 속성들을, 예컨대 액정들에 인가된 전압에 의존하여 변화시킬 수도 있는, 액정 (LC) 엘리먼트들의 어레이를 포함할 수도 있다. 예를 들어, 제 1 전압을 인가하는 것은 액정들의 광학 속성을 변화시키는 것을 초래하여, 미러-디스플레이 디바이스 (140) 가 미러로서 동작할 수도 있게 하고; 제 2 전압은 액정들의 광학 속성들을 변화시키는 것을 초래하여, 미러-디스플레이 디바이스 (140) 가 액정 디스플레이로서 동작할 수도 있게 한다.
본 발명의 다른 실시형태에서, 예컨대 미러-디스플레이 디바이스 (140) 는 부분-반사 또는 일방향성 미러에 내장된 액정 디스플레이 (LCD) 디바이스를 포함한다. 따라서, LCD 가 비활성 동작 모드로 스위칭된다면, 미러-디스플레이 (140) 는 사용자가 사용자-외형을 적당한 품질 및 밝기로 볼 수 있도록 그 위에 입사하는 충분한 광을 수동으로 반사시킬 수도 있다. 대조적으로, LCD 가 활성 동작 모드로 튜닝될 경우, LCD 디바이스에 의해 디스플레이된 이미지들은, 그들이 미러-디스플레이의 표면으로부터의 나머지 반사들보다 상당히 밝을 수도 있기 때문에, 사용자 (111) 가 볼 수도 있다. 다른 실시형태들에서, 그 시스템은 디스플레이 자체가 없이도 독립형 컴퓨터에서 구현되어, 그 시스템의 구매자가 자기 소유의 디스플레이를 공급하거나, 시스템이 스크린 없이 사용되지만 고객들의 모바일 디바이스들 또는 태블릿들에 의해 원격 제어되는 구성들을 가질 수 있게 하며, 따라서 고객들은 그들의 모바일 및 원격 제어된 레코딩에서 그들의 외형들을 볼 수 있다.
또한 일부 경우들에서, 카메라는 디스플레이로부터 떨어져 있을 수도 있고, 예컨대 고급 브랜드들에서는 스크린을 벽에 내장하고, 적절한 렌즈들을 갖는 카메라를 멀리 떨어진 위치에 둘 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 미러 디스플레이 디바이스는 예컨대, 인터넷 사이트 <http://www.research.philips.com/newscenter/archive/2003/mirrortv.html-> 에서 설명된 것과 같이, Royal Philips Electronics 로부터 입수가능한 모델 번호 32PM8822/10 와 같은 LCD HD 준비 미러 TV 에 의해 구현될 수도 있다. 그러한 디바이스는, 예컨대 폴리머-기반 유기 발광 디스플레이 (OLED) 를 포함할 수도 있다. 미러-디스플레이 디바이스 (140) 는 임의의 적절한 디스플레이 기술을 구현하고 있는 임의의 다른 적절한 디바이스를 포함할 수도 있다. 예를 들어, 디바이스 (140) 는 NED (nano-emissive display); PDP (plasma display panel); CRT (cathode ray tube display); DLP (Digital Light Processing) 디스플레이; SED (surface conduction electron emitter display); 태블릿 스크린; 평판 SED; 유기 전자 디스플레이; 전자 종이; 3-차원 디스플레이, 예컨대 홀로그램 디스플레이; TFT (thin film resistor) 디스플레이; 광학 TFT; 도트 매트릭스 LED 스크린; 예컨대, 미러-디스플레이 (140) 가 이미징 디바이스 (130) 의 기능을 수행할 수도 있도록 CCD 능력들을 갖는 LCD; 그리기가능 LCD; SED (surface-conduction electron-emitter) 디스플레이; HDTV (high definition television) 디스플레이; 후방 프로젝터 디스플레이 디바이스, 등등을 포함할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 미러-디스플레이 디바이스 (140) 앞의 시계 (FOV) 로부터 하나 이상의 외형들을 캡처하도록 구성될 수도 있다. 미러-디스플레이 디바이스 (140) 앞의 FOV 는 예컨대, 미러-디스플레이 디바이스 (140) 앞의 필드, 영역, 장면, 존, 및/또는 지역을 포함할 수도 있다. 예를 들어, FOV 는 미러 모드에 있는 경우, 미러-디스플레이 디바이스 (140) 에 의해 캡처된 필드, 영역, 장면, 존, 및/또는 지역의 적어도 부분을 포함할 수도 있다.
본 발명의 범위가 이 점에 있어서 제한되는 것은 아니지만, 이미징 디바이스 (130) 는 예컨대, CCD 카메라, 비디오 카메라, 3D-이미지들의 캡처를 가능하게 하는 카메라 및/또는 카메라 셋업, 예컨대 입체 카메라 등등일 수도 있거나 이들을 포함할 수도 있다. 입체 카메라는 예컨대, 사용자-외형의 3D 이미지를 캡처하도록 구성될 수도 있다. 입체 카메라는 예컨대, 2 개의 인간 눈 사이의 거리에 대응할 수도 있는 서로 간의 거리를 갖는 2 개의 렌즈들을 포함할 수도 있다. 따라서, 스테레오 카메라는 입체 사진술로 알려진, 인간의 양안 시각을 시뮬레이션 할 수 있을 수도 있고, 따라서 3D 이미지를 캡처할 수 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 스테이션 (110) 은 원하는 위치, 예컨대, 회사, 가정, 또는 소매점, 예컨대 의류매장의 외형-비교 영역에 위치될 수도 있는 독립형 유닛일 수도 있다.
본 발명의 다른 예시적인 실시형태들에 따라, 스테이션 (110) 은 예컨대, 네트워크 인터페이스 (122) 를 통해 네트워크, 예컨대 네트워크 (150) 에 접속될 수도 있고, 따라서 스테이션 (110) 과, 예컨대 스테이션 (160) 및/또는 스테이션 (170) 과 같이 네트워크 (150) 와 연계된 하나 이상의 다른 스테이션들과의 통신을 가능하게 한다.
본 발명의 일부 예시적인 실시형태들에 따라, 스테이션 (110) 은 본원에 설명된 것과 같은 네트워크 (150) 에서의 다른 스테이션들로부터 정보를 전송하거나 수신하기 위해 네트워크 (150) 와 상호작용하도록 구성될 수도 있는 네트워크 인터페이스 (122) 를 포함할 수도 있다. 그러한 정보는 이하 더 상세히 설명되는 것과 같이, 시스템 (100) 의 다양한 스테이션들, 예컨대 스테이션 (160 및/또는 170) 에서 캡처된 사용자들의 이미지들에 대응할 뿐만 아니라 시스템으로의 보안 액세스를 가능하게 하도록 사용자들의 정보를 식별하는 데이터를 포함할 수도 있지만, 이에 제한되지 않는다. 네트워크 (150) 는 예컨대, 로컬 영역 네트워크 (LAN), 광역 네트워크 (WAN), 글로벌 통신 네트워크, 예컨대 인터넷, 예컨대 무선 LAN (WLAN) 통신 네트워크와 같은 무선 통신 네트워크, 블루투스 네트워크, 무선 가상 개인 네트워크 (VPN), 셀룰러 통신 네트워크, 예컨대 주파수 도메인 듀플렉싱 (FDD) 네트워크와 같은 제 3 세대 파트너십 프로젝트 (3GPP), 이동 통신용 글로벌 시스템 (GSM) 네트워크, 광대역 코드 분할 다중 접속 액세스 (WCDMA) 셀룰러 통신 네트워크, 등등을 포함할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 하나 이상의 스테이션들 (160 및 170) 은 휴대용 디바이스들일 수도 있다. 그러한 휴대용 디바이스들의 비-제한적인 예들은, 모바일 전화, 랩탑 컴퓨터, 노트북 컴퓨터, 모바일 컴퓨터, 태블릿 컴퓨터, PCS (Personal Communication Systems) 디바이스, PDA (Personal Digital Assistants), 무선 통신 디바이스, 무선 통신 디바이스를 통합하는 PDA 디바이스, 셀룰러 전화, 무선 전화, 스마트카드, 토큰, 메모리 카드, 메모리 유닛, 등등을 포함할 수도 있다. 본 발명의 일부 실시형태들에서, 하나 이상의 스테이션들 (160 및 170) 은 예컨대, 데스크탑 컴퓨터, 텔레비전 세트, 서버 컴퓨터, 등등과 같은 비-휴대용 디바이스들일 수도 있다.
본 발명의 일부 실시형태들에 따르면, 시스템 (100) 은 또한, 예컨대 네트워크 (150) 를 통해 스테이션들 (110, 160 및/또는 170) 에 접속될 수도 있는 제어 센터 (190) 를 포함할 수도 있다. 제어 센터 (190) 는 예컨대, 하나 이상의 스테이션들 (110, 160 및/또는 170) 로부터 수신된 사용자-외형들의 데이터 및/또는 이미지들을 표현할 수도 있는, 데이터를 수신하고 저장할 수도 있다.
본 발명의 일부 실시형태들에 따르면, 스테이션들 (110, 160 및/또는 170) 은 예컨대, 상이한 소매점 체인과 같은 상이한 위치들에 위치될 수도 있다. 추가로, 스테이션들 (110, 160 및/또는 170) 은 빌딩 내의 상이한 위치들, 예컨대 상이한 층들, 동일한 층의 상이한 섹션들 등등에 위치될 수도 있다. 그러한 위치들은, 예컨대 의류 매장들, 신발 매장들, POS (points of sale), 컨셉 쇼륨들, 전시공간들, 쇼핑몰들, 안경 매장들, 화장품 매장들, 스포츠 클럽들, 보건소들, 피트니스 센터들, 공항들, 기차역들, 커피숍들, 레스토랑들, 호텔들, 집, 등등을 포함할 수도 있다. 하나 이상의 스테이션들 (110, 160 및/또는 170) 은 또한 인터랙티브 광고판들을 위해 사용될 수도 있다. 예를 들어, 이미징 디바이스 (130) 는 예컨대, 광고판 (비도시) 에 디스플레이될 수도 있는 이미지들을 캡처할 수도 있다. 시스템 (100) 은 사용자 (111) 가 예컨대, 다양한 이전 의류 트라이얼들의 복수의 이미지들에서 광고판에 디스플레이될 이미지를 선택할 수 있게 할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 사용자 외형들의 이미지들은 상이한 위치들에서 보여질 수도 있다. 예를 들어, 이미징 디바이스 (130) 는 제 1 트라이얼의 이미지를 캡처할 수도 있다. 그 후에, 이미지는 네트워크 인터페이스 (122) 로부터 신호들 (151 및 152) 을 사용하여 네트워크 (150) 를 통해 예컨대, 스테이션 (160) 으로 전송될 수도 있다. 따라서, 사용자 (111) 는 스테이션 (160) 에서 제 1 사용자-외형의 이미지를 볼 수 있을 수도 있다. 그러므로, 사용자 (111) 는 소매점 체인 중 제 1 상점 예컨대, 스테이션 (110) 과 연관된 상점에서 제 1 트라이얼의 사용자-외형을 볼 수 있을 수도 있고; 제 1 트라이얼의 사용자-외형을, 동일하거나 연계된 체인의 제 2 상점, 예컨대 스테이션 (160) 과 연관된 상점에서 및/또는 제 1 트라이얼 이후 상이한 시기들, 예컨대 하나 이상의 시간들, 요일들 또는 일주일들에 발생할 수도 있는 제 2 트라이얼의 사용자-외형과 비교할 수도 있다.
본 발명의 다른 예시적인 실시형태에 따르면, 이미징 디바이스 (130) 는 제 1 트라이얼의 사용자-외형의 이미지를 캡처하고, 그 이미지를 네트워크 인터페이스 (122) 를 통해 네트워크 (150) 에 걸쳐 이미지가 차후 취출을 위해 저장될 수도 있는 제어 센터 (190) 로 전송할 수도 있다. 따라서, 사용자 (111) 는 네트워크 (150) 를 통해 제어 센터 (190) 와 접속된 임의의 스테이션, 예컨대 스테이션 (160) 에 액세스하는 것에 의해 제 1 트라이얼의 이미지들로의 액세스를 획득할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 스토리지 디바이스 (123) 는, 예컨대 하드 디스크 드라이브, 플로피 디스크 드라이브, 컴팩트 디스크 (CD) 드라이브, CD-ROM 드라이브, DVD (Digital Versatile Disc) 드라이브, 또는 다른 적절한 탈착가능 또는 탈착 불가능 스토리지 유닛들을 포함할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 제어기 (121) 는 예컨대, 중앙 프로세싱 유닛 (CPU), 디지털 신호 프로세서 (DSP), 마이크로프로세서, 제어기, 칩, 마이크로칩, 집적 회로 (IC), 또는 당업계에 공지된 것과 같은 임의의 다른 적합한 다용도 또는 특정 프로세서 또는 제어기일 수도 있거나, 이를 포함할 수도 있다.
입력 디바이스 (124) 는 예컨대, 키보드; 원격 제어; 모션 센서; 예컨대 레이저 포인터와 같은 포인터 디바이스; 마우스; 터치 패드; 예컨대 미러-디스플레이 디바이스 (140) 에 삽입될 수도 있거나 예컨대, 그 디바이스 (140) 로부터 분리된 임의의 다른 적합한 유닛에 의해 구현될 수도 있는 터치스크린; 생체 입력 디바이스, 예컨대 지문 스캐너, 및/또는 안면 스캐닝 카메라; 및/또는 임의의 다른 적절한 포인팅 디바이스 또는 입력 디바이스를 포함할 수도 있다. 입력 디바이스 (124) 는 이하 상세히 설명되는 것과 같이, 사용자 (111) 의 시스템 (100) 으로의 액세스, 예컨대 보안 액세스를 가능하게 하는 사용자-식별 데이터를 수신하도록 구성될 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따르면, 사용자 (111) 는 이미징 디바이스 (130) 를 동작시키기 위해 입력 디바이스 (124) 에 사용자 커맨드들을 제공할 수도 있다. 입력 디바이스 (124) 는 예컨대, 시스템 (100) 의 사용자 (111) 가 이미징 디바이스 (130) 의 동작 파라미터들을 정의하는 것을 가능하게 하는 인터페이스를 포함할 수도 있다. 제어기 (121) 는 신호들 (131) 을 통해 사용자 (111) 로부터 입력들을 수신하고, 그에 따라 이미징 디바이스 (130) 의 동작을 제어할 수도 있다. 사용자 커맨드들은 예컨대, 이미지를 캡처하기 위한 타이밍, 예컨대, 사용자 (111) 의 포지션을 뒤따를 수도 있는 자동 트래킹 알고리즘에 따른 이미징 디바이스 (130) 의 포지셔닝, 및/또는 포커스, 카메라 포지션, 캡처 각도, 동적 범위 등과 같은 이미징 속성들과 관련된 커맨드들을 포함할 수도 있다. 사용자 커맨드들은 또한, 예컨대 비디오 캡처 모드, 사진 모드 등과 같은 이미징 디바이스 (130) 의 이미지 캡처 동작 모드들을 정의하는 커맨드들을 포함할 수도 있다. 본 발명의 일부 실시형태들에 따르면, 이미징 디바이스 (130) 는 사운드 입력 디바이스, 예컨대 마이크로폰 및/또는 사운드 출력 디바이스, 예컨대 라우드스피커를 포함할 수도 있다. 따라서, 이미징 디바이스는 예컨대, 스토리지 디바이스 (123) 에 레코딩되고 저장될 수도 있는, 오디오 신호들, 예컨대 사용자 (111) 에 의해 생성된 음성 신호들을 수신하고, 사운드 출력 디바이스를 통해 오디오 신호들을 재생할 수도 있다. 사운드 출력 디바이스는 또한, 라디오 프로그램, 컴팩트 디스크 레코드들, 등과 같은 임의의 다른 종류의 오디오 신호들을 재생할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 제어기 (121) 는 예컨대, 사용자 (111) 로부터 수신된 커맨드에 따라 미러-디스플레이 디바이스 (140) 의 동작 모드를 세팅할 수도 있다. 예를 들어, 미러-디스플레이 디바이스 (140) 가 미러 모드로 동작한다면, 시스템 (100) 의 사용자는 미러-디스플레이 디바이스 (140) 를 디스플레이 모드로 스위칭하기 위해, 예컨대 입력 디바이스 (124) 에서 지정된 버튼을 누름으로써, 스위칭 커맨드를 입력 디바이스에 제공할 수도 있다. 제어기 (121) 는 입력 디바이스 (124) 로부터 입력을 수신할 수도 있고, 예컨대, 신호들 (141) 을 사용하여 디스플레이 동작 모드로 스위칭하도록 디바이스 (140) 를 제어할 수도 있다. 본 발명의 일부 예시적인 실시형태들에 따라, 이미징 디바이스 (130) 는 예컨대, 미러-디스플레이 디바이스 (140) 의 상부, 하부, 또는 측면과 같은 다양한 포지션들에 장착될 수도 있고, 그에 따라 소정의 의류 트라이얼의 이미지, 다양한 물품들, 예컨대 가구와 함께한 및/또는 상이한 의복을 입고 자세를 취한 사용자 (111) 의 이미지 등등일 수도 있는 사용자-외형의 이미지를 캡처한다. 본 발명의 일부 실시형태들에서, 이미징 디바이스 (130) 는 사용자-외형을 미러-디스플레이 디바이스 (140) 에서 보이는 것으로, 즉 사용자-외형의 미러-이미지로서 캡처할 수도 있다. 다른 실시형태들에서, 이미징 디바이스는 외형을 캡처할 수도 있고, 제어기 (121) 는 이미징 디바이스 (130) 에 의해 캡처된 외형에 대응하는 미러-이미지를 생성할 수도 있다. 예를 들어, 스토리지 (123) 는 제어기에 의해 실행될 경우, 이미징 디바이스 (130) 에 의해 캡처된 외형을 회전시키고, 반전시키고, 및/또는 미러화하는 임의의 적절한 방법 또는 알고리즘을 발생하여, 디바이스 (130) 에 의해 캡처된 이미지의 회전된, 반전된, 및/또는 미러화된 이미지를 표현하는 이미지 데이터를 생성할 수도 있는 명령들을 저장할 수도 있다. 이들 실시형태들에 따르면, 제어기 (121) 는 디스플레이 동작 모드 동안, 회전된, 반전된, 및/또는 미러화된 이미지를 디스플레이하도록 미러-디스플레이 디바이스 (140) 를 제어할 수도 있다. 다른 실시형태들에서, 제어기 (121) 는 디스플레이 동작 모드 동안, 디바이스 (130) 에 의해 캡처된 이미지, 예컨대 미러화되지 않은, 회전되지 않은, 및/또는 반전되지 않은 이미지에 대응하는 이미지를 디스플레이하도록 미러-디스플레이 디바이스 (140) 를 제어할 수도 있다. 일부 실시형태들에서, 이미징 디바이스 (130) 는 사용자 (111) 에게 보이지 않을 수도 있고, 디스플레이 디바이스 (140) 뒤에 위치될 수도 있고, 및/또는 예컨대, 이미지들을 디스플레이하고 캡처하는 양자가 가능한 LCD-CCD 디바이스일 수도 있거나 이를 포함할 수도 있는 미러-디스플레이 디바이스 (140) 에 내장될 수도 있다. 예를 들어, 본 발명의 일 예시적인 실시형태에서, 디바이스 (140) 는 예컨대, 전술된 것과 같은 미러-디스플레이 기능뿐만 아니라 이미징 디바이스 (130) 의 이미징 기능을 수행하기 위해, 예컨대 액정들을 포함하는 어레이, 스크린, 또는 표면을 포함할 수도 있으며, 예컨대 디바이스 (140) 는 미러-이미징-디스플레이 디바이스를 포함할 수도 있다.
본 발명의 일부 예시적인 실시형태들에서, 하나 이상의 스테이션들 (110, 160 및/또는 170) 은 이미지 캡처 디바이스 (130) 를 포함하지 않을 수도 있고; 및/또는 하나 이상의 스테이션들 (110, 160 및/또는 170) 은 미러-디스플레이 (140) 를 포함하지 않을 수도 있다. 예를 들어, 시스템 (100) 의 제 1 스테이션은 오직 이미징 디바이스 (130) 만을 포함할 수도 있고, 예컨대, 미러-디스플레이 디바이스 (140) 를 포함하지 않을 수도 있다. 사용자 (111) 는 사용자-외형의 제 1 트라이얼의 이미지를 캡처하기 위해 제 1 스테이션을 사용할 수도 있고, 예컨대 제 1 트라이얼의 결과적 이미지를 제 1 스테이션에서 볼 수 없을 수 있다. 그 후에, 사용자 (111) 는 미러-디스플레이 디바이스 (140) 를 포함할 수도 있는, 시스템 (100) 의 다른 스테이션에서 제 1 트라이얼 중 캡처된 이미지를 볼 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 이미징 디바이스 (130) 는 미러-디스플레이 디바이스 (140) 앞에 발생하는 장면의 이미지 및/또는 이미지 시퀀스, 비디오들, 등의 캡처를 가능하게 하는 방식으로 포지셔닝될 수도 있다. 부가적으로 또는 대안적으로, 이미징 디바이스는 미러-디스플레이 디바이스 (140) 로부터 반사된 이미지를 캡처할 수 있는 방식으로 위치될 수도 있다. 예를 들어, 이미징 디바이스 (130) 는 미러-디스플레이 디바이스 (140) 앞에 포즈를 취하는 사용자 (111) 의 이미지를 캡처할 수도 있다. 미러-디스플레이 디바이스 (140) 앞에서 포즈를 취하는 동안, 사용자 (111) 는 그의 외형, 예컨대 옷의 제 1 피팅 트라이얼을 체크할 수도 있다. 입력 디바이스 (124) 에서 사용자 (111) 에 의해 제공된 입력에 따르면, 이미징 디바이스 (130) 는 예컨대, 의류, 예컨대 의복 등등의 소정 트라이얼일 수도 있는 사용자-외형의 이미지를 캡처할 수도 있다. 사용자 (111) 에 의한 트라이얼들은 또한, 사용자 (111) 가 가구, 스튜디오 셋업 등과 같은 사용자 (111) 근처에 위치될 수도 있는 다양한 대상들과 맞물리는 것을 포함할 수도 있는 것에 유의할 수도 있다. 따라서, 이미징 디바이스 (130) 는 예컨대, 제 1 트라이얼, 제 2 트라이얼, 등등의 사용자-외형들의 이미지들을 캡처할 수도 있고, 개별 캡처된 이미지들을 신호들 (131) 및 신호들 (30) 을 통해 스토리지 디바이스 (123) 로 전송할 수도 있다. 사용자 (111) 는 예컨대, 제 1 트라이얼의 캡처된 이미지를 이후 시간에, 예컨대 제 2 의 또는 다른 후속 트라이얼들 다음에 취출할 수도 있으며, 예컨대, 도 2a, 도 2b, 및 도 2c 를 참조하여 하기에 설명되는 것과 같이, 제 1 트라이얼과 제 2 의 또는 다른 트라이얼 간을 비교할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 스토리지 디바이스 (123) 는 이미징 디바이스 (130) 에 의해 캡처된 이미지들을 표현하는 데이터를 수신하고, 외형들의 이미지들 및 더 구체적으로, 이미징 디바이스 (130) 에 의해 캡처된 소정의 의류 트라이얼들의 사용자-외형들을 저장하도록 구성될 수도 있다. 사용자-외형들의 소정 트라이얼들의 이미지들은 예컨대, 제어기 (121) 에 의해 스토리지 디바이스 (123) 로부터 취출되고, 디스플레이 (140) 에 의해 디스플레이될 수도 있다. 사용자 (111) 는 예컨대, 이하 상세히 설명되는 것과 같이, 디스플레이된 이미지들 간을 비교할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 스토리지 디바이스 (123) 는 이하 상세히 설명되는 것과 같이, 스테이션 (110) 으로의 보안 액세스를 가능하게 하도록, 사용자-ID, 패스워드, 로그인-시간, 생체 데이터 등등과 같은 사용자 식별 데이터를 요구하고 및/또는 검증하는 데이터 표현, 예컨대 소프트웨어 알고리즘들을 포함할 수도 있다. 예를 들어, 제어기 (121) 는 예컨대, 사용자 (111) 에 의해 제공된 아이덴티티 데이터에 기초하여 사용자 (111) 의 아이덴티티에 대응하는 이미지들을 디스플레이하도록 미러-디스플레이 디바이스 (140) 를 제어할 수도 있다. 예를 들어, 사용자 (111) 는 예컨대 얼굴 인식, 핸드프린트, 지문, 아이프린트, 음성 인식 등등과 같은 생체 입력을 포함할 수도 있는 사용자-식별 입력을, 입력 (124) 에 제공할 수도 있다. 사용자-식별 입력은 임의의 다른 적절한 입력, 예컨대 신용 카드, 개인 식별 번호 (PIN), 패스워드, 스마트카드, 고객 카드, 클럽 카드, 등등을 포함할 수도 있다. 제어기 (121) 는 예컨대, 임의의 적절한 방법 및/또는 알고리즘에 기초하여, 입력 디바이스 (124) 에서 제공된 사용자-식별 입력이 예컨대, 스토리지 디바이스 (123) 또는 제어 센터 (190) 에 저장될 수도 있는 사용자-식별 데이터와 매칭하는지 여부를 체크한다. 생체 입력을 검증하는 능력을 갖는 소프트웨어는, 예컨대 Geometric Inc. 에 의해 제공된 "Active ID FaceVision technology" 일 수도 있다. 제어기 (121) 가 사용자 (111) 의 입력을 저장된 사용자-식별 데이터와 매칭한다면, 제어기 (121) 는 사용자가 예컨대, 사용자 (111) 의 이전 사용자-외형의 이미지들을 표현하는 데이터를 액세스하는 것을 가능하게 할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 스토리지 디바이스 (123) 는 예컨대 미러-디스플레이 디바이스 (140) 상에 가상 효과들을 렌더링하는 것과 같은, 추가의 시스템 특징들이 가능한 소프트웨어 알고리즘들을 표현하는 데이터를 포함할 수도 있다. 예를 들어, 제어기 (121) 는 예컨대, 옷들, 컬렉션들, 헤드드레스들, 머리 모양들, 가구, 등등과 같은 가상 물품들과 관련되고 및/또는 결합되는 사용자-외형들의 이미지를 미러-디스플레이 디바이스 (140) 에 렌더링할 수도 있다. 추가로, 제어기 (121) 는 예컨대, 사용자 (111) 의 체중 감소, 체중 증가 등을 시뮬레이션하기 위해 상이한 바디 형상들을 갖는 사용자-외형들의 이미지를 미러-디스플레이 디바이스 (140) 에서 렌더링할 수도 있다. 예를 들어, 사용자 (111) 는 제 1 트라이얼에서 컬렉션에서의 슈트와 같은 특정 물품을 선택할 수도 있고, 제어기 (121) 는 그 컬렉션을 미러-디스플레이 디바이스 (140) 에 보이는 사용자 (111) 의 이미지로 가상으로 조정할 수도 있다. 제어기 (121) 는 제 1 트라이얼의 이미지를 스토리지 디바이스 (123) 에 저장할 수도 있고, 제 2 트라이얼에서 동일한 단계를 수행할 수도 있다. 따라서, 시스템 (100) 의 사용자 (111) 는 컬렉션의 제 1 및 제 2 트라이얼들의 사용자-외형들 간을 비교할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 제어기 (121) 는 예컨대, 이미지 및/또는 비디오 브라우징 능력들, 이미지 및/또는 비디오 다시보기 기능들을 제공할 수도 있고, 그 능력들 및 기능들은 시스템 (100) 에 의해 미리 정의될 수도 있거나 입력 디바이스 (124) 를 통해 사용자 (111) 로부터 수신된 하나 이상의 사용자 커맨드들에 따라, 예컨대 온더 플라이 (on-the-fly) 로 정의될 수도 있다. 예를 들어, 제어기 (121) 는 이전 사용자-외형들의 하나 이상의 이미지들을 취출하고, 그 이미지들을 다양한 시퀀스들로 미러-디스플레이 디바이스 (140) 상에 디스플레이할 수도 있다. 예를 들어, 이전 트라이얼들로부터의 이미지들은 실질적으로 연속하는 전진하는, 후진하는, 또는 혼합된, 예컨대 랜덤하게 액세스가능한 시퀀스로 디스플레이될 수도 있고, 및/또는 계단식 시퀀스 또는 임의의 다른 시퀀스일 수도 있다. 또한, 이전 트라이얼들로부터의 이미지들은 예컨대, 이하 설명되는 것과 같이, 미러-디스플레이 디바이스 (140) 에 동시에 디스플레이될 수도 있다. 제어기 (121) 는 또한, 이전에 캡처된 사용자-외형들을 삭제하고 스토리지 디바이스 (123) 등에 저장될 수도 있는 데이터의 양을 제한할 수도 있고, 추가로 미러-디스플레이 디바이스 (140) 상에 디스플레이된 이미지의 형상, 사이즈, 컬러, 등을 제어할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 사용자 (111) 는 하나 이상의 캡처된 이미지들을 저장할 수 있는 휴대용 스토리지 디바이스 (180) 를 사용할 수도 있다. 휴대용 스토리지 디바이스는 임의의 적절한 휴대용 스토리지 디바이스, 예컨대 스마트카드, 디스크 온 키 (disk-on-key) 디바이스, 등을 포함할 수도 있다. 사용자 (111) 는 예컨대, 스토리지 인터페이스 (125) 를 통해 또는 임의의 다른 적절한 데이터 접속을 통해, 스토리지 디바이스 (123) 로부터의 사용자-외형들의 제 1 트라이얼의, 예컨대 신호들 (50) 에 의해 표현된 이미지들을 다운로딩할 수도 있다. 그 후에, 사용자 (111) 는 이후시기에 예컨대, 제 1 트라이얼의 이미지를 다른 위치, 예컨대 사용자 (111) 의 집, 또는 시스템 (100) 의 다른 스테이션, 예컨대 스테이션 (170) 으로 업로딩할 수도 있다.
본 발명의 일부 실시형태들에서, 스테이션 (110) 은 1 초과의 미러-디스플레이 디바이스를 포함할 수도 있거나, 도 2a 및 도 2b 를 참조하여 이하 설명되는 것과 같이, 동시에 2 개의 프레임들로 분할될 수도 있는 미러-디스플레이 디바이스 (140) 를 포함할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 제어기 (121) 는 예컨대, 스토리지 (123) 에 사용자 (111) 를 특징짓는 파라미터들을 레코딩하거나 저장할 수도 있다. 예를 들어, 시스템 (100) 은 제어기 (121) 를 통해 예컨대, 스토리지 디바이스 (123) 에 접속된 체중계를 포함할 수도 있다. 제어기 (121) 는 예컨대, 물품의 트라이얼 동안, 예컨대 사용자 (111) 의 체중을 레코딩할 수도 있다. 따라서, 사용자 (111) 는 그 후에, 예컨대 사용자 (111) 의 체중일 수도 있는 파라미터를 취출할 수도 있다.
지금부터 도 2a 및 도 2b 를 참조하여, 본 발명의 일부 예시적인 실시형태들에 따라 인터랙티브 시스템을 사용하여 외형들 간에 비교하는 스테이지들을 개략적으로 도시한다.
본 발명의 일부 예시적인 실시형태들에 따라, 미러-디스플레이 디바이스 (140) 는 2 개의 프레임들로 분할될 수도 있고, 여기서 하나의 프레임은 미러 프레임 (192) 으로서 동작할 수도 있고, 다른 프레임 (191) 은 미러로서 및 디스플레이 프레임으로서 선택가능하게 동작할 수도 있다. 도 2a 에 도시된 것과 같이, 사용자 (111) 는 이미징 디바이스 (130) 에 의해 캡처되고 스토리지 디바이스 (123) 에 저장될 수도 있는 제 1 트라이얼을 미러 프레임 (192) 앞에서 자세를 취할 수도 있다. 이후 도 2b 에 표시되는 것과 같이, 사용자 (111) 는 프레임 (191) 에서 제 1 트라이얼의 사용자-외형 및/또는 임의의 다른 사용자-외형들, 예컨대 스토리지 디바이스 (123) 에 저장되고 및/또는 네트워크 (150; 도 1) 를 통해 수신된 사용자-외형들의 이미지와 나란히, 제 2 트라이얼의 정상적인 미러 외형을 동시에 볼 수도 있고, 제 1 트라이얼과 제 2 트라이얼간을 비교할 수도 있다.
지금부터 도 3a, 도 3b 및 도 3c 를 참조하여, 본 발명의 일부 예시적인 실시형태들에 따라 인터랙티브 시스템을 사용하여 외형들 간에 비교하는 3 개의 순차적인 스테이지들을 개략적으로 도시한다.
도 3a 에 도시된 것과 같이, 시스템 (100) 의 사용자는 미러 모드로 동작중인 미러-디스플레이 디바이스 (140) 에서 사용자-외형의 제 1 트라이얼을 볼 수도 있다. 제어기 (121) 는 예컨대, 입력 디바이스 (124) 로부터, 사용자-외형의 제 1 트라이얼을 캡처하기 위해 이미징 디바이스 (130) 를 사용하라는 요청을 포함할 수도 있는 사용자 입력을 수신할 수도 있다. 결과적으로, 이미징 디바이스 (130) 는 사용자-외형의 제 1 트라이얼의 이미지를 캡처할 수도 있고, 스토리지 디바이스 (123) 는 캡처된 이미지를 저장할 수도 있다.
도 3b 에 도시된 것과 같이, 사용자 (111) 는 미러 동작 모드로 동작할 수도 있는 미러-디스플레이 디바이스 (140) 에서 그의 사용자-외형의 제 2 트라이얼을 볼 수도 있다. 그 후에, 사용자 (111) 가 예컨대, 비교를 위해 이전 외형을 볼 것을 원하는 경우, 제어기 (121) 는 제 1 트라이얼을 보는 것을 요청하는 사용자 입력을 입력 디바이스 (124) 를 통해 수신할 수도 있다. 이 시점에, 도 3c 에 도시된 것과 같이, 제어기 (121) 는 미러-디스플레이 디바이스 (140) 의 동작 모드를 신호들 (141) 을 사용하여 디스플레이 모드로 변화시킬 수도 있다. 제어기 (121) 는 또한, 제 1 트라이얼을 디스플레이하도록 디바이스 (140) 를 제어할 수도 있다. 그러므로, 미러-디스플레이 디바이스 (140) 의 동작 모드들간을 스위칭함으로써, 사용자 (111) 는 제 2 트라이얼의 사용자-외형을, 제 1 트라이얼의 사용자-외형 및/또는 스토리지 디바이스 (123) 에 이전에 저장된 임의의 다른 사용자-외형들과 비교할 수도 있다.
지금부터 도 4 를 참조하여, 본 발명의 일부 예시적인 실시형태들에 따라 하나 이상의 다양한 외형들 간에 비교하는 것을 가능하게 하는 방법의 플로우 차트를 개략적으로 도시한다. 본 발명은 이 점에 있어서 제한되지 않지만, 도 4 의 방법의 하나 이상의 동작들은 시스템 (100; 도 1) 의 하나 이상의 엘리먼트들에 의해 수행될 수도 있다.
블록 (410) 에 표시된 것과 같이, 방법은 예컨대, 미러-디스플레이 디바이스의 동작 모드를 세팅하는 것을 포함할 수도 있다. 예를 들어, 사용자 (111; 도 1) 은 초기에, 미러-디스플레이 디바이스 (140; 도 1) 의 동작 모드를 미러 모드로 세팅할 수도 있다. 대안적으로, 디스플레이 (140; 도 1) 는 새로운 사용자가 시스템 (100; 도 1) 으로 로그인할 때마다 자동으로 미러 모드로 동작하도록 설계될 수도 있다.
블록 (420) 에서 표시된 것과 같이, 방법은 또한, 예컨대 미러-디스플레이 디바이스 앞에서 포즈를 취하는 것을 포함할 수도 있다. 예를 들어, 사용자 (111; 도 1) 는 미러-디스플레이 디바이스 (140; 도 1) 앞에서 포즈를 취하고, 예컨대, 옷, 신발 및/또는 임의의 다른 의류의 제 1 트라이얼의 사용자-외형을 체크할 수도 있다.
블록 (430) 에 표시된 것과 같이, 방법은 또한, 예컨대 제 1 트라이얼의 사용자-외형의 이미지를 캡처하는 것을 포함할 수도 있다. 예를 들어, 사용자 (111; 도 1) 는 이미징 디바이스 (130; 도 1) 에 제 1 트라이얼의 사용자-외형의 이미지를 캡처할 것을 명령하는 사용자 커맨드를 디바이스 (120; 도 1) 에 제공할 수도 있다.
블록 (440) 에서 표시된 것과 같이, 방법은 또한, 예컨대 상이한 사용자-외형으로 미러-디스플레이 디바이스 앞에서 포즈를 취하는 것을 포함할 수도 있다. 예를 들어, 사용자 (111; 도 1) 는 예컨대, 가구 및/또는 의류와 같은 하나 이상의 환경 아이템들을 변화시키고, 미러 모드로 동작할 수도 있는 미러-디스플레이 디바이스 (140) 앞에서 다시 한번 포즈를 취하며, 제 2 사용자-외형을 볼 수도 있다.
블록 (450) 에 표시된 것과 같이, 방법은 또한, 예컨대 미러-디스플레이 디바이스의 동작 모드들 사이에서 스위칭하는 것을 포함할 수도 있다. 예를 들어, 사용자 (111; 도 1) 는 미러-디스플레이 디바이스 (140; 도 1) 를 미러 모드와 디스플레이 모드 사이에서 스위칭할 수도 있다. 따라서, 사용자 (111; 도 1) 는 제 1 트라이얼의 사용자-외형 및/또는 임의의 다른 사용자-외형들, 예컨대 스토리지 디바이스 (123) 에 저장되고 및/또는 네트워크 (150; 도 1) 를 통해 수신된 사용자 외형들과 제 2 트라이얼의 사용자-외형 간을 비교할 수도 있다.
본 발명의 일부 예시적인 실시형태들에 따라, 사용자 (111; 도 1) 는 예컨대, 상점 이름, 상점 주소, 가격, 의류 트라이얼 시간 및/또는 날짜, 판매원 이름, 등등과 같은 쇼핑 파라미터들을 포함하는 각각의 트라이얼 파라미터들에 대하여, 예컨대 자동으로, 사용자 (111; 도 1) 가 표시할 수도 있고, 및/또는 스테이션 (110; 도 1) 이 저장할 수도 있다. 사용자 (111; 도 1) 는 예컨대, 도 1 을 참조하여 전술된 것과 같은 탈착가능하거나 휴대가능한 스토리지 디바이스에, 사용자-외형들의 캡처된 이미지를 저장할 수도 있고, 그 후에 사용자-외형들의 이미지들을 검토하면서 모든 이미지를 예컨대, 특정 상점 등에 속하는 것으로 생각할 수도 있다. 추가로, 리마인더들, 예컨대 할인, 시즌 세일 종료, 등등에 관한 알람들을, 사용자 (111) 는 정의할 수도 있고, 및/또는 제어기 (121; 도 1) 는 생성하고 및/또는 스토리지 디바이스 (123) 에 저장할 수도 있다.
지금부터 카메라, 예컨대 디지털 스틸 또는 비디오 카메라에 의해 캡처된 이미지를 사용하고, 그 이미지가 스크린에 투영될 경우, 그 이미지가 미러 이미지, 즉 스크린이 실제로 표준 미러였다면 사용자가 보게 되는 이미지와 유사하도록, 그 이미지를 조작하는 실시형태와 관련된 논의들을 제시한다.
도 6 은 실감나는 미러 경험을 생성할 수 있는, 디지털 스크린 (640), 카메라 (630), 및 컴퓨터 이미지 프로세서 (645) 를 포함하는 이하 실시형태들의 이해를 위한 개략적인 도시이다. 이상적인 상황에서, 카메라는 실감나는 아이-투-아이 룩 (eye-to-eye look) 경험을 생성하기 위해 사용자의 눈의 위치에 대응하여 스크린 뒤의 평행하는 평면 위를 이동할 수 있다. 그러나, 카메라를 일반 스크린 뒤에 위치시키는 것은 실용적이지 않은데, 그것은 단지 스크린이 카메라의 뷰를 차단할 것이기 때문이다. 이론상, 다수의 카메라들과 함께 반투명 스크린 또는 다수의 핀홀들을 사용함으로써 이러한 문제를 극복하는 것이 가능하지만, 이는 구현하기에 너무 비싸고 복잡할 수도 있다. 더 간단한 해결책은 디스플레이 스크린 앞에 카메라를 위치시키고, 캡처된 이미지를 미러를 모방하도록 조작하는 것이다. 적절한 조작들의 예들이 이하 제공된다.
사용자가 미러에서처럼 동일한 사이즈로 자신의 이미지를 볼 수 있도록, 사용자와 스크린 간의 거리들에 있어서 변화들을 보상하기 위해 적응적 FOV 가 요구된다. 일 실시형태에 따르면, 이는 카메라의 줌 (디지털 및/또는 기계식) 을 사용하여 해결된다. 종래의 카메라들은 고정된 FOV 또는 기계적으로 튜닝가능한 FOV 를 갖는다. 적응적인, 즉 연속해서 가변하는 FOV 를 생성하기 위해, 시스템은 사용자 트래킹에 기초하여, 해상도를 조작하거나 카메라 줌 및 포커스를 실시간으로 제어해야만 한다.
추가로, 이미지는 미러의 우측-좌측 거동을 지원하기 위해 수직으로 플립 (flip) 되어야만 한다. 이러한 이미지 변환은 디지털 이미지의 픽셀 어드레스들을 조작함으로써 상대적으로 용이하게 수행될 수도 있다.
도 1 에 대하여 설명된 것과 같이, 미러는 사용자보다 작을 수 있지만, 풀 바디 반사를 보여줄 수 있다. 이는 FOV 의 적절한 선택과 사이즈 스크린의 적절한 선택을 결합하여 달성될 수 있다. 아이디어는 사용자가 미러까지의 거리의 2 배에서 반사물을 본다는 인식을 제공하는 FOV 를 갖는 이미지를 스크린 상에 투영하는 것이며, 따라서 전체 바디는 디지털 스크린이 사용자의 키보다 작은 경우에도 볼 수 있다. 이는 도 6 에서 이미지들 A, B, C 로 예시되며, 상이한 미러까지의 거리들에서 캡처된 사용자의 이미지를 도시하지만, 특히 FOV 를 조작하는 것에 의해 사용자의 바디를 동일한 사이즈로 도시한다. 일부 실시형태들에서, 이미지 해상도는 또한, 사용자의 미러까지의 거리에 따라 변화한다. 예를 들어, 가까운 거리에 대하여, 일 실시형태는 카메라 어레이를 사용할 수도 있고, 이미지 매니퓰레이터는 이미지 왜곡을 감소시키기 위해 스티칭을 사용할 것이다.
3 차원 이미징을 지원하기 위해, 셋업은 사용자의 눈 사이의 거리에 대응하는 거리에 있는 2 개의 카메라들 또는 2 개의 유효한 가상 시점들을 갖는 하나의 카메라를 요구할 것이다. 실감나는 3D 경험은 또한, 3D 이미지의 생성을 거리의 함수로서 변화시킬 수 있는 적응적 폐루프 방법의 구현을 요구할 것이다. 사용자가 미러에서 그의 반사물를 보고 있을 경우, 사용자는 자신을 3D 로 보지만, 사용자가 미러에 접근하거나 멀어질 경우, 사용자의 눈으로부터 그의 반사물까지의 각도는 변화하며, 이는 또한 3D 이미지의 심도를 변화시킨다.
도 6 을 참조하여 설명된 것과 같이, 디스플레이 뒤에 카메라를 눈높이로 배치하는 것은 너무 복잡하거나 비쌀 수도 있다. 그러므로, 이하 실시형태들에서, 스크린의 주변에 위치되고 사용자와 면하는 고정-장착된 카메라/카메라들로 전술된 이상적인 시스템을 구현하기 위한 실질적인 방법이 제공된다. 주요 도전 과제는, 이상적인 셋업에서 얻는 것과 유사한 사용자 경험을 생성하기 위해, 이미지 왜곡들을 적응적으로 및 실시간으로 보상하는 방식이다. 도 7 및 도 8 은 디지털 스크린의 위에 배치된, 즉 사용자의 눈높이에 대응하지 않는 카메라를 갖는 실질적 셋업을 사용하는 도전과제들의 일부 예들을 도시한다.
도 7 은 스크린 위에 장착되고 수평으로 포인팅된 카메라를 사용할 경우, 사용자가 미러로 접근하거나 미러로부터 멀리 이동할 때 발생하는 상황을 도시한다. 시스템이 중앙 동적 범위로 캘리브레이션된다고 가정하면, 사용자가 멀어질 경우 이미지는 더 작고 더 높아지고 (도 7 의 시나리오 C), 사용자가 스크린에 가까워질 경우 (시나리오 A) 사용자의 이미지는 더 커지고 카메라의 FOV 가 사용자의 이미지를 컷팅한다. 추가로, 사용자가 스크린에 접근할 경우, 투영 왜곡이 뚜렷하게 되며, 이는 사용자가 미러에서 자신을 보는 것처럼 느끼지 못하는 것을 의미한다.
임의의 거리에서 사용자의 전체 바디를 캡처하는 것을 가능하게 하기 위해, 일 실시형태에서 사용자는 스크린의 상부에 위치되고 스크린의 앞에서 사용자의 움직임의 최대 동적 범위를 허용하도록 아래쪽으로 기울어진다. 도 8 에 도시된 것과 같이, 카메라가 아래쪽으로 기울어지기 때문에, 투영 왜곡은 훨씬 커지고 뚜렷하다. 사용자가 카메라에 가까워질수록, 사용자의 이미지는 더 왜곡된다. 왜곡의 본질은 주로 투영 왜곡이며 - 사용자는 더 짧게 보이고 상체가 더 크게 보인다. 이러한 구성에서, 사용자의 이미지는 또한, 사용자가 스크린으로부터 더 멀어진 것처럼 더 작아진다. 다른 한편으로, 카메라의 유효/사용가능 FOV 는 스크린 앞에서 더 큰 영역을 커버할 것이고, 사용자가 스크린에 훨씬 더 가까워지게 하고 전체 바디 이미지를 보게 할 것이다.
사용자의 앞에 그리고 스크린으로부터의 공간 오프셋에 위치된 카메라로부터 실감나는 (증강된) 미러 경험을 생성하는 것을 가능하게 하기 위해, 스크린 상의 프리젠테이션 이전에 캡처된 이미지를 조작하기 위한 컴퓨터화된 방법이 사용된다. 컴퓨터화된 방법은 스크린의 동작 모드에 의존하여 실시간으로 또는 비-실시간으로 동작할 수도 있다.
컴퓨터화된 방법은 입력으로서 카메라에 의해 캡처된 이미지를 수신하고, 카메라의 시점 또는 시계를 종래의 미러에서 발생한 시점과 맞도록 보정하기 위해 이미지의 변환을 수행한다. 즉, 사용자가 미러에 가깝게 또는 미러로부터 더 멀리 이동할 경우, 미러에서 반사된 시점은 카메라에 의해 캡처된 시점과 상이할 것이다. 본 발명의 컴퓨터화된 방법의 실시형태들은 사용자의 포지션을 트래킹하는데 기초하여 적응적 POV (시점) 및 적응적 FOV 를 통합한다.
구체적으로, 종래기술에서 제안된 것과 같이 이미지를 오직 수직으로 플립하는 것에 의해 가상 미러 문제를 해결하려는 시도는, 미러 경험을 생성하기에 불충분하다. 카메라를 사용할 경우, 사용자가 카메라/스크린으로 가까워질수록 사용자의 이미지는 커지고 그 반대도 가능하며, 이는 사용자가 미러로부터의 거리에 관계없이 사용자가 항상 약간의 상이한 FOV 로 자신을 대략적으로 동일한 사이즈에서 보는 종래의 미러와는 상반된다. 추가로, 카메라에 가까워지는 것은 훨씬 더 개선된 컴퓨터화된 방법에서 보정되어야만 하는 이미지 왜곡을 도입한다. 이미지를 스크린 상에 디스플레이하기 전에 적응적 POV 및 적응적 FOV 를 수행하는 것은, 스크린의 위치에 포지셔닝된 미러의 반사를 모방하는 이미지를 생성한다. 또한, 훨씬 더 실감나는 미러 경험을 획득하기 위해, 다음의 특징들이 또한 통합될 수도 있다.
일 실시형태에 따르면, 컴퓨터화된 방법은 추가로, 복수의 카메라들로부터 획득된 이미지들의 동적 적응적 이미지 스티칭을 수행한다. 이러한 실시형태에 따르면, 그 시스템은 이미지 해상도, 즉 이미지의 정확성을 개선하고, 단일 카메라의 FOV 를 확장시키고, 상이한 사용자들과 사용자의 상이한 배향에 대한 왜곡을 감소시키고, 사용자 바디 메시를 위한 더 양호한 모델을 생성하여 카메라의 왜곡을 보상하기 위해, 예컨대, 상이한 위치들에 포지셔닝되고 및/또는 다수의 기술들/특징들에 기초하는 다수의 카메라들을 통합한다. 예를 들어, 사용자가 스크린으로부터 멀리 이동할 때 이미지가 해상도를 손실하기 (더 적은 픽셀들이 사용자의 이미지를 캡처하기) 때문에, 카메라를 광학적으로 줌하고 다시 포커싱하는 것이 타당하다. 문제는 카메라의 FOV 를 축소시키는 것이 비용이 든다는 점이다. FOV 를 유지하면서 해상도를 개선하기 위해, 스티칭 또는 다이내믹 줌이 동시에 구현될 수 있다.
선행하는 절에서 언급된 것과 같이, 미러 경험을 적절히 전달하기 위해, 시스템은 추가로 적응형 광학 줌을 구현할 수도 있다. 적응형 광학 줌은 거리 트래킹, 즉 사용자까지의 거리를 연속해서 트래킹하는 것이 기초하여 이미지/비디오의 품질/해상도를 향상시킨다. 추가로, 이는 카메라가 스크린의 측면에 장착된 경우에 발생할 수 있는 비대칭 왜곡을 감소시킨다.
이미지 트랜스포지션의 정확성을 보장하기 위해, 플랫폼은 개별 포인터들에서 캘리브레이션될 수 있고, 컴퓨터화된 방법은 스크린 앞의 상이한 위치들에 정확한 변환을 내삽 및 외삽할 수 있다. 일 실시형태에 따르면, 투영 왜곡은 사용자 트래킹 및 카메라 위치에 기초하여 분석적인 방식으로 계산될 수 있다. 다른 실시형태에 따르면, 이미지 왜곡이 스크린 앞에서 측정되고, 이 측정 정보는 직접 투영 계산 대신 사용된다.
컴퓨터화된 방법은 예컨대, 병렬 컴퓨팅을 사용하고 및/또는 거리당 변환을 사전에 오프라인으로 계산함으로써, 지연을 가능하면 많이 감소시키도록 최적화되며, 따라서 사용자까지의 거리가 측정될 경우, 맵핑 변환이 먼저 준비된다. 다른 실시형태에 따라, 사용자의 계산된/측정된 시점마다 투영 변환을 분석적으로 생성함으로써, 캘리브레이션 없이 간단한 접근방식이 사용된다.
다음은 미러 이미지 변환을 함께 제공하는 모듈들의 하이-레벨 설명이다. 비디오 포착 모듈은: 사용가능한 하드웨어 제한들 하에 최적 비디오 품질을 획득하기 위해, 비디오를 그래빙하는 것, 비디오 인핸스먼트들을 형성하는 것, 카메라 최적화 세팅 및 제어를 수행한다. 기하학 측정 모듈은 사용자까지의 거리, 사용자의 키의 임의의 조합을 측정하거나 추정하고, 눈의 위치와 머리 포즈를 식별하고, 3D 바디 메시 추정을 수행한다. 카메라 제어 모듈은 이미지/비디오 품질 및 최대 해상도를 위해 카메라를 세팅한다. 다수의 카메라들의 경우에, 최대 해상도를 획득하기 위한 FOV 에 관한 최적화는 각각의 카메라로부터의 사용자 거리에 기초하여 실행될 것이다.
기하학적 변환 모듈은 프레임마다의 비디오 및 관련 사용자 기하학적 포지션/배향 정보를 취득하고, 원시 (raw) 이미지들을 정확한 위치로 맵핑하고 만약 있다면 블라인드 픽셀을 필링한다. 예를 들어, 기하학적 변환은 사용자가 미러를 보고 있는 것처럼 눈들을 매칭하기 위해 수행된다. 즉, 컴퓨터화된 방법은 사용자가 자신을 보고, 사용자가 자신의 눈을 보고 있는 것을 느끼도록, 입력 비디오를 왜곡하기 위해 정확한 기하학적 변환을 계산한다. 이러한 변환은 또한 다른 상황에서도 유용하다. 예를 들어, 컴퓨터들을 사용하여 화상 회의를 수행할 경우, 카메라가 컴퓨터 모니터 또는 스크린 위에 위치되기 때문에, 결과적인 이미지는 항상, 아래쪽으로 보고 있는 사용자를 보여주며, 이는 사용자가 실제로 컴퓨터 모니터를 보고 있지만 카메라는 보고 있지 않기 때문이다. 개시된 기하학적 변환을 사용하여, 그러한 상황은 실제로 사용자가 여전히 스크린을 보고 있는 경우에, 마치 사용자가 카메라를 보고 있었던 것처럼 사용자의 이미지를 발생할 것이다. 이러한 결과로, 더 개인화된 회의 환경을 초래한다. 비디오 회의 애플리케이션에서, 기하학적 보정은 미러 애플리케이션과 유사하지만, 이미지를 좌우로 플립하는 것이 요구되지 않는다.
맵핑 변환 모듈은 다양한 실시형태들을 사용하여 구현될 수 있다. 일 실시형태에 따르면, 스케일링 접근방식이 사용되며, 여기서 사용자가 미러에서 보는 이미지의 사이즈와 매칭하도록 사용자까지의 거리마다 스케일링 보정을 수행하기 위해 기하학적 가정들이 사용된다. 다른 실시형태에 따르면, 이미지 투영 및 스케일링 접근방식이 사용되며, 여기서 사용자 거리, 공간 오프셋 및 거리와 오프셋마다의 눈의 위치에 기초하여, 사용자/사용자 눈과 카메라 위치 사이의 투영 변환 오차가 계산된다. 추가의 변환은 눈의 왜곡을 보정하기 위해 실행될 수 있다.
다른 실시형태에 따르면, 상당히 정확한 결과들을 제공하는 것으로 보여지는 등록 접근방식이 사용된다. 이 접근방식에 따르면, 변환은 오프셋된/투영된/뒤로 배향된 카메라로부터 사용자의 눈이 카메라를 응시하고 있는 경우 사용자의 앞에서 취득된 이미지로 원시 이미지의 오프라인 실제 등록 기술에 기초하여 사전 프로그래밍된다. 기준 이미지는 스티칭을 사용하는 다수의 카메라들 중 하나로부터 생성된다. 예를 들어, 기준 카메라는 대부분의 눈의 왜곡을 감소시키는 유사한 높이 및 거리, 예컨대 눈높이 및 사용자로부터 2 m 내지 3 m 에 위치될 것이다. 등록은 다수의 포인터들에 기초하여 눈과 전체 바디를 매칭하기 위한 최적 변환을 산출할 것이다. 일 예에서, 2D 또는 3D 캘리브레이션 타겟, 예컨대 인간/인형 타겟 상의 다수의 포인터들, 예컨대 흰 점들은 중심 바디 주위에 2 차원 그리드를 형성할 것이다. 예를 들어, 원형 스티커들이 다리 위, 가슴 위, 어깨 위, 눈 위, 등에 배치될 수 있다. 정확성을 개선하기 위해, 이러한 등록은 예컨대, 측면으로부터 다수의 공간 오프셋들, 다수의 높이들, 다수의 거리들, 등등을 설명하기 위해, 스크린 앞의 다수의 사용자 위치들/포지션들에 대하여 반복될 수 있다. 각각의 위치에 대하여, 다수의 등록 기술들 (예컨대, 투영, 아핀 변환, 유사도, 다항식, 또는 이들의 임의의 조합 등등) 로 보정될 수 있는 다수의 왜곡들 (투영, 배럴, 피쉬아이, 또는 이들의 임의의 조합 등등) 을 가정하여, 가능한 최적 맵핑이 생성된다.
앞서 설명된 실시형태들은 다음의 추가 인핸스먼트와 함께 구현될 수 있다. 이미지 스티칭은 단일 카메라로부터 왜곡을 최소화시키거나 시계를 증가시키기 위해, 해상도 품질을 개선시키도록 위치된 다수의 카메라들과 함께 사용될 수 있다. 이미지 스티칭 엘리먼트는 사용자 지오메트릭 위치에 기초한 통합된 스티칭일 것이다. 각각의 카메라는 가상 눈 위치와 관련된 오프셋이 상이할 것이기 때문에, 자체 변환 보정을 수행할 것이다. 다수의 카메라들은 또한 사용자 경험을 개선시키기 위해 3 차원 뷰를 생성하는데 사용될 수 있다.
3 차원 적외선 (3D IR) 이미지가 또한 생성될 수 있다. 그러한 이미지는 사용자의 정확한 가상 모델을 생성하기 위해 사용되며, 그 후에 가상 착용 및 증강 현실을 위해 API 를 허용하는데 사용될 수 있다. 증강 현실을 사용하여, 백그라운드를 변화시키고, 오브젝트들을 삽입하고, 상이한 옷들의 가상 착용을 수행하는 등등이 가능하다. 이는 또한, 사용자 바디 랭기지를 분석하여 증강 현실 애플리케이션들, 가상 착용 애플리케이션들, 게이밍, 화상 회의 등등과 연결시키는데 사용될 수도 있다.
시스템이 이미지, 스틸 또는 비디오를 레코딩하기 때문에, 이미지에 다양한 분석들이 수행될 수 있다. 예를 들어, 비디오 분석들 및/또는 상점 분석들은 사용자 또는 상점 성과에 관한 정보, 예컨대 사용자가 미소 짓는 횟수, 사용자가 그 경험을 즐겼는지, 추정된 나이, 성별, 인종 출신, 등을 수집하는데 사용될 수 있다. 다양한 입력들은, 이-커머스 (eComerce) 를 실제 시착 경험에 통합하는 것을 도울 수도 있는 행동 분석 플랫폼을 위해 또는 임의의 다른 애플리케이션에 대한 부가물로서 사용될 수 있다. 예를 들어, 시스템은 사용자 시착 아이템/아이템들을 분석하여 상점 재고, 3D 프린팅, 및 이-커머스 웹, 이-커머스 스타일리스트, 소셜 네트워크 등등과 연결할 수 있다.
지금부터, 미러를 모방하는 이미지를 생성하기 위해 이미지 변환을 수행하는 본 발명의 일 실시형태의 블록 다이어그램인 도 9 를 참조한다. 도 9 에 도시된 시스템의 다앙?h 모듈들은, 프로그래밍된 범용 컴퓨터, DSP, CPU, GPU, 카메라 DSP/ASIC, 스크린 DSP/ASIC, 독립형 컴퓨팅 디바이스, FPGA 카드, DSP 디바이스, ASIC, 클라우드 병렬 컴퓨팅, 등에서 구현될 수 있다.
블록 (930) 은 이미지 그래버 (grabber) 모듈 (932) 에 이미지들을 스트리밍하는 하나 이상의 카메라들 1:n 을 나타낸다. 블록 (930) 은 스틸 및/또는 비디오 카메라들, IR 카메라, 2 또는 3 차원 카메라 배열들을 포함할 수도 있다. 거리계, 예컨대 전기음향 또는 전자 거리계가 또한 포함될 수도 있다.
이미지 그래버 모듈 (932) 은 블록 (930) 으로부터 스트리밍된 이미지들을 캡처하고, 이미지 품질을 개선하기 위해 필터들을 적용할 수도 있다. 또한, 이미지의 최적화를 위해 요구되는 것과 같은 크롭핑 또는 이미지 리사이징을 수행할 수도 있다. 다수의 카메라들이 사용된다면, 그래버 모듈 (932) 은 더 양호한 품질 또는 더 넓은 유효 시계를 위해 요구되는 것과 같은 이미지 스티칭을 적용한다.
트리거 이벤트 모듈 (960) 은 이미지 그래버 모듈 (932) 로부터 직접 입력을 획득할 수 있는 병렬 프로세스이지만, 또한 아이-매치 모듈 (934) 이후에 이미지들을 획득할 수도 있다. 그 입력은 요구되는 기능을 수행하기 위해, 사이즈, 대역폭 및 레이트가 최적화될 수 있다. 트리거 이벤트 모듈 (960) 에 상주할 수 있는 엘리먼트들의 예들은 다음을 포함한다. 예컨대, 백그라운드 감쇄 및 미리정의된 존, 패턴 인식 등에서의 변화들에 기초하여, 사용자가 카메라 (930) 앞에 서있는 것을 식별한다. 예컨대 스테레오 카메라들, 3D IR 카메라, 등 간의 상관에 의해 사용자까지의 거리를 측정한다. 다른 실시형태에 따르면, 사용자까지의 거리는, 예컨대 사용자가 대략 미러 앞에 및 바닥에 서있다는 몇몇 기하학적 가정을 실행함으로써, 단일 카메라 측정을 사용하여 추정되며, 따라서 예컨대, 거리, 사용자의 키 또는 미러에서 사용자의 이론적인 시점은 사용자의 신발의 위치 및 스크린 측면으로부터 사용자의 특정 오프셋을 측정하는 것에서 추론될 수 있다.
얼굴 인식 모듈은 사용자 인터페이스 식별을 용이하게 하기 위해 포함될 수도 있다. 동작 시에, 등록 이후 플랫폼은 각각의 사용자에 대한 정보를 저장해야만 하고, 사용자가 시스템에 의해 인식되면, 그 시스템은 사용자의 데이터를 업로딩하고, 업데이트들을 실행하고, 아이템들을 제안하는 등이 가능하다. 얼굴 인식을 사용하여, 사용자는 자신을 식별할 필요가 없고, 이는 시간을 절약하고 사용의 용이함을 향상시킨다. 얼굴 인식은 외형들의 자동 레코딩을 위한 트리거 이벤트일 수 있다. 일부 실시형태들에서, 각 세션의 레코딩 길이는 미리 정의되고, 얼굴 인식이 성공적이면 시작할 수도 있다. 다른 실시형태들에서, 원격 제어 테크닉들은 모바일 애플리케이션 또는 전용 태블릿/모바일/다른 원격 제어 디바이스들에서의 기능부와 같은 트리거로서 사용될 수 있다.
트리거 이벤트 모듈 (960) 에 상주할 수 있는 다른 엘리먼트들은, (의미 있는 피드백을 생성하기 위한, 예컨대 연령, 성별, 기분, 다른 대중적인 아이템들 등을 추정하기 위한) 비디오 분석들, 시스템이 용이하게 시착 아이템들을 상점과 연결할 수 있고, 더 양호한 추천과 더 빠른 계산 및 재고 계획을 위해 재고 및 이-커머스 플랫폼을 향상시킬 수 있도록 하는) 아이템 인식, 및 (입력 디바이스 없이 순조로운 사용자 제어를 위한) 제스처 식별을 포함한다.
아이-매치 변환 모듈 (934) 은 스크린(들)(940) 상의 디스플레이 이전에 이미지 변환을 수행한다. 그 모듈은 그래버 모듈 (932) 로부터 이미지를 입력으로서 획득하고, 추가로 계산된 거리 또는 거리 및 높이 또는 실제 사용자 시점을 수신할 수도 있다. 아이-매치 변환 모듈 (934) 은 요구되는 맵핑을 계산한다. 요구되는 맵핑은 예컨대, 요구되는 이미지 스케일과 포지셔닝을 매칭시켜 카메라와 사용자의 이론적 시점 간에 투영 각도 차이의 계산에 기초하여 직접 계산될 수 있다. 대안적으로, 공장 캘리브레이션 프로세스를 활용하는 실제-매치 접근방식은 미러 앞의 개별 위치들에서 카메라와 계산된 시점 간의 매우 정확한 변환을 생성하기 위해 사용될 수 있다. 추가로, 기본 이미지들 및 다른 하나 이상의 파라미터들, 예컨대 거리, 높이, 포즈, 공장에서의 측정들, 또는 사용자가 스크린 앞에 서있는 실제 시간마다 생성된 변환이 또한 사용될 수도 있다.
사용자 거리 또는 사용자 거리와 눈의 시점의 조합에 기초하여, 아이-매치 변환 모듈 (934) 은 카메라 앞의 임의의 위치에서 변환의 내삽을 생성한다. 사용자 바디의 다양한 부분들의 카메라까지의 거리는 균일하지 않기 때문에, 투영 왜곡은 손과 같은 더 가까운 바디 부분들이 다리와 같은 더 먼 바디 부분들보다 더 많은 픽셀들로 이미징되는 효과를 생성한다. 결과적으로, 사용자는 더 짧은 다리와 더 큰 손을 가지는 것으로 보이며, 즉 더 가까운 바디 부분들은 더 크게 보이고 더 멀리 있는 바디 부분들은 더 작게 보인다. 이러한 맵핑은 선형이 아니며, 즉 각각의 픽셀은 상이한 영역 길이 및 폭 (dx, dy) 을 나타내며, 따라서 픽셀 필링/언더샘플링 데시메이션이 축 비율을 유지하기 위해 수행되어야할 것이다. 필링 접근방식은 상이한 카메라 투영으로부터 임의의 내삽 (인접, 선형, 입방체, 다항식, 등) 또는 더 복잡한 필링일 수 있다. 예를 들어, 스크린 위아래의 카메라들은 손실된 픽셀들 또는 정확한 눈 배향을 보완하고 더 양호하게 추정할 수 있다. 추가의 옵션은 투영 왜곡의 대부분을 보정하고 해상도를 개선할 직접 옵틱 (특수 렌즈/프리즘) 에서 분석의 일부를 수행하는 것이다. 품질에 영향을 주는 리사이징 이슈 중 일부는 또한 기계식 줌에 의해 광학적으로 보상될 수 있다.
옵션의 가상 착용/증강 현실 모듈 (936) 이 사용자 경험을 향상시키기 위해 포함될 수 있다. 모듈 (936) 은 그 입력을 아이 매치 모듈 (934) 로부터 또는 레코딩 모듈 (938) 로부터 획득한다. 아이 매치 모듈 (934) 은 이미지의 변환을 수행하며, 이하 더 상세하게 설명될 것이다. 아이 매치 모듈 (934) 은 비디오 캠들, 화상 회의들 등과 같이 미러 이외의 다양한 애플리케이션들에서 사용될 수 있다. 추가로, 모듈 (936) 은 재고, 데이터베이스, 3D 프린팅, 이-커머스 데이터 베이스등과 액티브 링크를 유지하는 CPU 로부터 렌더링할 입력 엘리먼트들을 획득할 수 있다. 입력 데이터를 사용하여, 모듈 (936) 은 트랜스포즈된 이미지와 병합될 디지털 이미지들을 렌더링할 수 있다. 예를 들어, 모듈 (936) 은 실제 시착 및 사용가능한 재고 또는 사용자 주문제작에 기초하여 아이템의 컬러를 변경시키는데 사용될 수 있다. 모듈 (936) 의 렌더링은, 모듈 (936) 이 사용자의 바디 위에 있는 동안 이미징되는 아이템에 렌더링을 수행한다는 점에서, 규칙적인 가상 착용과는 상이하다. 따라서, 예를 들어, 아이템을 상이한 컬러로 렌더링하는 것은 사용자가 입고 있는 아이템의 물리적인 외형을 변화시키는 것이 아니라 오직 그 컬러만을 변화시킨다. 결과적으로, 사용자는 그의 바디 위에 실제 아이템을 느끼고, 그것이 어떻게 바디 형상 및 외형에 실제로 영향을 미치고 변화시키는지를 보고, 실제 구김들 및 신축성들을 보는 등이 가능하다. 모듈 (936) 은 또한, 실제 사용자의 이미지에 악세사리를 추가하거나 플랫폼에 순수 가상 착용 능력을 부가하기 위해 사용될 수 있다. 유사하게, 모듈 (936) 은 사용자가 입은 아이템과 매칭하는 상이한 환경들, 예컨대 수영복을 위한 해변 백그라운드, 나이트 드레스를 위한 나이트 클럽 백그라운드, 등등을 생성하거나 변화시키기 위해 백그라운드를 증강하는데 사용될 수 있다.
비디오/스틸 레코딩 모듈 (938) 은 그 비디오/스틸들을 카메라 그래버 (932) 로부터 직접, 아이 매치 모듈 (934) 로부터, 또는 가상 착용 증강 현실 모듈 (936) 로부터 수신한다. 추가로, 그 모듈은 제어 모듈 (962) 로부터, 레코딩 시작/중단 시간, 사용마다 저장할 정보, 및 어떤 비디오/스틸들에서 추가의 변환/증강, 실제/가상 착용/품질 향상, 등을 오프라인으로 처리할지를 표시하는 제어 신호들을 획득한다. 시스템 리소스들 (CPU/BUS/GPU) 을 로딩하지 않고 레코딩을 위해 사용될 수 있는 방법은, GPU 카드들에 인코딩/디코딩 능력들을 포함시킬 수 있다.
미러 메모리 (스테이션) 에 비디오/이미지들의 로컬 카피를 가지는 것에 부가하여, 이미지들은 클라우드 서비스로 자동으로 복제될 수 있고, 임의의 필수적인 사이즈로 자동으로 인코딩될 수 있다.
레코딩 프로세스는 또한, 프레임 레이트, 압축, 크롭핑을 수정하고, 포맷들을 변화시키고, 비디오 및 컬러 영향들을 수정할 수 있다.
레코딩 외에 옵션으로, 시스템은 미러 비디오의 라이브 스트리밍을 제공할 수 있다. 예를 들어, 시스템은 임의의 미러로부터 실시간 스트리밍을 웹 상에서 볼 수 있고, 이는 임의의 디바이스가 미러 대 미러를 포함하여 스트리밍을 볼 수 있는 것을 의미한다.
제어 모듈 (962) 은 모든 다른 모듈들의 동작을 제어한다. 제어 모듈 (962) 은 카메라들 (930), 스크린 (940), DSP 등을 포함하여 하드웨어 및 소프트웨어 엘리먼트들 모두를 시스템에서 구성한다. 제어 모듈 (962) 은 로컬 스테이션과, 클라우드 베이스 이-커머스 (950), 다른 웹 애플리케이션들 (952), 스마트폰 애플리케이션들 (954), 등과의 링크로서 기능하는 인터페이스를 포함한다. 레코딩 모듈 (938) 에 레코딩될 정보는 무선 신호들/IR/와이어에 의해 직접 사용자에게 전달될 수 있거나, 사용자 인증에 의해 페이스북, 구글 등과 같은 클라우드 기반 애플리케이션 또는 이-커머스 애플리케이션에 링크될 수 있는 기업 서버로 전달될 수 있다.
공장 캘리브레이션 모듈 (964) 은 변환이 실제 이미지 변환들에 의존할 경우에 활용된다. 카메라 대 스크린 기하학적 배향은 공장에서 결정/측정될 수 있거나 현장에서 측정될 수 있고, 오프셋들은 캘리브레이션을 공장 조건과 매칭할 수 있다. 추가로, 보정은 바닥에 대한 미러 셋업의 높이 또는 각도로 매칭될 수 있다. 캘리브레이션 프로세스는 다음과 같이 구현될 수도 있다. 제 1 단계는, 상이한 개별 거리들, 특정 배향, 상이한 눈 반사 위치 (즉, 이론적인 시점) 에서 이미지들이 어떻게 미러에 있는 것처럼 보여야만 하는지의 미러 기준을 생성하는 것이다. 그 기준은 다수의 방식들로 취득될 수 있다:
1. 도 10a 에 도시된 것과 같이, 카메라 (914) 는 "추정되는" 미러의 위치 및 사용자의 눈 높이 또는 그에 가깝게 위치된다. 포인터들 (예컨대, 백색의 스티커 점들 (10)) 을 갖는 사용자 또는 인형은, 카메라를 볼 때 카메라 왜곡의 대부분을 제거하도록, 카메라로부터 일정 거리에 포지셔닝된다. 이미지의 스케일링은 미러에서 추정된 반사의 실제 사이즈를 나타내도록 매칭되고 크롭될 수 있거나, 약간 더 작아질 수 있다. 즉, 생성된 기준 이미지는 카메라 위치에 배치된 미러 상의 사용자의 실제 사이즈와 매칭하거나 바람직한 경우에 (스크린의 사이즈에 의존하여) 스크린에 맞도록 더 작아져야만 한다.
2. 도 10b 에서, 포인터들을 갖는 사용자 또는 인형은 종래의 미러 (12) 의 앞에 포지셔닝된다. 카메라는 사용자의 위치에 포지셔닝되고 사용자의 눈높이로 위치되며, 미러에서의 반사물을 이미징한다. 기준 이미지는 또한 왜곡을 제거하기 위해, 예컨대 수직선에서 사용자의 앞에 카메라들의 어레이로 취득될 수 있다. 그 후에, 다수의 이미지들은 고 해상도 및 저 왜곡을 갖는 균일한 이미지를 획득하기 위해 스티칭된다. 구글 안경은 또한, 이러한 시나리오에서 캘리브레이션을 위한 옵션일 수 있다. 카메라를 갖는 사용자/타겟은 일반 미러 앞에서 자신의 사진을 찍을 것이다. FOV 가 고정되기 때문에, 오직 실행되어야할 것은 실제 사이즈로 이미지를 리사이징하는 것이다.
기준 이미지가 획득되면, 카메라를 그 실제 서비스 위치, 예컨대 스크린 위에 배치함으로써 다른 이미지가 취득되며, 이는 본원에서 실제 이미지로서 참조될 것이다. 그 후에, 실제 이미지 상의 포인터들을 기준 이미지의 포인터들과 매칭하는 것에 의해, 기준 이미지와 실제 이미지의 등록이 수행된다. 등록 정보로부터, 왜곡 이미지를 정확한 눈과 바디 배향으로 최적으로 가져올 수 있는 변환이 추출된다. 또한, 그 현장에서 실제 설치 지오메트리에 기초하여, 변환에 대한 오프셋들 또는 보정이 추가될 수 있다. 사용자 거리 및 눈의 시점에 기초하여, 카메라 앞의 임의의 위치에서 변환의 내삽이 생성될 수 있다.
도 11 은 본원에 설명된 시스템들에서 사용될 수 있는, 본 발명의 일 실시형태에 따른 프로세스를 도시하는 블록 다이어그램이다. 프로세스는 1100 에서 시작하고, 공장 캘리브레이션 절차가 일 예로서 다음 단계들을 사용하여 구현될 수 있다. 캘리브레이션 타겟이 선택되며, 예컨대, 인형, 사용자, 보드 등이다. 그 후에, 타겟 포인터들, 예컨대 도 10a 에 도시된 스티커들이 타겟 위에 배치된다. 그 후에, 카메라는 그 서비스 위치에, 예컨대 스크린 위에 장착되고 도 8 에 도시된 것과 같이 아래로 기울어지며, 최대 범위를 캡처하도록 세팅된다. 타겟의 스냅샷들은 다수의 위치들 (즉, 거리들, 높이들, 문자표시 오프셋들, 등) 에서 취득된다. 다른 한편으로, 간략함을 위해, 스크린 앞의 중앙 가상 라인을 따른 다수의 거리들에서 이미지를 취득하는 것은 충분할 것이다. 그 후에, 예컨대 도 10a 또는 도 10b 에 도시된 방법들 중 하나에 의해 하나 이상의 기준 이미지들이 획득된다. 일 예로서, 카메라는 스크린의 동일한 위치에 있는 눈 높이에 포지셔닝된다. 동일한 타겟의 하나 이상의 스냅샷들이 동일한 할당된 포인터들을 사용하여 취득된다. 오직 하나의 이미지가 취득된다면, 카메라 왜곡을 회피하기 위해 적당한 거리에 취득되어야만 한다. 다수의 기준 이미지들이 취득된다면, 그 이미지들은 사용자가 미러에 접근할 때 발생하는 작은 변화들을 캡처하도록 다수의 거리들에서 취득되어야 한다. 그러나, 다수의 타겟들 및 다수의 기준 이미지들이 획득될 경우, 더 양호한 변환들을 생성하기 위해 그들을 동일한 거리들과 동일한 포지션들에서 취득하는 것이 바람직할 것이다. 기준 이미지들은 스크린 상에 실제 사이즈를 표현하도록, 즉 스크린의 위치에 포지셔닝된 미러에서 반사되는 사이즈를 모방하도록 리사이징될 수 있다.
타겟 및 참조 이미지들이 획득되면, 기울어진 카메라로부터 취득된 왜곡된 타겟 이미지들은 포인터들을 사용하여 기준 이미지(들)로 등록되어, 사용자가 스크린의 위치에 포지셔닝된 미러에서 어떻게 보이는지 표현한다. 등록의 출력은 변환 연산자, 예컨대 각각 2 개의 좌표들 : 입력 이미지에서 하나의 좌표와 기준 이미지에서 하나의 좌표를 갖는 포인터들의 세트이다. 다양한 변환들이 다수의 타겟 및 기준 이미지들에 걸쳐 테스트될 수 있다. 예를 들어, 다수의 왜곡 함수들이 최적의 매칭 성능을 획득하기 위해 적용될 수 있다. 원리 함수들은 투영, 리사이징, XY 트랜스레이션 (오프셋) 및 좌-우 플립이다. 최적의 변환 조합이 선택되고, 맵핑 변환이 각각의 캘리브레이션 포인트에 대하여 생성된다. 이러한 맵핑 변환은 그 현장에서 어떤 라이브 이미지들이 미러 이미지를 모방하도록 변환되는지에 따른 공장 캘리브레이션이다. 맵핑은 미러 반사의 최적 표현을 제공하도록 라이브 이미지의 각 픽셀 또는 각 선택에 대하여 상이한 변환들을 포함할 수도 있다.
이해될 수 있는 것과 같이, 단계 (1100) 는 그 시스템을 출하하기 전에 공장에서 구현될 수 있다. 다른 한편으로, 이러한 절차는, 특히 카메라와 스크린이 개별 엘리먼트들로서 제공될 경우, 상이한 상황들에서 카메라가 스크린에 대하여 상이한 위치들에 포지셔닝될 수도 있도록, 오직 현장에서만 수행될 수도 있다. 그러한 상황들에서, 캘리브레이션 타겟, 예컨대 인형 (3d 타겟) 또는 캘리브레이션 마킹들을 갖는 보드 (2d 타겟) 를 시스템에 공급하여 사용자가 표준 타겟을 사용하여 현장에서 캘리브레이션을 수행할 수 있도록 하는 것이 유리할 수도 있다. 그 후에, 시스템은 캘리브레이션 프로세스를 수행하고 현장에서 변환 맵핑을 생성하도록 미리 프로그래밍될 것이다.
시스템이 그 서비스 위치에 설치되면, 프로세스는 단계 (1105) 에 있고, 여기서 사용자의 라이브 이미지 또는 비디오가 획득되고 예컨대 프레임 그래버에 의해 그래빙된다. 동시에, 사용자의 위치가 측정되어 사용자의 시점이 결정된다. 이는 IR 측정 기술을 사용하거나, Microsoft® 에서 입수가능한 Kinect® 과 같은 사용가능한 센서들을 사용하여 실행될 수 있다. 단계 (1115) 에서, 요구되는 경우에, 옵션적으로 스케일링 인자는 스크린 사이즈 및 사용자 높이를 매칭시키도록 적용된다.
단계 (1120) 에서, 적절한 변환 맵핑이 수행되거나, 표준 공장 캘리브레이션 맵핑이 내삽되어 스크린 앞에서 사용자의 특정 위치에 대한 정확한 맵핑을 생성한다. 그 후에, 아이 매치 모듈에 의해 변환 맵핑이 라이브 비디오에 적용된다. 이러한 문맥에서, 용어 "라이브" 는 또한 프레임 그래버에 의해 그래빙된 비디오 피드를 지칭하고, 프리젠테이션을 위해 모니터 스크린으로 전송되기 전에 버퍼에 상주할 수도 있다. 또한, 요구되는 경우 변환으로 인해, 단계 (1125) 에서 손실된 픽셀들은 내삽 기술에 의해 필링된다. 단계 (1130) 에서, 이미지는 버퍼로부터 스크린으로 전송되어 디스플레이된다. 상업적으로 입수가능한 고속 프로세서들로 인해, 단계들 (1105 - 1130) 이 실시간으로 수행되어 사용자는 본원에서 "실시간" 또는 "라이브" 프리젠테이션으로 지칭되는 스크린상에 이미지를 제시하는데 있어 임의의 지연을 인지하지 못할 수도 있음이 인식되어야 한다.
아이 매치 모듈은 매일의 인터랙션에 더 순응하는 더 자연스러운 환경을 제공하는데 사용될 수 있다. 예를 들어, Skype® 를 사용하는 것과 같이 PC 를 사용하여 비디오 호출을 실행할 경우, 카메라가 일반적으로 모니터 위에 포지셔닝되기 때문에, 호출자는 종종 카메라를 외면하는 것으로 보이는데, 이는 호출자가 실제로 스크린을 보고 있기 때문이다. 이는 호출자들이 말하는 동안 서로를 보고 있지 않기 때문에 자연스럽지 않은 대화를 제공한다. 아이 매치 모듈은 그러한 애플리케이션에서, 호출자가 실제로 스크린을 보고 있고 따라서 비디오 캠을 외면하는 경우에도 모니터에 디스플레이된 이미지가 마치 호출자가 비디오 캡을 직접 보고 있는 것처럼 보이게 하기 위해 변환을 적용하는데 사용될 수 있다. 변환은 전송자 또는 수신자의 컴퓨터에서 실행될 수 있다. 예를 들어, Skype® 를 사용하는 사용자는 아이 매치 모듈이 그의 컴퓨터에 설치되어, 비디오 캡이 화상 회의를 위해 활성화될 때마다 아이 매치 모듈이 비디오 캠으로부터의 신호를 차단하고, 비디오가 스카이프 애플리케이션을 통해 다른 사용자에게 스트리밍하게 하기 전에 변환을 적용할 수도 있다. 다른 사용자가 비디오 신호를 수신할 경우, 그 신호는 호출자가 비디오 캠을 직접 보고 있는 것처럼 다른 사용자가 이미지를 보도록 미리 트랜스포즈된다. WebEx, Polycom 등과 같은 표준 화상 회의 시스템들이 동일하게 구현될 수 있다.
도 12 는 본 발명의 일 실시형태에 따라 캘리브레이션 및 이미지 변환을 수행하기 위한 모듈들 및 프로세스들을 도시하는 블록 다이어그램이다. 블록 (1230) 은 하나 이상의 스틸 또는 비디오 카메라들, IR 카메라 또는 거리 측정 센서, 3d 카메라 장치, 등을 포함할 수도 있는 이미지 포착 모듈을 표현한다. 모듈 (1232) 은 예컨대, 적절한 FOV 를 획득하기 위해, 스크린 앞의 적절한 존을 이미징하기 위해, 포커스 및/또는 해상도를 세팅하기 위해 카메라 최적화 세팅들을 제어한다. 모듈 (1260) 은 스크린 앞의 사용자의 존재를 식별하고 이미지 포착 및 변환 프로세스를 시작하기 위해 사용될 수 있는 트리거 이벤트 모듈이다. 다른 시간들에서, 시스템은 사용자가 검출될 때까지 스크린 상에 오직 백그라운드 이미지만을 도시하는 유휴 상태로 세팅될 수 있다.
중괄호 (1360) 는 현장 설치를 위해 구성된 시스템에 대하여 본원에서 설명되는 캘리브레이션 절차를 포괄하며, 여기서 카메라 (1230) 는 도 1 에 또한 예시된 것과 같이 디스플레이 스크린 (1234) 위에 포지셔닝된다. 캘리브레이션 (1260) 은 출하 전에 공장에서 또는 설치 전에 현장에서 수행될 수 있다. 1261 에서, 포인터들을 갖는 타겟이 포지셔닝되고, 1262 에서 기준 이미지들의 일 세트가 (예컨대, 눈높이에서 전방을 보는 카메라를 사용하여) 획득되고, 입력 이미지들의 대응하는 세트가 (예컨대, 스크린 위의 현장 설치 포지션에서 아래쪽으로 포인팅하는 카메라를 사용하여) 획득된다. 1263 에서, 각각의 입력 이미지로부터의 포인터들은 변환 벡터들을 생성하기 위해 대응하는 기준 이미지에서 대응하는 포인터들에 매칭된다. 요구되는 미러 품질 표현에 의존하여, 옵션적으로 사용자의 눈 주위의 영역들에 대응하는 벡터들이 미세-튜닝된다 (1264).
입력 이미지들의 포인터들과 참조 이미지들의 매칭을 사용하여, 1265 에서 최적의 이미지 매칭을 초래하는 변환 파라미터들이 결정되고 선택될 수 있다. 변환을 위해 사용될 수 있는 파라미터들은 다음을 포함한다. 매우 효율적인 변환 파라미터는 틸트 변환이다. 틸트 변환은 아래쪽으로 기울어진 카메라에 의해 야기된 이미지의 왜곡을 보정한다. 틸트 변환은 아래쪽을 보고 있는 카메라로 취득된 입력 이미지를 수정하고, 그 이미지를 마치 카메라가 수평으로 일직선으로 포인팅된 것처럼 보이도록 변환한다 (비디오 엔진은 또한 방위각 오차를 보정할 수 있다). 다른 변환 파라미터는 고도 트랜스레이션이다. 고도 공간 트랜스레이션 변환은 스크린 외부에, 예컨대 스크린 위에 포지셔닝된 카메라로 취득된 이미지에서의 오프셋을 선형으로 수정하고, 마치 그 이미지가 사용자 눈 높이의 스크린 위치로부터 취득된 것처럼 보이게 그 이미지를 변환한다 (눈 높이를 스크린 높이의 이미지에 매칭한다). 수평 트랜스레이션은 또한 카메라와 스크린의 중심 간의 오정렬들을 보정하기 위해 적용할 수 있다. 미러를 모방하기 위한 다른 중요한 변환은 스케일이다. 전술된 것과 같이, 실제 미러 반사에서 사용자는, 사용자가 미러에 가까워질수록 바디 이미자 사이즈에서 매우 약간의 변화를 본다. 반대로, 카메라 이미지에서 사이즈는 카메라까지의 거리에 따라 상당히 변화한다. 스케일 변환은 스크린까지의 거리에 따른 사이즈 변화의 영향을 감소시켜, 사용자가 스크린까지의 거리에 관계없이 스크린에서 자신의 거의 일정한 사이즈를 보게 한다. 카메라의 포지션 및 FOV 에 의존하여, 이미지의 x-y 트랜스레이션이 또한 요구된다.
실제로, 틸트, 고도 및 스케일 트랜스레이션들을 수행하는 것은, 미러 반사를 매우 효과적으로 모방하기 위해 좌우 반전되어야만 하는 약간 실감나는 이미지를 제공하는 것으로 보여진다. 추가의 개선들을 위해, 배럴-효과 변환 및 피쉬-아이 변환을 또한 사용할 수도 있다. 추가로, 조명 및 그림자를 부가함으로써, 인공적으로 이미지 픽셀들의 명도 및/또는 색조를 조작함으로써, 또는 물리적으로 사용자 또는 스크린에 대하여 전략적으로 포지셔닝된 LED들과 같은 조명 엘리먼트들을 제어함으로써 투영된 이미지에 심도 감각을 부가할 수도 있다. 또한, 3D 효과는 3D 안경을 사용하거나 안경 없는 3D 기술을 사용하여 생성될 수 있다. 안경 없는 3D 기술에서, 상이한 이미지 세트들이 각각의 눈에 투영된다. 설명된 실시형태들에서 사용자까지의 거리와 사용자의 눈의 위치가 측정되거나 추정되기 때문에, 상이한 이미지 세트들을 사용자의 눈 각각에 투영함으로써 3D 이미지를 사용자에게 투영하는 것이 더 용이하게 된다.
단계 (1266) 에서, 변환 맵핑이 생성되고 저장된다. 이러한 변환 맵핑은, 사용자까지의 추정된 거리를 활용하여, 이미징 (1230) 으로부터의 라이브 비디오 피드들을 변환하기 위해 1234 에서 사용될 것이다. 변환 맵핑 동작에 의존하여, 픽셀 필링이 요구될 수도 있다. 예를 들어, 스크린 상부에서 아래쪽으로 기울어진 카메라를 사용하는 것은, 픽셀 필링을 사용하여 향상될 수 있는 이미지를 제공하는 틸트 및 고도 변환들을 요구할 것이다. 이는 1237 에서 수행될 수 있고, 1240 에서 결과적인 이미지는 스크린 상에 제시될 것이다. 변환 및 픽셀 필링을 라이브 비디오 피드에 적용하는 것은 적절한 프로세싱 능력을 사용하여 실시간으로 용이하게 실행될 수 있다.
도 13 은 캘리브레이션 및 변환 맵핑이 시스템의 설치 이후에 현장에서 수행되는 다른 실시형태를 도시한다. 도 13 의 예에서, 카메라 (14) 는 비디오 스크린 (12) 위에 포지셔닝되고 아래쪽으로 기울어진다. 카메라 (14) 와 스크린 (12) 은 제어기 (18) 와 통신하고 제어기 (18) 에 의해 제어된다. 사용자에게는, 유선 또는 무선 기술을 사용하여 제어기 (18) 와 통신할 수도 있는 입력 디바이스 (16) 가 제공된다. 사용자는 적절한 위치, 예컨대 스크린 (12) 으로부터 2 내지 3 미터에 서있고, 예컨대 원격 입력 디바이스 (16) 로부터의 "캘리브레이트" 커맨드를 입력하는 것에 의해 캘리브레이션 프로세스를 인에이블한다. 캘리브레이션 프로세스 동안, 라이브 비디오 스트림은 카메라 (14) 로부터 제어기 (18) 로 제공되며, 제어기는 이미지를 스크린 (12) 상에 디스플레이하기 전에, 이미지를 중심 수직축을 중심으로 (좌측에서 우측으로) "플립" 한다. 입력 디바이스를 사용하여, 사용자는 다양한 변환 기능들에 작용한다. 예를 들어, 입력 디바이스는 도 13 에 개략적으로 도시된 것과 같이, 틸트, 고도 및 스케일을 보정하기 위한 입력 버튼들을 포함할 수도 있다. 사용자의 입력 커맨드들은 제어기 (18) 로 송신되고, 그 후에 비디오 피드에 변환들을 실시간으로 적용하여 이미지가 사용자의 앞에서 실시간으로 변화하게 한다. 사용자는, 사용자가 캘리브레이션이 완료된 것을 표시하는 입력 버튼을 누를 수도 있는 지점에서 사용자가 스크린에서 실감나는 이미지를 볼 때까지, 각각의 변환 기능의 양을 변화시킬 수도 있다. 그 후에, 제어기 (18) 는 적절한 캘리브레이션 파라미터들을 저장하고, 이들 변환 파라미터들을 모든 향후 라이브 비디오 피드들을 위해 사용한다.
도 13 에 도시된 다른 특징은 거리 계산이다. 스크린 (12) 에 대한 카메라 (14) 의 포지션 및 틸트가 (예컨대, 카메라를 스크린의 상부에 부착하는 고정된 블랭킷으로 인해) 알려져 있기 때문에, 카메라 (14) 에 의해 캡처된 이미지는 삼각측량 및 거리 계산을 위해 사용될 수 있다. 예를 들어, 사용자가 카메라 (14) 에 의해 캡처된 라이브 비디오 스트림의 프레임에서 보일 때, 사용자의 신발 끝에 대한 삼각측량이 사용자의 스크린 (12) 까지의 거리를 계산하기 위해 수행될 수 있다. 이러한 동작은 모든 고정된 수, n 개의 프레임들마다 실행될 수 있어서 사용자의 스크린으로부터의 거리는 사용자의 움직임을 캡처하도록 연속해서 업데이트될 수 있다. 백그라운드는 미러 앞에 사용자가 없을 때 업데이트될 수 있다 - 적응적 백그라운드 방법.
도 13 에 도시된 추가의 특징은 깊이 및/또는 분위기를 생성하기 위해 조명을 사용하는 것이다. 구체적으로, 몇몇 광원들 (17), 예컨대 LED 어레이들은 스크린 (12) 에 대하여 상이한 위치들에 배치될 수 있고, 제어기 (18) 에 의해 제어될 수 있다. 광원들 (17) 은 예컨대, 그림자들 및 밝게 조명된 영역들을 추가하여 이미지에서 더 많은 심도를 생성하도록 동작될 수 있다. 광원들 (17) 은 기존의 조명을 개선하고 디스플레이된 이미지의 적절한 전체 "온도" 를 생성하기 위해, 상이한 컬러들로 이루어질 수 있다. 광원들은 또한, 일관된 이미지를 생성하고 상점의 조명에 의해 생성된 아티팩트들을 제거하기 위해, 사용자까지의 거리에 따라 튜닝될 수 있다. 대안적으로 또는 부가적으로, 카메라 (14) 로부터 수신된 디지털 이미지에 직접, 컬러 및 조명 변화들이 제어기에 의해 실행될 수 있다. 예를 들어, 컬러 변환은 이미지의 미러 외형을 향상시키기 위해, 예컨대 이미지를 제공하는 파라미터들 : 광택, 맑음, 선명함, 매트함, 금속성, 등을 조작하는데 사용될 수 있다. 제어기 (18) 는 또한, 이미지에 대한 더 많은 심도를 생성하기 위해 이미지에 광들 및/또는 그림자들의 가상 스폿을 추가할 수 있다. 또한, 스크린의 앞에는, 일반적으로 평판 디스플레이들과 연관된 반사들을 제거하고 감소시키기 위해, 반사-방지 코팅이 제공된다. LED 어레이는 광 센서 및/또는 광 온도 센서에 접속될 수 있고 특정 레벨의 광 및 광 온도들에서 유지되도록 미리 정의될 수 있으며, 자동으로 조절될 것이다.
추가의 실시형태들에 따라, 서로 간에 거리 D 에서 2 개의 카메라들로 3D 이미징이 구현된다. 거리 D 는 인간의 눈 사이의 평균 거리로서 계산되며, 성인의 경우 약 54 내지 68 mm 인 동공간 거리 (IPD) 로 일반적으로 지칭된다. 변환은 사용자의 눈 간의 거리와 유사한 공간 거리에서 2 개의 기준 (베이스) 카메라들로부터 획득된 이미지와 함께, 거리 D 에서 입력 카메라로부터 획득된 이미지의 등록으로부터 계산될 것이다. 등록에 대한 베이스는 Kinect® 또는 임의의 IR 3D 카메라를 사용하여 취득될 수 있다. 구글 안경은 또한 캘리브레이션을 위한 옵션일 수 있으며, 여기서 구글 안경을 착용한 사용자/타겟은 정규 미러 앞에서 자신의 픽처를 취득할 것이다. FOV 가 고정되기 때문에, 오직 실행되어야할 것은 실제 사이즈로 이미지를 리사이징하는 것이다. 제어기 (18) 와 같은 이미지 변환 모듈은 또한, 사용자가 이미지를 스크린에 맞추거나 일부 부분에 포커싱하게 하기 위해 줌 인/아웃에 대하여 이미지 리사이즈를 적용할 수 있다.
이해될 수 있는 것과 같이, 앞의 실시형태들 중 일부는 이미지들 또는 다른 실증적 방법들을 등록함으로써 변환 맵핑을 구축하는 것과 관련되지만, 대안적으로 카메라와 이론적인 사용자 시점 간의 왜곡의 직접적인 계산들이 분석에 기초하여 수행될 수 있다. 분석을 사용하는 것은 임의의 등록 절차에 대하여 필요 없게 한다. 대신에, 분석 맵핑 변환이 왜곡들을 보정하기 위해 생성된다.
도 13 에 도시된 다른 특징은, 변환 및 미러 프리젠테이션들과 관련된 서비스들을 제공하기 위해 인터넷 또는 클라우드를 사용하는 것이다. 예를 들어, 일 실시형태에 따라, 충분히 빠른 접속이 존재할 경우, 변환은 실제로 클라우드에서 생성될 수 있다. 그러한 경우에, 카메라 (14) 로부터의 피드는 서버 (181) 에 제공될 수 있고, 서버 (181) 는 변환을 적용하고 모니터 스크린 (11) 상의 디스플레이를 위해 다시 제어기 (18) 로 전송한다. 다른 실시형태들에 따르면, 카메라 (14) 로부터의 이미지들 또는 카메라 (14) 로부터의 변환된 이미지들은 클라우드에 저장되고, 스마트폰 (183), 태블릿 (187), 및 평면 TV 와 같은 다른 모니터 스크린 (189) 과 같은 디바이스들로 스트리밍될 수 있다. 이는 사용자가 옷을 시도하는 동안 실시간으로 실행될 수 있어서, 사용자는 경험을 공유할 수 있고, 원격 위치들에서 다른 사람들로부터 입력을 획득할 수 있다. 또한, 사용자가 상점을 떠나면, 사용자는 스마트폰, 태블릿, PC 등을 사용하여 취득된 모든 이미지들에 액세스할 수 있다. 사용자 인터페이스의 용이함을 위해, 도 13 의 모니터 (189) 에 도시된 것과 같이, 다양한 시도들의 썸네일 이미지들이 현재 이미지와 함께 디스플레이되어 사용자가 뷰들 중 선택하는 것을 가능하게 할 수 있다.
도 14 는 카메라 (1430) 의 이미지로부터 데이터를 추출하는 일 실시형태를 도시한다. 트리거 이벤트 모듈 (1450) 은 사용자의 존재를 검출하고, 데이터를 추출하기 위한 프로세스를 활성화한다. 카메라 최적화 모듈 (1432) 은 데이터 추출을 위한 최적 이미지를 획득하도록 카메라를 제어하는데 사용될 수 있다. 이러한 실시형태에서, 카메라 (1430) 가 스크린 위에 위치되고 아래로 포인팅된 경우, 스크린으로부터 예컨대, 1m 내지 4m 에서 사용자의 신발을 볼 수 있다. 그러나, 카메라가 아래로 포인팅되고 신발이 사용자의 머리와 비교하여 카메라로부터 높은 거리에 있다면, 왜곡은 최대이다. 전술된 변환 맵핑으로, 모든 거리들에서 강력한 왜곡 개선이 달성된다.
부가적으로, 상기 실시형태에 따라, 1462 에서 사용자의 이미지는 백그라운드와 분리된다. 1464 에서, 오직 사용자의 이진 이미지에 인덱스 행렬을 곱한 후에 픽셀들의 평균 인덱스를 취득하는 것에 의해 중심 질량이 계산된다. 중심 질량 (J, k) 미만의 최소 바디 픽셀은 k (중심 질량) 주위의 윈도우를 오픈하고, 신발의 에지를 표현하도록 가정될 수 있는 더 낮은 활성 인덱스를 발견함으로써 결정된다. 1468 에서, 사용자의 키는 머리의 최 상부를 발견하는 것에 의해 계산되고, 및 거리 카메라 해상도, FOV, 및 카메라 기하학적 틸트에 기초하여, 사용자의 키가 추정된다.
도 15 는 n 개 카메라들로부터 이미지들의 스티칭이 수행되는 일 실시형태를 도시한다. 스티칭은 특히, 사용자가 스크린에 더 가깝게 접근하고 있을 경우 이미지 해상도 및 FoV 를 개선하는데 있어 유리하다. 도 15 의 실시형태에서, n 개 카메라들 (1:n) 의 라이브 피드들 (1530, 1532) 이 함께 스티칭된다. 트리거 이벤트 모듈 (1560) 은 사용자가 스크린 정면에서 검출될 경우 스티칭을 트리거하도록 사용될 수도 있다. 또한, 거리 측정치가 공급될 수 있고, 사용자로의 평균 거리를 표현하는 단일 값 또는 예컨대, 각각의 카메라에 대하여 하나의 거리 값인 다수의 값들이다. 반대로, 또는 부가적으로, 상이한 바디 부분의 상이한 거리들을 표시하기 위해, 다수의 거리 값들이 제공될 수도 있다.
각각의 카메라는 개별적인 카메라 최적화 (1533, 1536) 를 경험할 수도 있고, 각각의 카메라로부터의 피드들은 상이한 기하학적 변환 (1560, 1562) 을 경험하는데, 이는 카메라들의 위치 및 배향이 사용자 시점 (1564, 1562) 에 대하여 상이하기 때문이다. 오버레이 결정 (157) 은 스티칭을 수행하기에 최적인 장소를 결정하기 위한 결정 엘리먼트이다. 우리가 스크린 위에 위치된 카메라와 스크린 밑에 위치된 카메라인 2 개의 카메라들을 갖는 시나리오를 취급하고 있다면, 오버레이 결정은 최적 절단 인덱스를 표시할 것이다. 우리가 끊임없이 거리 측정을 가지기 때문에, 사용자가 미러에 접근할 때 스티칭 라인을 거의 고정되게 유지하는 것이 가능하다. 최대 성능을 위해, 스티칭 (1572) 은 카메라로부터의 사용자의 거리에 기초하여 최적화되어야만 한다. 평활화 (1574) 는 상이한 카메라들로부터의 상이한 이미지들의 교차점들에서 생성될 수도 있는 라인들을 필터링하도록 요구된다. 상이한 카메라들로부터의 이미지들은 절대 품질에서의 차이와 조명에서의 차이로 인해, 그리고 각각의 카메라에 대한 상이한 왜곡 보정으로 인해 약간 다를 것이다. 다수의 로우들 상의 이미지들 간에 인터리빙하는 것은 조명 효과를 완화시키는데 사용될 수 있다. 스티칭된 이미지가 1576 에서 출력된다.
앞서 설명된 실시형태들에서, 변환 맵핑은 카메라들에 의해 획득된 이미지를 보정하고, 미러로부터 반사된 이미지를 모방하는 이미지를 제공하였다. 도 16 에 도시된 다음 실시형태는, 눈의 프리젠테이션 품질을 개선한다. 본 실시형태에서의 개념은, 아이 존 또는 바로 눈을, 측면 뷰의 느낌을 생성하는 수정된 픽셀들로 오버라이드하는 - 즉, 사용자가 미러에서 자신을 직접 보고 있는 것을 최대한으로 모방하는 눈을 제시하는 것이다. 이해될 수 있는 것과 같이, 사용자는 스크린에 투영된 자신을 직접 보고 있지만, 카메라가 수평으로 포인팅하는 눈 높이에 포지셔닝되지 않기 때문에, 카메라에 의해 캡처된 사용자의 눈은 곧장 앞을 보는 것으로 보여지지 않을 것이다. 도 16 의 실시형태는 이러한 문제를 정정한다.
도 16 의 엘리먼트들의 대부분은 도 12 와 유사하며, 16xx 시리즈에 있는 것을 제외하면 동일한 참조부호를 갖는다. 이들 엘리먼트들은 여기서 다시 설명되지 않을 것이다. 대신, 눈 보정을 담당하는 엘리먼트 (1680) 에 주목한다. 스케일링은 이전 엘리먼트들에 의해 이미 보정되었기 때문에, 이 단계에서 실행되어야 하는 것은, 적절한 이미지를 제시하도록 눈 내부 엘리먼트들, 예컨대 동공, 홍채 등을 고정시키고 및/또는 재구성하는 것이다.
모듈 (1680) 은 먼저, 이미지에서 눈을 위치결정하고, 사용자가 확실히 스크린을 보고 있는 것을 확인한다. 이러한 단계 및 보정들에 대한 정보는 이력 이미지들, 규칙적인 통계적인 눈 비율들에 대한 추정들, 또는 사용자가 직접 카메라를 볼 때나 사용자가 변환 맵핑 이후 왜곡이 상대적으로 적은 스크린에서 충분히 떨어져서 서있을 때의 실제 측정으로부터 추론될 수도 있다. 사용자가 스크린을 보고 있는 것으로 발견된다면, 눈의 영역에 대응하는 픽셀들은 앞을 보는 눈의 중심에 홍채 및 동공을 포지셔닝하는 픽셀들로 변환되거나 실제로 대체된다. 또한, 특히 카메라가 위에 포지셔닝되고 아래쪽으로 포인팅될 경우, 스트레이트-온 뷰를 모방하기 위해, 공막이 확장될 수도 있다.
임의의 전술된 실시형태들에서 구현될 수도 있는 다른 특징은, 변환 파라미터 업데이트 빈도이다. 즉, 가끔 사용자는, 사용자가 미러를 모방하는 스크린 앞에서 정지하여 서있을 경우, 안정된 이미지를 선호할 수도 있다. 사용자가 움직이지 않는 동안 변환 맵핑 엔진을 변화시키는 것은 불편한 느낌을 생성할 수도 있다. 다른 한편으로, 사용자가 스크린 앞쪽으로 또는 뒤쪽으로 빠르게 이동하는 경우, 변환 파라미터들을 더 빠르게 업데이트하는 것이 괜찮을 수도 있다. 따라서, 이러한 특징에 따라, 다수의 행동 존들이 확립된다. 일 실시형태에 따라, 행동 존들은 오직 거리에 따라 세팅된다. 예를 들어, 사용자가 세팅된 거리 양보다 더 많이 이동하고 있을 경우, 비디오 엔진은 업데이트된다. 일 실시형태에 따르면, 사용자가 25 cm 미만의 양을 이동하였다면, 변환 맵핑은 더 낮은 속도, 즉 매 x 초마다 수행되며, 사용자가 25 cm 이상 이동하였다면, 변환 맵핑은 제 2 의 빠른 속도로 파라미터들을 업데이트한다. 다른 실시형태에 따르면, 존들은 사용자의 이동 속도에 따라 세팅된다. 예를 들어, 사용자가 x cm/s 미만으로 이동중인 것으로 결정되면, 제 1 변환 업데이트 빈도가 구현되고, 사용자가 더 빠르게 이동한다면 제 2 의 더 빠른 업데이트 빈도가 사용된다.
따라서, 앞의 내용에서 이해될 수 있는 것과 같이, 실시간 비디오 엔진 업데이트가 사용자를 이미징하기 위해 사용될 수도 있지만, 모니터 스크린에 대한 프리젠테이션 변환은 사용자의 거동에 의존하여 반드시 실시간으로 변화해야할 필요가 없을 수도 있다. 예를 들어, 사용자는 상대적으로 움직이지 않거나 매우 천천히 움직이고, 변환된 파라미터들은 반-실시간으로 변화할 수 있다. 그 후에, 사용자가 더 빠르게 또는 큰 거리를 이동하기 시작할 경우, 비디오 엔진은 더 빈번하게 업데이트될 수도 있다.
전술된 실시형태들은 디지털 (예컨대, 비디오) 카메라 및 모니터를 사용하여 구현될 수도 있고, 카메라로부터의 이미지들은 프로세서에 제공되는 것이 인식되어야만 한다. 프로세서는 이미지들에 변환 맵핑을 적용하고 이미지들을 모니터 상에 디스플레이 모드 또는 미러 모드로 디스플레이한다. 앞의 설명으로부터, 미러 모드는 변환 맵핑에 의해 수정되는 것과 같이, 라이브 비디오 피드를 모니터 상에 디스플레이하는 것에 의해 구현될 수도 있음이 인식되어야만 한다. 즉, 미러 모드에서 모니터 상에 디스플레이되고 있는 이미지는 실시간으로 취득된 사용자의 이미지/비디오이다. 반대로, 디스플레이 모드에서, 디스플레이되고 있는 이미지는 과거에 획득되고 스토리지로부터 취득된 이미지/비디오이다. 저장된 이미지들은 카메라로부터 제공된 것과 같은 원시 이미지들 또는 이미 변환된 이미지들일 수도 있다. 이 경우, 디스플레이 모드에서 디스플레이되고 있는 이전 이미지들은 변환된 이미지들이다. 그러므로, 저장된 이미지들이 원시 이미지들이라면, 프로세서는 이미지들을 모니터 상에 디스플레이하기 전에 변환 맵핑을 적용한다.
시스템이 디스플레이 모드로 동작하는지, 미러 모드로 동작하는지 여부는 시간적 문제로서 고려될 수 있다: 미러 모드 동안, 모니터 상에 보여지고 있는 이미지는 카메라가 그 특정 순간에 (또는 미소의 또는 눈에 띄지 않는 이전 시간에) 보는 것의 변환된 이미지인 반면, 디스플레이 모드 동안, 보여지고 있는 이미지는 카메라 또는 다른 카메라가 이전에 본 것의 변환된 이미지이고, 카메라가 지금 보고 있는 것과는 상이하다. 이러한 이슈는 또한, 인식과 관련된다: 미러 모드 동안, 모니터는 카메라가 지금 보고 있는 것의 변환된 이미지를 보여주기 때문에, 모니터를 관찰중인 사용자는 그가 미러를 보고 있다는 인식을 가지만, 디스플레이 모드 동안, 모니터를 관찰중인 사용자는 과거에 발생한 이벤트들의 비디오를 관찰중이라는 인식을 갖는다.
시스템은 모니터 스크린과 관계없이 별개로 구현될 수 있음이 인식되어야만 한다. 예를 들어, 몇몇 위치들 (예컨대, 드레싱 룸) 에서, 오직 모니터 스크린만이 카메라 없이 설치될 수도 있다. 모니터는 시스템과 통신하여 저장된 이미지를 다운로드하고 디스플레이하도록 구성된다. 사용자는 취득된 이전의 이미지들을 보기 위해, 예컨대, 현재 아웃핏과 비교하기 위해, 모니터와 상호작용할 수도 있다. 다른 예로서, 취득된 이미지들 모두는 클라우드로 업로딩될 수 있고, 따라서 사용자는 예컨대, 태블릿 상의 앱을 사용하여, PC 또는 모바일 디바이스에서 이미지들을 볼 수도 있다.
앞의 설명으로부터 이해될 수 있는 것과 같이, 본 발명의 다양한 실시형태들은 카메라로부터 디지털 이미지들을 수신하기 위한 이미지 입력 포트; 모니터에 디스플레이되거나 메모리에 저장될 트랜스포즈된 이미지들을 출력하기 위한 트랜스포즈된 이미지 출력 포트; 및 입력 포트로부터 이미지들을 수신하고 이미지들에 변환을 적용하도록 프로그래밍된 트랜스포지션 모듈을 포함하는 이미지 변환 장치를 제공하며, 여기서 변환은 적어도, 이미지의 좌측과 우측을 반전시키도록 이미지를 수직축을 중심으로 플립하는 것; 이미지가 미러의 반사를 모방하는 것으로 보이도록 이미지를 수정하기 위해 이미지에 변환 맵핑을 적용하는 것; 및 오브젝트의 카메라까지의 거리에서의 변화들에 의해 야기된 변형들을 감소시키기 위해 이미지를 리사이징하는 것을 포함한다. 다른 실시형태에서, 컴퓨터에서 동작될 경우, 컴퓨터로 하여금 카메라로부터 획득된 디지털 이미지를 트랜스포즈하게 하는 프로그램이 제공되며, 트랜스포즈된 이미지는 미러로부터의 반사물을 모방하고, 트랜스포지션은 적어도, 이미지의 좌측과 우측을 반전시키기 위해 이미지를 수직축을 중심으로 플립하는 것; 이미지가 미러의 반사물을 모방하는 것으로 보이도록 이미지를 수정하기 위해 이미지에 변환 맵핑을 적용하는 것; 및 오브젝트의 카메라까지의 거리에서의 변화들에 의해 야기된 변형들을 감소시키기 위해 이미지를 리사이징하는 것을 포함한다. 프로그램은 서버, PC, 태블릿, 스마트폰 등등과 같은 임의의 범용 컴퓨터에서 동작될 수 있다.
추가의 실시형태들에 따르면, 디지털 스크린이 미러 이미지를 모방하는 이미지를 투영하게 함으로써, 사용자가 디지털 스크린에서 자신의 이미지를 보는 것을 가능하게 하는 시스템이 제공된다. 그 시스템은, 사용자의 이미지들의 스트림을 생성하는 디지털 카메라; 카메라로부터 이미지들의 스트림을 수신하기 위해 이미지 입력 포트를 가지고, 이미지들에 변환을 적용하여 미러에서 사용자의 반사물을 모방하는 변환된 이미지들을 생성하는 제어기로서, 그 제어기는 모니터에 디스플레이될 트랜스포즈된 이미지들의 스트림을 출력하기 위한 출력 포트를 가지는, 제어기; 및 변환된 이미지들을 저장하기 위한 저장 설비를 포함한다. 제어기는 추가로, 트랜스포즈된 이미지들의 스트림을 클라우드에 업로드하기 위한 인터넷 접속을 갖는다. 시스템은 추가로, 클라우드로부터 변환된 이미지들의 다운로드 및 시청을 가능하게 하는 클라이언트들을 갖는다.
다양한 실시형태들에서, 제어기는 이미지들의 스트림에 변환을 적용하며, 그 변환은, 이미지의 좌측과 우측을 반전시키기 위해 이미지를 수직축을 중심으로 플립하는 것; 이미지가 미러의 반사를 모방하는 것으로 보이도록 이미지를 수정하기 위해 이미지에 변환 맵핑을 적용하는 것; 및 오브젝트의 카메라까지의 거리에서의 변화들에 의해 야기된 변형들을 감소시키기 위해 이미지를 리사이징하는 것을 포함한다. 맵핑은 본질적으로, 새로운 어드레스들을 원래 이미지의 각 픽셀에 재할당한다. 변환 맵핑은 눈 높이에 포지셔닝되고 수평으로 포인팅하는 카메라로부터 취득되는 것으로 보이는 이미지를 렌더링한다. 변환 맵핑은 적어도 틸트 변환 및 고도 변환을 포함하며, 여기서 틸트 변환은 이미지를 카메라의 기울어짐과 유사하도록 변환하고, 고도 변환은 이미지를 카메라의 고도를 변경시키는 것과 유사하도록 변환한다.
변환 맵핑은 각도, 틸트, 방위각, 스케일링, 공간 트랜스레이션 (즉, 고도 선형 오프셋 또는 수평 오프셋) 등을 포함하는 것일 수 있다. 최종 변환은 개별 왜곡들을 생성하기 위한 개별 변환의 행렬 곱셈이다.
다른 실시형태들에서, 화상 회의 또는 영상 통화를 향상시키기 위한 시스템이 제공된다. 그 시스템은 모니터 스크린의 주변부 주위에 포지셔닝된 비디오 카메라로부터 취득된 이미지들의 스트림을 변환하기 위한 변환 엔진을 포함하며, 따라서 스크린을 직접 보고 있는 사용자의 이미지들은 카메라를 직접 보고 있지 않은 사용자를 보여준다. 변환 엔진은 이미지들의 스트림을 수신하고 그 이미지들을 변환하여 사용자가 카메라를 직접 보고 있는 것을 보여주는 이미지들을 제공한다. 변환은 각도, 틸트, 방위각, 스케일링, 공간 트랜스레이션 (즉, 고도 선형 오프셋 또는 수평 오프셋) 등에 대한 보정의 임의의 조합을 포함한다. 변환은 또한, 본 실시형태에서의 개념은, 아이 존 또는 바로 눈을, 측면 뷰의 느낌을 생성하는 수정된 픽셀들로 오버라이드하는 것 - 즉, 사용자가 카메라에서 직접 보고 있는 것을 최대한으로 모방하는 눈을 제시하는 것을 포함한다.
다양한 구현들에서, 방법들은 사용자의 눈 간의 거리 또는 머리 사이즈를 트래킹함으로써 이미지에서 나타나는 사용자까지의 거리를 계산하고, 그에 따라 이미지를 스케일링하는 것을 포함한다. 예를 들어, 일 실시형태에 따르면, 시스템은 카메라로부터의 평균 거리에서 사용자의 눈 사이의 예측 거리, 즉 동공간 거리 (IPD) 로 프로그래밍된다. 미국에서 성인 남성의 95 % 가 70 mm 의 IPD 를 가지고, 여성들은 65 mm 이다. 사용자가 카메라 앞에서 감지될 경우, 시스템은 먼저 사용자가 여성인지 남성인지 여부를 결정하거나, 간단하게 거리 측정 프로그램을 직접 실행하고 평균 IPD 넘버, 예컨대 68 mm 를 사용할 수도 있다. 범위 측정을 위해, 시스템은 이미지에서 동공들을 식별하고, 예측된 IPD 에 매칭하도록 그 이미지를 스케일링한다. 비디오 이미지들이 계속해서 스트리밍하기 때문에, 시스템은 그 IPD 상수를 유지하고 예측된 IPD 에 매칭하도록 이미지를 스케일링한다. 이러한 방식으로, 사용자가 카메라로부터 멀리 또는 가깝게 이동할 경우, 모니터 스크린에 투영된 이미지에서 사용자의 사이즈는 대략 동일하게 유지되며, 따라서 미러에서의 반사를 모방한다. 이해될 수 있는 것과 같이, 시스템은 귀 사이의 거리 등과 같은 다른 표준 측정치들을 사용할 수 있지만, 시스템이 눈을 가장 쉽게 인식할 수 있기 때문에 눈을 사용하는 것이 더 간단하다. 그러나, 사용자가 색안경을 착용하고 있다면, 시스템은 다른 신체 부분들에 기초하여 다른 측정들에 의지하여야만 한다. 이러한 전환은 동적으로 수행될 수 있으며, 즉 시스템이 눈을 발견하는 경우에는 IPD 를 사용하지만, 눈을 발견하지 않는 경우에는 다른 바디 부분들에 의지한다.
또한, 금속 느낌 등을 생성하기 위해, 조명 필터 효과, 반사 텍스처 효과, 컬러 스펙트럼 필터와 같은 효과 필터들이 적용될 수도 있다. 유사하게, 카메라의 셔터 타이밍, 센서 이득, 화이트밸런스, 및 이들의 임의의 조합들이 결과적인 이미지를 수정하기 위해 조절될 수 있다. 다양한 실시형태들에서, 이들 파라미터들은 동적 관심 지역 (동적 RIO) 에 기초하여 조절되며, 따라서 파라미터들에 적용되는 변화들은 오직 이미지에서 선택된 지역들에 관한 것이며, 전체 이미지는 아니다. 예를 들어, 파라미터들은 사용자까지의 거리에 기초하여 수정되고 업데이트되며, 사용자 주위의 창문인 ROI 로 제한될 수 있다. 예를 들어, 사용자의 이미지는 백그라운드로부터 분리될 수 있고 파라미터들은 오직 사용자의 이미지에 속하는 픽셀들에만 적용된다.
추가의 구현들에서, 향상된 실시간 비디오 효과는 예컨대, 제 1 프레임 레이트에서 고해상도 카메라로 비디오를 레코딩하고, 더 높은 프레임 레이트에서 디스플레이를 조작하여 비디오를 스무딩하는 것에 의해 구현된다. 추가로, 수신된 비디오 스트림의 백그라운드는 시스템에 저장된 인공적인 백그라운드로 대체될 수 있다. 이미지에서 악세사리 또는 다른 엘리먼트의 컬러 또는 텍스처를 추가하거나 변경시키기 위해, 추가의 비디오 프로세싱이 사용될 수 있다. 또한, 화상 회의 및 다른 애플리케이션들을 위해, 이미지의 수직 플립 없이 변환이 수행될 수 있다.
본 발명의 소정 특징들이 본원에 도시되고 설명되었지만, 다수의 변형들, 대체들, 변화들, 및 등가물들이 당업자에게 발생할 수도 있다. 그러므로, 첨부된 청구항들은 모든 그러한 변형들 및 변화들을 본 발명의 실제 사상 내에 있는 것으로 커버하기 위한 것임이 이해될 것이다.

Claims (20)

  1. 비-순서화된 단계들을 수행함으로써, 모니터 상에 미러-모방 이미지를 디스플레이하기 위해 모니터, 카메라, 및 프로세서를 갖는 시스템을 동작시키는 방법으로서,
    상기 단계들은,
    카메라로부터 디지털 이미지를 획득하는 단계;
    이미지의 우측 및 좌측을 반전시키기 위해 상기 이미지를 수직축을 중심으로 플립하는 단계;
    상기 이미지가 미러의 반사물을 모방하는 것으로 보이도록 상기 이미지를 수정하기 위해 상기 이미지에 변환 맵핑을 적용하는 단계;
    사용자와 상기 모니터 간의 거리를 추정하고, 상기 카메라에 대한 오브젝트의 거리에서의 변화들에 의해 야기된 변형들을 감소시키도록 상기 이미지를 리사이징함으로써 스케일 변환을 수행하는 단계로서, 상기 스케일 변환은 사용자가 자신의 이미지를 상기 모니터에 대하여 상이한 거리들에서도 동일한 크기로 볼 수 있도록, 사용자와 상기 모니터 간의 거리에서의 변화들을 보상하는 적응적 FOV 를 적용하는 것을 포함하는, 상기 스케일 변환을 수행하는 단계; 및
    상기 플립, 변환 맵핑, 및 리사이징을 수행한 후에, 상기 모니터에 상기 이미지를 디스플레이하는 단계를 포함하는, 시스템을 동작시키는 방법.
  2. 제 1 항에 있어서,
    상기 변환 맵핑은 눈 높이에 포지셔닝되고 수평으로 포인팅하는 카메라로부터 취득되는 것으로 보이는 이미지를 렌더링하는, 시스템을 동작시키는 방법.
  3. 제 1 항에 있어서,
    상기 변환 맵핑은 적어도 틸트 변환 및 고도 변환을 포함하는, 시스템을 동작시키는 방법.
  4. 제 3 항에 있어서,
    상기 틸트 변환은 비-수평으로 포인팅하는 카메라로 취득된 입력 이미지를 수정하고, 상기 이미지를 마치 상기 카메라가 수평으로 일직선으로 포인팅된 것처럼 보이도록 변환하는, 시스템을 동작시키는 방법.
  5. 제 3 항에 있어서,
    상기 고도 변환은 임의의 높이에 포지셔닝된 카메라로 취득된 입력 이미지를 수정하고, 상기 이미지를 마치 상기 카메라가 사용자의 눈높이에 포지셔닝된 것처럼 보이도록 변환하는, 시스템을 동작시키는 방법.
  6. 제 1 항에 있어서,
    상기 이미지를 리사이징하는 것은 상기 변환 맵핑을 적용하는 단계에 대해 필수적으로 수행되는, 시스템을 동작시키는 방법.
  7. 제 1 항에 있어서,
    기준 이미지를 획득하는 단계;
    상기 기준 이미지로 상기 디지털 이미지의 등록을 수행하는 단계;
    상기 변환 맵핑을 생성하기 위해 등록으로부터 획득된 데이터를 사용하는 단계를 더 포함하는, 시스템을 동작시키는 방법.
  8. 제 1 항에 있어서,
    상기 이미지를 상기 모니터의 디스플레이 영역 내에 이동시키기 위해 트랜스레이션 변환을 적용하는 단계를 더 포함하는, 시스템을 동작시키는 방법.
  9. 제 1 항에 있어서,
    상기 이미지에서 음영 또는 조명을 향상시키기 위해 상기 모니터의 개별 픽셀 또는 픽셀 그룹의 조명 명도를 변화시키는 단계를 더 포함하는, 시스템을 동작시키는 방법.
  10. 제 1 항에 있어서,
    배럴-효과 변환 및 피쉬-아이 변환 중 적어도 하나를 적용하는 단계를 더 포함하는, 시스템을 동작시키는 방법.
  11. 제 1 항에 있어서,
    상기 이미지에서 보여지는 사용자까지의 거리를 결정하는 단계; 및
    상기 거리에 따라 상기 이미지의 해상도를 변경하는 단계를 더 포함하는, 시스템을 동작시키는 방법.
  12. 제 1 항에 있어서,
    상기 변환 맵핑을 적용하는 단계 후에 남아있는 빈 픽셀들로 픽셀 이미지가 외삽되는 픽셀 필링 단계를 더 포함하는, 시스템을 동작시키는 방법.
  13. 제 1 항에 있어서,
    제 2 카메라로부터 제 2 디지털 이미지를 획득하는 단계;
    상기 제 2 이미지의 우측 및 좌측을 반전시키기 위해 상기 제 2 이미지를 수직축을 중심으로 플립하는 단계;
    상기 제 2 이미지가 미러의 반사를 모방하는 것으로 보이도록 상기 제 2 이미지를 수정하기 위해 상기 제 2 이미지에 변환 맵핑을 적용하는 단계;
    오브젝트의 상기 제 2 카메라까지의 거리에서의 변화들에 의해 야기된 변형들을 감소시키기 위해 상기 제 2 이미지를 리사이징하는 단계;
    상기 플립, 변환 맵핑, 및 리사이징을 수행한 후에, 상기 이미지 및 상기 제 2 이미지를 스티칭하여 스티치된 이미지를 획득하는 단계;
    상기 스티치된 이미지를 모니터상에 디스플레이하는 단계를 더 포함하는, 시스템을 동작시키는 방법.
  14. 제 13 항에 있어서,
    상기 카메라 및 상기 제 2 카메라의 시계들이 오버랩하고,
    상기 스티칭을 수행하기 위해 상기 시계들의 오버랩 부분들에서 최적 위치를 결정하기 위한 오버레이 결정 단계를 더 포함하는, 시스템을 동작시키는 방법.
  15. 제 14 항에 있어서,
    상기 스티칭 단계에 의해 야기된 아티팩트들을 보정하기 위한 평활화 동작을 더 포함하는, 시스템을 동작시키는 방법.
  16. 제 1 항에 있어서,
    제 2 카메라로부터 제 2 디지털 이미지를 획득하는 단계;
    상기 제 2 이미지의 우측 및 좌측을 반전시키기 위해 상기 제 2 이미지를 수직축을 중심으로 플립하는 단계;
    상기 제 2 이미지가 미러의 반사를 모방하는 것으로 보이도록 상기 제 2 이미지를 수정하기 위해 상기 제 2 이미지에 변환 맵핑을 적용하는 단계;
    오브젝트의 상기 제 2 카메라까지의 거리에서의 변화들에 의해 야기된 변형들을 감소시키기 위해 상기 제 2 이미지를 리사이징하는 단계;
    상기 모니터에서 3차원 이미지를 획득하기 위해, 상기 플립, 변환 맵핑, 및 리사이징을 수행한 후에, 상기 이미지 및 상기 제 2 이미지를 디스플레이하는 단계를 더 포함하는, 시스템을 동작시키는 방법.
  17. 제 1 항에 있어서,
    상기 비-순서화된 단계들은 상기 카메라로부터의 라이브 비디오 피드의 이미지들의 시리즈에 대해 수행되는, 시스템을 동작시키는 방법.
  18. 제 17 항에 있어서,
    상기 라이브 비디오 피드에서 보여지는 사용자까지의 거리를 결정하는 단계; 및
    상기 거리에 따라 상기-비순서화된 단계들이 상기 이미지들의 시리즈에 대해 수행되는 레이트를 변경하는 단계를 더 포함하는, 시스템을 동작시키는 방법.
  19. 제 17 항에 있어서,
    상기 라이브 비디오 피드를 디지털 스토리지 디바이스에 저장하고, 상기 시스템을 미러 모드 또는 디스플레이 모드 중 하나로 선택적으로 동작시키는 단계를 더 포함하며,
    상기 미러 모드 동안 상기 카메라가 특정 순간에 보는 것의 변환된 이미지들을 상기 모니터에 디스플레이하는 반면, 상기 디스플레이 모드 동안 상기 카메라가 과거에 보고 상기 디지털 스토리지 디바이스로부터 획득한 것의 변환된 이미지들을 상기 모니터에 디스플레이하는, 시스템을 동작시키는 방법.
  20. 제 1 항에 있어서,
    사용자의 신발을 식별하고 상기 신발까지 삼각측량함으로써 상기 이미지에서 보여지는 사용자까지의 거리를 계산하는 단계를 더 포함하는, 시스템을 동작시키는 방법.
KR1020157019333A 2012-12-18 2013-12-18 외형들을 캡처하고 디스플레이하는 디바이스들, 시스템들 및 방법들 KR102265996B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261738957P 2012-12-18 2012-12-18
US61/738,957 2012-12-18
US13/843,001 2013-03-15
US13/843,001 US8982109B2 (en) 2005-03-01 2013-03-15 Devices, systems and methods of capturing and displaying appearances
PCT/US2013/076253 WO2014100250A2 (en) 2012-12-18 2013-12-18 Devices, systems and methods of capturing and displaying appearances

Publications (2)

Publication Number Publication Date
KR20150102054A KR20150102054A (ko) 2015-09-04
KR102265996B1 true KR102265996B1 (ko) 2021-06-16

Family

ID=50979397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157019333A KR102265996B1 (ko) 2012-12-18 2013-12-18 외형들을 캡처하고 디스플레이하는 디바이스들, 시스템들 및 방법들

Country Status (10)

Country Link
EP (3) EP4184443A1 (ko)
JP (1) JP6441231B2 (ko)
KR (1) KR102265996B1 (ko)
CN (2) CN109288333B (ko)
AU (2) AU2013361507A1 (ko)
BR (1) BR112015014629A2 (ko)
ES (1) ES2718493T3 (ko)
IL (1) IL239508B (ko)
RU (1) RU2656817C2 (ko)
WO (1) WO2014100250A2 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976160B2 (en) 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
US8982110B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
US8982109B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
US9269157B2 (en) 2005-03-01 2016-02-23 Eyesmatch Ltd Methods for extracting objects from digital images and for performing color change on the object
US11083344B2 (en) 2012-10-11 2021-08-10 Roman Tsibulevskiy Partition technologies
RU2612328C2 (ru) * 2014-04-04 2017-03-07 Сергей Евгеньевич Денискин Система игровая обучающая
CN105426376B (zh) * 2014-09-22 2019-04-23 联想(北京)有限公司 一种信息处理方法和电子设备
MX2017003776A (es) 2014-09-24 2018-03-23 Princeton Identity Inc Control de la capacidad de un dispositivo de comunicacion inalambrica en un dispositivo movil con una llave biometrica.
SG11201704097XA (en) 2014-12-03 2017-06-29 Princeton Identity Inc System and method for mobile device biometric add-on
US9858719B2 (en) 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
JP6461679B2 (ja) * 2015-03-31 2019-01-30 大和ハウス工業株式会社 映像表示システム及び映像表示方法
KR101692755B1 (ko) * 2015-05-08 2017-01-04 스타일미러 주식회사 양방향 통신으로 사진, 동영상 공유가 가능한 미러 시스템 및 방법
JP2019505149A (ja) * 2015-11-17 2019-02-21 バヤニ, エマンBAYANI, Eman デジタル画像撮影装置システム及び方法
CN105472308A (zh) * 2015-12-14 2016-04-06 湖北工业大学 多视角裸眼3d视频会议系统
CN108431730B (zh) 2015-12-24 2021-11-23 联合利华知识产权控股有限公司 增强型镜子
EP3394712B1 (en) * 2015-12-24 2019-06-05 Unilever Plc. Augmented mirror
WO2017108702A1 (en) * 2015-12-24 2017-06-29 Unilever Plc Augmented mirror
WO2017123702A1 (en) 2016-01-12 2017-07-20 Princeton Identity, Inc. Systems and methods biometric analysis
US10304002B2 (en) 2016-02-08 2019-05-28 Youspace, Inc. Depth-based feature systems for classification applications
US10423060B2 (en) * 2016-03-03 2019-09-24 Salih Berk Ilhan Smile mirror
WO2017173228A1 (en) 2016-03-31 2017-10-05 Princeton Identity, Inc. Biometric enrollment systems and methods
US10373008B2 (en) 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger
EP4410155A1 (en) * 2016-05-09 2024-08-07 Grabango Co. System and method for computer vision driven applications within an environment
CA2963108A1 (en) * 2016-06-29 2017-12-29 EyesMatch Ltd. System and method for digital makeup mirror
KR102178566B1 (ko) * 2016-06-30 2020-11-13 주식회사 엘지생활건강 전자 거울 장치 및 그 제어 방법
FR3053509B1 (fr) * 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
US20180077437A1 (en) * 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming
JP6931757B2 (ja) * 2016-09-23 2021-09-08 株式会社インテロール サイネージ装置、表示方法、およびプログラム
KR20180035434A (ko) * 2016-09-29 2018-04-06 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
JP6853475B2 (ja) * 2016-10-14 2021-03-31 フリュー株式会社 写真作成ゲーム機および表示方法
TWI610571B (zh) * 2016-10-26 2018-01-01 緯創資通股份有限公司 顯示方法及其系統與電腦可讀取記錄媒體
US10303417B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Interactive systems for depth-based input
US10437342B2 (en) 2016-12-05 2019-10-08 Youspace, Inc. Calibration systems and methods for depth-based interfaces with disparate fields of view
US10303259B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Systems and methods for gesture-based interaction
CN108268227B (zh) * 2017-01-04 2020-12-01 京东方科技集团股份有限公司 显示设备
US10607096B2 (en) 2017-04-04 2020-03-31 Princeton Identity, Inc. Z-dimension user feedback biometric system
US10325184B2 (en) 2017-04-12 2019-06-18 Youspace, Inc. Depth-value classification using forests
CN108881981A (zh) * 2017-05-08 2018-11-23 Tcl新技术（惠州）有限公司 一种跨屏显示方法、存储设备及电子设备
EP3462284A4 (en) * 2017-06-12 2019-07-17 Midea Group Co., Ltd. CONTROL METHOD, CONTROL DEVICE, INTELLIGENT MIRROR AND COMPUTER READABLE STORAGE MEDIUM
WO2019023032A1 (en) 2017-07-26 2019-01-31 Princeton Identity, Inc. METHODS AND SYSTEMS FOR BIOMETRIC SECURITY
FR3071723B1 (fr) * 2017-10-04 2022-08-26 Dessintey Dispositif pour la mise en œuvre de la therapie miroir et procede correspondant
CN107970625A (zh) * 2017-12-07 2018-05-01 宁波梅霖文化科技有限公司 魔术虚拟设备
KR101944297B1 (ko) * 2017-12-29 2019-01-31 김정현 스마트 윈도우를 이용한 광고 시스템
KR102116526B1 (ko) * 2018-02-12 2020-06-05 김치현 스마트 거울
JP6684303B2 (ja) * 2018-04-20 2020-04-22 緯創資通股▲ふん▼有限公司Ｗｉｓｔｒｏｎ Ｃｏｒｐｏｒａｔｉｏｎ インタラクティブな衣服及びアクセサリのフィッティング方法及びその表示システム
CN110874133B (zh) * 2018-08-31 2023-04-21 阿里巴巴集团控股有限公司 基于智能显示设备的交互方法、智能显示设备及存储介质
CA3114040A1 (en) 2018-09-26 2020-04-02 Guardian Glass, LLC Augmented reality system and method for substrates, coated articles, insulating glass units, and/or the like
CN109827646A (zh) * 2018-12-21 2019-05-31 太原重工股份有限公司 用于粉体物料的称重方法及称重装置
KR102693894B1 (ko) 2019-03-29 2024-08-12 삼성전자주식회사 광각 고해상도 거리 측정 장치
JP7343760B2 (ja) * 2019-08-08 2023-09-13 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
KR102275172B1 (ko) * 2019-08-21 2021-07-08 주식회사 디지털포토 술통형 왜곡 보정 및 배경교체 기능 기반 셀프 증명사진 촬영이 가능한 사진 촬영 서비스 제공 방법
CN112926288B (zh) * 2019-12-06 2023-07-18 北京阿博茨科技有限公司 一种商业智能数据可视化方法、系统、设备以及可读存储介质
US20230214968A1 (en) * 2020-05-13 2023-07-06 Huawei Technologies Co., Ltd. Image Display Method and Apparatus, Terminal Device, Storage Medium, and Program Product
CN111654621B (zh) * 2020-05-26 2021-04-16 浙江大学 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
CN111631569A (zh) * 2020-05-28 2020-09-08 青岛谷力互联科技有限公司 一种基于物联网的多功能ai智能化妆镜
CN112001303A (zh) * 2020-08-21 2020-11-27 四川长虹电器股份有限公司 一种电视留影的装置及方法
CN112422821B (zh) * 2020-11-01 2022-01-04 艾普科创(北京)控股有限公司 一种基于互联网的智能终端图片拍摄与发布方法及系统
JPWO2022177007A1 (ko) * 2021-02-22 2022-08-25
CN112887430B (zh) * 2021-03-12 2022-12-20 深圳市环阳通信息技术有限公司 居家健康管理装置
TWI828115B (zh) * 2021-06-07 2024-01-01 仁寶電腦工業股份有限公司 互動式電子裝置及其控制方法
WO2023157124A1 (ja) * 2022-02-16 2023-08-24 楽天モバイル株式会社 ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体
WO2024055965A1 (zh) * 2022-09-16 2024-03-21 北京字跳网络技术有限公司 一种图像显示方法、扩展现实空间中镜像显示方法、装置、电子设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132863A1 (en) 2005-12-14 2007-06-14 Sony Corporation Image taking apparatus, image processing method, and image processing program
JP2010087569A (ja) 2008-09-29 2010-04-15 Panasonic Electric Works Co Ltd 姿見装置
US20120257000A1 (en) 2011-04-07 2012-10-11 Tara Chand Singhal System and method for a grooming mirror in a portable electronic device with a user-facing camera

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572248A (en) * 1994-09-19 1996-11-05 Teleport Corporation Teleconferencing method and system for providing face-to-face, non-animated teleconference environment
JP2947726B2 (ja) * 1995-03-01 1999-09-13 鹿島建設株式会社 遠隔操作支援用画像システム
JPH112859A (ja) * 1997-06-12 1999-01-06 Minolta Co Ltd カメラ
JP3232408B2 (ja) * 1997-12-01 2001-11-26 日本エルエスアイカード株式会社 画像生成装置，画像呈示装置及び画像生成方法
US6417850B1 (en) * 1999-01-27 2002-07-09 Compaq Information Technologies Group, L.P. Depth painting for 3-D rendering applications
JP2000306092A (ja) * 1999-04-16 2000-11-02 Nadeisu:Kk デジタル画像処理により実現される鏡及びその処理をコンピュータに行わせるためのプログラムを内蔵した媒体
US6803928B2 (en) * 2000-06-06 2004-10-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Extended virtual table: an optical extension for table-like projection systems
JP3505575B2 (ja) * 2001-03-23 2004-03-08 独立行政法人産業技術総合研究所 デジタルミラー装置
GB0109720D0 (en) * 2001-04-20 2001-06-13 Koninkl Philips Electronics Nv Display apparatus and image encoded for display by such an apparatus
US20020196333A1 (en) * 2001-06-21 2002-12-26 Gorischek Ignaz M. Mirror and image display system
US20030063187A1 (en) * 2001-10-01 2003-04-03 Frank Pagano Computerized video imaging device
ATE375570T1 (de) * 2002-06-10 2007-10-15 Accenture Global Services Gmbh Interaktiver anproberaum
JP4154178B2 (ja) * 2002-06-21 2008-09-24 キヤノン株式会社 ビデオカメラ
JP2004297734A (ja) * 2003-03-28 2004-10-21 Aruze Corp 電子鏡システム
JP2005010356A (ja) * 2003-06-18 2005-01-13 Pioneer Electronic Corp 表示装置および画像処理システム
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
AU2005242076B2 (en) * 2004-05-01 2009-07-23 Eliezer Jacob Digital camera with non-uniform image resolution
US7171114B2 (en) * 2004-07-12 2007-01-30 Milton Curtis A Mirror-mimicking video system
US8982109B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
WO2006092793A2 (en) 2005-03-01 2006-09-08 Nissi Vilcovsky Devices, systems and methods of capturing and displaying appearances
JP2007006016A (ja) * 2005-06-22 2007-01-11 Sharp Corp 撮影装置
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
RU2398362C2 (ru) * 2006-06-16 2010-08-27 Эрикссон Аб Соединение независимых мультимедийных источников в конференц-связь
US8139122B2 (en) * 2007-08-20 2012-03-20 Matthew Rolston Photographer, Inc. Camera with operation for modifying visual perception
CN101779460B (zh) * 2008-06-18 2012-10-17 松下电器产业株式会社 电子镜装置
JP5074322B2 (ja) * 2008-08-05 2012-11-14 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
CN101383001B (zh) * 2008-10-17 2010-06-02 中山大学 一种快速准确的正面人脸判别方法
CN101770352B (zh) * 2008-12-30 2012-12-26 广达电脑股份有限公司 电子式即时显像系统及方法
RU2012114124A (ru) * 2009-09-11 2013-10-20 Конинклейке Филипс Электроникс Н.В. Система обработки изображения
JP2011146857A (ja) * 2010-01-13 2011-07-28 Canon Inc 画像処理装置、画像処理方法及びプログラム
WO2011148366A1 (en) * 2010-05-26 2011-12-01 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
US8452081B2 (en) * 2011-01-11 2013-05-28 Eastman Kodak Company Forming 3D models using multiple images
WO2012120622A1 (ja) * 2011-03-07 2012-09-13 株式会社ノングリッド 電子ミラーシステム
JP5875248B2 (ja) * 2011-04-27 2016-03-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2012244196A (ja) * 2011-05-13 2012-12-10 Sony Corp 画像処理装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132863A1 (en) 2005-12-14 2007-06-14 Sony Corporation Image taking apparatus, image processing method, and image processing program
JP2010087569A (ja) 2008-09-29 2010-04-15 Panasonic Electric Works Co Ltd 姿見装置
US20120257000A1 (en) 2011-04-07 2012-10-11 Tara Chand Singhal System and method for a grooming mirror in a portable electronic device with a user-facing camera

Also Published As

Publication number Publication date
EP2936439A2 (en) 2015-10-28
EP3404619A1 (en) 2018-11-21
CN105210093A (zh) 2015-12-30
IL239508B (en) 2018-11-29
WO2014100250A2 (en) 2014-06-26
EP2936439A4 (en) 2016-08-03
EP2936439B1 (en) 2019-02-20
AU2013361507A2 (en) 2015-07-16
BR112015014629A2 (pt) 2020-09-15
JP6441231B2 (ja) 2018-12-19
KR20150102054A (ko) 2015-09-04
AU2013361507A1 (en) 2015-07-09
WO2014100250A3 (en) 2014-08-14
JP2016509683A (ja) 2016-03-31
RU2018118815A (ru) 2018-11-05
AU2019246856A1 (en) 2019-10-31
EP4184443A1 (en) 2023-05-24
IL239508A0 (en) 2015-08-31
RU2656817C2 (ru) 2018-06-06
CN109288333B (zh) 2021-11-30
RU2018118815A3 (ko) 2021-09-08
AU2019246856B2 (en) 2021-11-11
CN109288333A (zh) 2019-02-01
WO2014100250A4 (en) 2014-10-09
ES2718493T3 (es) 2019-07-02
CN105210093B (zh) 2021-06-08
RU2015127905A (ru) 2017-01-25

Similar Documents

Publication Publication Date Title
AU2019246856B2 (en) Devices, systems and methods of capturing and displaying appearances
US8982109B2 (en) Devices, systems and methods of capturing and displaying appearances
US10873741B2 (en) Image processing apparatus and method
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US10109315B2 (en) Devices, systems and methods for auto-delay video presentation
US10085008B2 (en) Image processing apparatus and method
US8976160B2 (en) User interface and authentication for a virtual mirror
US20180158246A1 (en) Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
US7948481B2 (en) Devices, systems and methods of capturing and displaying appearances
US20140225978A1 (en) Method for image transformation, augmented reality, and teleperence
US10339597B1 (en) Systems and methods for virtual body measurements and modeling apparel
JP2004145448A (ja) 端末装置、サーバ装置および画像加工方法
CN115412743A (zh) 用于自动延迟视频演示的装置、系统和方法
CN107862718B (zh) 4d全息视频捕捉方法
RU2793157C2 (ru) Устройства, системы и способы захвата и отображения внешнего вида
WO2024169854A1 (zh) 图像渲染方法、装置电子设备及存储介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant