KR102346437B1 - 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들 - Google Patents

증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들 Download PDF

Info

Publication number
KR102346437B1
KR102346437B1 KR1020170111849A KR20170111849A KR102346437B1 KR 102346437 B1 KR102346437 B1 KR 102346437B1 KR 1020170111849 A KR1020170111849 A KR 1020170111849A KR 20170111849 A KR20170111849 A KR 20170111849A KR 102346437 B1 KR102346437 B1 KR 102346437B1
Authority
KR
South Korea
Prior art keywords
camera
augmented reality
scene
reality scene
boundaries
Prior art date
Application number
KR1020170111849A
Other languages
English (en)
Other versions
KR20180027361A (ko
Inventor
앙또니 로렁
삐에릭 주에
까롤린느 바야르
Original Assignee
인터디지털 씨이 페이튼트 홀딩스, 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 filed Critical 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스
Publication of KR20180027361A publication Critical patent/KR20180027361A/ko
Application granted granted Critical
Publication of KR102346437B1 publication Critical patent/KR102346437B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

본 개시내용은 증강 현실 애플리케이션을 구동할 때 시스템의 카메라의 줌 계수를 자동으로 적응시키는 방법들, 장치 및 시스템들에 관한 것이다. 포즈 추정이 실제 장면을 캡처하는 카메라에 대해 수행되고 AR 장면의 경계들이 계산된다. 카메라 절두체 및 경계들에 따라, 3차원 직사각형들이 장면의 보기 및 카메라에 대한 최적의 포지션을 최적화할 줌 계수를 결정하기 위해 컴퓨팅된다. 줌은 자동으로 광학적 또는 디지털적으로 적응되며 최적의 포지션은 시각, 오디오 또는 햅틱 수단에 의해 사용자에게 나타내어진다.

Description

증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들{METHODS, DEVICES AND SYSTEMS FOR AUTOMATIC ZOOM WHEN PLAYING AN AUGMENTED REALITY SCENE}
본 개시내용은 일반적으로 증강 현실의 분야에 관한 것으로, 더욱 구체적으로는, 비디오 패스-쓰루(pass-through) 디바이스상에서 구동하는 증강 현실 애플리케이션에 관한 것이다.
증강 현실(AR) 애플리케이션은 실제 세계 맨위에 3차원 인공 오브젝트들(예를 들어, CGI라고도 불리는 컴퓨터-생성 이미지)을 오버레이한다. 현실성 및 실시간 성능은 AR 애플리케이션들을 평가하는 중요한 기준이다. 2개의 타입의 AR 디바이스들: 예를 들어, 스마트-안경과 같은 "광학 시-쓰루(see-through) 디바이스들" 및 예를 들어, 스마트폰들 또는 태블릿들과 같은 "비디오 패스-쓰루" 디바이스들이 있다. 본 개시내용은 이러한 제2 타입의 AR 디바이스들에 관한 것이다.
비디오 패스-쓰루 디바이스들은 디스플레이 스크린, 카메라 및 사용자가 카메라의 포즈(위치 및 조준 방향)를 실시간으로 제어하기 위한 수단이 장착된 장치이다. 예를 들어, 스마트폰들 및 태블릿들은, 그들의 전면 스크린 및 그들의 후방 카메라를 사용하여 AR 애플리케이션을 구동할 때 AR 디바이스들이다. 이러한 경우에, 사용자는 디바이스를 핸들링함으로써 카메라 포즈를 제어한다. 카메라에 의해 캡처된 비디오는 스크린상에 온 더 플라이(on-the-fly)로 렌더링된다. AR 애플리케이션은 AR 장면의 가상 오브젝트들을 비디오의 이미지들상에 오버레이한다.
특정한 최적의 카메라 각도들에서, 사용자는 전체 AR 장면을 볼 수 있다. 그러나, 카메라가 AR 장면의 위치로부터 너무 가깝거나 카메라의 조준 방향이 최적의 방향이 아니면, AR 오브젝트들 중 일부는 카메라의 범위 밖에 있다. 카메라가 AR 장면의 위치로부터 너무 멀면, AR 오브젝트들은 작고 스크린상에서 세부사항을 볼 수 없다. 이러한 문제점을 해결하기 위해, 사용자는 최적의 포즈를 스스로 탐색해야 한다. 이러한 해결방안은, 사용자가 오브젝트들 또는 상세사항들을 놓치고 있다는 것을 항상 인지하지는 못하고, 최적의 포즈를 탐색하는 것이 AR 애플리케이션의 즐거운 사용을 방해하는 지루한 작업이기 때문에 만족스럽지 않다.
본 개시내용은 증강 현실 애플리케이션을 구동할 때 비디오 패스-쓰루 디바이스의 카메라의 줌 및 조준 방향을 자동으로 적응시키는 방법에 관한 것이다. 비디오 패스-쓰루 디바이스의 카메라의 포즈 추정 및 AR 장면의 경계들의 계산에 따르면, 카메라의 광학 또는 디지털 줌은 사용자의 이동없이 AR의 보기를 최적화하기 위해 적응된다. 최적의 포지션은 사용자가 이동하게 하기 위해 사용자에게 지시될 수 있다.
본 개시내용은 카메라의 시점으로부터 증강 현실 장면을 재생할 때 디스플레이 디바이스상에 이미지들을 렌더링하는 방법에 관한 것이고, 이 방법은:
- 증강 현실 장면의 경계들을 결정하는 단계;
- 카메라의 포즈의 추정 및 장면의 경계들에 따라 줌 계수를 결정하는 단계; 및
- 줌 계수에 따라 카메라로부터의 이미지들을 디스플레이 디바이스상에 렌더링하는 단계를 포함한다.
특정한 특징에 따르면, 방법은 시각, 오디오, 또는 햅틱 효과들을 포함하는 그룹으로부터 선택된 효과들을 사용하여 사용자에게 카메라의 포지션을 지시하는 단계를 더 포함한다.
특정 실시예에 따르면, 포지션은 증강 현실 장면의 적어도 하나의 엘리먼트와 연관된 방향 및 가중치에 따라 결정된다.
특정 실시예에 따르면, 증강 현실 장면은 카메라에 의해 캡처된 실제 장면의 오브젝트들에 대응하는 렌더링되지 않은 엘리먼트들을 포함하고, 엘리먼트들은 증강 현실 장면의 경계들을 계산할 때 고려된다.
특정한 특징에 따르면, 카메라는 모터 구동(motorize)되며, 방법은 증강 현실 장면의 경계들 및 컴퓨팅된 줌 계수에 따라 카메라의 조준 방향을 제어하는 단계를 더 포함한다.
특정 실시예에 따르면, 카메라는 광학 줌 기능을 포함하며, 방법은 컴퓨팅된 줌 계수에 따라 광학 줌 기능을 제어하는 단계를 더 포함한다. 다른 실시예에서, 디지털 줌이 줌 계수에 따라 이미지들상에서 동작된다.
본 개시내용은 또한, 카메라의 시점으로부터 증강 현실 장면을 재생할 때 이미지들을 렌더링하도록 구성된 디스플레이를 갖는 디바이스에 관한 것이며, 디바이스는:
- 증강 현실 장면의 경계들을 결정하고;
- 카메라의 포즈의 추정 및 장면의 경계들에 따라 줌 계수를 결정하며;
- 줌 계수에 따라 전방 카메라로부터의 이미지들을 렌더링하도록 구성된 적어도 하나의 프로세서와 연관된 메모리를 포함한다.
본 개시내용은 또한, 증강 현실 장면을 재생할 때 카메라로부터의 이미지들을 렌더링하도록 구성된 디스플레이를 갖는 디바이스에 관한 것이고, 디바이스는:
- 증강 현실 장면의 경계들을 결정하기 위한 수단;
- 카메라의 포즈의 추정 및 장면의 경계들에 따라 줌 계수를 결정하기 위한 수단; 및
- 줌 계수에 따라 전방 카메라로부터의 이미지들을 렌더링하기 위한 수단을 포함한다.
본 개시내용은 또한, 통신 네트워크로부터 다운로딩가능하고 그리고/또는 컴퓨터에 의해 판독가능한 매체상에 기록되고 그리고/또는 프로세서에 의해 실행가능한 컴퓨터 프로그램 제품에 관한 것이고, 컴퓨터 프로그램 제품은 프로세서에 의해 실행되는 경우에 증강 현실 장면을 재생할 때 디스플레이 디바이스상에 카메라로부터의 이미지들을 렌더링하는 상기 방법의 단계들을 구현하는 프로그램 코드 명령어들을 포함한다.
아래의 설명을 읽을 때 본 개시내용이 더 양호하게 이해될 것이며, 다른 특정한 특징들 및 이점들이 나타날 것이고, 설명은 첨부된 도면들을 참조한다.
도 1은 본 원리들의 특정 실시예에 따른, 비디오 패스-쓰루 디바이스로서 사용된 태블릿의 예를 예시한다.
도 2는 본 원리들의 특정 실시예에 따른, 도 1의 태블릿과 같은 AR 애플리케이션을 구동하는 비디오 패스-쓰루 디바이스로서 사용된 예시적인 명멸(occulting) 헤드 마운트 디스플레이(HMD) 디바이스를 예시한다.
도 3은 본 원리들의 특정 실시예에 따른, 카메라가 모터 구동되고 제어 디스플레이 디바이스로부터 원격인, 도 1 및 도 2에서와 같은 AR 애플리케이션을 구동하는 비디오 패스-쓰루 디바이스의 예시적인 실시예를 예시한다.
도 4는 본 원리들의 특정 실시예에 따른, 도 1, 도 2, 및 도 3의 카메라의 절두체(frustum) 및 도 2 및 도 3의 증강 현실 장면의 경계들에 기초한 계산들을 예시한다.
도 5a는 본 원리들의 특정 실시예에 따른, 도 4의 경계들에 따른 줌 아웃 계수의 예시적인 계산을 예시한다.
도 5b는 본 원리들의 특정 실시예에 따른, 도 4의 경계들에 따른 줌 인 계수의 예시적인 계산을 예시한다.
도 6은 본 원리들의 특정 실시예에 따른, 도 1, 도 2, 및 도 3의 카메라에 대한 최적의 포지션(64)의 예시적인 계산을 예시한다.
도 7은 본 원리들의 특정 실시예에 따른, 증강 현실 장면을 재생할 때 도 1, 도 2, 및 도 3의 카메라로부터의 이미지들을 렌더링하도록 구성된 장치의 하드웨어 실시예를 도시한다.
도 8은 제한하지 않는 바람직한 실시예에 따른 도 7의 디바이스와 같은 프로세싱 디바이스에서 구현되는 방법의 실시예를 도식적으로 도시한다.
이제, 주제가 도면들을 참조하여 설명되며, 도면들에서, 동일한 참조 부호들이 동일한 엘리먼트들을 전반적으로 지칭하기 위해 사용된다. 아래의 설명에서, 설명의 목적을 위해, 다수의 특정한 상세사항들이 주제의 완전한 이해를 제공하기 위해 제시된다. 주제의 실시예들이 이들 특정한 상세사항들 없이 실시될 수 있다는 것이 이해된다.
본 개시내용의 제한하지 않는 실시예에 따르면, 증강 현실 애플리케이션을 구동할 때 비디오 패스-쓰루 디바이스의 카메라의 줌 및 조준 방향을 자동으로 적응시키기 위한 방법 및 디바이스가 개시된다.
AR 애플리케이션을 구동하는 비디오 패스-쓰루 디바이스의 카메라의 최적의 포즈를 탐색하는 것은 카메라의 포즈를 수정하는 것에 있다. 포즈는 3차원 공간에서의 위치와 카메라의 조준 방향의 조합이다. 카메라의 위치를 자동으로 제어하는 것은 카메라를 변위시키기 위한 모터 구동 메커니즘을 요구한다. 비디오 패스-쓰루 디바이스들에는 일반적으로, 이러한 메커니즘들이 장착되지 않는다.
도 1은 비디오 패스-쓰루 디바이스로서 사용된 태블릿(10a)의 예를 예시한다. 디바이스(10a)는 스크린(102) 및 카메라(101)를 포함하는 장치를 구성한다. 카메라(101)는 실제 오브젝트들(11), 예를 들어, 도 1a의 TV 세트를 포함하는 세계의 장면을 촬영한다. 장면은 카메라(101)의 절두체(12)에 포함된 세계의 일부이다. 캡처된 장면은 태블릿(10a)의 스크린(102)상에 실시간으로 디스플레이된다. 이러한 기능은 태블릿(10a)을 비디오 패스-쓰루 디바이스로 만든다. 태블릿(10a)을 핸들링함으로써, 사용자는 카메라(101)의 포즈를 제어한다. 실제로, 카메라(101)의 위치 및 조준 방향은 디바이스(10a)의 위치 및 배향과 직접 관련된다. 특정한 실시예에서, 태블릿(10a)의 카메라(101)는 모터 구동되며, AR 애플리케이션은 카메라(101)의 조준 방향을 부분적으로 제어할 수 있다. AR 애플리케이션은 카메라의 포즈를 결정하기 위한 수단을 요구한다. 도 1에서, 표준 마커(13)가 포즈 추정 수단의 예로서 실제 오브젝트(11)의 스크린상에 디스플레이된다. 이러한 예에서, AR 애플리케이션은 카메라(101)에 의해 캡처된 이미지들을 프로세싱하고, 표준 마커(13)를 인식하며, 마커의 형상 및 사이즈에 따라, 카메라(101)(그리고 디바이스(10a)의 결과로서)의 포즈(즉, 마커 및 조준 방향에 관한 기준의 프레임에서의 위치)를 추정한다. 변형에서, AR 애플리케이션은 이미지들에서 오브젝트들, 예를 들어, 특정한 위치에 있는 것으로 공지된 특정 가구들의 인식에 따라 카메라의 포즈를 추정한다. 다른 실시예에서, 포즈 추정 수단은 실내에 위치되고 태블릿(10a)의 후면상에 점으로 된 적외선 마커들을 추적하는 적외선 카메라들의 시스템이다. 다른 실시예에서, 애플리케이션은 디바이스(10a)의 포즈를 추정하기 위해 태블릿의 관성 측정 유닛(예를 들어, 가속도계들 및 자이로스코프들)으로부터의 정보를 사용한다. 본 개시내용은 포즈 추정 시스템들의 이들 예들에 제한되지 않는다.
도 2는 AR 애플리케이션을 구동하는 비디오 패스-쓰루 디바이스로서 사용된 예시적인 명멸 헤드 마운트 디스플레이(HMD) 디바이스(10b)를 예시한다. HMD(10b)는 사용자의 눈의 전면에 하나 또는 2개의 스크린들 및 사용자의 전면의 장면을 캡처하는 적어도 하나의 카메라(101)를 포함하는 장치를 구성한다. 카메라(101)에 의해 캡처된 비디오는 HMD의 스크린들상에 실시간으로 렌더링되고, 이는 HMD(10a)를 비디오 패스-쓰루 디바이스로 만든다. 포즈 추정 시스템이 카메라의 위치 및 조준 방향을 결정하기 위해 애플리케이션에 의해 사용된다. 카메라(101)가 무엇을 촬영하는지 사용자가 보고 있을 때, 카메라(101)의 포즈는 사용자의 시선의 포즈에 대응한다. 도 2에서, 마커(13)가 카메라가 보는 실제 오브젝트(11)의 스크린상에 디스플레이된다. 도 1의 태블릿(10a)에 관하여, 임의의 다른 종류의 포즈 추정 시스템이 이용될 수 있다. 카메라의 포즈가 결정되면, AR 애플리케이션은 3차원 장면에 인공 오브젝트들을 추가한다. 카메라(101)의 절두체(12)에 포함된 이들 오브젝트들의 일부의 이미지가 카메라에 의해 캡처된 장면의 이미지상에 오버레이되며, 이러한 조성은 비디오 패스-쓰루 디바이스(10b)의 스크린상에 렌더링된다. 오브젝트들(실제 및 인공 오브젝트들) 사이의 엄폐(occultation)는 AR 애플리케이션에 의해 관리된다. 예를 들어, 도 2에서, AR 애플리케이션은 인공 에펠탑(21) 및 한 쌍의 인공 주사위들(22)을 마커에 의해 정의된 기준의 프레임내에, 따라서, 실제 TV 세트(11) 주위에 추가한다. 사용자는 절두체(12)에 포함된 것을 본다. 따라서, TV 세트(11)에서 사용자가 보는 것은 에펠탑(21)의 일부(및 일부만) 보는 것이고, 한 쌍의 주사위들(22)은 카메라(101)의 범위를 벗어나기 때문에 전혀 보지 못한다.
도 2에 예시된 실시예에서, 사용자는 그의 헤드를 이동시킴으로써 카메라의 포즈를 제어한다. 다른 실시예에서, 카메라(101)는 모터 구동되며, AR 애플리케이션은 카메라(101)의 조준 방향을 부분적으로 제어할 수 있다. 포즈 추정 시스템은 포즈를 추정하기 위해 HMD의 기준의 프레임에서 카메라(101)의 배향을 고려한다.
도 3은 AR 애플리케이션을 구동하는 비디오 패스-쓰루 디바이스의 예시적인 실시예를 예시한다. 스마트폰(10c)이 링크(31)를 통해 모터 구동된 카메라(103)를 제어한다. 링크(31)는 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어, IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스)일 수 있다. 예를 들어, 스마트폰에는 관성 측정 유닛(IMU)이 장착되고, AR 애플리케이션은 스마트폰의 이동들을 추적하고 검출된 이동들에 따라 카메라의 회전을 제어한다. 다른 실시예에서, 사용자 인터페이스는 사용자가 카메라의 회전을 제어하게 하는 스마트폰상에 구동한다. 카메라는 실제 오브젝트들(11)을 포함하는 카메라의 정면의 장면(즉, 절두체에 포함된 실제 세계의 일부)을 캡처한다. 카메라에 의해 캡처된 이미지들은 스마트폰에 전달되며 스마트폰(10c)의 스크린상에서 실시간으로 렌더링된다. 이러한 시스템은 비디오 패스-쓰루 디바이스를 구성한다. 카메라의 포즈는 그것의 모터들에 따라 매시간 알려진다. 변형에서, 예를 들어, 기준 마커들에 기초한 외부 포즈 추정 시스템이, 예를 들어, 카메라에 모션 디바이스들(예를 들어, 휠들 또는 무한궤도 바퀴들)이 장착되는 경우에 추가로 사용된다.
AR 애플리케이션을 구동할 때, 디바이스(10c)는 카메라(103)에 의해 캡처된 이미지들상에 인공 오브젝트들(21)을 전체적으로 또는 부분적으로 오버레이한다. AR 장면의 일부 인공 오브젝트들은, 예를 들어, 도 3의 예에서 한 쌍의 주사위들(22)과 같이, 카메라의 범위 밖에 있을 수 있다. 본 발명의 특정한 실시예에 따르면, 증강 현실 장면의 경계들(32)이 계산된다. AR 장면은 AR 애플리케이션의 AR 콘텐츠를 구성하는 모든 인공 오브젝트(21 및 22)를 포함한다. 그것이 사용자가 봐야 하는 것이다. 변형에서, 장면은 비가시 인공 오브젝트들을 또한 포함한다. 비가시 오브젝트는 렌더링되지 않은 AR 장면의 엘리먼트이다(즉, 이러한 엘리먼트에 대해 카메라에 의해 캡처된 이미지상에 오버레이되는 인공 이미지가 없다). 이러한 비가시 오브젝트는 예를 들어, 도 1, 도 2, 및 도 3의 TV 세트(11)와 같은 실제 오브젝트의 형상을 둘러쌀 수 있다. 따라서, 실제 오브젝트는 카메라에 의해 캡처된 이미지를 수정하지 않고 장면의 경계들내에 포함될 수 있다. 비가시 오브젝트는, AR 애플리케이션의 작성자가 AR 장면의 경계들에 포함하기 원하는 실제 세계의 볼륨에 대응한다. 경계들은 가능한 한 밀접하게 AR 콘텐츠의 엘리먼트들을 포함한다. 경계들(32)은 인공 및 실제 오브젝트들일 수 있는 AR 콘텐츠의 모든 엘리먼트들을 둘러싸는 방식으로, 바람직하게는, 가능한 한 밀접하게 이들 엘리먼트들을 포함하는 방식으로 결정된다. 도 3에서, AR 장면의 경계들은 AR 콘텐츠의 엘리먼트들의 세트의 3차원 바운딩 박스이다. 변형들에서, 경계들은 AR 장면의 바운딩 타원 또는 컨벡스 헐(convex hull)일 수 있다. 특정한 실시예에서, AR 장면의 엘리먼트들은 시간에 따라 이동하거나 형상이 변화할 수 있다. 변형에서, 장면의 엘리먼트들의 수는 시간에 따라 변할 수 있다. 이러한 실시예에서, 경계들은 장면에서의 변화가 검출될 때마다 계산된다. 변형에서, 경계들은 정기적인 빈도로, 예를 들어, 각각 1/10초 또는 각각 1/2초로 계산된다.
도 4는 카메라의 절두체 및 경계들에 기초한 계산들을 예시한다. 경계들의 계산에 기초하고 그리고 카메라(101)의 포즈 추정에 따라 결정된 가상 세계에서의 카메라의 위치 및 조준 방향에 따라, 2개의 두드러진 직사각형들이 기준의 가상 프레임에서 계산된다. 카메라가 포즈 추정에 따라 AR 애플리케이션의 가상 세계내에 위치된다는 것이 이해된다. 카메라는, 가상 장면에서, 실제 카메라의 초점에 대응하는 포인트로 축소가능하다. 카메라(101)의 포즈를 추정할 때, 시스템은 먼저, 가상 장면의 기준의 프레임에서 카메라의 초점의 위치, 및 다음으로, 동일한 기준의 프레임에서 카메라의 조준 방향(41)(즉, 배향)을 추정한다. 도 1, 도 2, 및 도 4에 참조된 절두체(12)는 포즈 추정에 기초한다. 피라미드(42)가 결정되고, 피라미드는 카메라의 초점을 포인팅하며 전체 경계들(32)을 포함한다. 도 4의 예에서, 경계들(32)은 바운딩 박스로서 형성되며 피라미드(42)는 4-면 피라미드이다. 경계들의 변형들에서, 피라미드(42)는 임의의 형상의 원뿔 또는 뾰쪽한 볼륨(pointed volume)일 수 있다. 경계들(32) 및 피라미드(42)에 기초하여, 경계들의 니어 페이스(near face) 직사각형(43)이라 불리는 직사각형(43)이 계산된다. 니어 페이스(43)는 5개의 아래의 조건들의 결합에 의해 정의된 직사각형이다:
- 직사각형(43)은 조준 방향(41)에 수직이고;
- 직사각형(43)은 피라미드(42)의 바운딩 직사각형이고;
- 직사각형(43)은 전체 경계들을 포함하고;
- 직사각형(43)의 에지들은 절두체 직사각형(44)의 에지들과 평행하고;
- 직사각형(43)은 이전의 조건들을 따르는 직사각형들 중 카메라(101)로부터 가장 가깝다.
절두체 직사각형(44)은 니어 페이스 직사각형(43)의 평면에 있는 카메라 절두체(12)에 의해 정의된 직사각형이다.
도 5a는 줌 아웃 계수의 예시적인 계산을 예시한다. 카메라(101)의 주어진 포즈를 위해, 니어 페이스 직사각형(43)이 절두체 직사각형(44)에 포함되고 니어 페이스 직사각형(43)의 적어도 하나의 에지가 절두체 직사각형(44)의 하나의 에지상에 오버레이되는 경우에, AR 장면은 최대 사이즈로 렌더링된다. 도 5a의 예에서, 직사각형(43)의 일부(51)가 절두체 직사각형(44)의 내부에 있고 나머지 부분(52)이 외부에 있다. 카메라(101)를 이동시키지 않고(즉, 절두체 직사각형(44)의 중심을 이동시키지 않고) AR 장면의 렌더링을 최대화하기 위해, 절두체 직사각형은 새로운 절두체 직사각형(54)을 획득하기 위해 그것의 에지들 중 하나가 니어 페이스 직사각형(43)의 외부 에지와 오버레이할 때까지 그 대각선들을 따라 확대된다. 이러한 동작은 카메라(101)에 대한 줌 아웃에 대응한다. 줌 계수는 예를 들어, 절두체 직사각형(54)의 대각선의 길이를 실제 절두체 직사각형(44)의 대각선의 길이로 나눔으로써 결정된다. 이러한 예에서, 줌 계수는 1보다 커서, 줌 아웃에 대응한다.
도 5b는 줌 인 계수의 예시적인 계산을 예시한다. 니어 페이스 직사각형(43)이 절두체 직사각형(44)에 완전히 포함될 때, AR 장면의 렌더링은 확대 방식으로 렌더링될 수 있기 때문에 최적이 아니다. 절두체 직사각형(44)은 그것의 에지들 중 하나가 니어 페이스 직사각형(43)의 에지들 중 적어도 하나와 오버레이할 때까지 그것의 대각선들(53)을 따라 감소된다. 이러한 예에서, 줌 계수는 1보다 낮아서 줌 인에 대응한다. 줌 계수는 니어 페이스 직사각형(43) 및 절두체 직사각형(44)에 따라 결정된다.
도 6은 카메라(101)에 대한 최적의 포지션(64)의 예시적인 계산을 예시한다. 카메라(101)에는 AR 애플리케이션으로부터의 제어 명령어들에 따라 그 렌즈 시스템의 초점을 수정하는 광학 줌 장치가 장착된다. 카메라의 초점은 카메라의 시야에 직접 링크된다. 물리적인 제약들로 인해, 카메라(101)는 카메라가 동작할 수 없는 최대 시야를 갖는다. 상반되게, 촬영 조건들이 더 이상 충족되지 않는 최소 시야가 결정될 수 있다. AR 애플리케이션이 니어 페이스 직사각형(43) 및 절두체 직사각형(44)에 따라 계산된 줌 계수를 카메라(101)에 적용할 때, 이는 카메라(101)의 시야를 그 최대값들 중 하나로 수정한다. 최소 시야에 도달할 때, 이는 카메라(101)가 니어 페이스 직사각형으로부터 너무 멀어 사용자를 충족시키는 차원에서 장면을 캡처할 수 없다는 것을 의미한다. 상반되게, 최대 시야에 도달할 때, 카메라(101)는 니어 페이스 직사각형에 너무 가깝고 도 6에 예시된 바와 같이 전체적으로 장면을 캡처할 수 없다. 도 6에서, 위로부터 보면, 직사각형들(43, 44, 및 54)이 명확화를 위해 시프트되었다. 이들 3개의 직사각형들이 동일한 평면에 속하는 것이 이해된다. 이러한 예에서, 각도(61)는 카메라(101)의 시야의 최대 열림(opening)에 대응한다. 니어 페이스 직사각형(43)의 폭을 고려하면, 본 원리들의 특정한 실시예에 따라, AR 애플리케이션은 카메라(101)에게 최대 줌 아웃을 명령한다. 그러나, 카메라(101)는 니어 페이스 직사각형으로부터 너무 가까워서 전체 가상 장면을 캡처할 수 없다. AR 애플리케이션은 카메라(101)를 변위시키지 않는다. 그러나, AR 애플리케이션은 가상 장면의 최적의 렌더링을 위한 최적의 포지션이 어디인지를 사용자에게 지시할 수 있다. 예를 들어, AR 애플리케이션은 어느 길로 이동할지 사용자에게 지시하기 위해 디바이스(10a, 10b, 또는 10c)의 스크린상에 화살표들을 디스플레이할 수 있다. 변형에서, 시스템은 사용자에게 최적의 포지션을 지시하기 위해 오디오 메시지들 또는 햅틱 효과들(예를 들어, 진동들)을 사용한다. 먼저, 최적의 렌더링을 위해, 카메라(101)의 조준 방향은 니어 페이스 직사각형(43)의 중심과 교차해야 한다. 도 6의 예에서, 사용자는 그의 좌측으로 이동해야 한다. 둘째로, α라 칭하는 최대 각도(61)는 최소 변위 백워드를 허용하는 각도이다. 니어 페이스 직사각형(43)과 최적의 포지션(64) 사이의 z2라 칭하는 거리(63)는, 아래의 수학식 [E1]에 따라, 카메라(101)와 3개의 직사각형들의 평면들 사이의 z1이라 칭하는 거리(62), 새로운 절두체 직사각형(54)의 w1이라 칭하는 폭, 및 니어 페이스(43)의 w2라 칭하는 폭에 따라 컴퓨팅된다:
Figure 112017095412362-pat00001
도 7의 예에서, 사용자는 z2-z1의 거리로 백워드 이동하도록 유도된다. 동일한 원리들이 카메라(101)의 최소 시야에 대해 사용된다.
다른 실시예에서, 카메라(101)에는 광학 줌 장치가 장착되지 않는다. 이러한 실시예에서, AR 애플리케이션은 렌더링된 이미지의 시야를 제어하기 위해 디지털 줌 기능을 사용한다. 최대 시야는 카메라(101)의 시야에 대응한다. 디지털 줌 인이 이미지의 품질을 감소시킴에 따라, 최소 시야가 최소 품질을 유지하기 위해 결정된다. 동일한 원리들이 실시예에 적용된다. 변형에서, AR 콘텐츠에는 경험 동안 경계들의 최대 사이즈의 추정이 따른다. 사용자에게는, 예를 들어, 경험의 시작에서, 오직 한번 최적의 포지션을 향해 이동하도록 요구될 수 있다. 변형에서, 가상 장면의 엘리먼트들 중 적어도 하나가 메인 방향과 연관된다. 예를 들어, 도 1, 도 2, 및 도 3의 예에서, 가상 장면의 렌더링되지 않은 엘리먼트를 구성하더라도, 텔레비전 세트(11)는 메인 방향(예를 들어, 텔레비전 세트의 스크린에 대해 법선)과 연관될 수 있다. 최적의 포지션은 이들 방향들에 따라 컴퓨팅되어서, 사용자는 메인 엘리먼트들의 정면으로 이동하도록 유도된다. 메인 방향을 갖는 가상 장면의 엘리먼트들은 카메라(101)의 최적의 포지션을 컴퓨팅하기 위해 가중치(예를 들어, 0과 100 사이의 정수 또는 0과 1 사이의 실수)와 연관될 수 있다. 가중된 메인 방향들 간의 최적의 트레이드-오프를 찾기 위해 최적화 알고리즘이 사용된다.
일부 실시예들에서, 카메라(101)는 모터 구동되며 회전할 수 있다. 최적의 배향이 카메라(101)의 최소 및 최대 시야에 따라 컴퓨팅된다. 최적의 배향은 카메라의 실제 조준 방향에 대해 계산된 바와 같이 니어 페이스 직사각형(43)에 따라 컴퓨팅될 수 있다. 변형에서, 니어 페이스 직사각형이 카메라의 조준 방향에 의존하기 때문에, 니어 페이스 직사각형은 가능한 배향들에 대해 계산된다. 최적화 알고리즘이 최적의 배향을 컴퓨팅하기 위해 사용된다.
도 7은 증강 현실 장면을 재생할 때 디스플레이 디바이스(79)상에 카메라(101)로부터의 이미지들을 렌더링하도록 구성된 장치(70)의 하드웨어 실시예를 도시한다. 도 7은 도 1 내지 도 3으로 설명한 바와 같은 시스템들의 예시적인 하드웨어 실시예이다. 이러한 예에서, 디바이스(70)는 클록 신호를 또한 전송하는 어드레스들 및 데이터의 버스(73)에 의해 서로 연결된 아래의 엘리먼트들을 포함한다:
- 마이크로프로세서(71)(또는 CPU),
- 그래픽 카드(76),
- 판독 전용 메모리(ROM) 타입(74)의 비휘발성 메모리,
- 랜덤 액세스 메모리 또는 RAM(75), 그래픽 카드(76)는 랜덤 액세스 메모리의 레지스터들을 내장할 수 있음,
- 예를 들어, 자이로스코프들, 가속도계들 및/또는 나침반들을 포함하는 관성 측정 유닛의 형태의 임의의 내부 포즈 추정 시스템(720),
- 예를 들어, 마우스, 조이스틱, 웹캠 등가 같은 입/출력(I/O) 디바이스들(721)의 임의의 세트, 및
- 전원(77).
디바이스(70)는 데이터를 어드레스들(73)의 버스를 통해 CPU(71)에 송신하는 외부 포즈 추정 시스템(722)에 연결될 수 있다.
디바이스(70)는 카메라(101)에 연결된다. 일부 실시예들에서, 카메라(101)는 모터 구동된다. 특정한 실시예들에서, 카메라(101)에는 버스(73)를 통해 수신된 제어 명령어들에 따라 카메라의 렌즈 시스템의 초점을 수정하는 광학 줌 장치가 장착된다.
바람직하게는, 디바이스(70)는 그래픽 카드에서 계산된 이미지들을 디스플레이하기 위해 그래픽 카드(76)를 통해 직접적으로 디스플레이 스크린 타입의 하나 이상의 디스플레이 디바이스들(79)에 연결된다. 변형에서, 하나 이상의 디스플레이 디바이스들(79)은 버스(73)를 통해 그래픽 카드(76)에 연결된다. 특정한 실시예들에서, 포즈 추정 시스템(722) 및/또는 하나 이상의 디스플레이 디바이스들(79)은 도 1 내지 도 3으로 설명한 바와 같이 헤드 마운트 디바이스들, 태블릿들 또는 스마트폰들에 대해서와 같이 디바이스(70)에 집적된다.
메모리들(74, 75 및 76)의 설명에서 사용된 "레지스터"란 단어는 언급된 메모리들 각각에서, 큰 용량의 메모리 존 뿐만 아니라 낮은 용량의 메모리 존(일부 이진 데이터) 양자를 지정한다(이는 전체 프로그램이 저장될 수 있게 하거나 또는 계산되는 또는 디스플레이될 데이터를 나타내는 데이터의 전부 또는 일부가 저장될 수 있게 한다).
스위치-온될 때, ROM(74)의 레지스터에서의 프로그램에 따라, 마이크로프로세서(71)는 RAM(75)의 레지스터들에서의 프로그램의 명령어들을 로딩하고 실행한다.
하나의 특정한 실시예에 따르면, 본 개시내용에 특정되는 방법의 단계들을 구현하며 이하 설명하는 알고리즘들은 이들 단계들을 구현하는 디바이스(70)와 연관된 그래픽 카드(76)의 메모리 GRAM에 바람직하게 저장된다.
변형에 따르면, 전원(77)은 디바이스(70) 외부에 있다.
도 8은 제한하지 않는 바람직한 실시예에 따른 디바이스(70)와 같은 프로세싱 디바이스에서 구현되는 방법(80)의 실시예를 도식적으로 도시한다.
초기화 단계(801)에서, 디바이스는 AR 애플리케이션을 재생하기 위해 필요한 데이터를 획득한다. 연관된 프로그램들 및 AR 장면이 RAM(75)에 로딩되며, 변형에서, 적어도 일부에 대해서는, 그래픽 보드(76)의 GRAM에 로딩된다. 카메라(101)의 초기 포즈가 추정된다.
단계(802)에서, AR 장면의 기준의 프레임내의 카메라(101)의 포즈가 추정된다. 변형에서, 이러한 단계는 다른 단계들과 병렬로 실행되며, 정기적으로, 예를 들어, 20 헤르쯔 또는 70 헤르쯔로 반복된다. 포즈 추정은 적어도 하나의 소스로부터의 정보에 따라 컴퓨팅된다. 예를 들어, 카메라(101)는 IMU가 장착된 디바이스(70)에 집적된다. AR 애플리케이션은 디바이스, 따라서, 카메라의 차별 포즈를 추적한다. 변형에서, 시스템에는 카메라(101)상의 적외선 플롯들을 촬영하는 적외선 카메라들의 세트가 장착된다. 이미지 프로세싱이, 적외선 카메라들의 내인성 및 외인성 파라미터들에 따라 카메라의 포즈를 추정하기 위해 예를 들어, 디바이스(70)의 CPU(71)에 의해 요구된다. 다른 변형에서, 카메라(101)는 (도 1의 예에서와 같이) 적어도 하나의 기준 마커를 촬영하고, AR 애플리케이션은 인식된 기준 마커들의 공지된 포즈에 따라, 예를 들어, 디바이스(70)의 CPU(71)상에서 이미지 프로세싱을 실행함으로써 카메라(101)의 포즈를 추정한다.
단계(803)에서, AR 장면의 경계들은 도 3에 설명한 바와 같이 계산된다. 니어 페이스 직사각형(43) 및 절두체 직사각형(44)은 도 4에서 설명한 바와 같이 카메라(101)의 추정된 포즈(즉, 카메라의 위치 및 조준 방향), 카메라의 시야 및 경계들에 따라 컴퓨팅된다. 도 8에서의 이중 바(820)는 방법(80)의 아래의 단계가 시스템의 실시예에 의존한다는 것을 지시한다. 방법은 단계(804)에서, 카메라(101)의 실제 포지션이 최적인지(또는 최적의 포지션으로부터 너무 멀지 않은지)를 테스트하는 것으로 구성될 수 있다. "포즈" 뿐만 아니라 "포지션"이란 단어가 카메라의 위치 및 조준 방향을 지칭한다는 것이 이해된다. 예를 들어, 테스트는 줌 팩터가 최소일 때(즉, 카메라의 시야가 최대일 때) 니어 페이스 직사각형이 카메라의 시야에 포함될 수 있는지를 추정하는데 있을 수 있다. 그렇지 않으면, 실제 포지션은, 줌 팩터가 무엇이든, 카메라가 AR 장면으로부터 너무 가까워서 그 절두체에 니어 페이스 직사각형을 전혀 포함할 수 없기 때문에 최적이 아니다. 동일한 원리들이, 카메라가 장면으로부터 너무 멀 때(즉, 니어 페이스 직사각형이 최소의 절두체 직사각형의 작은 부분을 점유할 때) 적용가능하다. 변형에서, 테스트는, 카메라(101)가 메인 방향들과 연관된 장면의 엘리먼트들의 정면에 실제로 있는지를 계산하는데 있을 수 있다. 이들 방향들과 연관된 가중치들은 이러한 테스트를 컴퓨팅하기 위해 고려된다. 카메라(101)가 최적의 포지션에 있지 않으면, 단계(805)가 실행된다. 카메라(101)가 최적의 포지션의 테스트(804)를 통과하면, 단계(807)가 실행된다. 다른 실시예에서, 단계(805)는 단계(807)와 병렬로 정기적으로 실행된다. 다른 실시예에서, 단계(805)는 단계(803) 이후에 시스템적으로 실행된다. 이러한 실시예에서, 테스트(804)는 결코 수행되지 않는다.
단계(805)에서, 최적의 포지션이 카메라(101)에 대해 계산된다. 컴퓨팅된 최적의 포지션은 AR 장면의 보기가 최적화되는 시점이다. 이러한 계산법은 도 6에서 설명한 바와 같이 경계들 및 카메라의 파라미터들을 고려한다. 변형에서, 이러한 계산법은 최적의 포지션을 결정하기 위해 AR 장면의 적어도 하나의 엘리먼트와 연관된 가중된 메인 방향들을 또한 취한다. 단계(806)에서, 컴퓨팅된 최적의 포지션은 예를 들어, AR 애플리케이션에 의해 렌더링된 이미지들상에 화살표들을 오버레이함으로써 시각 효과들을 통해 사용자에게 지시된다. 변형에서, 최적의 포지션은 예를 들어, 디바이스(70)에 내장되거나 햅틱 팔찌 또는 햅틱 조끼(vest)와 같은 사용자가 착용한 바이브레이터를 예를 들어, 활성화시킴으로써 햅틱 효과들을 통해 사용자에게 지시된다. 다른 변형에서, 최적의 포지션은 오디오 메시지들, 예를 들어, 스테레오 비프들 또는 음성 발성들로 지시된다.
단계(807)에서, 줌 계수가 도 5a 및 도 5b에 설명한 바와 같이 니어 페이스 직사각형(43), 카메라(101)의 포즈, 및 카메라의 최소 및 최대 시야를 포함하는 카메라(101)의 파라미터들에 따라 컴퓨팅된다. 도 8의 이중 라인(821)은 아래의 단계가 시스템의 실시예에 의존한다는 것을 지시한다. 카메라(101)에 광학 줌 장치가 장착되는 경우에, 단계(808)가 실행될 수 있다. 단계(807)에서 계산된 줌 계수는 명령어들을 카메라(101)의 광학 줌 장치에 송신하기 위해 디바이스(70)의 CPU(71)에 의해 사용된다. 카메라(101)에 광학 줌 장치가 장착되지 않으면, 단계(808) 대신에 단계(809)가 실행된다. 이러한 단계에서, 디지털 줌이 컴퓨팅된 줌 계수에 따라 동작된다. 크롭(crop)이, 이미지들의 품질이 더 이상 충분하게 추정되지 않는 최소 시야에 대응하는 사이즈까지 카메라(101)에 의해 캡처된 이미지들에 대해 수행된다. 줌 계수가 최대 시야에 대응하면, 크롭은 수행되지 않는다. 변형에서, 단계(809)는 단계(808) 이전, 단계(808) 이후 또는 단계(808)와 병렬로 수행될 수 있다. 카메라(101)가 모터 구동되면, 단계(810)가 실행된다. AR 애플리케이션은 AR 장면의 보기 조건들을 최적화하기 위해 카메라(101)에 대한 최적의 조준 방향을 컴퓨팅하고, 카메라를 회전시키기 위해 카메라(101)에 명령어를 송신한다. 변형에서, 단계(810)는 시스템의 실시예에 따라 단계(808) 및/또는 단계(809) 이전, 이후 또는 그와 병렬로 수행된다.
카메라(101)의 줌 및 조준 방향이 조정되었을 때, 단계(811)가 실행된다. 이러한 단계는 AR 애플리케이션의 전형적인 프로세싱, 즉, 카메라(101)에 의해 캡처된 이미지들상에 카메라(101)의 조정된 시점으로부터 보는 AR 장면의 일부를 오버레이하는 것에 있다. 방법(80)은 카메라 포즈의 변화들 및/또는 AR 장면의 변화들을 고려하고 렌더링된 이미지들을 업데이트하기 위해 단계(802)로부터 반복적으로 실행된다.
당연히, 본 개시내용은 상술한 실시예들에 제한되지 않는다.
특히, 본 개시내용은 증강 현실 장면을 재생할 때 디스플레이 디바이스상에 카메라로부터의 이미지들을 렌더링하는 방법에 제한되는 것이 아니라, 카메라를 제어하는 모터들에 명령어들을 송신하는 임의의 방법 또는 최적의 포지션을 사용자에게 지시하기 위해 시각, 오디오 또는 햅틱 효과들을 송신하는 임의의 방법으로 또한 확장한다. 줌 계수의 계산을 위해 사용된 경계들 및 직사각형들을 생성하기 위해 필요한 계산들의 구현은 셰이더 타입 마이크로프로그램들에서의 구현에 제한되는 것이 아니라, 임의의 프로그램 타입, 예를 들어, CPU 타입 마이크로프로세서에 의해 실행될 수 있는 프로그램들에서의 구현으로 또한 확장한다.
본원에 설명하는 구현들은 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 시스템, 또는 신호에서 구현될 수 있다. 단일 형태의 구현의 문맥에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현은 다른 형태들(예를 들어, 프로그램)에서 또한 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어에서 구현될 수 있다. 방법들은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능한 로직 디바이스를 포함하는 프로세싱 디바이스들을 일반적으로 지칭하는 예를 들어, 프로세서와 같은, 예를 들어, 장치에서 구현될 수 있다. 프로세서들은, 예를 들어, 스마트폰들, 태블릿들, 컴퓨터들, 모바일 폰들, 휴대용/휴대 정보 단말기들("PDAs"), 및 종단 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 또한 포함한다.
본원에 설명한 다양한 프로세스들 및 특징들의 구현들은 각종의 상이한 장비 또는 애플리케이션들, 특히, 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 프로세싱, 및 이미지 및 관련 텍스처 정보 및/또는 깊이 정보의 다른 프로세싱과 연관된 장비 또는 애플리케이션들에서 실시될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋-탑 박스, 랩탑, 개인 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명확해야 하는 바와 같이, 장비는 모바일일 수 있고 심지어 이동체에 설치될 수 있다.
추가로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있으며, 이러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 예를 들어, 하드 디스크, 컴팩트 디스크("CD"), (예를 들어, 디지털 다기능 디스크 또는 디지털 비디오 디스크로 종종 칭하는 DVD와 같은) 광학 디스크, 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서-판독가능 매체에 저장될 수 있다. 명령어들은 프로세서-판독가능 매체상에 유형으로 수록된 애플리케이션 프로그램을 형성할 수 있다. 명령어들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합에 있을 수 있다. 명령어들은 예를 들어, 운영 시스템, 개별 애플리케이션, 또는 이들 2개의 조합에서 발견될 수 있다. 따라서, 프로세서는 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하는 명령어들을 갖는 (저장 디바이스와 같은) 프로세서-판독가능 매체를 포함하는 디바이스 양자로서 특징화될 수 있다. 추가로, 프로세서-판독가능 매체는 명령어들 이외에 또는 그 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.
본 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현들은 예를 들어, 저장되거나 송신될 수 있는 정보를 반송하도록 포맷된 각종 신호들을 생성할 수 있다. 정보는 예를 들어, 방법을 수행하는 명령어들, 또는 설명한 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호가 설명한 실시예의 신택스를 기입하거나 판독하는 규칙들을 데이터로서 반송하거나, 설명한 실시예에 의해 기입된 실제 신택스-값들을 데이터로서 반송하도록 포맷될 수 있다. 이러한 신호는 예를 들어, 전자기파(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷될 수 있다. 포맷하는 것은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 반송파를 인코딩된 데이터 스트림으로 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지되어 있는 바와 같이, 각종의 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체상에 저장될 수 있다.
다수의 구현들을 설명하였다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현들의 엘리먼트들이 다른 구현들을 생성하기 위해 조합될 수 있고, 보완될 수 있고, 수정될 수 있거나, 제거될 수 있다. 추가적으로, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 구조들 및 프로세스들을 대체할 수 있으며, 결과적인 구현들이 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행한다는 것을 이해할 것이다. 이에 따라, 이들 및 다른 구현들은 본 출원에 의해 고려된다.

Claims (17)

  1. 카메라(101, 103)의 시점으로부터 증강 현실 장면을 재생할 때 디스플레이 디바이스(79) 상에 이미지들을 렌더링하는 방법(80)으로서,
    상기 증강 현실 장면의 경계들(32)을 결정하는 단계 - 상기 경계들은 상기 증강 현실 장면의 모든 인공 엘리먼트를 둘러쌈 -;
    상기 카메라(101, 103)의 포즈의 추정 및 상기 장면의 상기 경계들(32)에 따라 줌 계수를 결정하는 단계; 및
    상기 줌 계수에 따라 상기 카메라(101, 103)로부터의 이미지들을 상기 디스플레이 디바이스(79) 상에 렌더링하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    시각, 오디오 또는 햅틱 효과들을 포함하는 그룹으로부터의 효과들을 사용하여 상기 카메라(101, 103)의 포지션(64)을 사용자에게 지시하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 포지션(64)은 상기 증강 현실 장면의 적어도 하나의 엘리먼트(11, 21, 22)와 연관된 방향 및 가중치에 따라 결정되는, 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 증강 현실 장면은 상기 카메라(101, 103)에 의해 캡처된 실제 장면의 오브젝트들에 대응하는 렌더링되지 않은 엘리먼트들(11)을 포함하고, 상기 엘리먼트들은 상기 증강 현실 장면의 상기 경계들(32)을 결정할 때 고려되는, 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 증강 현실 장면의 상기 경계들(32) 및 상기 줌 계수에 따라 상기 카메라(103)의 조준 방향을 제어하는 단계를 포함하는, 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 카메라(101, 103)는 광학 줌 기능을 포함하고,
    상기 방법은 상기 줌 계수에 따라 상기 광학 줌 기능을 제어하는 단계를 더 포함하는, 방법.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 줌 계수에 따라 상기 이미지들에 대해 디지털 줌을 동작시키는 단계를 포함하는, 방법.
  8. 카메라(101, 103)의 시점으로부터 증강 현실 장면을 재생할 때 이미지들을 렌더링하도록 구성된 디스플레이(79)를 갖는 디바이스로서,
    적어도 하나의 프로세서와 연관된 메모리를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 증강 현실 장면의 경계들(32)을 결정하고 - 상기 경계들은 상기 증강 현실 장면의 모든 인공 엘리먼트를 둘러쌈 -;
    상기 카메라(101, 103)의 포즈의 추정 및 상기 장면의 상기 경계들(32)에 따라 줌 계수를 결정하며;
    상기 줌 계수에 따라 상기 카메라(101, 103)로부터의 이미지들을 렌더링하도록
    구성되는, 디바이스.
  9. 제8항에 있어서,
    시각, 오디오 또는 햅틱 효과들을 포함하는 그룹으로부터의 효과들을 사용하여 상기 카메라(101, 103)의 포지션(64)의 지시를 사용자에게 송신하도록 구성된 송신기를 더 포함하는, 디바이스.
  10. 제9항에 있어서,
    상기 포지션(64)은 상기 증강 현실 장면의 적어도 하나의 엘리먼트(11, 21, 22)와 연관된 방향 및 가중치에 따라 결정되는, 디바이스.
  11. 제8항 또는 제10항에 있어서,
    상기 증강 현실 장면은 상기 카메라(101, 103)에 의해 캡처된 실제 장면의 오브젝트들에 대응하는 렌더링되지 않은 엘리먼트들(11)을 포함하고, 상기 엘리먼트들은 상기 증강 현실 장면의 상기 경계들(32)을 결정할 때 고려되는, 디바이스.
  12. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 프로세서는 상기 증강 현실 장면의 상기 경계들(32) 및 상기 줌 계수에 따라 상기 카메라(103)의 조준 방향을 제어하도록 더 구성되는, 디바이스.
  13. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 카메라(101, 103)는 광학 줌 기능을 포함하고,
    상기 프로세서는 상기 줌 계수에 따라 상기 광학 줌 기능을 제어하도록 더 구성되는, 디바이스.
  14. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 프로세서는 상기 줌 계수에 따라 상기 이미지들에 대해 디지털 줌을 동작시키도록 더 구성되는, 디바이스.
  15. 프로세서에 의해 실행가능하고/하거나 컴퓨터에 의해 판독가능한 기록 매체 상에 기록된 컴퓨터 프로그램으로서,
    프로세서에 의해 실행될 때, 제1항 내지 제3항 중 어느 한 항에 따른 증강 현실 장면을 재생할 때 디스플레이 디바이스(79) 상에 카메라(101, 103)로부터의 이미지들을 렌더링하는 상기 방법의 단계들을 구현하기 위한 프로그램 코드 명령어들을 포함하는, 컴퓨터 프로그램.
  16. 삭제
  17. 삭제
KR1020170111849A 2016-09-06 2017-09-01 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들 KR102346437B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306115.3 2016-09-06
EP16306115.3A EP3291531A1 (en) 2016-09-06 2016-09-06 Methods, devices and systems for automatic zoom when playing an augmented reality scene

Publications (2)

Publication Number Publication Date
KR20180027361A KR20180027361A (ko) 2018-03-14
KR102346437B1 true KR102346437B1 (ko) 2022-01-05

Family

ID=56943452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170111849A KR102346437B1 (ko) 2016-09-06 2017-09-01 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들

Country Status (12)

Country Link
US (1) US10645298B2 (ko)
EP (2) EP3291531A1 (ko)
JP (1) JP7090410B2 (ko)
KR (1) KR102346437B1 (ko)
CN (1) CN107801045B (ko)
BR (1) BR102017019134A2 (ko)
CA (1) CA2977074A1 (ko)
ES (1) ES2726349T3 (ko)
MX (1) MX370770B (ko)
PL (1) PL3291536T3 (ko)
RU (1) RU2017131050A (ko)
TR (1) TR201906816T4 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249304B2 (en) * 2016-12-02 2022-02-15 Disney Enterprises, Inc. Augmented reality camera frustum
WO2019080047A1 (zh) * 2017-10-26 2019-05-02 腾讯科技（深圳）有限公司 增强现实图像的实现方法、装置、终端设备和存储介质
US11029185B2 (en) * 2017-11-30 2021-06-08 Rampart Strong, Llc Tank gauge
CN108492352B (zh) * 2018-03-22 2021-10-22 腾讯科技（深圳）有限公司 增强现实的实现方法、装置、系统、计算机设备及存储介质
EP3553630A1 (en) * 2018-04-13 2019-10-16 InterDigital CE Patent Holdings Method for assisting a positioning of a user, corresponding computer program product and device
JP2019197499A (ja) * 2018-05-11 2019-11-14 株式会社スクウェア・エニックス プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法
WO2020005757A1 (en) * 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
CN109272444B9 (zh) * 2018-10-07 2023-06-30 朱钢 一种改善Ai智慧摄影场景优化策略的实现方法
CN109166369A (zh) * 2018-10-11 2019-01-08 龚映清 一种透明屏幕式增强现实视-触-听横屏训练系统及方法
CN109917911B (zh) * 2019-02-20 2021-12-28 西北工业大学 一种基于信息物理交互的振动触觉反馈装置设计方法
CN110312142A (zh) * 2019-07-23 2019-10-08 东华大学 一种基于5g技术的ar直播系统
CN111768659B (zh) * 2020-05-15 2022-08-30 四川科华天府科技有限公司 一种基于ar互动教学设备的变焦系统
US11115600B1 (en) * 2020-06-12 2021-09-07 Qualcomm Incorporated Dynamic field of view compensation for autofocus
KR102281584B1 (ko) * 2020-11-12 2021-07-26 주식회사 오썸피아 사용자 단말로 전망대 망원경 영상 및 증강현실 콘텐츠를 제공하는 방법, 장치, 및 시스템
CN113902883A (zh) * 2021-10-21 2022-01-07 优奈柯恩(北京)科技有限公司 用于显示头戴式显示设备主界面的方法及装置
KR102681608B1 (ko) * 2023-12-13 2024-07-05 주식회사 코너스 공간 내의 객체를 인식 및 추적하고 해당 공간에 대한 대응 객체를 포함하는 디지털 트윈 콘텐츠를 생성하는 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098992A1 (en) 2010-10-26 2012-04-26 Canon Kabushiki Kaisha Imaging apparatus
US20120176410A1 (en) 2009-08-18 2012-07-12 Metaio Gmbh Method for representing virtual information in a real environment

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4920775B2 (ja) 2010-07-08 2012-04-18 株式会社スクウェア・エニックス 画像生成装置及び画像生成プログラム
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
KR101591579B1 (ko) 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
CN102214000B (zh) * 2011-06-15 2013-04-10 浙江大学 用于移动增强现实系统的目标物体混合注册方法及系统
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9870642B2 (en) 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
US10235587B2 (en) * 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US10001857B2 (en) * 2015-05-13 2018-06-19 Seiko Epson Corporation Display apparatus and method of controlling display apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176410A1 (en) 2009-08-18 2012-07-12 Metaio Gmbh Method for representing virtual information in a real environment
US20120098992A1 (en) 2010-10-26 2012-04-26 Canon Kabushiki Kaisha Imaging apparatus

Also Published As

Publication number Publication date
JP7090410B2 (ja) 2022-06-24
EP3291536B1 (en) 2019-04-10
EP3291536A1 (en) 2018-03-07
RU2017131050A (ru) 2019-03-04
MX2017011381A (es) 2018-09-21
CA2977074A1 (en) 2018-03-06
BR102017019134A2 (pt) 2018-05-02
CN107801045B (zh) 2021-05-25
US10645298B2 (en) 2020-05-05
MX370770B (es) 2020-01-03
ES2726349T3 (es) 2019-10-03
US20180070019A1 (en) 2018-03-08
KR20180027361A (ko) 2018-03-14
EP3291531A1 (en) 2018-03-07
TR201906816T4 (tr) 2019-05-21
CN107801045A (zh) 2018-03-13
PL3291536T3 (pl) 2019-08-30
JP2018067301A (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
KR102346437B1 (ko) 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들
JP7248859B2 (ja) 仮想、拡張、または複合現実環境内で３ｄビデオを生成および表示するための方法およびシステム
KR102697559B1 (ko) 영상 표시 방법, 저장 매체 및 전자 장치
Lai et al. Semantic-driven generation of hyperlapse from 360 degree video
JP2018139102A (ja) 没入型コンテンツ内の関心地点を決定する方法及び装置
BR112019019060A2 (pt) método e sistema para colisão de câmera automatizada e preservação de composição
US10964085B2 (en) Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
US11347306B2 (en) Method and apparatus for controlling a discrepant aiming direction of a camera
CN107065164B (zh) 图像展示方法及装置
US11948257B2 (en) Systems and methods for augmented reality video generation
EP3840371A1 (en) Image display method, device, and system
US20240070973A1 (en) Augmented reality wall with combined viewer and camera tracking
CN115150555B (zh) 视频录制方法、装置、设备及介质
KR101915578B1 (ko) 시점 기반 오브젝트 피킹 시스템 및 그 방법
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
CN111031250A (zh) 一种基于眼球追踪的重对焦的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right