KR20160136337A - 증강현실 환경에서의 가상 오브젝트에 대한 현실적인 컬러의 생성 - Google Patents

증강현실 환경에서의 가상 오브젝트에 대한 현실적인 컬러의 생성 Download PDF

Info

Publication number
KR20160136337A
KR20160136337A KR1020167027353A KR20167027353A KR20160136337A KR 20160136337 A KR20160136337 A KR 20160136337A KR 1020167027353 A KR1020167027353 A KR 1020167027353A KR 20167027353 A KR20167027353 A KR 20167027353A KR 20160136337 A KR20160136337 A KR 20160136337A
Authority
KR
South Korea
Prior art keywords
color
target frame
image target
sample points
reference image
Prior art date
Application number
KR1020167027353A
Other languages
English (en)
Inventor
멘데즈 에릭 멘데즈
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160136337A publication Critical patent/KR20160136337A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Generation (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

증강현실 어플리케이션에 의해 생성된 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 방법 및 장치가 개시된다. 일 실시형태에 있어서, 구현된 기능들은 레퍼런스 이미지 타깃 프레임을 선택하는 것; 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하는 것; 후속적인 새로운 이미지 타깃 프레임을 포착하는 것; 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 것으로서, 복수의 대응하는 샘플 포인트들은 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 것; 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들의 각각의 컬러와 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트들의 각각의 컬러를 비교하고 그 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하는 것; 및 컬러 전달 함수를 가상 오브젝트의 컬러에 적용하는 것을 포함한다.

Description

증강현실 환경에서의 가상 오브젝트에 대한 현실적인 컬러의 생성{CREATING A REALISTIC COLOR FOR A VIRTUAL OBJECT IN AN AUGMENTED REALITY ENVIRONMENT}
본 명세서에서 개시된 주제는 전자 디바이스들에 관한 것으로서, 더 상세하게는, 전자 디바이스들에 의해 구현된 증강현실 환경들과의 사용을 위한 방법들 및 장치들에 관한 것이다.
증강현실은 실제 세계 상으로의 컴퓨터 그래픽스의 중첩 (superimposition) 을 수반하는 기술이다. 예를 들어, 미식 축구 경기들의 텔레비전 방송들에서 종종 보여지는 제 1 다운 라인이 증강현실의 제한된 어플리케이션의 일 예이다. 중첩된 오브젝트가 물리 오브젝트를 표현할 경우, 중첩된 물리 오브젝트가 실제 세계로 융합하여 현실적으로 보이는 것이 바람직하다.
증강현실 어플리케이션들은 현재, 증강현실 환경에 가상 오브젝트를 디스플레이하기 위해 사용된다. 특히, 라이브 카메라 이미지는 물리 세계의 뷰를 표현하기 위해 디스플레이 상에 렌더링될 수도 있다. 그 후, 가상 오브젝트가 이미지 타깃 상에 중첩될 수도 있다. 가상 오브젝트는 이미지 타깃의 포지션 및 배향을 실시간으로 추적하여, 가상 오브젝트 상의 뷰어의 전망이 이미지 타깃 상의 그 전망과 대응하게 하며, 가상 오브젝트가 실제 세계에 긴밀하게 커플링되는 것같이 보인다.
비록 가상 오브젝트가 이미지 타깃의 포지션 및 배향을 추적하더라도, 본 구현예들에 있어서, 가상 오브젝트들은 이미지 타깃의 컬러와 같은 시각적 외관을 추적하진 않는다. 예를 들어, 이미지 타깃에서의 조명 조건들의 변화가 존재할 경우, 이미지 타깃에서의 실제 오브젝트가 변화할 때 가상 오브젝트의 색조는 그에 따라 변하지는 않는다. 결과적으로, 가상 오브젝트의 현실성이 감소된다.
본 명세서에서 개시된 실시형태는 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법을 포함할 수도 있으며, 그 방법은 레퍼런스 이미지 타깃 프레임을 선택하는 단계; 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하는 단계; 후속적인 새로운 이미지 타깃 프레임을 포착하는 단계; 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 단계로서, 복수의 대응하는 샘플 포인트들은 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 단계; 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들의 각각의 컬러와 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트들의 각각의 컬러를 비교하고 그 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하는 단계; 및 컬러 전달 함수를 가상 오브젝트의 컬러에 적용하는 단계를 포함한다.
본 명세서에서 개시된 다른 실시형태는 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치를 포함할 수도 있으며, 그 장치는 메모리; 및 프로세서를 포함한다. 프로세서는 메모리에 커플링되고, 레퍼런스 이미지 타깃 프레임을 선택하고; 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하고; 후속적인 새로운 이미지 타깃 프레임을 포착하고; 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 것으로서, 복수의 대응하는 샘플 포인트들은 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하고; 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들의 각각의 컬러와 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트들의 각각의 컬러를 비교하고 그 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하고; 그리고 컬러 전달 함수를 가상 오브젝트의 컬러에 적용하기 위한 명령들을 실행하도록 구성된다.
본 명세서에서 개시된 추가적인 실시형태는 코드를 포함하는 비일시적인 컴퓨터 판독가능 매체를 포함할 수도 있으며, 코드는, 프로세서에 의해 실행될 경우, 그 프로세서로 하여금 레퍼런스 이미지 타깃 프레임을 선택하게 하고; 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하게 하고; 후속적인 새로운 이미지 타깃 프레임을 포착하게 하고; 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하게 하는 것으로서, 복수의 대응하는 샘플 포인트들은 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하게 하고; 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들의 각각의 컬러와 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트들의 각각의 컬러를 비교하게 하고 그 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하게 하고; 그리고 컬러 전달 함수를 가상 오브젝트의 컬러에 적용하게 한다.
본 명세서에서 개시된 부가적인 실시형태는 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치를 포함할 수도 있으며, 그 장치는 레퍼런스 이미지 타깃 프레임을 선택하는 수단; 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하는 수단; 후속적인 새로운 이미지 타깃 프레임을 포착하는 수단; 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 수단으로서, 복수의 대응하는 샘플 포인트들은 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 수단; 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들의 각각의 컬러와 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트들의 각각의 컬러를 비교하고 그 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하는 수단; 및 컬러 전달 함수를 가상 오브젝트의 컬러에 적용하는 수단을 포함한다.
도 1 은 증강현실 어플리케이션들을 위해 적응된 디바이스의 일 실시형태를 도시한다.
도 2 는 이미지 타깃 프레임을 도시한다.
도 3 은 가상 찻주전자가 증강된 이미지 타깃 프레임을 도시한다.
도 4 는 일 실시형태에 따른, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 방법을 도시한다.
도 5 는 샘플 포인트들이 선택된 레퍼런스 이미지 타깃 프레임을 도시한다.
도 6 은 컬러 전달 서브-함수를 산출하기 위한 방법의 일 실시형태를 도시한다.
도 7 은 컬러 전달 서브-함수를 산출하기 위한 방법의 다른 실시형태를 도시한다.
도 8 은 컬러 전달없이 가상 찻주전자가 증강된 변화된 조명 조건을 갖는 이미지 타깃 프레임을 도시한다.
도 9 는 컬러 전달을 갖는 가상 찻주전자가 증강된 변화된 조명 조건을 갖는 이미지 타깃 프레임을 도시한다.
증강현실 어플리케이션들을 위해 적응된 예시적인 디바이스 (100) 가 도 1 에 도시된다. 본 명세서에서 사용된 바와 같은 디바이스 (예를 들어, 디바이스 (100)) 는 모바일 디바이스, 무선 디바이스, 셀 폰, 개인용 디지털 보조기, 모바일 컴퓨터, 웨어러블 디바이스 (예를 들어, 시계, 헤드 마운티드 디스플레이, 가상 현실 안경 등), 태블릿, 개인용 컴퓨터, 랩탑 컴퓨터, 또는 프로세싱 능력들을 갖는 임의의 타입의 디바이스일 수도 있다. 본 명세서에서 사용된 바와 같이, 모바일 디바이스는, 하나 이상의 무선 통신 디바이스들 또는 네트워크들로부터 송신된 무선 신호들을 포착하고 하나 이상의 무선 통신 디바이스들 또는 네트워크들로 무선 신호들을 송신하도록 구성가능한 임의의 휴대용 또는 이동식 디바이스 또는 머신일 수도 있다. 따라서, 한정이 아닌 예로서, 디바이스 (100) 는 무선 디바이스, 셀룰러 전화 디바이스, 컴퓨팅 디바이스, 개인용 통신 시스템 디바이스, 또는 이동식 무선 통신 장비형 디바이스, 어플라이언스, 또는 머신과 같은 기타 등등을 포함할 수도 있다.
버스 (105) 를 통해 전기적으로 커플링될 수 있는 (또는 그렇지 않으면 적절하게 통신하고 있을 수도 있는) 하드웨어 엘리먼트들을 포함하는 디바이스 (100) 가 도시된다. 하드웨어 엘리먼트들은 (디지털 신호 프로세싱 칩들, 그래픽스 가속 프로세서들 등등과 같은) 하나 이상의 범용 프로세서들 및/또는 하나 이상의 특수 목적 프로세서들을 한정없이 포함하는 하나 이상의 프로세서들 (110); 적어도 카메라 (116) 를 포함하고 그리고 마우스, 키보드, 키패드, 터치 스크린, 마이크로폰 등등을 한정없이 더 포함할 수 있는 하나 이상의 입력 디바이스들 (115); 및 적어도 디스플레이 디바이스 (121) 를 포함하고 그리고 스피커, 프린터 등등을 한정없이 더 포함할 수 있는 하나 이상의 출력 디바이스들 (120) 을 포함할 수도 있다.
디바이스 (100) 는 하나 이상의 비일시적인 저장 디바이스들 (125) 을 더 포함할 수도 있으며 (및/또는 그와 통신할 수도 있으며), 이 하나 이상의 비일시적인 저장 디바이스들 (125) 은, 한정없이, 로컬 및/또는 네트워크 액세스가능 저장부를 포함할 수 있고/있거나 한정없이, 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 솔리드-스테이트 저장 디바이스, 예컨대, 프로그래밍가능, 플래시 업데이트가능 등등일 수 있는 판독 전용 메모리 ("ROM") 및/또는 랜덤 액세스 메모리 ("RAM") 를 포함할 수 있다. 그러한 저장 디바이스들은 다양한 파일 시스템들, 데이터베이스 구조들 등을 한정없이 포함하는 임의의 적절한 데이터 스토어들을 구현하도록 구성될 수도 있다.
그 디바이스는 또한, 모뎀, 네트워크 카드 (무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 (블루투스 디바이스, 802.11 디바이스, Wi-Fi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등과 같은) 칩셋 등을 포함할 수 있는 통신 서브시스템 (130) 을 포함할 수도 있다. 통신 서브시스템 (130) 은 데이터가 네트워크, 다른 디바이스들, 및/또는 본 명세서에서 설명된 임의의 다른 디바이스들과 교환되게 되도록 허용할 수도 있다. 일 실시형태에 있어서, 디바이스 (100) 는, 상기 기술된 바와 같은 RAM 또는 ROM 디바이스를 포함할 수 있는 메모리 (135) 를 더 포함할 수도 있다. 디바이스 (100) 는 모바일 디바이스 또는 비-모바일 디바이스일 수도 있으며, 무선 및/또는 유선 커넥션들을 가질 수도 있다.
디바이스 (100) 는 또한, 오퍼레이팅 시스템 (140), 디바이스 드라이버들, 실행가능 라이브러리들, 및/또는 본 명세서에서 기술될 바와 같은 실시형태들에 의해 제공된 방법들을 구현하고/하거나 시스템들을 구성하도록 설계될 수도 있거나 또는 이들을 포함할 수도 있는 하나 이상의 어플리케이션 프로그램들 (145) 과 같은 다른 코드를 포함한 작업 메모리 (135) 내에 현재 위치되고 있는 것으로서 도시된 소프트웨어 엘리먼트들을 포함할 수도 있다. 단지 예로서, 하기에서 논의된 방법(들)에 관하여 설명된 하나 이상의 절차들은 디바이스 (및/또는 디바이스 (100) 내의 프로세서 (110)) 에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수도 있으며; 그 후, 일 양태에 있어서, 그러한 코드 및/또는 명령들은 설명된 방법들에 따라 하나 이상의 동작들을 수행하기 위한 범용 컴퓨터 (또는 다른 디바이스) 를 구성 및/또는 적응시키도록 사용될 수 있다.
이들 명령들의 세트 및/또는 코드는 상기 기술된 저장 디바이스(들) (125) 와 같은 비일시적인 컴퓨터 판독가능 저장 매체 상에 저장될 수도 있다. 일부 경우들에 있어서, 저장 매체는 디바이스 (100) 와 같은 디바이스 내에 통합될 수도 있다. 다른 실시형태들에 있어서, 저장 매체는 디바이스로부터 분리될 수도 있으며 (예를 들어, 컴팩트 디스크와 같은 탈착가능 매체), 및/또는 명령들/코드가 저장된 범용 컴퓨터를 저장 매체가 프로그래밍, 구성, 및/또는 적응시키기 위해 사용될 수 있도록 설치 패키지에 제공될 수도 있다. 이들 명령들은 컴퓨터화 디바이스 (100) 에 의해 실행가능한 실행가능 코드의 형태를 취할 수도 있고/있거나 (예를 들어, 임의의 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등을 사용한) 디바이스 (100) 상의 설치 및/또는 컴파일 시, 실행가능 코드의 형태를 취하는 소스 및/또는 설치가능 코드의 형태를 취할 수도 있다.
어플리케이션 프로그램들 (145) 은 하나 이상의 증강현실 어플리케이션들을 포함할 수도 있다. 예시적인 증강현실 어플리케이션은 이미지 타깃들을 실시간으로 인식 및 추적 가능하다. 하나의 예시적인 실시형태에 있어서, 예시적인 증강현실 어플이케이션은 이미지 타깃들 상의 복수의 키포인트들을 사용하여 이미지 타깃들을 추적한다. 이하에서 설명된 증강현실 어플리케이션의 기능은 대안적으로, 오퍼레이팅 시스템 (OS), 펌웨어, 컴퓨터 비전 모듈 등과 같은 하드웨어 또는 상이한 레벨들의 소프트웨어에서 구현될 수도 있음이 인식되어야 한다.
일 실시형태에 있어서, 실제 세계 장면을 표현하는 이미지 타깃들은 디바이스 (100) 의 카메라 (116) 로부터 수신된 라이브 비디오 피드의 프레임들이다. 비디오 피드는 버퍼링될 수도 있다. 다른 실시형태에 있어서, 비디오 피드는 사전-레코딩된 비디오 피드일 수도 있으며, 저장 매체로부터 취출될 수도 있다. 증강현실 어플리케이션 (145) 은 이미지 타깃들 상에 하나 이상의 가상 오브젝트들을 중첩할 수도 있다. 그 후, 하나 이상의 가상 오브젝트들이 중첩되는 이미지 타깃들은 디스플레이 디바이스 (121) 상에서 프레임 단위로 렌더링된다. 예시적인 증강현실 어플리케이션이 이미지 타깃들의 포지션 및 배향을 추적하고 이에 따라 중첩된 하나 이상의 가상 오브젝트들의 포지션 및 배향을 조정하기 때문에, 하나 이상의 가상 오브젝트들 상의 사용자의 전망은 이미지 타깃들 상의 그 전망과 대응하며, 결과적으로, 하나 이상의 가상 오브젝트들이 실제 세계 장면의 부분인 것 같이 사용자에게 보인다. 또한, 일 실시형태에 있어서, 실제 세계 장면을 표현하는 이미지 타깃들은 저장된 비디오 피드의 프레임들일 수도 있다.
도 2 는 테이블 탑 (table top) 을 포함하는 이미지 타깃 프레임 (210) 의 일 예를 도시한다. 도 3 은 테이블 탑 상의 가상 오브젝트, 즉, 찻주전자 (310) 에 의해 중첩된 예시적인 이미지 타깃 프레임 (210) 을 도시한다.
증강현실 어플리케이션이 오직 이미지 타깃들의 포지션 및 배향만을 추적하고 그 시각적 외관들은 추적하지 않을 경우, 하나 이상의 중첩된 가상 오브젝트들의 현실성은 특정 조건들 밑으로 감소할 수도 있음이 당업자에게 명백해야 한다. 예를 들어, 이미지 타깃들에서 조명 조건의 변화가 존재할 경우, 증강현실 어플리케이션이 이미지 타깃들의 시각적 외관들을 추적하지 않으면, 이미지 타깃들에서의 실제 오브젝트의 색조가 변화할 때 하나 이상의 가상 오브젝트들의 색조는 변화된 조명 조건에 응답하여 변하지는 않을 것이다. 따라서, 현실성의 지각가능한 손실이 초래될 수도 있다. 이러한 문제를 다루기 위해, 증강현실 어플리케이션 (145) 에 의해 생성된 증강현실 환경에 대한 현실적인 컬러를 생성하기 위한 방법 및 장치가 개시된다. 이미지 타깃들에서 컬러 측정들의 변화를 추적하고 그 후 이에 따라 하나 이상의 가상 오브젝트들의 컬러들을 조정하는 컬러 전달 기법들이 본 명세서에서 개시된다.
도 4 는 컬러 전달 기법들을 구현하기 위한 방법의 일 실시형태를 도시한다. 동작 410 에서, 레퍼런스 이미지 타깃 프레임이 선택된다. 상이한 실시형태들에 있어서, 레퍼런스 이미지 타깃 프레임을 선택하기 위한 상이한 방법들이 활용될 수도 있다. 예로서, 일 실시형태에 있어서, 사용자는 중성 조명 조건을 갖는 이미지 타깃 프레임을 증강현실 어플리케이션 (145) 에서의 레퍼런스 이미지 타깃 프레임으로서 지정할 수도 있다. 다른 실시형태에 있어서, 증강현실 어플리케이션은 제 1 이미지 타깃 프레임을 레퍼런스 이미지 타깃 프레임으로서 선택할 수도 있다.
다음으로, 동작 420 에서, 샘플 포인트들이 레퍼런스 이미지 타깃 프레임에서 선택된다. 상이한 실시형태들에 있어서, 샘플 포인트들을 선택하기 위한 상이한 방법들이 활용될 수도 있다. 예로서, 일 실시형태에 있어서, 선택된 샘플 포인트들은 증강현실 어플리케이션 (145) 의 키포인트들과 동일할 수도 있다. 다른 실시형태에 있어서, 샘플 포인트들은 샘플 포인트들에 의해 커버된 컬러들의 범위를 최대화하도록 선택될 수도 있다. 예를 들어, 충분한 샘플 포인트들은 저, 중, 및 고 포화 레벨들의 각각 그리고 저, 중, 및 고 휘도 레벨들의 각각에서의 적색 색조, 녹색 색조, 및 청색 색조를 커버하도록 선택될 수도 있다.
또다른 실시형태에 있어서, 샘플 포인트들은, 후속적인 이미지 타깃 프레임들에서의 조명 조건의 불규칙적인 변화가 캡처될 수 있도록 레퍼런스 이미지 타깃 프레임의 대부분에 걸치도록 선택될 수도 있다. 레퍼런스 이미지 타깃 프레임의 실질적으로 대부분은, 예를 들어, 레퍼런스 이미지 타깃 프레임의 70 퍼센트를 커버할 수도 있다. 샘플 포인트들이 많을수록 컬러 전달 결과들이 더 정확해 짐이 인식되어야 한다.
일부 실시형태들에 있어서, 샘플 포인트들은, 하나 이상의 가상 오브젝트들이 배치되어야 하는 레퍼런스 이미지 상의 영역 내에서 선택될 수도 있다. 일부 부가적인 실시형태들에 있어서, 샘플 포인트들은, 하나 이상의 가상 오브젝트들이 배치되어야 하는 레퍼런스 이미지 상의 영역 밖에서 선택될 수도 있다.
도 5 를 간단히 참조하면, 도 5 는 샘플 포인트들 (520) 이 선택된 샘플 레퍼런스 이미지 타깃 프레임 (210) 의 일 예 (500) 를 도시한다. 본 명세서에서 기술된 바와 같이, 샘플 포인트들 (520) 을 선택하기 위한 상이한 방법들이 활용될 수도 있다. 도 5 는 오직 개념적인 예시일 뿐이며, 샘플 포인트들 (520) 은 상이하게 디스플레이될 수도 있거나 또는 본 발명의 실시형태들이 활용될 경우에 전혀 디스플레이되지 않을 수도 있음이 인식되어야 한다. 도 5 에 도시된 샘플 포인트들 (520) 의 수 및 위치들은 본 발명의 실시형태들에서의 실제 사용에 있어서의 샘플 포인트들의 수 및 위치들을 나타내는 것은 아니며 단지 예시적인 목적으로일 뿐임이 또한 인식되어야 한다.
도 4 로 돌아가, 동작 425 에서 하나의 새로운 이미지 타깃 프레임이 존재함이 결정되면, 후속적인 새로운 이미지 타깃 프레임이 동작 430 에서 증강현실 어플리케이션 (145) 에 의해 포착된다. 존재하지 않으면, 프로세스는 종료한다. 동작 440 에서, 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트들에 대응하는 새로운 이미지 타깃 프레임에서의 샘플 포인트들이 증강현실 어플리케이션 (145) 에 의해 추적된 포즈 변화에 적어도 부분적으로 기초하여 결정된다. 2개의 샘플 포인트들이 실제 세계에서 동일한 물리 위치에 대응할 경우, 제 1 이미지 타깃 프레임에서의 제 1 샘플 포인트는 제 2 이미지 타깃 프레임에서의 제 2 샘플 포인트에 대응한다. 증강현실 어플리케이션으로 대응하는 샘플 포인트들을 결정하기 위한 방법들이 당업계에 공지된다. 다음 동작 450 에서, 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트들 각각과 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트들 사이에서 컬러 비교가 실시된다.
다음 동작 460 에서, 컬러 전달 함수가 동작 450 에서 수행된 컬러 비교의 결과로부터 산출된다. 다음으로, 동작 470 에서, 컬러 전달 함수가 적용된다. 일 실시형태에 있어서, 컬러 전달 함수는 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트의 컬러 측정, 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트의 컬러 측정, 및 컬러 전달 전의 하나 이상의 가상 오브젝트들의 컬러에 기초할 수도 있다.
일 실시형태에 있어서, 컬러 전달 함수는 일반적으로 형태 F(R, S, c) -> t 의 함수로서 표현될 수도 있으며, 여기서, R 은 레퍼런스 이미지 타깃 프레임에서의 컬러 측정이고, S 는 후속적인 새로운 이미지 타깃 프레임에서의 컬러 측정이고, c 는 컬러 전달 전의 하나 이상의 가상 오브젝트들의 컬러이며, t 는 컬러 전달 후의 c 의 결과적인 컬러이다.
다른 실시형태에 있어서, 컬러 전달 함수는 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트들과 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트들 간의 컬러 측정 차이들을 취하고, 이 컬러 측정 차이들을 하나 이상의 가상 오브젝트들의 컬러들에 부가한다.
컬러 전달 함수를 산출하는 방법들의 2개의 실시형태들이 본 명세서에서 특히 개시되지만 본 발명의 실시형태들은 이에 한정되지 않는다. 컬러 전달 함수는 하나 이상의 컬러 전달 서브-함수들을 포함할 수도 있으며, 서브-함수들의 수는 하나 이상의 가상 오브젝트들에 존재하는 컬러들의 수이다. 대안적으로, 각각의 가상 오브젝트에 대해, 개별 컬러 전달 함수가 산출될 수도 있다. 복수의 컬러 전달 함수들이, 복수의 가상 오브젝트들이 중첩되는 레퍼런스 이미지 타깃 프레임에 대해 산출될 수도 있다.
도 6 은 컬러 전달 서브-함수를 산출하는 방법의 일 실시형태를 도시한다. 이 실시형태에 있어서, 컬러 전달 전의 하나 이상의 가상 오브젝트들의 i번째 컬러 (ci) 에 대해, 동작 610 에서, 컬러가 ci 와 가장 근접하게 유사한 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트가 찾아진다. Ri 는 동작 610 에서 찾아진 샘플 포인트의 컬러 측정을 나타낸다. 다음 동작 620 에서, 동작 610 에서 찾아진 샘플 포인트에 대응하는 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트의 컬러 측정과 Ri 사이에서 컬러 비교가 수행된다. Si 는 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트의 컬러 측정을 나타내며, Si - Ri 는 Si 와 Ri 간의 차이를 나타낸다. 동작 630 에서, ci 에 대한 컬러 전달 서브-함수가 ti = (Si - Ri) + ci 로서 도출되며, ti 는 컬러 전달 후의 ci 의 결과적인 컬러를 나타낸다. 동작 610 내지 동작 630 은 하나 이상의 가상 오브젝트들의 각각의 컬러에 대해 반복된다.
도 7 은 컬러 전달 서브-함수를 산출하는 방법의 다른 실시형태를 도시한다. 이 실시형태에 있어서, 동작 710 에서, 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트들과 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트들 간의 컬러 측정 차이들이 취해지고 평균화된다. 동작 710 의 결과는
Figure pct00001
로서 표현될 수도 있다. n 은 샘플 포인트들의 수이고; Rj 는 j번째 샘플 포인트의 컬러 측정을 나타내고; Sj 는 j번째 샘플 포인트에 대응하는 새로운 이미지 타깃 프레임에서의 대응하는 샘플 포인트의 컬러 측정을 나타낸다. 동작 720 에서, ci 에 대한 컬러 전달 서브-함수가 ti=
Figure pct00002
+ ci 로서 도출된다. 동작 710 의 결과가 ci 에 독립적이기 때문에 동작 710 은 각각의 새로운 이미지 타깃 프레임에 대해 오직 1회만 수행될 필요가 있음이 인식되어야 한다.
도 4 를 다시 참조하면, 컬러 전달 함수가 동작 460 에서 산출된 이후, 다음 동작 470 에서, 컬러 전달 함수는 하나 이상의 가상 오브젝트들의 컬러들에 적용된다.
도 8 은 컬러 전달없이 변화된 조명 조건을 갖는 이미지 타깃 프레임 (210) 상에 중첩된 가상 찻주전자 (310) 의 예시적인 이미지 (800) 를 도시한다. 가상 찻주전자 (310) 는, 그 색조가 이미지 타깃 프레임 (210) 에서의 변화된 조명 조건을 반영하지 않기 때문에 비현실적으로 보임을 알 수 있다. 도 9 는, 전술된 컬러 전달 함수들 중 하나가 적용된 변화된 조명 조건을 갖는 이미지 타깃 프레임 (210) 상에 중첩된 가상 찻주전자 (310) 의 예시적인 이미지 (900) 를 도시한다. 적용된 컬러 전달 함수는 가상 찻주전자 (310) 를 더 현실적으로 보이게 함을 알 수 있다.
또한, 하나의 부가적인 실시형태에 있어서, 컬러 전달은 CIELab 또는 CIELuv 와 같은 중간 컬러 공간에서 수행될 수 있다. 이 실시형태에 있어서, R, S, 및 c 는 먼저 중간 컬러 공간으로 변환될 수도 있다. 그 후, 컬러 전달이 중간 컬러 공간에서 수행될 수도 있다. 그리고, 마지막으로, 결과적인 t 가 타깃 컬러 공간으로 다시 변환된다. 일 실시형태에 있어서, 오리지널 및 타깃 컬러 공간은 RGB 컬러 공간이다. 중간 컬러 공간은 컬러 전달 동작들에 대해 더 적합할 수도 있다. 그러한 중간 컬러 공간들의 예들은 (원색들 대신 휘도, 포화 및 색조를 사용하는) HSV 컬러 공간 및 (인간들에 대해 지각적으로 선형인) CIELab 컬러 공간을 포함할 수도 있다. 요구된다면, YUV, YCbCr, RGB, HSV, HSL 등과 같은 다양한 컬러 공간들이 중간 컬러 공간으로서 사용될 수 있다.
도 8 에서 알 수 있는 바와 같이, 가상 오브젝트 (가상 찻주전자 (310)) 는, 그 색조가 이미지 타깃 프레임 (210) 에서의 변화된 조명 조건을 반영하지 않기 때문에 예시적인 이미지 (800) 에서 비현실적이다. 도 3 의 예시적인 이미지 (300) 에서 도시된 중성 컬러들과 비교하면, 예시적인 이미지 (800) 에서의 이미지 타깃 프레임 (210) 의 컬러들이 훨씬 더 밝은 한편, 동시에, 예시적인 이미지 (800) 에서의 가상 찻주전자 (310) 의 컬러들은 중성으로 남아있다. 이미지 타깃 프레임 (210) 과 가상 찻주전자 (310) 간의 예시적인 이미지 (800) 에서의 컬러 디스패리티의 결과로서, 예시적인 이미지 (800) 에서의 가상 찻주전자 (310) 는 비현실적으로 보인다. 프로세서 (110) 를 갖는 디바이스 (100) 가 가상 오브젝트 (가상 찻주전자 (310)) 에 대한 현실적인 컬러를 생성하기 위해 증강현실 어플리케이션 (145) 을 동작시키기 위한 명령들을 실행할 수도 있는 전술한 기능들을 수행함으로써, 도 8 의 예시적인 이미지 (800) 는 도 9 에서의 가상 찻주전자 (310) 의 더 현실적으로 컬러링된 예시적인 이미지 (900) 로 전환될 수 있으며, 여기서, 이미지 타깃 프레임 (210) 의 컬러들과 일치하는 가상 찻주전자 (310) 의 컬러들은 또한 예시적인 이미지 (300) 에서의 가상 찻주전자 (310) 의 중성 컬러들과 비교하여 훨씬 더 밝다.
특히, 전술된 바와 같이, 레퍼런스 이미지 타깃 프레임 (210) (도 8) 을 선택하고; 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하고; 후속적인 새로운 이미지 타깃 프레임 (210) (도 9) 을 포착하고; 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 것으로서, 복수의 대응하는 샘플 포인트들은 레퍼런스 이미지 타깃 프레임에서의 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하고; 레퍼런스 이미지 타깃 프레임 (도 8) 에서의 복수의 샘플 포인트들의 각각의 컬러와 새로운 이미지 타깃 프레임 (도 9) 에서의 대응하는 샘플 포인트들의 각각의 컬러를 비교하고; 그리고 그 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하기 위한 동작들이 디바이스 (100) 에 의해 수행될 수도 있다. 컬러 전달 함수들의 다양한 구현예들이 상세히 전술되었다. 활용된 컬러 전달 함수에 기초하여, 컬러 전달 함수가 도 8 의 가상 찻주전자 (310) 의 컬러에 적용되어, 도 9 에서 알 수 있는 바와 같이, 가상 찻주전자의 컬러를 훨씬 더 현실적이게 한다.
전술된 바와 같이 컬러 전달 함수들을 수행하기 위한 증강현실 어플리케이션 (145) 은 소프트웨어, 펌웨어, 하드웨어, 이들의 조합들 등으로서 구현될 수도 있음이 인식되어야 한다. 일 실시형태에 있어서, 전술된 기능들은 이전에 요구된 기능들 (예를 들어, 도 4, 도 6 및 도 7 의 방법 동작들) 을 달성하기 위해 디바이스 (100) 의 하나 이상의 프로세서들 (예를 들어, 프로세서 (110)) 에 의해 구현될 수도 있다.
본 명세서에서의 교시들은 다양한 장치들 (예를 들어, 디바이스들) 에 통합될 수도 있다 (예를 들어, 다양한 장치들 (예를 들어, 디바이스들) 내에서 구현되거나 다양한 장치들 (예를 들어, 디바이스들) 에 의해 수행될 수도 있음). 예를 들어, 본 명세서에서 교시된 하나 이상의 양태들은 일반 디바이스, 데스크탑 컴퓨터, 모바일 컴퓨터, 모바일 디바이스, 전화기 (예를 들어, 셀룰러 전화기), 개인용 데이터 보조기, 태블릿, 랩탑 컴퓨터, 태블릿, 엔터테인먼트 디바이스 (예를 들어, 음악 또는 비디오 디바이스), 헤드셋 (예를 들어, 헤드폰들, 이어피스 등), 의료 디바이스 (예를 들어, 바이오메트릭 센서, 심장 박동 모니터, 만보기, EKG 디바이스 등), 사용자 I/O 디바이스, 컴퓨터, 서버, 판매시점 (POS) 디바이스, 엔터테인먼트 디바이스, 셋탑 박스, 웨어러블 디바이스 (예를 들어, 시계, 헤드 마운티드 디스플레이, 가상 현실 안경 등), 자동차 내의 전자 디바이스, 또는 임의의 다른 적합한 디바이스에 통합될 수도 있다.
일부 양태들에 있어서, 무선 디바이스는 통신 시스템을 위한 액세스 디바이스 (예를 들어, Wi-Fi 액세스 포인트) 를 포함할 수도 있다. 그러한 액세스 디바이스는, 예를 들어, 유선 또는 무선 통신 링크를 통해 트랜시버 (예를 들어, 인터넷 또는 셀룰러 네트워크와 같은 광역 네트워크) 를 걸쳐 다른 네트워크로의 접속을 제공할 수도 있다. 이에 따라, 액세스 디바이스는 다른 디바이스 (예를 들어, Wi-Fi 스테이션) 로 하여금 다른 네트워크 또는 일부 다른 기능부에 액세스할 수 있게 할 수도 있다. 부가적으로, 그 디바이스들 중 하나 또는 그 양자는 휴대용이거나 또는 일부 경우들에 있어서 상대적으로 비-휴대용일 수도 있음이 인식되어야 한다.
디바이스들이 모바일 또는 무선 디바이스들일 경우, 이 디바이스들은 임의의 적합한 무선 통신 기술에 기초하거나 그렇지 않으면 지원하는 무선 네트워크에 걸친 하나 이상의 무선 통신 링크들을 통해 통신할 수도 있음이 인식되어야 한다. 예를 들어, 일부 양태들에 있어서, 무선 디바이스 및 다른 디바이스들은 무선 네트워크를 포함한 네트워크와 연관할 수도 있다. 일부 양태들에 있어서, 네트워크는 신체 영역 네트워크 또는 개인 영역 네트워크 (예를 들어, 초광대역 네트워크) 를 포함할 수도 있다. 일부 양태들에 있어서, 네트워크는 로컬 영역 네트워크 또는 광역 네트워크를 포함할 수도 있다. 무선 디바이스는, 예를 들어, 3G, LTE, 어드밴스드 LTE, 4G, CDMA, TDMA, OFDM, OFDMA, WiMAX, 및 WiFi 와 같은 다양한 무선 통신 기술들, 프로토콜들, 또는 표준들 중 하나 이상을 지원하거나 그렇지 않으면 이용할 수도 있다. 유사하게, 무선 디바이스는 다양한 대응하는 변조 또는 멀티플렉싱 방식들 중 하나 이상을 지원하거나 그렇지 않으면 이용할 수도 있다. 따라서, 무선 디바이스는 상기의 또는 다른 무선 통신 기술들을 이용하여 하나 이상의 무선 통신 링크들을 통해 확립 및 통신하기 위한 적절한 컴포넌트들 (예를 들어, 에어 인터페이스들) 을 포함할 수도 있다. 예를 들어, 디바이스는, 무선 매체 상으로의 통신을 용이하게 하는 다양한 컴포넌트들 (예를 들어, 신호 발생기들 및 신호 프로세서들) 을 포함할 수도 있는 관련 송신기 및 수신기 컴포넌트들 (예를 들어, 송신기 및 수신기) 을 갖는 무선 트랜시버를 포함할 수도 있다. 따라서, 널리 공지된 바와 같이, 모바일 무선 디바이스는 다른 모바일 디바이스들, 셀 폰들, 다른 유선 및 무선 컴퓨터들, 인터넷 웹 사이트들 등과 무선으로 통신할 수도 있다.
당업자는 임의의 다양한 서로 다른 기술들 및 기법들을 이용하여 정보 및 신호들이 표현될 수도 있음을 이해할 것이다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드(command)들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압, 전류, 전자기파, 자계 또는 자성 입자, 광계 또는 광학 입자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
당업자는 본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 엔진들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로서 구현될 수도 있음을 추가로 인식할 것이다. 하드웨어와 소프트웨어의 이러한 대체 가능성을 분명히 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 엔진들, 회로들 및 단계들이 일반적으로 그들의 기능의 관점에서 상기 기술되었다. 그러한 기능이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다. 당업자는 설명된 기능을 각각의 특정 어플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 그러한 구현의 결정들이 본 발명의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
본 명세서에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA) 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다.
본 명세서에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈가능 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링된다. 대안적으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC 는 사용자 단말기에 상주할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말기에 별개의 컴포넌트들로서 상주할 수도 있다.
하나 이상의 예시적인 실시형태들에 있어서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 컴퓨터 프로그램 제품으로서 소프트웨어에서 구현된다면, 그 기능들 또는 모듈들은 하나 이상의 명령들 또는 코드로서 비-일시적인 컴퓨터 판독가능 매체 상으로 저장 또는 전송될 수도 있다. 컴퓨터 판독가능 매체들은, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들 및 컴퓨터 저장 매체들 양자를 포함할 수 있다. 저장 매체들은, 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 한정이 아닌 예로서, 그러한 비-일시적인 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 수록 또는 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 커넥션이 컴퓨터 판독가능 매체로 적절히 명명된다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저를 이용하여 데이터를 광학적으로 재생한다. 상기의 조합들이 또한, 비-일시적인 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
개시된 실시형태들의 상기 설명은 당업자로 하여금 본 발명을 제조 또는 이용하게 할 수 있도록 제공된다. 이들 실시형태들에 대한 다양한 수정들은 당업자에게 용이하게 자명할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위로부터 일탈함없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 발명은 본 명세서에서 설명된 실시형태들로 한정되도록 의도되지 않으며, 본 명세서에 개시된 원리들 및 신규한 특징들과 부합하는 최광의 범위를 부여받아야 한다.

Claims (30)

  1. 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법으로서,
    레퍼런스 이미지 타깃 프레임을 선택하는 단계;
    상기 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하는 단계;
    후속적인 새로운 이미지 타깃 프레임을 포착하는 단계;
    상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 단계로서, 상기 복수의 대응하는 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임에서의 상기 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 단계;
    상기 레퍼런스 이미지 타깃 프레임에서의 상기 복수의 샘플 포인트들의 각각의 컬러와 상기 새로운 이미지 타깃 프레임에서의 상기 대응하는 샘플 포인트들의 각각의 컬러를 비교하고 상기 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하는 단계; 및
    상기 컬러 전달 함수를 상기 가상 오브젝트의 컬러에 적용하는 단계를 포함하는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  2. 제 1 항에 있어서,
    선택된 상기 복수의 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임의 키포인트들 중 적어도 일부와 동일한, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  3. 제 1 항에 있어서,
    상기 복수의 샘플 포인트들은 상기 복수의 샘플 포인트들에 의해 커버된 컬러들의 범위를 최대화하도록 선택되는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  4. 제 1 항에 있어서,
    상기 복수의 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임의 실질적으로 대부분에 걸치도록 선택되는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  5. 제 1 항에 있어서,
    상기 컬러 전달 함수는 상기 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트의 컬러 측정, 상기 새로운 이미지 타깃 프레임에서의 샘플 포인트의 컬러 측정, 및 컬러 전달 전의 상기 가상 오브젝트의 컬러에 기초하는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  6. 제 5 항에 있어서,
    상기 컬러 전달 함수는 F(R, S, c) -> t 의 형태이며,
    상기 R 은 상기 레퍼런스 이미지 타깃 프레임에서의 컬러 측정이고, 상기 S 는 상기 새로운 이미지 타깃 프레임에서의 컬러 측정이고, 상기 c 는 컬러 전달 전의 상기 가상 오브젝트의 컬러이며, 상기 t 는 컬러 전달 후의 c 의 결과적인 컬러인, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  7. 제 6 항에 있어서,
    상기 컬러 전달 함수는 추가로, ti = (Si - Ri) + ci 의 형태이며,
    상기 ci 는 상기 가상 오브젝트의 i번째 컬러이고, 상기 Ri 는 컬러가 ci 와 가장 근접하게 유사한 샘플 포인트의 컬러 측정이고, 상기 Si 는 Ri 에 대응하는 대응 샘플 포인트의 컬러 측정이고, 상기 ti 는 컬러 전달 후의 ci 의 결과적인 컬러인, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  8. 제 6 항에 있어서,
    상기 컬러 전달 함수는 추가로, t =
    Figure pct00003
    + c 의 형태이며,
    상기 n 은 상기 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트들의 수인, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  9. 제 1 항에 있어서,
    상기 컬러 전달 함수를 적용하는 단계는 중간 컬러 공간에서 상기 컬러 전달 함수를 적용하고, 그리고 결과적인 컬러를 타깃 컬러 공간으로 변환하는 단계를 더 포함하는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하는 방법.
  10. 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치로서,
    메모리; 및
    상기 메모리에 커플링된 프로세서를 포함하고,
    상기 프로세서는,
    레퍼런스 이미지 타깃 프레임을 선택하고;
    상기 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하고;
    후속적인 새로운 이미지 타깃 프레임을 포착하고;
    상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 것으로서, 상기 복수의 대응하는 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임에서의 상기 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하고;
    상기 레퍼런스 이미지 타깃 프레임에서의 상기 복수의 샘플 포인트들의 각각의 컬러와 상기 새로운 이미지 타깃 프레임에서의 상기 대응하는 샘플 포인트들의 각각의 컬러를 비교하고 상기 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하고; 그리고
    상기 컬러 전달 함수를 상기 가상 오브젝트의 컬러에 적용하기 위한
    명령들을 실행하도록 구성되는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  11. 제 10 항에 있어서,
    선택된 상기 복수의 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임의 키포인트들 중 적어도 일부와 동일한, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  12. 제 10 항에 있어서,
    상기 복수의 샘플 포인트들은 상기 복수의 샘플 포인트들에 의해 커버된 컬러들의 범위를 최대화하도록 선택되는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  13. 제 10 항에 있어서,
    상기 복수의 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임의 실질적으로 대부분에 걸치도록 선택되는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  14. 제 10 항에 있어서,
    상기 컬러 전달 함수는 상기 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트의 컬러 측정, 상기 새로운 이미지 타깃 프레임에서의 샘플 포인트의 컬러 측정, 및 컬러 전달 전의 상기 가상 오브젝트의 컬러에 기초하는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  15. 제 14 항에 있어서,
    상기 컬러 전달 함수는 F(R, S, c) -> t 의 형태이며,
    상기 R 은 상기 레퍼런스 이미지 타깃 프레임에서의 컬러 측정이고, 상기 S 는 상기 새로운 이미지 타깃 프레임에서의 컬러 측정이고, 상기 c 는 컬러 전달 전의 상기 가상 오브젝트의 컬러이며, 상기 t 는 컬러 전달 후의 c 의 결과적인 컬러인, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  16. 제 15 항에 있어서,
    상기 컬러 전달 함수는 추가로, ti = (Si - Ri) + ci 의 형태이며,
    상기 ci 는 상기 가상 오브젝트의 i번째 컬러이고, 상기 Ri 는 컬러가 ci 와 가장 근접하게 유사한 샘플 포인트의 컬러 측정이고, 상기 Si 는 Ri 에 대응하는 대응 샘플 포인트의 컬러 측정이고, 상기 ti 는 컬러 전달 후의 ci 의 결과적인 컬러인, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  17. 제 15 항에 있어서,
    상기 컬러 전달 함수는 추가로, t =
    Figure pct00004
    + c 의 형태이며,
    상기 n 은 상기 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트들의 수인, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  18. 제 10 항에 있어서,
    상기 컬러 전달 함수를 적용하기 위한 명령들을 실행하도록 구성된 상기 프로세서는 추가로, 중간 컬러 공간에서 상기 컬러 전달 함수를 적용하고, 그리고 결과적인 컬러를 타깃 컬러 공간으로 변환하도록 구성되는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  19. 코드를 포함하는 비일시적인 컴퓨터 판독가능 매체로서,
    상기 코드는, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금
    레퍼런스 이미지 타깃 프레임을 선택하게 하고;
    상기 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하게 하고;
    후속적인 새로운 이미지 타깃 프레임을 포착하게 하고;
    상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하게 하는 것으로서, 상기 복수의 대응하는 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임에서의 상기 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하게 하고;
    상기 레퍼런스 이미지 타깃 프레임에서의 상기 복수의 샘플 포인트들의 각각의 컬러와 상기 새로운 이미지 타깃 프레임에서의 상기 대응하는 샘플 포인트들의 각각의 컬러를 비교하게 하고 상기 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하게 하고; 그리고
    상기 컬러 전달 함수를 상기 가상 오브젝트의 컬러에 적용하게 하는, 비일시적인 컴퓨터 판독가능 매체.
  20. 제 19 항에 있어서,
    선택된 상기 복수의 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임의 키포인트들과 동일한, 비일시적인 컴퓨터 판독가능 매체.
  21. 제 19 항에 있어서,
    상기 복수의 샘플 포인트들은 상기 복수의 샘플 포인트들에 의해 커버된 컬러들의 범위를 최대화하도록 선택되는, 비일시적인 컴퓨터 판독가능 매체.
  22. 제 19 항에 있어서,
    상기 복수의 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임의 실질적으로 대부분에 걸치도록 선택되는, 비일시적인 컴퓨터 판독가능 매체.
  23. 제 19 항에 있어서,
    상기 컬러 전달 함수는 상기 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트의 컬러 측정, 상기 새로운 이미지 타깃 프레임에서의 샘플 포인트의 컬러 측정, 및 컬러 전달 전의 상기 가상 오브젝트의 컬러에 기초하는, 비일시적인 컴퓨터 판독가능 매체.
  24. 제 23 항에 있어서,
    상기 컬러 전달 함수는 F(R, S, c) -> t 의 형태이며,
    상기 R 은 상기 레퍼런스 이미지 타깃 프레임에서의 컬러 측정이고, 상기 S 는 상기 새로운 이미지 타깃 프레임에서의 컬러 측정이고, 상기 c 는 컬러 전달 전의 상기 가상 오브젝트의 컬러이며, 상기 t 는 컬러 전달 후의 c 의 결과적인 컬러인, 비일시적인 컴퓨터 판독가능 매체.
  25. 제 24 항에 있어서,
    상기 컬러 전달 함수는 추가로, ti = (Si - Ri) + ci 의 형태이며,
    상기 ci 는 상기 가상 오브젝트의 i번째 컬러이고, 상기 Ri 는 컬러가 ci 와 가장 근접하게 유사한 샘플 포인트의 컬러 측정이고, 상기 Si 는 Ri 에 대응하는 대응 샘플 포인트의 컬러 측정이고, 상기 ti 는 컬러 전달 후의 ci 의 결과적인 컬러인, 비일시적인 컴퓨터 판독가능 매체.
  26. 제 24 항에 있어서,
    상기 컬러 전달 함수는 추가로, t =
    Figure pct00005
    + c 의 형태이며,
    상기 n 은 상기 레퍼런스 이미지 타깃 프레임에서의 샘플 포인트들의 수인, 비일시적인 컴퓨터 판독가능 매체.
  27. 제 19 항에 있어서,
    상기 컬러 전달 함수를 적용하기 위한 코드는 중간 컬러 공간에서 상기 컬러 전달 함수를 적용하고, 그리고 결과적인 컬러를 타깃 컬러 공간으로 변환하기 위한 코드를 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  28. 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치로서,
    레퍼런스 이미지 타깃 프레임을 선택하는 수단;
    상기 레퍼런스 이미지 타깃 프레임에서 복수의 샘플 포인트들을 선택하는 수단;
    후속적인 새로운 이미지 타깃 프레임을 포착하는 수단;
    상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 수단으로서, 상기 복수의 대응하는 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임에서의 상기 복수의 샘플 포인트들에 대응하는, 상기 새로운 이미지 타깃 프레임에서 복수의 대응하는 샘플 포인트들을 결정하는 수단;
    상기 레퍼런스 이미지 타깃 프레임에서의 상기 복수의 샘플 포인트들의 각각의 컬러와 상기 새로운 이미지 타깃 프레임에서의 상기 대응하는 샘플 포인트들의 각각의 컬러를 비교하고 상기 비교에 적어도 부분적으로 기초하여 컬러 전달 함수를 산출하는 수단; 및
    상기 컬러 전달 함수를 상기 가상 오브젝트의 컬러에 적용하는 수단을 포함하는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  29. 제 28 항에 있어서,
    선택된 상기 복수의 샘플 포인트들은 상기 레퍼런스 이미지 타깃 프레임의 키포인트들과 동일한, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
  30. 제 28 항에 있어서,
    상기 복수의 샘플 포인트들은 상기 복수의 샘플 포인트들에 의해 커버된 컬러들의 범위를 최대화하도록 선택되는, 증강현실 환경에서 가상 오브젝트에 대한 현실적인 컬러를 생성하기 위한 장치.
KR1020167027353A 2014-03-13 2015-02-27 증강현실 환경에서의 가상 오브젝트에 대한 현실적인 컬러의 생성 KR20160136337A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/210,053 US8976191B1 (en) 2014-03-13 2014-03-13 Creating a realistic color for a virtual object in an augmented reality environment
US14/210,053 2014-03-13
PCT/US2015/018171 WO2015138170A1 (en) 2014-03-13 2015-02-27 Creating a realistic color for a virtual object in an augmented reality environment

Publications (1)

Publication Number Publication Date
KR20160136337A true KR20160136337A (ko) 2016-11-29

Family

ID=52597831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167027353A KR20160136337A (ko) 2014-03-13 2015-02-27 증강현실 환경에서의 가상 오브젝트에 대한 현실적인 컬러의 생성

Country Status (7)

Country Link
US (1) US8976191B1 (ko)
EP (1) EP3097542B1 (ko)
JP (1) JP6453357B2 (ko)
KR (1) KR20160136337A (ko)
CN (1) CN106030665B (ko)
BR (1) BR112016020957B1 (ko)
WO (1) WO2015138170A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2741502A1 (en) * 2012-12-07 2014-06-11 Thomson Licensing Method and apparatus for color transfer between images
WO2015175730A1 (en) * 2014-05-13 2015-11-19 Nant Vision, Inc. Augmented reality content rendering via albedo models, systems and methods
CN105430295B (zh) * 2015-10-30 2019-07-12 努比亚技术有限公司 图像处理装置及方法
EP3417307A4 (en) * 2016-02-18 2019-09-11 Edx Technologies, Inc. SYSTEMS AND METHODS FOR AUGMENTED REALITY DISPLAYS OF NETWORKS
JP7098870B2 (ja) * 2016-07-25 2022-07-12 富士フイルムビジネスイノベーション株式会社 測色システム、画像生成装置、および、プログラム
WO2018205143A1 (zh) * 2017-05-09 2018-11-15 深圳市炜光科技有限公司 图像色彩分配方法及色彩库调配方法及系统
CN107135383A (zh) * 2017-05-09 2017-09-05 深圳市炜光科技有限公司 图像色彩分配方法及色彩库调配方法及系统
CN110709895B (zh) * 2017-05-31 2024-03-29 交互数字Vc控股公司 用于动态白点补偿以改进合成内容的感知颜色的装置及方法
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
CN112740144B (zh) * 2018-09-28 2024-03-12 苹果公司 在增强型现实布景中转移虚拟对象
CN111723806A (zh) * 2019-03-19 2020-09-29 北京京东尚科信息技术有限公司 增强现实方法和装置
WO2023130047A1 (en) * 2021-12-30 2023-07-06 Canon U.S.A., Inc. Systems and methods for virtual reality immersive calling

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243244A (ja) * 1993-02-15 1994-09-02 Oki Electric Ind Co Ltd カラー画像表示方法
EP1083750A3 (en) * 1999-09-10 2009-09-23 NTT DoCoMo, Inc. Method and apparatus for transcoding coded video image data
JP4331392B2 (ja) * 2000-10-18 2009-09-16 日本放送協会 照明環境仮想変換装置
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
KR20030026300A (ko) * 2003-03-13 2003-03-31 원태영 3차원 구조물에 대한 비구조형 사면체 메쉬 생성 방법
US7391424B2 (en) 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
JP5538667B2 (ja) 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法
CN101221476B (zh) * 2007-11-27 2010-08-11 埃派克森微电子(上海)有限公司 图像匹配效果的评估方法
JP4834116B2 (ja) 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5687881B2 (ja) 2010-11-12 2015-03-25 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP5325267B2 (ja) * 2011-07-14 2013-10-23 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Also Published As

Publication number Publication date
JP2017518548A (ja) 2017-07-06
JP6453357B2 (ja) 2019-01-16
EP3097542B1 (en) 2017-06-14
BR112016020957A8 (pt) 2021-06-15
BR112016020957A2 (pt) 2017-08-15
BR112016020957B1 (pt) 2022-09-06
CN106030665B (zh) 2018-12-28
US8976191B1 (en) 2015-03-10
EP3097542A1 (en) 2016-11-30
WO2015138170A1 (en) 2015-09-17
CN106030665A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
JP6453357B2 (ja) 拡張現実環境における仮想オブジェクトの現実的な色の作成
US9117410B2 (en) Image display device and method
KR102183413B1 (ko) 콘텐트 표현 방법 및 시스템
JP6472869B2 (ja) 周囲光に基づく画像調整
WO2019164631A1 (en) Dynamic lighting for objects in images
EP3412031B1 (en) Method and apparatus for creating and rendering hdr images
CN106611402B (zh) 图像处理方法及装置
US11995578B2 (en) Method for rendering of augmented reality content in combination with external display
KR102192674B1 (ko) 이미지 처리 장치 및 방법
KR20210038129A (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
US11328487B2 (en) Method and program for providing augmented reality image by using depth data
US10262441B2 (en) Using features at multiple scales for color transfer in augmented reality
CN112513939A (zh) 用于环境自适应数字内容的色彩转换
US11388348B2 (en) Systems and methods for dynamic range compression in multi-frame processing
US20160086377A1 (en) Determining an image target's suitability for color transfer in an augmented reality environment
US20140064606A1 (en) Image processing apparatus and image processing method
US20180288297A1 (en) Information processing device, information processing method, program, and information processing system
US11961206B2 (en) Image generation using non-linear scaling and tone-mapping based on cubic spline curves
US20150279047A1 (en) Exemplar-based color classification
CN117014692A (zh) 投屏方法及相关装置
CN117062283A (zh) 一种氛围灯智能控制系统及方法
CN116700646A (zh) 图像色差处理方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application