KR102279300B1 - 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램 - Google Patents

가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램 Download PDF

Info

Publication number
KR102279300B1
KR102279300B1 KR1020207023700A KR20207023700A KR102279300B1 KR 102279300 B1 KR102279300 B1 KR 102279300B1 KR 1020207023700 A KR1020207023700 A KR 1020207023700A KR 20207023700 A KR20207023700 A KR 20207023700A KR 102279300 B1 KR102279300 B1 KR 102279300B1
Authority
KR
South Korea
Prior art keywords
virtual object
image information
display
real
information
Prior art date
Application number
KR1020207023700A
Other languages
English (en)
Other versions
KR20200103115A (ko
Inventor
마사야 니다이라
사토시 사쿠라이
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20200103115A publication Critical patent/KR20200103115A/ko
Application granted granted Critical
Publication of KR102279300B1 publication Critical patent/KR102279300B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 물체 표시 제어 장치(10)는, 실제 공간을 나타내는 실제 공간 정보(A1, A2)를 받는 인식부(110)와, 실제 공간 정보(A1, A2)로부터 관찰자의 시점 위치를 판정하는 시점 위치 판정부(121)와, 실제 공간 정보(A1, A2)로부터 실제 물체의 위치 및 형상을 판정하는 실제 물체 판정부(122)와, 가상 물체의 화상 정보를 가공하는 것에 의해서, 가상 물체를 애니메이션 표시시키는 화상 정보를 생성하는 화상 제어부(123)와, 시점 위치와 실제 물체의 위치 및 형상과 상기 가상 물체의 화상 정보에 근거하여, 가상 물체를 애니메이션 표시시키는지 여부의 판정을 행하고, 판정의 결과에 근거하여, 가상 물체의 화상 정보 또는 가상 물체를 애니메이션 표시시키는 화상 정보 중 어느 하나를 포함하는 화상 정보를 표시 화상 정보(B2)로서 설정하는 표시 설정부(124)와, 표시 화상 정보(B2)를 출력하는 묘화부(125)를 갖는다.

Description

가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
본 발명은, 가상 물체의 화상을 표시하기 위한 제어를 행하는 가상 물체 표시 제어 장치, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램, 및 상기 가상 물체 표시 제어 장치를 포함하는 가상 물체 표시 시스템에 관한 것이다.
표시 장치의 화면에, 실제 물체(real object)의 화상과, 이에 중첩된 가상 물체의 화상을 표시시키는 장치가 제안되고 있다(예를 들면, 특허문헌 1 참조). 가상 물체의 화상은, 예를 들면, 증강 현실(Augmented Reality: AR) 화상이다.
일본 특허공개 2015-49039호 공보
상기 종래의 장치에서는, 실제 공간에 있어서의 오클루전(occlusion)을 고려해서(즉, 가상 물체의 화상이 실제 물체의 화상에 의해 가려지지 않도록), 가상 물체의 화상을 본래 표시되어야 할 위치로부터 이동시킨 위치에 표시하고 있다. 그러나, 이 경우, 관찰자는, 가상 물체의 화상이 본래 표시되어야 할 위치를 알 수 없다. 이 때문에, 가상 물체의 화상이, 실제 물체의 어노테이션(annotation)을 포함하는 화상인 경우, 어노테이션이 어느 실제 물체에 관한 것인지를 이해하기 어렵다.
본 발명은, 가상 물체의 화상이 관찰자로부터 보이지 않는 위치에 표시된 경우여도, 애니메이션 표시에 의해서 관찰자에게 가상 물체의 화상의 위치를 인식시킬 수 있는 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 일 태양에 따른 가상 물체 표시 제어 장치는, 실제 공간을 나타내는 실제 공간 정보를 받는 인식부와, 상기 실제 공간 정보로부터 관찰자의 시점 위치를 판정하는 시점 위치 판정부와, 상기 실제 공간 정보로부터 실제 물체의 위치 및 형상을 판정하는 실제 물체 판정부와, 가상 물체의 화상 정보를 받고, 상기 가상 물체의 화상 정보를 가공하는 것에 의해서, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 생성하는 화상 제어부와, 상기 시점 위치와 상기 실제 물체의 위치 및 형상과 상기 가상 물체의 화상 정보에 근거하여, 상기 가상 물체를 애니메이션 표시시키는지 여부의 판정을 행하고, 상기 판정의 결과에 근거하여, 상기 가상 물체의 화상 정보 또는 상기 가상 물체를 애니메이션 표시시키는 화상 정보 중 어느 하나를 포함하는 화상 정보를 표시 화상 정보로서 설정하는 표시 설정부와, 상기 표시 화상 정보를 출력하는 묘화부를 갖고, 상기 표시 설정부는, 상기 시점 위치에서 보았을 때에, 상기 가상 물체의 전체 또는 일부가 상기 실제 물체에 의해서 가려지는 경우에, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 상기 표시 화상 정보로서 설정하는 것을 특징으로 한다.
본 발명의 다른 태양에 따른 가상 물체 표시 시스템은, 실제 공간을 나타내는 실제 공간 정보를 취득하는 공간 정보 취득부와, 상기 실제 공간 정보를 받는 인식부와, 상기 실제 공간 정보로부터 관찰자의 시점 위치를 판정하는 시점 위치 판정부와, 상기 실제 공간 정보로부터 실제 물체의 위치 및 형상을 판정하는 실제 물체 판정부와, 가상 물체의 화상 정보를 받고, 상기 가상 물체의 화상 정보를 가공하는 것에 의해서, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 생성하는 화상 제어부와, 상기 시점 위치와 상기 실제 물체의 위치 및 형상과 상기 가상 물체의 화상 정보에 근거하여, 상기 가상 물체를 애니메이션 표시시키는지 여부의 판정을 행하고, 상기 판정의 결과에 근거하여, 상기 가상 물체의 화상 정보 또는 상기 가상 물체를 애니메이션 표시시키는 화상 정보 중 어느 하나를 포함하는 화상 정보를 표시 화상 정보로서 설정하는 표시 설정부와, 상기 표시 화상 정보를 출력하는 묘화부와, 상기 표시 화상 정보에 근거하여 화상을 표시하는 표시 장치를 갖고, 상기 표시 설정부는, 상기 시점 위치에서 보았을 때에, 상기 가상 물체의 전체 또는 일부가 상기 실제 물체에 의해서 가려지는 경우에, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 상기 표시 화상 정보로서 설정하는 것을 특징으로 한다.
본 발명에 의하면, 가상 물체의 화상이 관찰자로부터 보이지 않는 위치에 표시된 경우여도, 애니메이션 표시에 의해서 관찰자에게 가상 물체의 화상의 위치를 인식시킬 수 있다.
도 1은 본 발명의 실시형태 1에 따른 가상 물체 표시 시스템의 하드웨어 구성을 나타내는 도면이다.
도 2는 시점 위치와 실제 물체(차폐물)의 위치 관계를 개략적으로 나타내는 도면이다.
도 3은 실시형태 1에 따른 가상 물체 표시 제어 장치를 나타내는 기능 블럭도이다.
도 4는 실시형태 1에 따른 가상 물체 표시 시스템을 나타내는 설명도이다.
도 5는 실시형태 1에 따른 가상 물체 표시 시스템의 표시 장치에 있어서의 애니메이션 표시(통상 사이즈 시)된 가상 물체의 표시 화상의 예를 나타내는 도면이다.
도 6은 실시형태 1에 따른 가상 물체 표시 시스템의 표시 장치에 있어서의 애니메이션 표시(확대 사이즈 시)된 가상 물체의 표시 화상의 예를 나타내는 도면이다.
도 7은 실시형태 1에 따른 가상 물체 표시 시스템의 표시 장치에 있어서의 애니메이션 표시(즉, 이동 표시)된 가상 물체의 표시 화상의 예를 나타내는 도면이다.
도 8은 실시형태 1에 따른 가상 물체 표시 제어 장치의 동작을 나타내는 플로 차트이다.
도 9는 본 발명의 실시형태 2에 따른 가상 물체 표시 시스템의 하드웨어 구성을 나타내는 도면이다.
도 10은 실시형태 2에 따른 가상 물체 표시 시스템을 나타내는 설명도이다.
도 11은 본 발명의 실시형태 3에 따른 가상 물체 표시 시스템의 하드웨어 구성을 나타내는 도면이다.
도 12는 실시형태 3에 따른 가상 물체 표시 시스템을 나타내는 설명도이다.
이하에, 본 발명의 실시형태에 따른 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램을, 첨부 도면을 참조하면서 설명한다. 이하의 실시형태는, 예에 지나지 않고, 본 발명의 범위 내에서 여러 가지의 변경이 가능하다.
한편, 도면에는 xyz 직교 좌표계가 나타내어진다. xyz 직교 좌표계에 있어서, x축은, 실제 공간에 있어서의 가로 방향(즉, 수평 가로 방향)을 나타내고, y축은, 실제 공간에 있어서의 깊이 방향(즉, 수평 깊이 방향)을 나타내고, z축은, 실제 공간에 있어서의 높이 방향(즉, 세로 방향)을 나타낸다.
실시형태 1.
먼저, 가상 물체 표시 시스템(1) 및 가상 물체 표시 제어 장치(10)의 구성을 설명한다. 도 1은, 실시형태 1에 따른 가상 물체 표시 시스템(1)의 하드웨어 구성을 나타내는 도면이다. 도 1에 나타내어지는 바와 같이, 가상 물체 표시 시스템(1)은, 실제 공간(즉, 실제 세계)을 나타내는 실제 공간 정보를 취득하는 공간 검출부인 공간 정보 취득부(20)와, 화상을 표시하는 표시 장치(30)와, 표시 장치(30)에 화상을 표시시키는 가상 물체 표시 제어 장치(10)를 갖는다. 표시 장치(30)는, 예를 들면, 실제 물체의 화상 및 가상 물체의 화상을 표시한다. 가상 물체의 화상은, 예를 들면, AR 화상이다. 화상 가상 물체 표시 제어 장치(10)는, 실시형태 1에 따른 가상 물체 표시 제어 방법을 실시할 수 있는 장치이다.
공간 정보 취득부(20)는, 예를 들면, 실제 공간의 화상 정보 A1을 취득하는 1대 이상의 촬상부(21)와, 실제 공간 내에 존재하는 실제 물체(즉, 대상물)의 깊이 정보 A2를 취득하는 1대 이상의 깊이 검출부(22)를 갖는다. 공간 정보 취득부(20)는, 촬상부(21) 및 깊이 검출부(22)의 한쪽을 가져도 된다. 촬상부(21)는, 예를 들면, 컬러 화상을 취득하는 컬러 카메라(「RGB 카메라」라고도 함) 및 실제 물체를 복수의 상이한 방향으로부터 동시에 촬영하는 스테레오 카메라 등이다. 깊이 검출부(22)는, 예를 들면, 실제 물체의 깊이(심도)를 검출하는 기능을 구비한 뎁스(depth) 카메라(「심도 센서 장착 카메라」라고도 함) 등이다. 실시형태 1에 있어서, 실제 공간 정보는, 실제 공간의 화상 정보 A1과 실제 물체의 깊이 정보 A2를 포함한다.
가상 물체 표시 제어 장치(10)는, 정보 처리부로서의 CPU(Central Processing Unit)(11)와, 화상 처리부로서의 GPU(Graphics Processing Unit)(12)와, 정보를 기억하는 기억부로서의 메모리(13)를 갖는다. GPU(12)는, 그래픽스 묘화부이고, CPU(11)로부터 받은 묘화 명령에 근거하여, 메모리(13)에 묘화 결과로서의 화상 데이터를 기입한다(즉, 묘화를 행함). 메모리(13)에 기입된 화상 데이터는, 표시 장치(30)에 전송된다. GPU(12)의 기능은, CPU(11)에 의해서 행해져도 된다. 가상 물체 표시 제어 장치(10)는, 예를 들면, 퍼스널 컴퓨터(PC), 스마트폰, 또는 태블릿 단말 등이다. 메모리(13)는, 실시형태 1에 따른 가상 물체 표시 제어 프로그램을 기억해도 된다. CPU(11)는, 가상 물체 표시 제어 프로그램을 실행하는 것에 의해 표시 장치(30)의 표시 동작을 제어할 수 있다.
표시 장치(30)는, 예를 들면, PC의 모니터, 스마트폰, 또는 태블릿 단말 등의 표시 화면(즉, 디스플레이)을 갖는 장치이다.
도 2는, 관찰자(90)의 시점 위치(91)와 실제 물체(311)의 위치 관계를 개략적으로 나타내는 도면이다. 실제 물체(311)는, 가상 물체를 가리는 차폐물이 될 수 있다. 실제 공간 내에 실제 물체(311)가 존재하는 경우, 관찰자(90)는, 시점 위치(91)로부터 실제 물체(311)에 가려진 영역(사선 영역)(314)에 표시된 가상 물체의 화상을 볼 수 없다. 또, 가상 물체의 화상을 상이한 위치로 이동시킨 경우에는, 가상 물체의 화상이, 어떤 실제 물체에 관련되는 것인지를 알 수 없게 된다. 그래서, 가상 물체 표시 제어 장치(10)는, 실제 공간 정보로부터 관찰자(90)의 시점 위치(91)와 실제 물체(311)의 위치 및 형상을 판정하고, 시점 위치(91)와 실제 물체(311)의 위치 및 형상과 가상 물체의 화상 정보에 근거하여 이동하는 표시인 애니메이션 표시의 필요 여부를 판정한다. 애니메이션 표시는, 예를 들면, 가상 물체의 화상의 확대 축소 표시 또는 가상 물체의 화상의 왕복 이동 등이다. 가상 물체 표시 제어 장치(10)는, 애니메이션 표시가 필요한 경우에 애니메이션 표시의 화상 정보를 설정하고, 가상 물체를 애니메이션 표시시키는 화상 정보(즉, 애니메이션 화상 정보)를 출력한다. 가상 물체 표시 제어 장치(10)는, 애니메이션 표시가 필요하지 않은 경우에, 가상 물체를 통상의 사이즈로 정지 화상으로서 표시시키는 화상 정보(즉, 통상 화상 정보)를 출력한다.
도 3은, 실시형태 1에 따른 가상 물체 표시 제어 장치(10)를 나타내는 기능 블럭도이다. 도 3에 나타내어지는 바와 같이, 가상 물체 표시 제어 장치(10)는, 실제 공간 정보인 실제 공간의 화상 정보 A1과 실제 물체의 깊이 정보 A2를 받는 인식부(110)와, 표시 제어부(120)를 갖는다.
인식부(110)는, 예를 들면, 실제 공간(즉, 대상 공간)의 화상 정보 A1을 받고, 실제 공간의 어떤 위치에 실제 물체가 존재하는지를 인식하기 위한 인식 처리를 행하고, 처리의 결과를 표시 제어부(120)에 제공하는 공간 인식부(111)와, 실제 물체의 깊이 정보 A2를 받고, 실제 물체가 어떤 것인지를 인식하기 위한 인식 처리를 행하고, 처리의 결과를 표시 제어부(120)에 제공하는 실제 물체 인식부(112)를 갖는다. 실제 물체 인식부(112)는, 실제 물체를 실제 물체의 모델(즉, 미리 유지하고 있는 화상 정보)로 대체한 데이터를 출력해도 된다. 실제 물체의 모델은, 미리 유지하고 있는 화상 정보이고, 책상 또는 의자 등의 화상 정보, 원주, 직방체, 삼각뿔(triangular pyramid), 구체(sphere) 등과 같은 대표적인 3차원 형상이어도 된다. 단, 인식부(110)의 구성 및 기능은, 이상의 예로 한정되지 않는다.
표시 제어부(120)는, 인식부(110)로부터 제공된 실제 공간 정보로부터 관찰자(90)의 시점 위치(91)를 판정하는 시점 위치 판정부(121)와, 인식부(110)로부터 제공된 실제 공간 정보로부터 실제 물체(311)의 위치 및 형상을 판정하는 실제 물체 판정부(122)를 갖는다. 시점 위치 판정부(121)는, 공간 인식부(111)로부터 받은 위치 정보에 근거하여, 실제 공간 내에 표시되는 가상 물체를 관찰하는 관찰자(90)의 시점 위치(91)를 산출하고, 시점 위치를 나타내는 시점 위치 정보를 생성한다. 실제 물체 판정부(122)는, 실제 물체 인식부(112)로부터 받은 실제 물체 정보에 근거하여, 실제 공간 내에 표시되는 가상 물체를 가리는 차폐물의 위치를 산출하고, 차폐물을 나타내는 차폐물 판정 정보를 생성하는 차폐물 판정부이다.
또, 표시 제어부(120)는, 가상 물체의 화상 정보를 받고, 가상 물체의 화상 정보를 가공하는 것에 의해서, 가상 물체를 애니메이션 표시시키는 화상 정보를 생성하는 화상 제어부(123)를 갖는다. 가상 물체의 화상 정보는, 예를 들면, 실제 물체(311)의 해설 정보이다. 화상 제어부(123)는, 가상 물체의 화상 정보를 미리 기억해도 되고, 외부 기억 장치(도시하지 않음) 또는 메모리(13)(도 1)로부터 취득해도 된다. 화상 제어부(123)는, 가상 물체의 화상 정보 및 가상 물체를 애니메이션 표시시키는 화상 정보를 표시 설정부(124)에 제공한다. 애니메이션 표시는, 예를 들면, 가상 물체의 화상을 확대 사이즈 및 통상 사이즈로 반복하여 전환하는 표시 방법(즉, 확대 축소(scaling) 표시)이다. 또, 애니메이션 표시는, 예를 들면, 가상 물체의 화상을 본래의 가상 물체의 화상 위치와 실제 물체에 가려지지 않는 위치의 사이에서 반복하여 이동(왕복 이동)시키는 표시 방법(즉, 이동 표시)이어도 된다. 화상 제어부(123)로부터 표시 설정부(124)에 제공되는 화상 정보를, 화상 정보 B1로 한다.
화상 제어부(123)는, 조건에 따라서, 가상 물체를 애니메이션 표시시키는 방법으로서 확대 축소 표시 또는 이동 표시 중 어느 하나를 선택해도 된다. 예를 들면, 화상 제어부(123)는, 관찰자(90)로부터 미리 결정된 기준 거리보다도 먼 위치에 가상 물체가 존재하는 경우는, 애니메이션 표시로서 확대 축소 표시를 채용하고, 기준 거리 이내인 경우는, 애니메이션 표시로서 이동 표시를 채용한다. 또, 화상 제어부(123)는, 가상 물체가 문자를 포함하는 해설문(comment)일 때는 애니메이션 표시로서 이동 표시를 선택하고, 가상 물체가 해설문 이외일 때는 애니메이션 표시로서 확대 축소 표시를 선택해도 된다. 또, 화상 제어부(123)는, 가상 물체를 차폐하는 실제 물체가 미리 결정된 기준 사이즈보다도 클 때에는 애니메이션 표시로서 이동 표시를 선택하고, 기준 사이즈 이하일 때는 애니메이션 표시로서 확대 축소 표시를 선택해도 된다. 애니메이션 표시의 선택 방법은, 이들의 예로 한정되지 않는다.
표시 제어부(120)는, 시점 위치(91)와 실제 물체(311)의 위치 및 형상과 화상 정보 B1에 근거하여, 가상 물체의 화상을 애니메이션 표시시키는지 여부의 판정을 행하고, 이 판정의 결과에 근거하여, 가상 물체의 화상 정보 또는 가상 물체를 애니메이션 표시시키는 화상 정보 중 어느 하나를 포함하는 화상 정보를 표시 화상 정보 B2로서 설정하는 표시 설정부(124)와, 표시 화상 정보 B2를 메모리(13)에 기입하는 것에 의해서, 표시 장치(30)에 출력하는 묘화부(125)를 갖는다.
표시 설정부(124)는, 시점 위치(91)에서 보았을 때에, 가상 물체의 전체 또는 일부가 실제 물체에 의해서 가려지는 경우에, 가상 물체를 애니메이션 표시시키는 화상 정보를 표시 화상 정보 B2로서 설정할 수 있다. 표시 설정부(124)는, 시점 위치(91)에서 보았을 때에, 가상 물체의 미리 결정된 일정 비율 이상(예를 들면, 50% 이상)이 실제 물체에 의해서 가려지는 경우에, 가상 물체를 애니메이션 표시시킬 필요가 있다고 판정해도 된다.
표시 설정부(124)는, 실제 공간의 화상 정보 A1에, 가상 물체의 화상 정보 또는 가상 물체를 애니메이션 표시시키는 화상 정보를 합성함으로써 얻어진 합성 화상 정보를 표시 화상 정보 B2로서 설정해도 된다.
다음으로, 가상 물체 표시 제어 장치(10)의 동작을 설명한다. 도 4는, 가상 물체 표시 시스템(1)을 나타내는 설명도이다. 도 4에 있어서는, 도 1의 촬상부(21)로서 2대의 촬상부(21a, 21b)가 나타내어져 있다. 도 4의 예에서는, 공간 정보 취득부(20)의 촬상부(21a, 21b)가, 실제 공간의 화상 정보 A1을 가상 물체 표시 제어 장치(10)에 제공하고, 깊이 검출부(22)가 실제 물체의 깊이 정보 A2를 가상 물체 표시 제어 장치(10)에 제공한다.
도 5 및 도 6은, 실시형태 1에 따른 가상 물체 표시 시스템(1)의 표시 장치(30)에 있어서의 가상 물체의 애니메이션 표시 화상(322)의 예를 나타내는 도면이다. 도 5 및 도 6은, 애니메이션 표시가 확대 축소 표시인 경우를 나타내고 있다. 도 5는, 애니메이션 표시 화상(322)이 통상 사이즈일 때, 도 6은, 애니메이션 표시 화상(322)이 확대 사이즈일 때를 나타내고 있다. 확대 시의 확대 배율은, 가상 물체의 화상이 실제 물체의 화상에 차폐되지 않는 부분을 갖는 값이다. 또, 확대 시에, 휘도를 올리거나 또는 색을 변경하는 등의 강조 표시를 수반해도 된다.
도 7은, 실시형태 1에 따른 가상 물체 표시 시스템(1)의 표시 장치(30)에 있어서의 애니메이션 표시 화상의 예를 나타내는 도면이다. 도 7은, 가상 물체의 애니메이션 표시가 이동 표시인 경우를 나타내고 있다. 도 7에 있어서, 본래의 위치에 있는 가상 물체의 화상(322) 위에, 이동 시에 있어서의 가상 물체의 화상(322a)이 표시되어 있다. 그러나, 이동 시에 있어서의 가상 물체의 화상(322a)의 위치는, 본래의 위치의 옆으로 이동한 위치, 경사 방향으로 이동한 위치여도 된다. 또, 이동 시에 있어서의 가상 물체의 화상(322a)의 위치는, 가상 물체의 화상이 실제 물체의 화상에 차폐되지 않는 위치여도, 이동 거리가 가장 짧은 위치여도 된다. 또, 이동 시에, 휘도를 올리거나 또는 색을 변경하는 등의 강조 표시를 수반해도 된다.
도 8은, 가상 물체 표시 제어 장치(10)의 동작을 나타내는 플로 차트이다. 가상 물체 표시 제어 장치(10)는, 스텝 S1에 있어서 실제 공간 정보를 받고, 스텝 S2에 있어서 실제 공간 정보(예를 들면, 실제 공간의 화상 정보 A1)로부터 관찰자(90)의 시점 위치(91)를 판정하고, 스텝 S3에 있어서 실제 공간 정보(예를 들면, 실제 물체의 깊이 정보 A2)로부터 실제 물체(311)의 위치 및 형상을 판정하고, 스텝 S4에 있어서 시점 위치(91)와 실제 물체(311)의 위치 및 형상(또는 모델화된 실제 물체의 위치 및 형상)에 근거하여 가상 물체(312)의 화상 정보를 설정한다.
다음으로, 가상 물체 표시 제어 장치(10)는, 스텝 S5에 있어서 시점 위치(91)와 실제 물체(311)의 위치 및 형상과 가상 물체의 화상 정보에 근거하여 가상 물체를 애니메이션 표시하는지 여부를 판정한다. 즉, 가상 물체 표시 제어 장치(10)는, 시점 위치(91)에서 보아 가상 물체(312)의 화상(322)이 실제 물체(311)의 화상(321)에 가려지는지 여부를 판정한다.
가상 물체(312)의 화상(322)이 가려지지 않는 경우(스텝 S5에 있어서 NO의 경우), 가상 물체 표시 제어 장치(10)는, 스텝 S6에 있어서, 실제 공간의 화상 정보에 근거하는 실제 물체의 화상(321)과, 가상 물체의 화상(322)을 묘화한다. 그리고, 가상 물체 표시 제어 장치(10)는, 스텝 S7에 있어서, 표시 장치(30)에 실제 물체의 화상(321)과 가상 물체의 화상(322)을 표시시킨다.
가상 물체(312)의 화상(322)이 가려지는 경우(스텝 S5에 있어서 YES의 경우), 가상 물체 표시 제어 장치(10)는, 스텝 S8에 있어서, 애니메이션 표시의 방법을 결정하고, 스텝 S9에 있어서, 실제 공간의 화상 정보에 근거하는 실제 물체의 화상(321)과, 가상 물체의 애니메이션 표시 화상(322)을 묘화한다. 그리고, 도 5 및 도 6에 나타내어지는 바와 같이, 가상 물체 표시 제어 장치(10)는, 표시 장치(30)에 실제 물체의 화상(321)과 가상 물체의 애니메이션 표시 화상(322)을 표시시킨다.
이상으로 설명한 바와 같이, 실시형태 1에 따른 가상 물체 표시 시스템(1) 및 가상 물체 표시 제어 장치(10)에 의하면, 가상 물체의 화상이 관찰자(90)로부터 보이지 않는 실제 물체의 뒤 등에 표시된 경우여도, 가상 물체의 애니메이션 표시 화상(322)에 의해서 관찰자(90)로부터 보이도록 표시하므로, 가상 물체의 화상(322)의 위치를 인식시킬 수 있다.
또, 실시형태 1에 따른 가상 물체 표시 시스템(1) 및 가상 물체 표시 제어 장치(10)에 의하면, 가상 물체의 본래의 위치에 애니메이션 표시 화상(322)을 표시시키고 있으므로, 관찰자(90)는, 가상 물체의 애니메이션 표시 화상(322)이 어떤 실제 물체에 관한 정보인지를 올바르게 인식할 수 있다.
실시형태 2.
도 9는, 실시형태 2에 따른 가상 물체 표시 시스템(2)의 하드웨어 구성을 나타내는 도면이다. 도 9에 있어서, 도 1에 나타내어지는 구성 요소와 동일 또는 대응하는 구성 요소에는, 도 1에 나타내어지는 부호와 동일한 부호가 붙여진다. 도 10은, 도 9의 가상 물체 표시 시스템(2)을 나타내는 설명도이다. 도 10에 있어서, 도 4에 나타내어지는 구성 요소와 동일 또는 대응하는 구성 요소에는, 도 4에 나타내어지는 부호와 동일한 부호가 붙여진다.
도 9 및 도 10에 나타내어지는 가상 물체 표시 시스템(2)은, 표시 장치(40)가, 시점 위치(91)에서 본 촬상 정보 C1을 취득하는 촬상부(42)와, 표시 화면(41)과, 촬상 정보 C1에, 가상 물체의 화상 정보 B1과 안내의 표시 화상 정보 B2가 중첩된 화상을 표시 화면(41)에 표시시키는 합성부(43)를 갖는 점이, 도 1에 나타내어지는 가상 물체 표시 시스템(1)과 상이하다.
가상 물체 표시 시스템(2)에서는, 가상 물체 표시 제어 장치(10)는, 관찰자(90)의 시점 위치(91)를, 표시 장치(40)로부터 수신해도 된다.
또, 가상 물체 표시 시스템(2)에서는, 표시 장치(40)의 촬상부(42)를, 공간 정보 취득부(20)의 촬상부로서 사용해도 된다.
이상으로 설명한 바와 같이, 실시형태 2에 따른 가상 물체 표시 시스템(2) 및 가상 물체 표시 제어 장치(10)에 의하면, 가상 물체의 표시 화상이 관찰자(90)로부터 보이지 않는 위치에 표시된 경우여도, 가상 물체의 애니메이션 표시 화상에 의해서 관찰자(90)에 인식시킬 수 있다.
이상의 점을 제외하고, 도 9 및 도 10에 나타내어지는 가상 물체 표시 시스템(2)은, 도 1 및 도 4에 나타내어지는 가상 물체 표시 시스템(1)과 동일하다.
실시형태 3.
도 11은, 실시형태 3에 따른 가상 물체 표시 시스템(3)의 하드웨어 구성을 나타내는 도면이다. 도 11에 있어서, 도 1에 나타내어지는 구성 요소와 동일 또는 대응하는 구성 요소에는, 도 1에 나타내어지는 부호와 동일한 부호가 붙여진다. 도 12는, 도 11의 가상 물체 표시 시스템(3)을 나타내는 설명도이다. 도 12에 있어서, 도 4에 나타내어지는 구성 요소와 동일 또는 대응하는 구성 요소에는, 도 4에 나타내어지는 부호와 동일한 부호가 붙여진다.
도 11 및 도 12에 나타내어지는 가상 물체 표시 시스템(3)은, 표시 장치(50)가, 실제 공간(즉, 실제 세계)에 화상을 투사하는 프로젝터인 점, 및 가상 물체의 애니메이션 표시 화상(332, 332a)이 실제 공간의 바닥, 벽, 천정, 실제 물체 등에 표시되는 투사 화상인 점이, 도 1 및 도 4에 나타내어지는 가상 물체 표시 시스템(1)과 상이하다. 도 12의 예에서는, 가상 물체의 애니메이션 표시 화상(332, 332a)은, 가상 물체가 본래 표시되어야 할 위치와 그의 바로 위의 위치가 반복적으로 전환되는 애니메이션 화상이다.
이상으로 설명한 바와 같이, 실시형태 3에 따른 가상 물체 표시 시스템(3) 및 가상 물체 표시 제어 장치(10a)에 의하면, 가상 물체의 표시 화상(332)이 관찰자(90)로부터 보이지 않는 위치에 표시된 경우여도, 가상 물체의 애니메이션 표시 화상(332, 332a)에 의해서 관찰자(90)에게 인식시킬 수 있다.
또, 실시형태 3에 따른 가상 물체 표시 시스템(3) 및 가상 물체 표시 제어 장치(10a)에 의하면, 가상 물체의 애니메이션 표시 화상(332, 332a)의 위치를 반복적으로 이동시키고 있으므로, 관찰자(90)는, 가상 물체의 애니메이션 표시 화상(332, 332a)이 어떤 실제 물체에 관한 정보인지를 올바르게 인식할 수 있다.
또한, 애니메이션 표시 화상(332, 332a)이, 실제 세계에 직접 투영되고, 실제 세계의 공간 정보를 그대로 사용할 수 있기 때문에, 보다 안내의 의도를 알기 쉬워진다.
이상의 점을 제외하고, 도 11 및 도 12에 나타내어지는 가상 물체 표시 시스템(3)은, 도 1 및 도 4에 나타내어지는 가상 물체 표시 시스템(1) 또는 도 9 및 도 10에 나타내어지는 가상 물체 표시 시스템(2)과 동일하다.
1, 2, 3: 가상 물체 표시 시스템, 10, 10a: 가상 물체 표시 제어 장치, 20: 공간 정보 취득부, 21, 21a, 21b: 촬상부, 22: 깊이 검출부, 30, 40: 표시 장치, 31, 41: 표시 화면, 42: 촬상부, 43: 합성부, 50: 표시 장치(프로젝터), 90: 관찰자, 91: 시점 위치, 110: 인식부, 120: 표시 제어부, 121: 시점 위치 판정부, 122: 실제 물체 판정부, 123: 화상 제어부, 124: 표시 설정부, 125: 묘화부, 311: 실제 물체, 312: 가상 물체, 321: 실제 물체의 화상, 322: 애니메이션 표시 화상(통상 사이즈 시), 322a: 애니메이션 표시 화상(확대 사이즈 시), 322b: 애니메이션 표시 화상(이동 시), 332: 애니메이션 표시 화상, 332a: 애니메이션 표시 화상(이동 시), A1: 실제 공간의 화상 정보, A2: 실제 물체의 깊이 정보, B2: 표시 화상 정보.

Claims (13)

  1. 실제 공간을 나타내는 실제 공간 정보를 받는 인식부와,
    상기 실제 공간 정보로부터 관찰자의 시점 위치를 판정하는 시점 위치 판정부와,
    상기 실제 공간 정보로부터 실제 물체(real object)의 위치 및 형상을 판정하는 실제 물체 판정부와,
    가상 물체의 화상 정보를 받고, 상기 가상 물체의 화상 정보를 가공하는 것에 의해서, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 생성하는 화상 제어부와,
    상기 시점 위치와 상기 실제 물체의 위치 및 형상과 상기 가상 물체의 화상 정보에 근거하여, 상기 가상 물체를 애니메이션 표시시키는지 여부의 판정을 행하고, 상기 판정의 결과에 근거하여, 상기 가상 물체의 화상 정보 또는 상기 가상 물체를 애니메이션 표시시키는 화상 정보 중 어느 하나를 포함하는 화상 정보를 표시 화상 정보로서 설정하는 표시 설정부와,
    상기 표시 화상 정보를 출력하는 묘화부
    를 갖고,
    상기 표시 설정부는, 상기 시점 위치에서 보았을 때에, 상기 가상 물체의 전체 또는 일부가 상기 실제 물체에 의해서 가려지는 경우에, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 상기 표시 화상 정보로서 설정하고,
    상기 가상 물체를 애니메이션 표시시키는 화상 정보는 상기 가상 물체의 본래의 위치를 인식시킬 수 있는
    것을 특징으로 하는 가상 물체 표시 제어 장치.
  2. 제 1 항에 있어서,
    상기 가상 물체를 애니메이션 표시시키는 화상 정보는, 상기 가상 물체의 사이즈가 변화하도록 표시시키는 확대 축소(scaling) 표시의 화상 정보 또는 상기 가상 물체가 이동하도록 표시시키는 이동 표시의 화상 정보인 것을 특징으로 하는 가상 물체 표시 제어 장치.
  3. 제 1 항에 있어서,
    상기 가상 물체를 애니메이션 표시시키는 화상 정보는, 상기 가상 물체의 사이즈가 변화하도록 표시시키는 확대 축소 표시의 화상 정보 및 상기 가상 물체가 이동하도록 표시시키는 이동 표시의 화상 정보이고, 미리 결정된 조건에 따라서, 확대 축소 표시의 화상 정보 또는 이동 표시의 화상 정보 중 어느 하나가 선택되는 것을 특징으로 하는 가상 물체 표시 제어 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 실제 공간 정보는, 상기 실제 공간의 화상 정보 및 상기 실제 물체의 깊이 정보를 포함하는 것을 특징으로 하는 가상 물체 표시 제어 장치.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 표시 설정부는, 상기 실제 공간의 화상 정보에, 상기 가상 물체의 화상 정보 또는 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 합성함으로써 얻어진 합성 화상 정보를 상기 표시 화상 정보로서 출력하는 것을 특징으로 하는 가상 물체 표시 제어 장치.
  6. 실제 공간을 나타내는 실제 공간 정보를 취득하는 공간 정보 취득부와,
    상기 실제 공간 정보를 받는 인식부와,
    상기 실제 공간 정보로부터 관찰자의 시점 위치를 판정하는 시점 위치 판정부와,
    상기 실제 공간 정보로부터 실제 물체의 위치 및 형상을 판정하는 실제 물체 판정부와,
    가상 물체의 화상 정보를 받고, 상기 가상 물체의 화상 정보를 가공하는 것에 의해서, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 생성하는 화상 제어부와,
    상기 시점 위치와 상기 실제 물체의 위치 및 형상과 상기 가상 물체의 화상 정보에 근거하여, 상기 가상 물체를 애니메이션 표시시키는지 여부의 판정을 행하고, 상기 판정의 결과에 근거하여, 상기 가상 물체의 화상 정보 또는 상기 가상 물체를 애니메이션 표시시키는 화상 정보 중 어느 하나를 포함하는 화상 정보를 표시 화상 정보로서 설정하는 표시 설정부와,
    상기 표시 화상 정보를 출력하는 묘화부와,
    상기 표시 화상 정보에 근거하여 화상을 표시하는 표시 장치
    를 갖고,
    상기 표시 설정부는, 상기 시점 위치에서 보았을 때에, 상기 가상 물체의 전체 또는 일부가 상기 실제 물체에 의해서 가려지는 경우에, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 상기 표시 화상 정보로서 설정하고,
    상기 가상 물체를 애니메이션 표시시키는 화상 정보는 상기 가상 물체의 본래의 위치를 인식시킬 수 있는
    것을 특징으로 하는 가상 물체 표시 시스템.
  7. 제 6 항에 있어서,
    상기 공간 정보 취득부는, 상기 실제 공간의 화상 정보를 취득하는 촬상부 및 상기 실제 물체의 깊이 정보를 취득하는 깊이 검출부를 갖는 것을 특징으로 하는 가상 물체 표시 시스템.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 표시 설정부는, 상기 실제 공간의 화상 정보에 상기 화상 제어부로부터 출력된 화상 정보를 합성함으로써 얻어진 합성 화상 정보를 상기 표시 화상 정보로서 출력하는 것을 특징으로 하는 가상 물체 표시 시스템.
  9. 제 6 항 또는 제 7 항에 있어서,
    상기 표시 장치는,
    상기 시점 위치에서 본 촬상 정보를 취득하는 다른 촬상부와,
    표시 화면과,
    상기 촬상 정보에, 상기 화상 제어부로부터 출력된 화상 정보가 중첩된 화상을 상기 표시 화면에 표시시키는 합성부
    를 갖는 것을 특징으로 하는 가상 물체 표시 시스템.
  10. 제 6 항 또는 제 7 항에 있어서,
    상기 표시 장치는, 상기 표시 화상 정보를 상기 실제 공간 상에 투사하는 프로젝터를 갖는 것을 특징으로 하는 가상 물체 표시 시스템.
  11. 실제 공간을 나타내는 실제 공간 정보를 받는 스텝과,
    상기 실제 공간 정보로부터 관찰자의 시점 위치를 판정하는 스텝과,
    상기 실제 공간 정보로부터 실제 물체의 위치 및 형상을 판정하는 스텝과,
    가상 물체의 화상 정보를 받고, 상기 가상 물체의 화상 정보를 가공하는 것에 의해서, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 생성하는 스텝과,
    상기 시점 위치와 상기 실제 물체의 위치 및 형상과 상기 가상 물체의 화상 정보에 근거하여, 상기 가상 물체를 애니메이션 표시시키는지 여부의 판정을 행하고, 상기 판정의 결과에 근거하여, 상기 가상 물체의 화상 정보 또는 상기 가상 물체를 애니메이션 표시시키는 화상 정보 중 어느 하나를 포함하는 화상 정보를 표시 화상 정보로서 설정하는 스텝과,
    상기 표시 화상 정보를 출력하는 스텝
    을 갖고,
    상기 화상 정보를 표시 화상 정보로서 설정하는 상기 스텝에서는, 상기 시점 위치에서 보았을 때에, 상기 가상 물체의 전체 또는 일부가 상기 실제 물체에 의해서 가려지는 경우에, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 상기 표시 화상 정보로서 설정하고,
    상기 가상 물체를 애니메이션 표시시키는 화상 정보는 상기 가상 물체의 본래의 위치를 인식시킬 수 있는
    것을 특징으로 하는 가상 물체 표시 제어 방법.
  12. 실제 공간을 나타내는 실제 공간 정보를 받는 처리와,
    상기 실제 공간 정보로부터 관찰자의 시점 위치를 판정하는 처리와,
    상기 실제 공간 정보로부터 실제 물체의 위치 및 형상을 판정하는 처리와,
    가상 물체의 화상 정보를 받고, 상기 가상 물체의 화상 정보를 가공하는 것에 의해서, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 생성하는 처리와,
    상기 시점 위치와 상기 실제 물체의 위치 및 형상과 상기 가상 물체의 화상 정보에 근거하여, 상기 가상 물체를 애니메이션 표시시키는지 여부의 판정을 행하고, 상기 판정의 결과에 근거하여, 상기 가상 물체의 화상 정보 또는 상기 가상 물체를 애니메이션 표시시키는 화상 정보 중 어느 하나를 포함하는 화상 정보를 표시 화상 정보로서 설정하는 처리와,
    상기 표시 화상 정보를 출력하는 처리
    를 컴퓨터로 하여금 실행하게 하는 컴퓨터 판독 가능한 기록 매체에 기록된 가상 물체 표시 제어 프로그램으로서,
    상기 화상 정보를 표시 화상 정보로서 설정하는 상기 처리에서는, 상기 시점 위치에서 보았을 때, 상기 가상 물체의 전체 또는 일부가 상기 실제 물체에 의해서 가려지는 경우에, 상기 가상 물체를 애니메이션 표시시키는 화상 정보를 상기 표시 화상 정보로서 설정하고,
    상기 가상 물체를 애니메이션 표시시키는 화상 정보는 상기 가상 물체의 본래의 위치를 인식시킬 수 있는
    것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체에 기록된 가상 물체 표시 제어 프로그램.
  13. 삭제
KR1020207023700A 2018-02-26 2018-02-26 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램 KR102279300B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006957 WO2019163129A1 (ja) 2018-02-26 2018-02-26 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム

Publications (2)

Publication Number Publication Date
KR20200103115A KR20200103115A (ko) 2020-09-01
KR102279300B1 true KR102279300B1 (ko) 2021-07-19

Family

ID=67688251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207023700A KR102279300B1 (ko) 2018-02-26 2018-02-26 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램

Country Status (6)

Country Link
US (1) US20200402310A1 (ko)
JP (1) JP6698972B2 (ko)
KR (1) KR102279300B1 (ko)
CN (1) CN111758121A (ko)
DE (1) DE112018006930T5 (ko)
WO (1) WO2019163129A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7194752B2 (ja) 2018-12-13 2022-12-22 マクセル株式会社 表示端末、表示制御システムおよび表示制御方法
US11195291B1 (en) * 2020-02-19 2021-12-07 Facebook Technologies, Llc Dynamic illumination control for depth determination
CN112135160A (zh) * 2020-09-24 2020-12-25 广州博冠信息科技有限公司 直播中虚拟对象控制方法及装置、存储介质和电子设备
KR20220045799A (ko) 2020-10-06 2022-04-13 삼성전자주식회사 전자 장치 및 그 동작 방법
CN112860061A (zh) * 2021-01-15 2021-05-28 深圳市慧鲤科技有限公司 场景图像展示方法及装置、电子设备和存储介质
WO2022220459A1 (en) * 2021-04-14 2022-10-20 Samsung Electronics Co., Ltd. Method and electronic device for selective magnification in three dimensional rendering systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212345A (ja) 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10281794A (ja) * 1997-04-03 1998-10-23 Toyota Motor Corp 車両用案内表示装置
JP2003317116A (ja) * 2002-04-25 2003-11-07 Sony Corp ３次元仮想空間における情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
JP2015049039A (ja) 2013-08-29 2015-03-16 キャンバスマップル株式会社 ナビゲーション装置、及びナビゲーションプログラム
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212345A (ja) 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム

Also Published As

Publication number Publication date
KR20200103115A (ko) 2020-09-01
DE112018006930T5 (de) 2020-10-08
US20200402310A1 (en) 2020-12-24
WO2019163129A1 (ja) 2019-08-29
JPWO2019163129A1 (ja) 2020-05-28
JP6698972B2 (ja) 2020-05-27
CN111758121A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
KR102279300B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
KR20180033138A (ko) 시선 검출 방법 및 장치
CN111164971B (zh) 用于3d内容的视差观察器系统
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
KR102279306B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP2019146155A (ja) 画像処理装置、画像処理方法およびプログラム
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
US11037323B2 (en) Image processing apparatus, image processing method and storage medium
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
US10068375B2 (en) Information processing apparatus, information processing method, and recording medium
JP6564259B2 (ja) 画像処理装置、画像処理方法
KR20210023663A (ko) 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치
KR20210076615A (ko) 영상 정보 제공 방법 및 장치
JP2019146010A (ja) 画像処理装置、画像処理方法およびプログラム
US20240233259A1 (en) Information processing apparatus, information processing method, and storage medium
CN114270405A (zh) 利用二维图像生成三维内容的图像处理方法及图像处理装置
US20230252729A1 (en) Information processing apparatus, information processing method, and storage medium for presenting virtual object
CN117170556A (zh) 图像处理设备、图像处理方法和存储介质
JP5683402B2 (ja) 画像合成装置及び画像合成方法
JP2005234757A (ja) 拡張現実感システムおよび画像合成表示方法とプログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant