WO2019163128A1 - 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム - Google Patents

仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム Download PDF

Info

Publication number
WO2019163128A1
WO2019163128A1 PCT/JP2018/006950 JP2018006950W WO2019163128A1 WO 2019163128 A1 WO2019163128 A1 WO 2019163128A1 JP 2018006950 W JP2018006950 W JP 2018006950W WO 2019163128 A1 WO2019163128 A1 WO 2019163128A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
image information
real
display
information
Prior art date
Application number
PCT/JP2018/006950
Other languages
English (en)
French (fr)
Inventor
峰屹 金
雅也 仁平
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/006950 priority Critical patent/WO2019163128A1/ja
Priority to US16/971,502 priority patent/US20200394845A1/en
Priority to CN201880089312.0A priority patent/CN111819603B/zh
Priority to DE112018006936.2T priority patent/DE112018006936T5/de
Priority to KR1020207023752A priority patent/KR102279306B1/ko
Priority to JP2020501983A priority patent/JP6698971B2/ja
Publication of WO2019163128A1 publication Critical patent/WO2019163128A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • the present invention relates to a virtual object display control apparatus that performs control for displaying an image of a virtual object, a virtual object display control method, a virtual object display control program, and a virtual object display system including the virtual object display control apparatus.
  • a device that displays an image of a real object and an image of a virtual object superimposed on the screen of a display device has been proposed (see, for example, Patent Documents 1 and 2).
  • the image of the virtual object is, for example, an augmented reality (AR) image.
  • AR augmented reality
  • the position where the virtual object image is moved from the position where it should originally be displayed in consideration of occlusion in the real space that is, the virtual object image is not hidden by the real object image. Is displayed. However, in this case, the observer cannot know the position where the image of the virtual object should be originally displayed. For this reason, when the image of the virtual object is an image including the annotation of the real object, it is difficult to understand which real object the annotation relates to.
  • the present invention relates to a virtual object display control device and a virtual object display system that allow an observer to recognize the position of an image of a virtual object even when the image of the virtual object is displayed at a position invisible to the observer
  • An object of the present invention is to provide a virtual object display control method and a virtual object display control program.
  • a virtual object display control device includes a recognition unit that receives real space information indicating real space, a viewpoint position determination unit that determines an observer's viewpoint position from the real space information, and the real space information.
  • a real object determination unit that determines the position and shape of the real object from the virtual object display setting unit that sets image information of the virtual object based on the viewpoint position and the position and shape of the real object, and the viewpoint position.
  • a guidance display control unit that determines the necessity of guidance display based on the position and shape of the real object and the image information of the virtual object, and sets the image information of the guidance display when the guidance display is necessary; And a drawing unit that outputs image information of the virtual object and image information of the guidance display.
  • a virtual object display system includes a spatial information acquisition unit that acquires real space information indicating real space, a recognition unit that receives the real space information, and an observer's viewpoint position from the real space information.
  • a virtual object based on the viewpoint position and the position and shape of the real object; a viewpoint position determination unit that determines the position and shape of the real object from the real space information;
  • the necessity of guidance display is determined based on the virtual object display setting unit to be set, the viewpoint position, the position and shape of the real object, and the image information of the virtual object, and the guidance is displayed when the guidance display is necessary.
  • a drawing unit that outputs image information of the virtual object and image information of the guidance display, image information of the virtual object, and image information of the guidance display Image Characterized in that it has a display device for, a.
  • the observer can recognize the position of the image of the virtual object by the guidance display.
  • FIG. 1 is an explanatory diagram showing a virtual object display system according to Embodiment 1.
  • FIG. 3 is a flowchart showing the operation of the virtual object display control apparatus according to the first embodiment.
  • 6 is a diagram illustrating a hardware configuration of a virtual object display system according to a modification of the first embodiment.
  • FIG. 6 is an explanatory diagram illustrating a virtual object display system according to a modification of the first embodiment.
  • FIG. It is a figure which shows the hardware constitutions of the virtual object display system which concerns on Embodiment 2 of this invention. 6 is an explanatory diagram illustrating a virtual object display system according to Embodiment 2.
  • an xyz orthogonal coordinate system is shown.
  • the x-axis indicates the horizontal direction in real space (that is, the horizontal horizontal direction)
  • the y-axis indicates the depth direction in real space (that is, the horizontal depth direction)
  • the z-axis indicates real space.
  • the height direction at (that is, the vertical direction) is shown.
  • FIG. 1 is a diagram illustrating a hardware configuration of a virtual object display system 1 according to the first embodiment.
  • the virtual object display system 1 includes a space information acquisition unit 20 that is a space detection unit that acquires real space information indicating a real space (that is, the real world), and a display device 30 that displays an image.
  • a virtual object display control device 10 that causes the display device 30 to display an image.
  • the display device 30 displays an image of a real object, an image of a virtual object, and a guidance display.
  • the image of the virtual object is, for example, an AR image.
  • the image virtual object display control device 10 is a device that can implement the virtual object display control method according to the first embodiment.
  • the spatial information acquisition unit 20 is, for example, one or more imaging units 21 that acquire real space image information A1 and one unit that acquires depth information A2 of a real object (that is, a target object) that exists in the real space.
  • the depth detection unit 22 described above is included.
  • the spatial information acquisition unit 20 may include one of the imaging unit 21 and the depth detection unit 22.
  • the imaging unit 21 is, for example, a color camera that acquires a color image and a stereo camera that captures a real object simultaneously from a plurality of different directions.
  • the depth detection unit 22 is, for example, a depth camera that has a function of detecting the depth (depth) of a real object.
  • the real space information includes real space image information A1 and real object depth information A2.
  • the virtual object display control device 10 includes a CPU (Central Processing Unit) 11 as an information processing unit, a GPU (Graphics Processing Unit) 12 as an image processing unit, and a memory 13 as a storage unit for storing information.
  • the function of the GPU 12 may be performed by the CPU 11.
  • the virtual object display control device 10 is, for example, a personal computer (PC), a smart phone, or a tablet terminal.
  • the memory 13 may store the virtual object display control program according to the first embodiment.
  • the CPU 11 can control the display operation of the display device 30 by executing the virtual object display control program.
  • the display device 30 is a device having a display screen (that is, a display) such as a PC monitor, a smart phone, or a tablet terminal.
  • FIG. 2 is a diagram schematically showing a positional relationship between the viewpoint position 91 of the observer 90 and the real object 311.
  • the real object 311 can be a shield that hides the virtual object.
  • the observer 90 cannot view the image of the virtual object displayed in the area (shaded area) 314 hidden from the viewpoint position 91 in the real object 311.
  • the virtual object image is moved to a different position, it is impossible to know which real object the virtual object image relates to.
  • the virtual object display control apparatus 10 determines the position and shape of the viewpoint position 91 and the real object 311 of the observer 90 from the real space information, and the image information of the position and shape of the viewpoint position 91 and the real object 311 and the virtual object. Whether or not guidance display is necessary is determined based on B1.
  • the virtual object display control device 10 sets image information B2 for guidance display when guidance display is necessary, and outputs image information B1 for the virtual object and image information B2 for guidance display.
  • the virtual object display control device 10 outputs the virtual object image information B1 when the guidance display is not necessary.
  • FIG. 3 is a functional block diagram showing the virtual object display control apparatus 10 according to the first embodiment.
  • the virtual object display control device 10 includes a recognition unit 110 that receives real space image information A1 and real object depth information A2 that are real space information, and a display control unit 120.
  • the recognition unit 110 receives the real space image information A1, performs necessary processing, receives the space recognition unit 111 provided to the display control unit 120, and the depth information A2 of the real object, performs necessary processing, And a real object recognition unit 112 provided to the display control unit 120.
  • the real object recognition unit 112 may output data obtained by replacing the real object with a model of the real object (that is, image information held in advance).
  • the model of the real object is image information held in advance, and may be a typical three-dimensional shape such as image information such as a desk or chair, a cylinder, a rectangular parallelepiped, a triangular pyramid, a sphere, and the like.
  • the configuration and function of the recognition unit 110 are not limited to the above examples.
  • the display control unit 120 includes a viewpoint position determination unit 121 that determines the viewpoint position 91 of the observer 90 from the real space image information A1 and the depth information A2 of the real object, and the position and shape of the real object 311 from the real space information.
  • a real object determination unit 122 for determining, and a virtual object display setting unit 123 that sets image information B1 of the virtual object 312 based on the viewpoint position 91 and the position and shape of the real object 311 are included.
  • the display control unit 120 also includes a guidance display determination unit 124 that determines whether the guidance display 323 is necessary based on the viewpoint position 91, the position and shape of the real object 311, and the image information B 1 of the virtual object 312, and the guidance display 323. And a guidance display setting unit 125 for setting the image information B2 for guidance display.
  • the guidance display determination unit 124 and the guidance display setting unit 125 constitute a guidance display control unit 126.
  • the guidance display determination unit 124 determines that guidance display is necessary when the virtual object is entirely or partially hidden by the real object when viewed from the viewpoint position.
  • the guidance display determination unit 124 determines that guidance display is necessary when a predetermined percentage or more (for example, 50% or more) of the virtual object is hidden by the real object when viewed from the viewpoint position. Also good.
  • the display control unit 120 includes a drawing unit 127 that outputs image information B1 of the virtual object and image information B2 of the guidance display.
  • the drawing unit 127 may output composite image information obtained by combining the virtual space image information B1 and the guidance display image information B2 with the real space image information A1.
  • FIG. 4 is an explanatory diagram showing the virtual object display system 1.
  • two imaging units 21a and 21b are shown as the imaging unit 21 of FIG.
  • the imaging units 21 a and 21 b of the spatial information acquisition unit 20 provide real space image information A1 and real object depth information A2 to the virtual object display control device 10.
  • FIG. 5 is a flowchart showing the operation of the virtual object display control device 10.
  • the virtual object display control device 10 receives the real space information in step S1, determines the viewpoint position 91 of the observer 90 from the real space information (for example, real space image information A1) in step S2, and in step S3 the real space.
  • the position and shape of the real object 311 are determined from the information (for example, depth information A2 of the real object), and the image information B1 of the virtual object 312 is set based on the viewpoint position 91 and the position and shape of the real object 311 in step S4. To do.
  • the virtual object display control device 10 determines whether or not guidance display is necessary based on the viewpoint position 91, the position and shape of the real object 311 and the image information B1 of the virtual object in step S5. That is, the virtual object display control device 10 determines whether or not the image 322 of the virtual object 312 is hidden by the image 321 of the real object 311 when viewed from the viewpoint position 91.
  • the virtual object display control device 10 draws the real object image 321 and the virtual object image 322 based on the real space image information in step S6.
  • the virtual object display control device 10 causes the display device 30 to display the real object image 321 and the virtual object image 322.
  • the virtual object display control device 10 determines the position of the guidance display 323 in step S8, sets the image information of the guidance display in step S9, and in step S10 the real space.
  • a real object image 321, a virtual object image 322, and a guidance display image 323 are drawn based on the image information.
  • the virtual object display control device 10 causes the display device 30 to display the real object image 321, the virtual object image 322, and the guidance display image 323.
  • the guidance display 323 is an arrow indicating the direction of the virtual object, for example.
  • the guidance display 323 may include, for example, a message such as “There is a virtual object here” or “There is an explanation of a real object here”.
  • the virtual object image 322 is displayed at a position that cannot be seen by the observer 90.
  • the observer 90 determines which of the virtual object images 322 is It is possible to correctly recognize whether the information is about a real object.
  • FIG. 6 is a diagram illustrating a hardware configuration of the virtual object display system 1a according to the modification of the first embodiment.
  • FIG. 6 the same reference numerals as those shown in FIG. 1 are given to the same or corresponding elements as those shown in FIG.
  • FIG. 7 is an explanatory diagram showing the virtual object display system 1a of FIG.
  • the same reference numerals as those shown in FIG. 4 are given to the same or corresponding elements as those shown in FIG.
  • the display device 40 acquires the imaging information C1 viewed from the viewpoint position 91, the display screen 41, and the imaging information C1.
  • the virtual object display system 1 shown in FIG. 1 is different from the virtual object display system 1 shown in FIG. 1 in that it includes a combining unit 43 that displays an image in which the image information B1 and the image information B2 of the guidance display are superimposed on the display screen 41.
  • the virtual object display control device 10 may receive the viewpoint position 91 of the observer 90 from the display device 40.
  • the imaging unit 42 of the display device 40 may be used as the imaging unit of the spatial information acquisition unit 20.
  • the virtual object display system 1a shown in FIGS. 6 and 7 is the same as the virtual object display system 1 shown in FIGS.
  • FIG. FIG. 8 is a diagram illustrating a hardware configuration of the virtual object display system 2 according to the second embodiment.
  • the same reference numerals as those shown in FIG. 1 are given to the same or corresponding elements as those shown in FIG.
  • FIG. 9 is an explanatory diagram showing the virtual object display system 2 of FIG. 9, components that are the same as or correspond to the components shown in FIG. 4 are given the same reference numerals as those shown in FIG.
  • the display device 50 is a projector that projects an image in real space (that is, the real world), and the guidance display 333 is a floor, wall, It differs from the virtual object display system 1 shown in FIGS. 1 and 4 in that it is a projected image displayed on a ceiling, a real object, or the like.
  • the guidance display 333 is an arc-shaped arrow indicating the movement path of the observer 90.
  • the virtual object image 332 is displayed at a position that cannot be seen by the observer 90.
  • the viewer 90 can recognize the position of the virtual object image 332 by the guidance display 333.
  • the position of the virtual object image 332 is not moved, so that the observer 90 determines which virtual object image 332 is It is possible to correctly recognize whether the information is about a real object.
  • the guidance display 333 is projected directly on the real world and the space information of the real world can be used as it is, the intention of the guidance becomes easier to understand.
  • the virtual object display system 2 shown in FIGS. 8 and 9 includes the virtual object display system 1 shown in FIGS. 1 and 4 or the virtual object display system 1a shown in FIGS. The same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

仮想物体表示制御装置（１０）は、実空間を示す実空間情報（Ａ１，Ａ２）を受け取る認識部（１１０）と、実空間情報（Ａ１，Ａ２）から観察者の視点位置を判定する視点位置判定部（１２１）と、実空間情報（Ａ１，Ａ２）から実物体の位置及び形状を判定する実物体判定部（１２２）と、視点位置と実物体の位置及び形状とに基づいて仮想物体の画像情報（Ｂ１）を設定する仮想物体表示設定部（１２３）と、視点位置と実物体の位置及び形状と仮想物体の画像情報（Ｂ１）とに基づいて案内表示の要否を判定し、案内表示が必要な場合に案内表示の画像情報（Ｂ２）を設定する案内表示制御部（１２６）と、仮想物体の画像情報（Ｂ１）と案内表示の画像情報（Ｂ２）とを出力する描画部（１２７）とを有する。

Description

仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
　本発明は、仮想物体の画像を表示するための制御を行う仮想物体表示制御装置、仮想物体表示制御方法、及び仮想物体表示制御プログラム、並びに前記仮想物体表示制御装置を含む仮想物体表示システムに関する。
　表示装置の画面に、実物体の画像と、これに重畳された仮想物体の画像とを表示させる装置が提案されている（例えば、特許文献１及び２参照）。仮想物体の画像は、例えば、拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：ＡＲ）画像である。
特開２０１５－４９０３９号公報（段落００１０，００６８，００７９） 国際公開第２０１６／２０３７９２号（段落００８１）
　上記従来の装置では、実空間におけるオクルージョンを考慮に入れて（すなわち、仮想物体の画像が実物体の画像によって隠れないように）、仮想物体の画像を本来表示されるべき位置から移動させた位置に表示している。しかしながら、この場合、観察者は、仮想物体の画像が本来表示されるべき位置を知ることができない。このため、仮想物体の画像が、実物体のアノテーションを含む画像である場合、アノテーションがいずれの実物体に関するものであるのかが分かりにくい。
　本発明は、仮想物体の画像が観察者から見えない位置に表示された場合であっても、観察者に仮想物体の画像の位置を認識させることができる仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラムを提供することを目的とする。
　本発明の一態様に係る仮想物体表示制御装置は、実空間を示す実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、を有することを特徴とする。
　本発明の他の態様に係る仮想物体表示システムは、実空間を示す実空間情報を取得する空間情報取得部と、前記実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、前記仮想物体の画像情報と前記案内表示の画像情報とに基づいて画像を表示する表示装置と、を有することを特徴とする。
　本発明によれば、仮想物体の画像が観察者から見えない位置に表示された場合であっても、案内表示によって観察者に仮想物体の画像の位置を認識させることができる。
本発明の実施の形態１に係る仮想物体表示システムのハードウェア構成を示す図である。 視点位置と実物体（遮蔽物）との位置関係を概略的に示す図である。 実施の形態１に係る仮想物体表示制御装置を示す機能ブロック図である。 実施の形態１に係る仮想物体表示システムを示す説明図である。 実施の形態１に係る仮想物体表示制御装置の動作を示すフローチャートである。 実施の形態１の変形例に係る仮想物体表示システムのハードウェア構成を示す図である。 実施の形態１の変形例に係る仮想物体表示システムを示す説明図である。 本発明の実施の形態２に係る仮想物体表示システムのハードウェア構成を示す図である。 実施の形態２に係る仮想物体表示システムを示す説明図である。
　以下に、本発明の実施の形態に係る仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
　なお、図にはｘｙｚ直交座標系が示される。ｘｙｚ直交座標系において、ｘ軸は、実空間における横方向（すなわち、水平横方向）を示し、ｙ軸は、実空間における奥行方向（すなわち、水平奥行方向）を示し、ｚ軸は、実空間における高さ方向（すなわち、縦方向）を示す。
実施の形態１．
　先ず、仮想物体表示システム１及び仮想物体表示制御装置１０の構成を説明する。図１は、実施の形態１に係る仮想物体表示システム１のハードウェア構成を示す図である。図１に示されるように、仮想物体表示システム１は、実空間（すなわち、実世界）を示す実空間情報を取得する空間検出部である空間情報取得部２０と、画像を表示する表示装置３０と、表示装置３０に画像を表示させる仮想物体表示制御装置１０とを有する。表示装置３０は、例えば、実物体の画像、仮想物体の画像、及び案内表示を表示する。仮想物体の画像は、例えば、ＡＲ画像である。画像仮想物体表示制御装置１０は、実施の形態１に係る仮想物体表示制御方法を実施することができる装置である。
　空間情報取得部２０は、例えば、実空間の画像情報Ａ１を取得する１台以上の撮像部２１と、実空間内に存在する実物体（すなわち、対象物）の奥行情報Ａ２を取得する１台以上の奥行検出部２２とを有する。空間情報取得部２０は、撮像部２１及び奥行検出部２２の一方を有してもよい。撮像部２１は、例えば、カラー画像を取得するカラーカメラ及び実物体を複数の異なる方向から同時に撮影するステレオカメラなどである。奥行検出部２２は、例えば、実物体の奥行き（深度）を検出する機能を備えたデプスカメラなどである。実施の形態１において、実空間情報は、実空間の画像情報Ａ１と実物体の奥行情報Ａ２とを含む。
　仮想物体表示制御装置１０は、情報処理部としてのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、画像処理部としてのＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２と、情報を記憶する記憶部としてのメモリ１３とを有する。ＧＰＵ１２の機能は、ＣＰＵ１１によって行われてもよい。仮想物体表示制御装置１０は、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォーン、又はタブレット端末などである。メモリ１３は、実施の形態１に係る仮想物体表示制御プログラムを記憶してもよい。ＣＰＵ１１は、仮想物体表示制御プログラムを実行することにより表示装置３０の表示動作を制御することができる。
　表示装置３０は、例えば、ＰＣのモニタ、スマートフォーン、又はタブレット端末などの表示画面（すなわち、ディスプレイ）を有する装置である。
　図２は、観察者９０の視点位置９１と実物体３１１との位置関係を概略的に示す図である。実物体３１１は、仮想物体を隠す遮蔽物となり得る。実空間内に実物体３１１が存在する場合、観察者９０は、視点位置９１から実物体３１１に隠された領域（斜線領域）３１４に表示された仮想物体の画像を目視することができない。また、仮想物体の画像を異なる位置に移動させた場合には、仮想物体の画像が、どの実物体に関連するものであるのかが分からなくなる。そこで、仮想物体表示制御装置１０は、実空間情報から観察者９０の視点位置９１と実物体３１１の位置及び形状を判定し、視点位置９１と実物体３１１の位置及び形状と仮想物体の画像情報Ｂ１とに基づいて案内表示の要否を判定する。仮想物体表示制御装置１０は、案内表示が必要な場合に案内表示の画像情報Ｂ２を設定し、仮想物体の画像情報Ｂ１と案内表示の画像情報Ｂ２とを出力する。仮想物体表示制御装置１０は、案内表示が必要でない場合に、仮想物体の画像情報Ｂ１を出力する。
　図３は、実施の形態１に係る仮想物体表示制御装置１０を示す機能ブロック図である。図３に示されるように、仮想物体表示制御装置１０は、実空間情報である実空間の画像情報Ａ１と実物体の奥行情報Ａ２とを受け取る認識部１１０と、表示制御部１２０とを有する。
　認識部１１０は、例えば、実空間の画像情報Ａ１を受け取り、必要な処理を施し、表示制御部１２０に提供する空間認識部１１１と、実物体の奥行情報Ａ２を受け取り、必要な処理を施し、表示制御部１２０に提供する実物体認識部１１２とを有する。実物体認識部１１２は、実物体を実物体のモデル（すなわち、予め保持している画像情報）に置き換えたデータを出力してもよい。実物体のモデルは、予め保持している画像情報であり、机又は椅子などの画像情報、円柱、直方体、三角錐、球体などのような代表的な３次元形状であってもよい。ただし、認識部１１０の構成及び機能は、以上の例に限定されない。
　表示制御部１２０は、実空間の画像情報Ａ１と実物体の奥行情報Ａ２とから観察者９０の視点位置９１を判定する視点位置判定部１２１と、実空間情報から実物体３１１の位置及び形状を判定する実物体判定部１２２と、視点位置９１と実物体３１１の位置及び形状とに基づいて仮想物体３１２の画像情報Ｂ１を設定する仮想物体表示設定部１２３とを有する。
　また、表示制御部１２０は、視点位置９１と実物体３１１の位置及び形状と仮想物体３１２の画像情報Ｂ１とに基づいて案内表示３２３の要否を判定する案内表示判定部１２４と、案内表示３２３が必要な場合に案内表示の画像情報Ｂ２を設定する案内表示設定部１２５とを有する。案内表示判定部１２４と案内表示設定部１２５とは、案内表示制御部１２６を構成する。案内表示判定部１２４は、例えば、視点位置から見たときに、仮想物体の全体又は一部が実物体によって隠れる場合に、案内表示が必要と判定する。また、案内表示判定部１２４は、視点位置から見たときに、仮想物体の予め決められた一定割合以上（例えば、５０％以上）が実物体によって隠れる場合に、案内表示が必要と判定してもよい。
　さらに、表示制御部１２０は、仮想物体の画像情報Ｂ１と案内表示の画像情報Ｂ２とを出力する描画部１２７を有する。描画部１２７は、実空間の画像情報Ａ１に、仮想物体の画像情報Ｂ１及び案内表示の画像情報Ｂ２を合成することで得られた合成画像情報を出力してもよい。
　次に、仮想物体表示制御装置１０の動作を説明する。図４は、仮想物体表示システム１を示す説明図である。図４においては、図１の撮像部２１として２台の撮像部２１ａ，２１ｂが示されている。図４の例では、空間情報取得部２０の撮像部２１ａ，２１ｂが、実空間の画像情報Ａ１と実物体の奥行情報Ａ２を仮想物体表示制御装置１０に提供する。また、図５は、仮想物体表示制御装置１０の動作を示すフローチャートである。
　仮想物体表示制御装置１０は、ステップＳ１において実空間情報を受け取り、ステップＳ２において実空間情報（例えば、実空間の画像情報Ａ１）から観察者９０の視点位置９１を判定し、ステップＳ３において実空間情報（例えば、実物体の奥行情報Ａ２）から実物体３１１の位置及び形状を判定し、ステップＳ４において視点位置９１と実物体３１１の位置及び形状とに基づいて仮想物体３１２の画像情報Ｂ１を設定する。
　次に、仮想物体表示制御装置１０は、ステップＳ５において視点位置９１と実物体３１１の位置及び形状と仮想物体の画像情報Ｂ１とに基づいて案内表示の要否を判定する。すなわち、仮想物体表示制御装置１０は、視点位置９１から見て仮想物体３１２の画像３２２が実物体３１１の画像３２１に隠れるか否かを判定する。
　仮想物体３１２の画像３２２が隠れない場合、仮想物体表示制御装置１０は、ステップＳ６において、実空間の画像情報に基づく実物体の画像３２１と、仮想物体の画像３２２とを描画する。そして、仮想物体表示制御装置１０は、ステップＳ７において、表示装置３０に実物体の画像３２１と仮想物体の画像３２２を表示させる。
　仮想物体３１２の画像３２２が隠れる場合、仮想物体表示制御装置１０は、ステップＳ８において、案内表示３２３の位置を判定し、ステップＳ９において、案内表示の画像情報を設定し、ステップＳ１０において、実空間の画像情報に基づく実物体の画像３２１と、仮想物体の画像３２２と、案内表示の画像３２３とを描画する。そして、仮想物体表示制御装置１０は、表示装置３０に実物体の画像３２１と仮想物体の画像３２２と案内表示の画像３２３を表示させる。案内表示３２３は、例えば、仮想物体の方向を示す矢印である。案内表示３２３は、例えば、「ここに仮想物体があります。」又は「ここに実物体の解説文があります。」などのようなメッセージが含まれてもよい。
　以上に説明したように、実施の形態１に係る仮想物体表示システム１及び仮想物体表示制御装置１０によれば、仮想物体の画像３２２が観察者９０から見えない位置に表示された場合であっても、案内表示３２３によって観察者９０に仮想物体の画像３２２の位置を認識させることができる。
　また、実施の形態１に係る仮想物体表示システム１及び仮想物体表示制御装置１０によれば、仮想物体の画像３２２の位置を移動させていないので、観察者９０は、仮想物体の画像３２２がどの実物体に関する情報であるのかを正しく認識することができる。
　図６は、実施の形態１の変形例に係る仮想物体表示システム１ａのハードウェア構成を示す図である。図６において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図７は、図６の仮想物体表示システム１ａを示す説明図である。図７において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付される。
　図６及び図７に示される仮想物体表示システム１ａは、表示装置４０が、視点位置９１から見た撮像情報Ｃ１を取得する撮像部４２と、表示画面４１と、撮像情報Ｃ１に、仮想物体の画像情報Ｂ１と案内表示の画像情報Ｂ２とが重畳された画像を表示画面４１に表示させる合成部４３とを有する点が、図１に示される仮想物体表示システム１と異なる。
　仮想物体表示システム１ａでは、仮想物体表示制御装置１０は、観察者９０の視点位置９１を、表示装置４０から受信してもよい。
　また、仮想物体表示システム１ａでは、表示装置４０の撮像部４２を、空間情報取得部２０の撮像部として使用してもよい。
　以上の点を除いて、図６及び図７に示される仮想物体表示システム１ａは、図１及び図４に示される仮想物体表示システム１と同じである。
実施の形態２．
　図８は、実施の形態２に係る仮想物体表示システム２のハードウェア構成を示す図である。図８において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図９は、図８の仮想物体表示システム２を示す説明図である。図９において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付される。
　図８及び図９に示される仮想物体表示システム２は、表示装置５０が、実空間（すなわち、実世界）に画像を投射するプロジェクタである点、及び案内表示３３３が実空間の床、壁、天井、実物体などに表示される投射画像である点が、図１及び図４に示される仮想物体表示システム１と異なる。図９の例では、案内表示３３３は、観察者９０の移動経路を示す円弧状の矢印である。
　以上に説明したように、実施の形態２に係る仮想物体表示システム２及び仮想物体表示制御装置１０ａによれば、仮想物体の画像３３２が観察者９０から見えない位置に表示された場合であっても、案内表示３３３によって観察者９０に仮想物体の画像３３２の位置を認識させることができる。
　また、実施の形態２に係る仮想物体表示システム２及び仮想物体表示制御装置１０ａによれば、仮想物体の画像３３２の位置を移動させていないので、観察者９０は、仮想物体の画像３３２がどの実物体に関する情報であるのかを正しく認識することができる。
　さらに、案内表示３３３が、実世界に直接に投影され、実世界の空間情報をそのまま使用できるため、より案内の意図が分かりやすくなる。
　以上の点を除いて、図８及び図９に示される仮想物体表示システム２は、図１及び図４に示される仮想物体表示システム１又は図６及び図７に示される仮想物体表示システム１ａと同じである。
　１，１ａ，２　仮想物体表示システム、　１０，１０ａ　仮想物体表示制御装置、　２０　空間情報取得部、　２１，２１ａ，２１ｂ　撮像部、　２２　奥行検出部、　３０，４０　表示装置、　３１，４１　表示画面、　４２　撮像部、　４３　合成部、　５０　表示装置（プロジェクタ）、　９０　観察者、　９１　視点位置、　１１０　認識部、　１２０　表示制御部、　１２１　視点位置判定部、　１２２　実物体判定部、　１２３　仮想物体表示設定部、　１２４　案内表示判定部、　１２５　案内表示設定部、　１２６　案内表示制御部、　１２７　描画部、　３１１　実物体、　３１２　仮想物体、　３２１　実物体の画像、　３２２，３３２　仮想物体の画像、　３２３，３３３　案内表示、　Ａ１　実空間の画像情報、　Ａ２　実物体の奥行情報、　Ｂ１　仮想物体の画像情報、　Ｂ２　案内表示の画像情報。

Claims (11)

  1. 　実空間を示す実空間情報を受け取る認識部と、
    　前記実空間情報から観察者の視点位置を判定する視点位置判定部と、
    　前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、
    　前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、
    　前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、
    　前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、
    　を有することを特徴とする仮想物体表示制御装置。
  2. 　前記案内表示制御部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記案内表示が必要と判定することを特徴とする請求項１に記載の仮想物体表示制御装置。
  3. 　前記実空間情報は、前記実空間の画像情報及び前記実物体の奥行情報を含むことを特徴とする請求項１又は２に記載の仮想物体表示制御装置。
  4. 　前記描画部は、前記実空間の画像情報に、前記仮想物体の画像情報及び前記案内表示の画像情報を合成することで得られた合成画像情報を出力することを特徴とする請求項１に記載の仮想物体表示制御装置。
  5. 　実空間を示す実空間情報を取得する空間情報取得部と、
    　前記実空間情報を受け取る認識部と、
    　前記実空間情報から観察者の視点位置を判定する視点位置判定部と、
    　前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、
    　前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、
    　前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、
    　前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、
    　前記仮想物体の画像情報と前記案内表示の画像情報とに基づいて画像を表示する表示装置と、
    　を有することを特徴とする仮想物体表示システム。
  6. 　前記空間情報取得部は、前記実空間の画像情報を取得する撮像部及び前記実物体の奥行情報を取得する奥行検出部を有することを特徴とする請求項５に記載の仮想物体表示システム。
  7. 　前記描画部は、前記実空間の画像情報に、前記仮想物体の画像情報及び前記案内表示の画像情報を合成することで得られた合成画像情報を出力することを特徴とする請求項５又は６に記載の仮想物体表示システム。
  8. 　前記表示装置は、
    　前記視点位置から見た撮像情報を取得する他の撮像部と、
    　表示画面と、
    　前記撮像情報に、前記仮想物体の画像情報と前記案内表示の画像情報とが重畳された画像を前記表示画面に表示させる合成部と、
    　を有することを特徴とする請求項５又は６に記載の仮想物体表示システム。
  9. 　前記表示装置は、前記仮想物体の画像情報と前記案内表示の画像情報とを前記実空間上に投射するプロジェクタを有することを特徴とする請求項５又は６に記載の仮想物体表示システム。
  10. 　実空間を示す実空間情報を受け取るステップと、
    　前記実空間情報から観察者の視点位置を判定するステップと、
    　前記実空間情報から実物体の位置及び形状を判定するステップと、
    　前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定するステップと、
    　前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定するステップと、
    　前記仮想物体の画像情報と前記案内表示の画像情報とを出力するステップと、
    　を有することを特徴とする仮想物体表示制御方法。
  11. 　実空間を示す実空間情報を受け取る処理と、
    　前記実空間情報から観察者の視点位置を判定する処理と、
    　前記実空間情報から実物体の位置及び形状を判定する処理と、
    　前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する処理と、
    　前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する処理と、
    　前記仮想物体の画像情報と前記案内表示の画像情報とを出力する処理と、
    　をコンピュータに実行させることを特徴とする仮想物体表示制御プログラム。
PCT/JP2018/006950 2018-02-26 2018-02-26 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム WO2019163128A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2018/006950 WO2019163128A1 (ja) 2018-02-26 2018-02-26 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
US16/971,502 US20200394845A1 (en) 2018-02-26 2018-02-26 Virtual object display control device, virtual object display system, virtual object display control method, and storage medium storing virtual object display control program
CN201880089312.0A CN111819603B (zh) 2018-02-26 2018-02-26 虚拟物体显示控制装置、方法、记录介质及虚拟物体显示系统
DE112018006936.2T DE112018006936T5 (de) 2018-02-26 2018-02-26 Virtuelles-Objekt-Anzeigesteuerungseinrichtung, Virtuelles-Objekt-Anzeigesystem, Virtuelles-Objekt-Anzeigesteuerungsverfahren und Virtuelles-Objekt-Anzeigesteuerungsprogramm
KR1020207023752A KR102279306B1 (ko) 2018-02-26 2018-02-26 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP2020501983A JP6698971B2 (ja) 2018-02-26 2018-02-26 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006950 WO2019163128A1 (ja) 2018-02-26 2018-02-26 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2019163128A1 true WO2019163128A1 (ja) 2019-08-29

Family

ID=67688253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006950 WO2019163128A1 (ja) 2018-02-26 2018-02-26 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム

Country Status (6)

Country Link
US (1) US20200394845A1 (ja)
JP (1) JP6698971B2 (ja)
KR (1) KR102279306B1 (ja)
CN (1) CN111819603B (ja)
DE (1) DE112018006936T5 (ja)
WO (1) WO2019163128A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004818A (ja) * 2021-06-25 2023-01-17 インタラクト カンパニー リミテッド 仮想現実トレーニングシステム及び床ユニット

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121483A1 (ja) * 2018-12-13 2020-06-18 マクセル株式会社 表示端末、表示制御システムおよび表示制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2012212345A (ja) * 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3674993B2 (ja) * 1995-08-31 2005-07-27 三菱電機株式会社 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JPH10281794A (ja) * 1997-04-03 1998-10-23 Toyota Motor Corp 車両用案内表示装置
JP3931343B2 (ja) * 2003-09-30 2007-06-13 マツダ株式会社 経路誘導装置
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
JP2015049039A (ja) 2013-08-29 2015-03-16 キャンバスマップル株式会社 ナビゲーション装置、及びナビゲーションプログラム
CN107683497B (zh) 2015-06-15 2022-04-08 索尼公司 信息处理设备、信息处理方法及程序
CN105139451B (zh) * 2015-08-10 2018-06-26 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于hud的合成视景指引显示系统
US20170323480A1 (en) * 2016-05-05 2017-11-09 US Radar, Inc. Visualization Technique for Ground-Penetrating Radar

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2012212345A (ja) * 2011-03-31 2012-11-01 Sony Corp 端末装置、オブジェクト制御方法及びプログラム
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NOMURA RYOTA ET AL.: "Abstracts of the Visual Computing graphics and CAD Joint Symposium", VISUAL COMPUTING, 24 June 2017 (2017-06-24), pages 167 - 170 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004818A (ja) * 2021-06-25 2023-01-17 インタラクト カンパニー リミテッド 仮想現実トレーニングシステム及び床ユニット
JP7304394B2 (ja) 2021-06-25 2023-07-06 インタラクト カンパニー リミテッド 仮想現実トレーニングシステム及び床ユニット

Also Published As

Publication number Publication date
US20200394845A1 (en) 2020-12-17
CN111819603B (zh) 2024-03-08
DE112018006936T5 (de) 2020-10-08
JPWO2019163128A1 (ja) 2020-05-28
JP6698971B2 (ja) 2020-05-27
KR20200104918A (ko) 2020-09-04
CN111819603A (zh) 2020-10-23
KR102279306B1 (ko) 2021-07-19

Similar Documents

Publication Publication Date Title
JP6698972B2 (ja) 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
CA2888943C (en) Augmented reality system and method for positioning and mapping
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
US9696543B2 (en) Information processing apparatus and information processing method
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
CN111164971B (zh) 用于3d内容的视差观察器系统
US11477432B2 (en) Information processing apparatus, information processing method and storage medium
US10672191B1 (en) Technologies for anchoring computer generated objects within augmented reality
CN110956695A (zh) 信息处理装置、信息处理方法和存储介质
WO2019163128A1 (ja) 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
JP2005339377A (ja) 画像処理方法、画像処理装置
JP2019146155A (ja) 画像処理装置、画像処理方法およびプログラム
CA3155612A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
JP2019144958A (ja) 画像処理装置、画像処理方法およびプログラム
WO2019163449A1 (ja) 画像処理装置、画像処理方法およびプログラム
US20230388475A1 (en) Image processing apparatus and storage medium
US20220044351A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
CN117170556A (zh) 图像处理设备、图像处理方法和存储介质
JP5683402B2 (ja) 画像合成装置及び画像合成方法
JP2018082356A (ja) 立体視表示プログラム、立体視表示方法、および情報処理装置
JP2005165973A (ja) 画像処理方法、画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907337

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020501983

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207023752

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18907337

Country of ref document: EP

Kind code of ref document: A1