WO2019039229A1 - 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 - Google Patents

情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2019039229A1
WO2019039229A1 PCT/JP2018/029152 JP2018029152W WO2019039229A1 WO 2019039229 A1 WO2019039229 A1 WO 2019039229A1 JP 2018029152 W JP2018029152 W JP 2018029152W WO 2019039229 A1 WO2019039229 A1 WO 2019039229A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
image
real
virtual
contact
Prior art date
Application number
PCT/JP2018/029152
Other languages
English (en)
French (fr)
Inventor
彰尚 三原
靖己 田中
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to EP18849141.9A priority Critical patent/EP3675066A4/en
Priority to CN201880053519.2A priority patent/CN111033573B/zh
Publication of WO2019039229A1 publication Critical patent/WO2019039229A1/ja
Priority to US16/789,895 priority patent/US11610381B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to an information processing apparatus that determines contact between a real object in real space (hereinafter referred to as “real object”) and a virtual object in virtual space (hereinafter referred to as “virtual object”).
  • MR mixed reality
  • HMD head mounted display
  • the MR system is also used in the industrial field, for example, to realize a real simulation without creating a prototype. For example, it is possible to simulate the layout in the factory by superimposing the factory's virtual space on the real space. At this time, in order to simulate, for example, where in the factory the virtual object in the virtual space can be reached, it is necessary to determine the contact between the real object hand and the virtual object.
  • Japanese Patent Application Laid-Open No. 2017-033299 discloses a technique for leaving a trace of contact so that the contact is clear when the virtual object and the virtual object are in contact.
  • the main object of the present invention is to provide an information processing apparatus that presents, to a user, contact between real objects or between real objects and virtual objects.
  • An information processing apparatus is a captured image acquisition unit that acquires a physical space image that is an image of a physical space from an imaging apparatus, and a position and orientation information acquisition unit that acquires position and orientation information that represents a position and orientation of a viewpoint of the imaging apparatus.
  • virtual object generation means for detecting a real object in the real space and generating a first virtual object representing the detected real object, a contact between the first virtual object and the second virtual object A contact determination unit to be determined, a determination unit to determine a display state of the first virtual object based on a determination result of the contact determination unit, a virtual including the first virtual object and the second virtual object
  • Mixed reality image generation means for generating a mixed reality image combining an image of the virtual space and an image of the real space based on the space, the position and orientation information, the display state, and the real space image; Characterized in that it comprises an image output means for displaying the MR images on a predetermined display device.
  • contact between real objects or between real objects and virtual objects can be presented to the user.
  • FIG. 2 is a hardware configuration diagram of an information processing apparatus.
  • 6 is a flowchart showing image processing. Explanatory drawing when the hand which is a real object contacts a virtual object.
  • FIG. 1 is a block diagram of an MR system including the information processing apparatus of the present embodiment.
  • the MR system includes an information processing apparatus 1000, an HMD 1200 which is an example of a head-mounted display apparatus, a display apparatus 1300, and a real object information acquisition unit 1400.
  • the information processing apparatus 1000 is communicably connected to each of the HMD 1200, the display device 1300, and the real object information acquisition unit 1400 in a wired or wireless manner.
  • the information processing apparatus 1000 receives between real objects or between a real object and a virtual object according to real object information (stereo image, distance image, etc.) for detecting a real object in the real space acquired from the real object information acquisition unit 1400.
  • the information processing apparatus 1000 is an image (mixed reality image) of a mixed reality space obtained by combining the image of the real space (physical space image) acquired from the HMD 1200 and the image of the virtual space (virtual space image) according to the determination result.
  • Generate The information processing apparatus 1000 causes at least one of the HMD 1200 and the display device 1300 to display the generated mixed reality image.
  • the real object information acquisition unit 1400 is configured of a stereo camera or a distance image camera for acquiring real object information.
  • the display device 1300 is a general flat panel display (FPD) or a cathode ray tube (CRT). When the user is only a wearer of the HMD 1200, the display device 1300 is unnecessary. The display device 1300 is used when a plurality of users need to confirm the same mixed reality image as the wearer of the HMD 1200.
  • FPD general flat panel display
  • CRT cathode ray tube
  • the HMD 1200 includes an image pickup unit 1210R for the right eye, an image pickup unit 1210L for the left eye, an image display unit 1220R for the right eye, and an image display unit 1220L for the left eye.
  • the image capturing units 1210R and 1210L are imaging devices that capture a physical space and input the captured image as a physical space image to the information processing apparatus 1000.
  • the image pickup unit 1210R is disposed at a position for picking up an image similar to the field of vision of the user's right eye, and the image pickup unit 1210L is provided in the same area as the field of vision of the user's left eye It is placed at the position to be imaged. Therefore, the physical space image captured by the image capturing units 1210R and 1210L is a stereo image including the field of view of the user.
  • the image display units 1220R and 1220L are display devices each configured with a liquid crystal screen or the like. With the HMD 1200 mounted on the head of the user, the image display unit 1220R is disposed in front of the user's right eye, and the image display unit 1220L is disposed in the HMD 1200 so as to be positioned in front of the user's left eye.
  • the image display units 1220R and 1220L each display an image with parallax. Thus, the HMD 1200 provides the user with stereo images.
  • the image display units 1220R and 1220L display the mixed reality image generated by the information processing apparatus 1000.
  • the HMD 1200 is a video see-through type in which the mixed reality image generated based on the physical space image captured by the image capturing unit 1210R or 1210L is displayed on the image display unit 1220R or 1220L.
  • the HMD 1200 may be an optical see-through type that superimposes and displays a virtual space image on a display medium that can be observed through the real space.
  • the information processing apparatus 1000 functions as a captured image acquisition unit 1010 and a viewpoint information measurement unit 1020 in order to perform processing on a physical space image acquired from the HMD 1200.
  • the information processing apparatus 1000 performs the process on the physical object information acquired from the physical object information acquiring unit 1400, the physical detection unit 1030, the virtual object generation unit 1040, the virtual object holding unit 1060, the contact determination unit 1070, and the display switching It functions as the unit 1080.
  • the information processing apparatus 1000 functions as a mixed reality space generation unit 1090 and an image output unit 1100 in order to display a mixed reality image on at least one of the HMD 1200 and the display device 1300.
  • the information processing apparatus 1000 has a hardware configuration as shown in FIG.
  • the information processing apparatus 1000 includes a central processing unit (CPU) 2010, a read only memory (ROM) 2020, and a random access memory (RAM) 2030.
  • the information processing apparatus 1000 also includes an input interface (I / F) 2040 and an output I / F 2050.
  • the CPU 2010, the ROM 2020, the RAM 2030, the input I / F 2040, and the output I / F 2050 are communicably connected to one another via a bus 2000.
  • the CPU 2010 controls the operation of the information processing apparatus 1000 by executing a computer program read from the ROM 2020 using the RAM 2030 as a work area.
  • An operating system (OS), processing programs according to the present embodiment, device drivers and the like are stored in the ROM 2020, temporarily stored in the RAM 2030, and appropriately executed by the CPU 2010.
  • the input I / F 2040 is connected to the HMD 1200 and the physical object information acquisition unit 1400, and acquires signals representing images, information, and the like in a format that can be processed by the information processing apparatus 1000 from the HMD 1200 and the physical object information acquisition unit 1400.
  • the output I / F 2050 is connected to the HMD 1200 and the display 1300, and outputs a signal representing an image in a format that can be processed by the HMD 1200 and the display 1300.
  • the captured image acquisition unit 1010 acquires, from the HMD 1200, a physical space image captured by the image capturing units 1210R and 1210L.
  • the captured image acquisition unit 1010 transmits the acquired physical space image to the viewpoint information measurement unit 1020 and the mixed reality space generation unit 1090.
  • the viewpoint information measurement unit 1020 performs image processing of the physical space image acquired from the captured image acquisition unit 1010, and extracts characteristic information (feature information) such as points, lines, and markers in the image.
  • feature information characteristic information
  • the position and orientation of the viewpoint are measured by associating the position in the image of the feature information with the arrangement in the space prepared in advance.
  • the viewpoint information measurement unit 1020 transmits position and orientation information representing the measurement result to the mixed reality space generation unit 1090.
  • the position and orientation information indicates the position of the HMD 1200 and the direction (line of sight direction) facing it.
  • the viewpoint information measurement unit 1020 has a function of acquiring position and orientation information.
  • the position and orientation are measured by image processing of a visible image, but the position and orientation of a real object is acquired using an image using infrared light, a detection result by an ultrasonic wave or a magnetic sensor, or the like. Also good. Further, the position and orientation of the real object may be measured using a distance image by a distance sensor, or the position and orientation may be measured mechanically.
  • the reality detection unit 1030 acquires real object information from the real object information acquisition unit 1400.
  • the reality detection unit 1030 detects a real object in the real space from the acquired real object information, and transmits the detection result and the real object information to the virtual object conversion unit 1040.
  • the virtual object generation unit 1040 generates a virtual object representing the real object in the real space based on the detection result of the real object and the real object information acquired from the real detection unit 1030, and generates a virtual object in the virtual space. Become a virtual object.
  • the virtual object generation unit 1040 causes the virtual object holding unit 1060 to hold information such as the shape of the generated virtual object, the position in the virtual space, and the posture.
  • Virtualization of a real object in the real space can be performed using, for example, KinectFusion (registered trademark) of Surreal Vision. KinectFusion is a real-time three-dimensional reconstruction using Kinect®. When performing virtual object conversion by KinectFusion, a distance image camera is used as the real object information acquisition unit 1400.
  • the virtual object conversion unit 1040 first creates a point cloud on the surface of the real object from the distance image acquired as real object information from the distance image camera. Next, the virtual object conversion unit 1040 performs three-dimensional reconstruction in the flow of camera position and orientation estimation, three-dimensional object generation, and rendering using ICP (Iterative Closest Point). The virtual object conversion unit 1040 may perform virtual object conversion (virtual object generation) in the real space by a method other than KinectFusion.
  • the virtual object holding unit 1060 includes information (the shape of the virtual object, the position in the virtual space, the posture, and the like) regarding the virtual object forming the virtual space, the information (the position and the posture of the light source), and the like , Hold information about the virtual space.
  • the virtual object holding unit 1060 holds information on a virtual object generated by execution of a computer program, in addition to the information on the virtual object generated by the virtual object conversion unit 1040. Also, the virtual object holding unit 1060 holds information on a plurality of virtual objects generated from a plurality of real objects by the virtual object conversion unit 1040. These pieces of information held by the virtual object holding unit 1060 are read by the contact determination unit 1070 and the mixed reality space generation unit 1090.
  • the contact determination unit 1070 determines contact between virtual objects, and transmits the determination result to the display switching unit 1080. Since the contact determination between virtual objects is a known technique, the description is omitted.
  • the display switching unit 1080 determines the display state of the virtual object that has been turned into a virtual object from the physical object information according to the determination result of the contact between the virtual objects.
  • the display switching unit 1080 displays (visualizes) the virtual object when the virtual object, which is virtualized from real object information, contacts another virtual object, and does not display the virtual object when the virtual object is not in contact ( Invisible).
  • the display switching unit 1080 links information representing the display state of the virtual object to the information on the virtual object and causes the virtual object holding unit 1060 to hold the information.
  • the virtual object is displayed in a single color, but the virtual object is displayed in a wire display, in a blinking display, in a semi-transparent display, and in a gradation display according to the distance from the contact site. , Etc. may be visualized.
  • the mixed reality space generation unit 1090 generates an image of the virtual space based on the virtual object held by the virtual object holding unit 1060 and the position and orientation information of the viewpoint which is the measurement result of the viewpoint information measurement unit 1020.
  • the image of the virtual space generated here is an image when the virtual space including the virtual object held by the virtual object holding unit 1060 is viewed from the position and orientation of the HMD 1200 represented by the position and orientation information. That is, the image in the virtual space is an image in the same direction and range as the real space image.
  • the mixed reality space generation unit 1090 superimposes the physical space image acquired from the captured image acquisition unit 1010 on the generated virtual space image, and executes mixed reality space image generation (mixed reality image generation).
  • the mixed reality space generation unit 1090 transmits the generated mixed reality image to the image output unit 1100.
  • generating the virtual space which looked at the virtual object from the predetermined position which position and orientation information represent is known, the detailed description about this is abbreviate
  • the image output unit 1100 transmits the mixed reality image acquired from the mixed reality space generation unit 1090 to at least one of the HMD 1200 and the display device 1300.
  • the HMD 1200 causes the image display units 1220R and 1220L to display the mixed reality image acquired from the image output unit 1100.
  • the display device 1300 displays the mixed reality image acquired from the image output unit 1100.
  • FIG. 3 is a flowchart showing image processing including contact determination of a real object by such an MR system.
  • a mixed reality image is generated and displayed.
  • the user's hand as an example of a real object, it is determined whether the hand touches a virtual object.
  • real objects are not limited to hands.
  • the information processing apparatus 1000 acquires the real object information about the user's hand from the real object information acquiring unit 1400 by the reality detecting unit 1030 (S3000).
  • the virtual object conversion unit 1040 acquires real object information on the hand from the real detection unit 1030, and generates a virtual object (polygon) of the hand from the real object information (S3100). As a result, the virtual space of the hand in the real space is formed.
  • the polygon of the hand is held by the virtual object holding unit 1060.
  • the display switching unit 1080 sets the polygon of the hand held by the virtual object holding unit 1060 to non-display (S3200).
  • the contact determination unit 1070 determines whether or not the polygon of the hand held by the virtual object holding unit 1060 is in contact with another virtual object (S3300). If it is determined that the hand polygon is in contact with another virtual object (S3400: Y), the display switching unit 1080 sets the hand polygon to be displayed (S3500). If it is determined that the hand polygon is not in contact with another virtual object (S3400: N), the display switching unit 1080 sets the hand polygon to non-display (S3600).
  • the mixed reality space generation unit 1090 uses the virtual object held by the virtual object holding unit 1060, the position and orientation information that is the measurement result of the viewpoint information measurement unit 1020, and the physical space image acquired from the captured image acquisition unit 1010.
  • a mixed reality image is generated (S3700).
  • the image output unit 1100 outputs the generated mixed reality image to the HMD 1200 (S3800).
  • the information processing apparatus 1000 determines whether the process ends after the output of the mixed reality image (S3900). If the process does not end (S3900: N), the information processing apparatus 1000 repeatedly executes the process after S3000. When the process ends (S3900: Y), the information processing apparatus 1000 ends the process as it is.
  • the information processing apparatus 1000 turns a real object into a virtual object, and visualizes an image of a virtualized real object only when it contacts another virtual object. Thereby, the contact between the real object and the virtual object can be presented to the user without disturbing the image of the real world captured by the HMD 1200. Further, when another virtual object is also a virtual object image of a real object, contact between real objects can be presented to the user.
  • FIG. 4 is an explanatory diagram when a hand as a real object contacts a virtual object.
  • a hand 4020 which is a real object is virtualized.
  • the virtualized hand 4030 is not displayed, and only the real object hand 4020 can be viewed.
  • the hand 4030 virtualized into a virtual object is visualized and displayed. At this time, the relative position between the hand 4030 that has been turned into a virtual object and the other virtual object 4010 is fixed at a fixed position.
  • one information processing apparatus 1000 performs image processing including touch determination of a real object.
  • image processing including contact determination of a real object may be performed by a system including a plurality of information processing apparatuses 1000. That is, each of the plurality of information processing apparatuses performs the touch determination.
  • the contact determination result of each information processing apparatus is collected in any one information processing apparatus, and the information processing apparatus determines the visualization of the real object which is integratedly determined from each contact determination result and turned into a virtual object. To be done.
  • the method of representing the virtual object may be changed according to the contact determination result of each information processing apparatus. For example, the luminance, the color, the contour, and the like of the virtual object may be changed according to the contact time, the contact area, and the like.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
  • a circuit eg, an ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置は、現実物情報取得部から取得する現実物体情報から検出された該現実物体を表現する第１の仮想物体を生成する。情報処理装置は、第１の仮想物体と第２の仮想物体との接触の判定結果に応じて、第１の仮想物体の表示状態を決定し、第１の仮想物体及び第２の仮想物体を含む仮想空間、ＨＭＤの位置姿勢、決定された表示状態及びＨＭＤから取得する現実空間画像に基づいて、仮想空間の画像と現実空間の画像とを組み合わせた複合現実画像を生成して、ＨＭＤに表示させる。

Description

情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
　本発明は、現実空間の現実の物体（以下、「現実物体」という。）と仮想空間の仮想的な物体（以下、「仮想物体」という。）との接触を判定する情報処理装置に関する。
　現実空間と仮想空間とのつなぎ目のない結合を目的として、複合現実感（ＭＲ：Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）システムの研究が盛んに行われている。ＭＲシステムでは、表示装置として、例えば頭部装着型ディスプレイ（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）が用いられることが多い。ＭＲシステムは、例えば試作品を作成することなく、現実のシミュレーションを実現するために、工業分野にも活用されている。例えば、現実空間に工場の仮想空間を重畳することで、工場内のレイアウトをシミュレーションすることが可能である。このとき、仮想空間内の仮想物体を工場内のどこにおけば手が届くか等のシミュレーションを行うためには、現実物体である手と仮想物体との接触を判定する必要がある。
　現実空間と仮想空間とを組み合わせた複合現実空間において、現実物体と現実物体、又は現実物体と仮想物体の接触をユーザに提示するとき、どのように接触したかを可視化する必要がある。しかし可視化により現実物体がユーザから見えにくくなってしまうことがある。これに対して、特開２０１７－０３３２９９号公報は、仮想物体と仮想物体とが接触した場合に、接触したことが明確になるように接触した痕跡を残す技術を開示する。
　しかしながら、特開２０１７－０３３２９９号公報記載の技術は、仮想物体間の接触を対象としており、現実物体間或いは現実物体と仮想物体との間の接触をユーザに提示することについては一切触れていない。本発明は、現実物体間或いは現実物体と仮想物体との間の接触をユーザに提示する情報処理装置を提供することを主たる目的とする。
　本発明の情報処理装置は、撮像装置から現実空間の画像である現実空間画像を取得する撮像画像取得手段と、前記撮像装置の視点の位置姿勢を表す位置姿勢情報を取得する位置姿勢情報取得手段と、現実空間内の現実物体を検出し、検出した該現実物体を表現する第１の仮想物体を生成する仮想物体生成手段と、前記第１の仮想物体と第２の仮想物体との接触を判定する接触判定手段と、前記接触判定手段の判定結果に基づいて、前記第１の仮想物体の表示状態を決定する決定手段と、前記第１の仮想物体及び前記第２の仮想物体を含む仮想空間、前記位置姿勢情報、前記表示状態及び前記現実空間画像に基づいて、前記仮想空間の画像と前記現実空間の画像とを組み合わせた複合現実画像を生成する複合現実画像生成手段と、生成した前記複合現実画像を所定の表示装置に表示させる画像出力手段と、を備えることを特徴とする。
　本発明によれば、現実物体間或いは現実物体と仮想物体との間の接触をユーザに提示することができる。
ＭＲシステムの構成図。 情報処理装置のハードウェア構成図。 画像処理を表すフローチャート。 現実物体である手が仮想物体に接触する際の説明図。
　以下、図面を参照して、実施形態を詳細に説明する。なお、以下に説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、請求の範囲に記載の構成の具体的な実施例の１つである。
　（システム構成）
　図１は、本実施形態の情報処理装置を含むＭＲシステムの構成図である。このＭＲシステムは、情報処理装置１０００、頭部装着型表示装置の一例であるＨＭＤ１２００、表示装置１３００、及び現実物情報取得部１４００を備える。情報処理装置１０００は、ＨＭＤ１２００、表示装置１３００、及び現実物情報取得部１４００の各々との間で、有線又は無線による通信可能に接続される。
　情報処理装置１０００は、現実物情報取得部１４００から取得する現実空間内の現実物体を検出するための現実物体情報（ステレオ画像、距離画像等）に応じて、現実物体間或いは現実物体と仮想物体との間の接触を判定する。情報処理装置１０００は、判定結果に応じて、ＨＭＤ１２００から取得した現実空間の画像（現実空間画像）と、仮想空間の画像（仮想空間画像）とを組み合わせた複合現実空間の画像（複合現実画像）を生成する。情報処理装置１０００は、生成した複合現実画像をＨＭＤ１２００及び表示装置１３００の少なくとも一方に表示させる。現実物情報取得部１４００は、現実物体情報を取得するためのステレオカメラや距離画像カメラにより構成される。表示装置１３００は、一般的なＦＰＤ（Ｆｌａｔ　Ｐａｎｅｌ　Ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）である。ユーザがＨＭＤ１２００の装着者だけである場合、表示装置１３００は不要である。複数のユーザがＨＭＤ１２００の装着者と同じ複合現実画像を確認する必要がある場合に、表示装置１３００は使用される。
　（ＨＭＤ）
　ＨＭＤ１２００は、右目用の画像撮像部１２１０Ｒ、左目用の画像撮像部１２１０Ｌ、右目用の画像表示部１２２０Ｒ、及び左目用の画像表示部１２２０Ｌを備える。画像撮像部１２１０Ｒ、１２１０Ｌは、現実空間を撮像し、その撮像画像を現実空間画像として情報処理装置１０００に入力する撮像装置である。ＨＭＤ１２００がユーザの頭部に装着された状態で、画像撮像部１２１０Ｒはユーザの右目の視界と同様の範囲を撮像する位置に配置され、画像撮像部１２１０Ｌはユーザの左目の視界と同様の範囲を撮像する位置に配置される。そのために画像撮像部１２１０Ｒ、１２１０Ｌで撮像される現実空間画像は、ユーザの視界を含むステレオ画像となる。
　画像表示部１２２０Ｒ、１２２０Ｌは、それぞれ液晶画面等で構成される表示装置である。ＨＭＤ１２００がユーザの頭部に装着された状態で、画像表示部１２２０Ｒはユーザの右目の眼前に位置し、画像表示部１２２０Ｌはユーザの左目の眼前に位置するように、ＨＭＤ１２００に配置される。画像表示部１２２０Ｒ、１２２０Ｌは、それぞれ視差のついた画像が表示される。これによりＨＭＤ１２００は、ユーザにステレオ画像を提供する。画像表示部１２２０Ｒ、１２２０Ｌは、情報処理装置１０００で生成される複合現実画像を表示する。
　このように本実施形態のＨＭＤ１２００は、画像撮像部１２１０Ｒ、１２１０Ｌにより撮像された現実空間画像に基づいて生成される複合現実画像を、画像表示部１２２０Ｒ、１２２０Ｌに表示するビデオシースルー型である。しかしながら、ＨＭＤ１２００は、現実空間を透過して観察することが可能な表示媒体に仮想空間画像を重畳して表示する光学シースルー型であってもよい。
　（情報処理装置）
　情報処理装置１０００は、ＨＭＤ１２００から取得する現実空間画像に対する処理を行うために、撮像画像取得部１０１０及び視点情報計測部１０２０として機能する。情報処理装置１０００は、現実物情報取得部１４００から取得する現実物体情報に対する処理を行うために、現実検出部１０３０、仮想物体化部１０４０、仮想物体保持部１０６０、接触判定部１０７０、及び表示切替部１０８０として機能する。情報処理装置１０００は、ＨＭＤ１２００及び表示装置１３００の少なくとも一方に複合現実画像を表示させるために、複合現実空間生成部１０９０及び画像出力部１１００として機能する。
　これらの各機能は、ハードウェアにより実現してもよいが、本実施形態では、コンピュータプログラムの実行によりソフトウェアにより実現する。そのために情報処理装置１０００は、図２に示すようなハードウェア構成を備える。情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２０、及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３０を備える。また、情報処理装置１０００は、入力インタフェース（Ｉ／Ｆ）２０４０及び出力Ｉ／Ｆ２０５０を備える。ＣＰＵ２０１０、ＲＯＭ２０２０、ＲＡＭ２０３０、入力Ｉ／Ｆ２０４０、及び出力Ｉ／Ｆ２０５０は、バス２０００を介して相互に通信可能に接続される。
　ＣＰＵ２０１０は、ＲＯＭ２０２０から読み込むコンピュータプログラムを、ＲＡＭ２０３０を作業領域に用いて実行することで、情報処理装置１０００の動作を制御する。オペレーティングシステム（ＯＳ）、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２０に記憶されており、ＲＡＭ２０３０に一時記憶され、ＣＰＵ２０１０によって適宜実行される。入力Ｉ／Ｆ２０４０は、ＨＭＤ１２００及び現実物情報取得部１４００に接続され、ＨＭＤ１２００及び現実物情報取得部１４００から、情報処理装置１０００で処理可能な形式で画像や情報等を表す信号を取得する。出力Ｉ／Ｆ２０５０は、ＨＭＤ１２００及び表示装置１３００に接続され、ＨＭＤ１２００及び表示装置１３００が処理可能な形式で画像を表す信号を出力する。上記の情報処理装置１０００の各機能について説明する。
　撮像画像取得部１０１０は、ＨＭＤ１２００から、画像撮像部１２１０Ｒ、１２１０Ｌにより撮像された現実空間画像を取得する。撮像画像取得部１０１０は、取得した現実空間画像を視点情報計測部１０２０及び複合現実空間生成部１０９０へ送信する。
　視点情報計測部１０２０は、撮像画像取得部１０１０から取得する現実空間画像の画像処理を行い、画像中の点や線、マーカ等の特徴的な情報（特徴情報）を抽出する。これらの特徴情報の画像中の位置と予め用意された空間内の配置とを対応付けることで、視点の位置姿勢を計測する。視点情報計測部１０２０は、計測結果を表す位置姿勢情報を複合現実空間生成部に１０９０に送信する。位置姿勢情報は、ＨＭＤ１２００の位置と向いている方向（視線方向）等を表す。このように視点情報計測部１０２０は、位置姿勢情報取得を行う機能を有する。
　本実施形態では、可視画像の画像処理により位置姿勢の計測を行うが、赤外光を用いた画像、超音波や磁気センサによる検出結果等を用いて、現実物体の位置姿勢取得を実行しても良い。また、距離センサによる距離画像を用いて現実物体の位置姿勢を計測しても良く、機械的に位置姿勢を計測しても良い。
　現実検出部１０３０は、現実物情報取得部１４００から現実物体情報を取得する。現実検出部１０３０は、取得した現実物体情報から現実空間内の現実物体を検出して、検出結果及び現実物体情報を仮想物体化部１０４０に送信する。
　仮想物体化部１０４０は、現実検出部１０３０から取得する現実物体の検出得結果及び現実物体情報に基づいて、現実空間内の現実物体を表現する仮想物体を生成し、仮想空間内の仮想物体に仮想物体化する。仮想物体化部１０４０は、生成した仮想物体の形状、仮想空間内における位置、姿勢等の情報を仮想物体保持部１０６０に保持させる。現実空間内の現実物体の仮想物体化は、例えばＳｕｒｒｅａｌ　Ｖｉｓｉｏｎ社のＫｉｎｅｃｔＦｕｓｉｏｎ（登録商標）を用いて行うことができる。ＫｉｎｅｃｔＦｕｓｉｏｎは、Ｋｉｎｅｃｔ（登録商標）を用いたリアルタイム三次元再構成である。ＫｉｎｅｃｔＦｕｓｉｏｎにより仮想物体化を行う場合、現実物情報取得部１４００として距離画像カメラが用いられる。仮想物体化部１０４０は、距離画像カメラから現実物体情報として取得する距離画像から、最初に現実物体表面の点群の作成を行う。次に、仮想物体化部１０４０は、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ　Ｃｌｏｓｅｓｔ　Ｐｏｉｎｔ）によるカメラ位置姿勢推定、三次元オブジェクト生成、レンダリングの流れで三次元再構成を行う。なお、仮想物体化部１０４０は、ＫｉｎｅｃｔＦｕｓｉｏｎ以外の方法で現実空間の仮想物体化（仮想物体生成）を行ってもよい。
　仮想物体保持部１０６０は、仮想空間を構成する仮想物体に関する情報（仮想物体の形状、仮想空間内における位置、姿勢等）や、仮想空間を照射する光源に関する情報（光源の位置、姿勢）等の、仮想空間に関する情報を保持する。仮想物体保持部１０６０は、仮想物体化部１０４０で生成された仮想物体に関する情報の他に、コンピュータプログラムの実行により生成される仮想物体に関する情報も保持する。また、仮想物体保持部１０６０は、仮想物体化部１０４０で複数の現実物体から生成された複数の仮想物体に関する情報を保持する。仮想物体保持部１０６０が保持するこれらの情報は、接触判定部１０７０及び複合現実空間生成部１０９０に読み取られる。
　接触判定部１０７０は、仮想物体同士の接触を判定し、その判定結果を表示切替部１０８０に送信する。仮想物体同士の接触判定は、既知の技術であるので説明を省略する。
　表示切替部１０８０は、仮想物体同士の接触の判定結果に応じて、現実物体情報から仮想物体化された仮想物体の表示状態を決定する。表示切替部１０８０は、現実物体情報から仮想物体化された仮想物体が他の仮想物体と接触する場合に該仮想物体を表示（可視化）し、接触していない場合に該仮想物体を非表示（不可視化）にする。表示切替部１０８０は、仮想物体の表示状態を表す情報を、該仮想物体に関する情報に紐付けて仮想物体保持部１０６０に保持させる。本実施形態では、仮想物体を単一の色で表示することを想定しているが、仮想物体をワイヤー表示する、点滅表示する、半透明表示する、接触部位からの距離に応じてグラデーション表示する、等により可視化してもよい。
　複合現実空間生成部１０９０は、仮想物体保持部１０６０に保持される仮想物体と、視点情報計測部１０２０の計測結果である視点の位置姿勢情報とに基づいて、仮想空間の画像を生成する。ここで生成される仮想空間の画像は、仮想物体保持部１０６０に保持される仮想物体を含む仮想空間を、位置姿勢情報が表すＨＭＤ１２００の位置姿勢から見たときの画像となる。つまり仮想空間の画像は、現実空間画像と同じ向き、範囲の画像となる。複合現実空間生成部１０９０は、生成した仮想空間の画像に撮像画像取得部１０１０から取得する現実空間画像を重畳して、複合現実空間の画像の生成（複合現実画像生成）を実行する。複合現実空間生成部１０９０は、生成した複合現実画像を画像出力部１１００に送信する。なお、仮想物体を位置姿勢情報が表す所定の位置から見た仮想空間を生成するための技術は既知であるので、これについての詳細な説明は省略する。
　画像出力部１１００は、複合現実空間生成部１０９０から取得した複合現実画像をＨＭＤ１２００及び表示装置１３００の少なくとも一方に送信する。ＨＭＤ１２００は、画像出力部１１００から取得した複合現実画像を画像表示部１２２０Ｒ、１２２０Ｌにより表示する。表示装置１３００も同様に、画像出力部１１００から取得した複合現実画像を表示する。
　（処理）
　図３は、このようなＭＲシステムによる現実物体の接触判定を含む画像処理を表すフローチャートである。この処理では、複合現実画像が生成、表示される。ここでは、現実物体としてユーザの手を例にして、手が仮想物体に接触するか否かの判定を行う。もちろん、現実物体は、手に限定されない。
　情報処理装置１０００は、現実検出部１０３０により現実物情報取得部１４００からユーザの手に関する現実物体情報を取得する（Ｓ３０００）。仮想物体化部１０４０は、現実検出部１０３０から手に関する現実物体情報を取得し、該現実物体情報から手の仮想物体（ポリゴン）を生成する（Ｓ３１００）。これにより現実空間の手の仮想物体化が行われる。手のポリゴンは、仮想物体保持部１０６０に保持される。表示切替部１０８０は、仮想物体保持部１０６０に保持される手のポリゴンを非表示に設定する（Ｓ３２００）。
　接触判定部１０７０は、仮想物体保持部１０６０に保持される手のポリゴンが他の仮想物体と接触しているか否かを判定する（Ｓ３３００）。判定の結果、手のポリゴンが他の仮想物体と接触している場合（Ｓ３４００：Ｙ）、表示切替部１０８０は、手のポリゴンを表示するように設定する（Ｓ３５００）。判定の結果、手のポリゴンが他の仮想物体と接触していない場合（Ｓ３４００：Ｎ）、表示切替部１０８０は、手のポリゴンを非表示に設定する（Ｓ３６００）。
　複合現実空間生成部１０９０は、仮想物体保持部１０６０に保持される仮想物体と、視点情報計測部１０２０の計測結果である位置姿勢情報と、撮像画像取得部１０１０から取得する現実空間画像とにより、複合現実画像を生成する（Ｓ３７００）。画像出力部１１００は、生成された複合現実画像をＨＭＤ１２００へ出力する（Ｓ３８００）。情報処理装置１０００は、複合現実画像の出力後に処理を終了するか否かを判定する（Ｓ３９００）。終了しない場合（Ｓ３９００：Ｎ）、情報処理装置１０００は、Ｓ３０００以降の処理を繰り返し実行する。終了する場合（Ｓ３９００：Ｙ）、情報処理装置１０００は、そのまま処理を終了する。
　以上のような本実施形態の情報処理装置１０００は、現実物体を仮想物体化し、他の仮想物体と接触した場合にのみ、仮想化された現実物体の画像を可視化する。これにより、ＨＭＤ１２００が撮像した現実世界の画像を邪魔することなく、現実物体と仮想物体との間の接触をユーザに提示することができる。また、他の仮想物体も現実物体の仮想物体化した画像である場合には、現実物体間の接触をユーザに提示することができる。
　他の仮想物体と接触して可視化された仮想物体は、接触状態が解消しても可視化させ続けるようにしてもよい。その場合、接触した該他の仮想物体との相対位置が接触した時点のまま一定になるように制御されてもよい。これは、接触時点の相対位置を保持しておき、他の仮想物体を基準にして保持された相対位置となるように仮想物体を描画することで実現できる。図４は、現実物体である手が仮想物体に接触する際の説明図である。現実物体である手４０２０は、仮想物体化されている。
　他の仮想物体４０１０と手４０２０の仮想物体とが非接触の場合、仮想物体化された手４０３０は非表示であり、現実物体の手４０２０のみが目視できることになる。他の仮想物体４０１０と手４０２０の仮想物体とが接触する場合、仮想物体化された手４０３０が可視化されて表示される。このとき仮想物体化された手４０３０と他の仮想物体４０１０との相対位置が一定の位置に固定される。
　仮想物体化された手４０３０を可視化した状態で、他の仮想物体４０１０との相対位置が一定の位置に固定されるために、現実物体と仮想物体との接触の仕方（どのように接触したか）をユーザに提示することが可能となる。
　以上の説明では、１つの情報処理装置１０００により現実物体の接触判定を含む画像処理を行う。しかしながら、現実物体の接触判定を含む画像処理は、情報処理装置１０００を複数備えるシステムにより行われてもよい。すなわち、複数の情報処理装置の各々が、接触判定を行う。各情報処理装置の接触判定結果は、いずれか１つの情報処理装置に集められ、該情報処理装置により、各接触判定結果から統合的に判断して仮想物体化された現実物体の可視化の判定が行われる。各情報処理装置の接触判定結果に応じて、仮想物体の表現方法が変化させられてもよい。例えば、接触時間や接触面積などに応じて、仮想物体の輝度や色、輪郭などを変化させてもよい。
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年８月２２日提出の日本国特許出願特願２０１７－１５９１０１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (14)

  1. 　撮像装置から現実空間を撮像した画像である現実空間画像を取得する撮像画像取得手段と、
    　前記撮像装置の視点の位置姿勢を表す位置姿勢情報を取得する位置姿勢情報取得手段と、
    　現実空間内の現実物体を検出し、検出した該現実物体を表現する第１の仮想物体を生成する仮想物体生成手段と、
    　前記第１の仮想物体と第２の仮想物体との接触を判定する接触判定手段と、
    　前記接触判定手段の判定結果に基づいて、前記第１の仮想物体の表示状態を決定する決定手段と、
    　前記第１の仮想物体及び前記第２の仮想物体を含む仮想空間、前記位置姿勢情報、前記表示状態及び前記現実空間画像に基づいて、前記仮想空間の画像と前記現実空間の画像とを組み合わせた複合現実画像を生成する複合現実画像生成手段と、
    　生成した前記複合現実画像を所定の表示装置に表示させる画像出力手段とを備えることを特徴とする情報処理装置。
  2. 　前記決定手段は、前記第１の仮想物体と前記第２の仮想物体とが接触する場合に前記第１の仮想物体を表示し、前記第１の仮想物体と前記第２の仮想物体とが接触していない場合に前記第１の仮想物体を非表示に設定することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記複合現実画像生成手段は、前記第１の仮想物体の前記第２の仮想物体に対する相対位置を固定した前記複合現実画像を生成することを特徴とする請求項２に記載の情報処理装置。
  4. 　前記決定手段は、前記第１の仮想物体をはじめに非表示に設定しておき、前記接触判定手段が前記第１の仮想物体と前記第２の仮想物体とが接触していると判定した場合に、前記第１の仮想物体を表示に設定することを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記決定手段は、前記第１の仮想物体と前記第２の仮想物体とが接触する場合に、前記第１の仮想物体をワイヤー表示、点滅表示、または半透明表示で表示することを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
  6. 　前記決定手段は、前記第１の仮想物体と前記第２の仮想物体とが接触する場合に、前記第１の仮想物体を接触部位からの距離に基づいたグラデーション表示で表示することを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
  7. 　前記仮想物体生成手段は、他の現実物体を表現する仮想物体を生成して前記第２の仮想物体を生成することを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。
  8. 　前記位置姿勢情報取得手段は、前記撮像装置の視点の位置姿勢を表す位置姿勢情報を、前記撮像装置の視点の位置姿勢を計測する計測手段から取得することを特徴とする請求項１～７のいずれか１項に記載の情報処理装置。
  9. 　前記計測手段は、画像から検出される特徴に基づいて、前記撮像装置の視点の位置姿勢を計測することを特徴とする請求項８に記載の情報処理装置。
  10. 　請求項１～９のいずれか１項に記載の情報処理装置を複数備えるシステムであって、
    　複数の情報処理装置の各々は、接触判定手段により第１の仮想物体と第２の仮想物体との接触を判定し、
    　いずれか１つの情報処理装置は、各情報処理装置の接触の判定結果から統合的に判断して、前記第１の仮想物体の表示状態を決定することを特徴とするシステム。
  11. 　前記いずれか１つの情報処理装置は、各情報処理装置の接触の判定結果に応じて、前記第１の仮想物体の表現方法を変化させることを特徴とする請求項１０に記載のシステム。
  12. 　現実空間の画像である現実空間画像を撮像する撮像装置及び表示装置に接続される情報処理装置により実行される方法であって、
    　前記撮像装置の視点の位置姿勢を表す位置姿勢情報を取得し、
    　現実空間内の現実物体を検出し、検出した該現実物体を表現する第１の仮想物体を生成し、
    　前記第１の仮想物体と第２の仮想物体との接触を判定し、
    　前記接触の判定結果に基づいて、前記第１の仮想物体の表示状態を決定し、
    　前記第１の仮想物体及び前記第２の仮想物体を含む仮想空間、前記位置姿勢情報、前記表示状態及び前記現実空間画像に基づいて、前記仮想空間の画像と前記現実空間の画像とを組み合わせた複合現実画像を生成して、前記表示装置に表示させることを特徴とする画像処理方法。
  13. 　現実空間の画像である現実空間画像を撮像する撮像装置及び表示装置に接続されるコンピュータに、
    　前記撮像装置の視点の位置姿勢を表す位置姿勢情報を取得し、
    　現実空間内の現実物体を検出し、検出した該現実物体を表現する第１の仮想物体を生成し、
    　前記第１の仮想物体と第２の仮想物体との接触を判定し、
    　前記接触の判定結果に基づいて、前記第１の仮想物体の表示状態を決定し、
    　前記第１の仮想物体及び前記第２の仮想物体を含む仮想空間、前記位置姿勢情報、前記表示状態及び前記現実空間画像に基づいて、前記仮想空間の画像と前記現実空間の画像とを組み合わせた複合現実画像を生成して、前記表示装置に表示させるためのコンピュータプログラム。
  14. 　請求項１３に記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
PCT/JP2018/029152 2017-08-22 2018-08-03 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 WO2019039229A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18849141.9A EP3675066A4 (en) 2017-08-22 2018-08-03 INFORMATION PROCESSING DEVICE, SYSTEM, IMAGE PROCESSING METHOD, COMPUTER PROGRAM AND STORAGE MEDIA
CN201880053519.2A CN111033573B (zh) 2017-08-22 2018-08-03 信息处理装置、系统、图像处理方法及存储介质
US16/789,895 US11610381B2 (en) 2017-08-22 2020-02-13 Information processing apparatus, system, and method for detecting collision between a physical and virtual object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017159101A JP7005224B2 (ja) 2017-08-22 2017-08-22 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
JP2017-159101 2017-08-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/789,895 Continuation US11610381B2 (en) 2017-08-22 2020-02-13 Information processing apparatus, system, and method for detecting collision between a physical and virtual object

Publications (1)

Publication Number Publication Date
WO2019039229A1 true WO2019039229A1 (ja) 2019-02-28

Family

ID=65439442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029152 WO2019039229A1 (ja) 2017-08-22 2018-08-03 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体

Country Status (5)

Country Link
US (1) US11610381B2 (ja)
EP (1) EP3675066A4 (ja)
JP (1) JP7005224B2 (ja)
CN (1) CN111033573B (ja)
WO (1) WO2019039229A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021162876A (ja) * 2020-03-30 2021-10-11 日産自動車株式会社 画像生成システム、画像生成装置及び画像生成方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101755301B1 (ko) * 2015-12-03 2017-07-07 한국세라믹기술원 섬유권취시스템
WO2020083944A1 (en) * 2018-10-22 2020-04-30 Unity IPR ApS Method and system for addressing and segmenting portions of the real world for visual digital authoring in a mixed reality environment
EP3813018A1 (en) * 2019-10-24 2021-04-28 XRSpace CO., LTD. Virtual object operating system and virtual object operating method
WO2021176861A1 (ja) 2020-03-05 2021-09-10 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033299A (ja) 2015-07-31 2017-02-09 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2017142785A (ja) * 2016-02-05 2017-08-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017159101A (ja) 2017-05-19 2017-09-14 株式会社ソフイア 遊技機

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4447896B2 (ja) * 2003-11-25 2010-04-07 キヤノン株式会社 画像処理装置および方法
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
KR101141087B1 (ko) * 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
JP5158007B2 (ja) * 2009-04-28 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
EP3332314B1 (en) * 2015-08-04 2024-04-10 Google LLC Input via context sensitive collisions of hands with objects in virtual reality
EP3342326B1 (en) * 2015-08-28 2022-01-19 FUJIFILM Corporation Instrument operation device, instrument operation method, and electronic instrument system
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
CA3061332A1 (en) * 2017-05-19 2018-11-22 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033299A (ja) 2015-07-31 2017-02-09 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2017142785A (ja) * 2016-02-05 2017-08-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017159101A (ja) 2017-05-19 2017-09-14 株式会社ソフイア 遊技機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3675066A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021162876A (ja) * 2020-03-30 2021-10-11 日産自動車株式会社 画像生成システム、画像生成装置及び画像生成方法
JP7413122B2 (ja) 2020-03-30 2024-01-15 日産自動車株式会社 画像生成システム、画像生成装置及び画像生成方法

Also Published As

Publication number Publication date
US20200184736A1 (en) 2020-06-11
EP3675066A4 (en) 2021-05-26
CN111033573A (zh) 2020-04-17
JP7005224B2 (ja) 2022-01-21
CN111033573B (zh) 2023-05-16
EP3675066A1 (en) 2020-07-01
US11610381B2 (en) 2023-03-21
JP2019040226A (ja) 2019-03-14

Similar Documents

Publication Publication Date Title
JP7005224B2 (ja) 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
JP5996814B1 (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP5117418B2 (ja) 情報処理装置及び情報処理方法
JP6548967B2 (ja) 画像処理装置、画像処理方法及びプログラム
JPWO2014016992A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
KR20150085797A (ko) 정보처리장치 및 정보처리방법
CN104765156B (zh) 一种三维显示装置和三维显示方法
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
JP4580678B2 (ja) 注視点位置表示装置
US11582441B2 (en) Head mounted display apparatus
CN104581350A (zh) 一种显示方法和显示装置
JP2016110177A (ja) ３次元入力装置及び入力システム
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
JP6295296B2 (ja) 複合システム及びターゲットマーカ
US10296098B2 (en) Input/output device, input/output program, and input/output method
JP2020201572A (ja) 情報処理装置、情報処理方法及びプログラム
JP2006197036A (ja) 立体画像表示装置および立体画像表示方法
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム
JP5300645B2 (ja) 三次元温度分布表示装置、テクスチャ作成装置および三次元温度分布表示方法
WO2017094285A1 (ja) 距離計測デバイス
JP2019045998A (ja) 情報処理装置及びその方法、プログラム
JP2016224809A (ja) 情報処理装置、情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18849141

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018849141

Country of ref document: EP

Effective date: 20200323