WO2011070871A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2011070871A1
WO2011070871A1 PCT/JP2010/069153 JP2010069153W WO2011070871A1 WO 2011070871 A1 WO2011070871 A1 WO 2011070871A1 JP 2010069153 W JP2010069153 W JP 2010069153W WO 2011070871 A1 WO2011070871 A1 WO 2011070871A1
Authority
WO
WIPO (PCT)
Prior art keywords
scale
image
information processing
real space
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/069153
Other languages
English (en)
French (fr)
Inventor
朗 宮下
和弘 鈴木
広行 石毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US13/510,313 priority Critical patent/US8891855B2/en
Priority to CN201080054570.9A priority patent/CN102792338B/zh
Publication of WO2011070871A1 publication Critical patent/WO2011070871A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/012—Dimensioning, tolerancing

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • virtual information is superimposed and displayed on real space information such as photographed images as part of augmented reality technology (Augmented Reality).
  • real space information such as photographed images as part of augmented reality technology (Augmented Reality).
  • a predetermined mark or the like included in a captured image can be read, and virtual information corresponding to the mark can be displayed superimposed on the real space image (for example, Patent Document 1).
  • Patent Document 1 since the scale of the space in the captured real space image is unknown, there is a problem that the virtual information cannot be superimposed and displayed on the real space image with an appropriate size. Therefore, the present invention has been made in view of the above problems, and the object of the present invention is to be able to superimpose virtual information having a size suitable for a three-dimensional space scale in a real space image. It is an object to provide a new and improved information processing apparatus, information processing method, and program.
  • an image acquisition unit that acquires a real space image, a space analysis unit that analyzes a three-dimensional space structure of the real space image, and the real space image
  • a scale reference detection unit that detects the length of an object that is a scale reference in a three-dimensional space, and a scale determination unit that determines the scale of the three-dimensional space from the length of the object detected by the scale reference detection unit Is provided.
  • the information processing apparatus further includes a storage unit that stores the virtual information to be superimposed and displayed on the real space image and the actual size of the virtual information in association with each other, and the scale determined by the scale determination unit.
  • a virtual information arrangement unit that arranges the virtual information whose size is adjusted in the real space image, and an image generation unit that generates an output image in which the virtual information is superimposed on the real space image.
  • the scale reference object detected by the scale reference detection unit may be a person.
  • the scale reference object detected by the scale reference detection unit may be a face.
  • the scale reference detection unit may preferentially select an object that is clearly imaged among objects included in the real space image as a reference object.
  • the scale reference detection unit may preferentially set an object located at a short distance from the imaging device among objects included in the real space image as a reference object.
  • the scale reference detection unit may preferentially select an object close to the horizontal position of the imaging device among objects included in the real space image as a reference.
  • a step of acquiring a real space image, a step of analyzing a three-dimensional space structure of the real space image, and the real space image include There is provided an information processing method including a step of detecting a length of a scale reference object in a three-dimensional space, and a step of determining a scale of the three-dimensional space from the detected length of the object.
  • the computer includes an image acquisition unit that acquires a real space image, a space analysis unit that analyzes a three-dimensional space structure of the real space image, and a scale reference object included in the real space image in the three-dimensional space.
  • a program that functions as an information processing apparatus comprising: a scale reference detection unit that detects a length; and a scale determination unit that determines a scale of a three-dimensional space from the length of the object detected by the scale reference detection unit Is provided.
  • virtual information having a size suitable for the scale of the three-dimensional space in the real space image can be superimposed.
  • the information processing apparatus 10 has been created with the above circumstances as a focus.
  • virtual information having a size suitable for the scale of the three-dimensional space in the real space image can be superimposed.
  • FIGS. 1 and 2 are explanatory diagrams for explaining an overview of the information processing apparatus 10.
  • the information processing apparatus 10 can be exemplified by an information processing terminal including a display device such as a mobile phone, a PDA (Personal Digital Assistant), a portable game device, and a small PC (Personal Computer).
  • a display device such as a mobile phone, a PDA (Personal Digital Assistant), a portable game device, and a small PC (Personal Computer).
  • a display device such as a mobile phone, a PDA (Personal Digital Assistant), a portable game device, and a small PC (Personal Computer).
  • a display device such as a mobile phone, a PDA (Personal Digital Assistant), a portable game device, and a small PC (Personal Computer).
  • a small PC Personal Computer
  • the image 500 is an image displayed on the display unit of the information processing apparatus 10.
  • virtual information 501 is displayed superimposed on a real space image captured by the imaging device included in the information processing apparatus 10.
  • cats, dogs, and the like are displayed as virtual information 501.
  • the size of the virtual information 501 displayed in the image 500 is larger than that of the person who is the real object of the real space image. This is because the virtual information 501 cannot be adjusted to an appropriate size because the scale of the real space image and the size of the virtual information in the real space image are unknown.
  • the size of the virtual information 511 is adjusted according to the height of the person 512, and is superimposed on the real space image.
  • the information processing apparatus 10 determines the scale reference of the real space image based on the height of the person 512 and adjusts the virtual information 511 to a size that matches the scale reference. For example, when the scale reference object is a person 512, if the length of the person 512 in the image is 16.5 scale and the average height of the person is 165 cm, the space scale is 10 cm / scale.
  • the size of the cat is 5 scales in accordance with the spatial scale calculated by the above method.
  • the size of the virtual information 521 is appropriate for a person, but the virtual information 522 arranged in the back of the three-dimensional space is appropriate. It is not displayed. In the image 520, the size of the virtual information 522 does not match the depth of the three-dimensional space even though the right image is an image having a depth in the three-dimensional space.
  • the virtual information 531 has a size that matches the height of the person 533 in the real space image
  • the virtual information 532 has a size that matches the depth of the three-dimensional space.
  • the information processing apparatus 10 can superimpose virtual information having a size suitable for the scale of the real space image, and can superimpose virtual information having a size suitable for the depth of the real space image in the three-dimensional space. .
  • FIG. 3 is a block diagram illustrating a hardware configuration of the information processing apparatus 10.
  • the information processing apparatus 10 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a host bus 104, a bridge 105, an external bus 106, an interface 107, and the like.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 101 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 10 according to various programs. Further, the CPU 101 may be a microprocessor.
  • the ROM 102 stores programs and calculation parameters used by the CPU 101.
  • the RAM 103 primarily stores programs used in the execution of the CPU 101, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus 104 including a CPU bus.
  • the host bus 104 is connected to an external bus 106 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 105.
  • an external bus 106 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 105.
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 104, the bridge 105, and the external bus 106 are not necessarily configured separately, and these functions may be mounted on one bus.
  • the input device 108 is, for example, an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input that generates an input signal based on the input by the user and outputs it to the CPU 101 It consists of a control circuit.
  • a user of the information processing apparatus 10 can input various data and instruct a processing operation to the information processing apparatus 10 by operating the input device 108.
  • the output device 109 is composed of a display device such as a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Display) device and a lamp, and an audio output device such as a speaker and headphones. .
  • the output device 109 outputs the reproduced content, for example.
  • the display device displays various information such as reproduced video data as text or images.
  • the audio output device converts reproduced audio data or the like into audio and outputs it.
  • the storage device 110 is a data storage device configured as an example of a storage unit of the information processing device 10 according to the present embodiment.
  • the storage device 110 is a storage medium, a recording device that records data in the storage medium, and reads data from the storage medium.
  • a reading device and a deleting device for deleting data recorded in the storage medium can be included.
  • the storage device 110 is composed of, for example, an HDD (Hard Disk Drive).
  • the storage device 110 drives a hard disk and stores programs executed by the CPU 101 and various data.
  • the storage device 110 also stores items, identification numbers, etc., which will be described later.
  • the drive 111 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 10.
  • the drive 111 reads information recorded on a removable storage medium 24 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs it to the RAM 103.
  • the communication device 112 is a communication interface configured with, for example, a communication device for connecting to the communication network 50.
  • the communication device 112 may be a wireless LAN (Local Area Network) compatible communication device, a wireless USB compatible communication device, or a wire communication device that performs wired communication.
  • FIG. 4 is a block diagram illustrating a functional configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes an image acquisition unit 152, a space analysis unit 154, a storage unit 156, a scale reference detection unit 158, a scale determination unit 160, a virtual information arrangement unit 162, an image generation unit 164, An image output unit 166 and the like are provided.
  • the image acquisition unit 152 has a function of acquiring a real space image.
  • the real section image is an image such as a landscape imaged by an imaging device (not shown).
  • the imaging device may be configured integrally with the information processing device 10 or may be configured as a separate device.
  • an image captured by an imaging device separate from the information processing device 10 may be stored in a storage device such as a memory card and captured by the image acquisition unit 152.
  • the image acquisition unit 152 provides the acquired real space image to the space analysis unit 154.
  • the space analysis unit 154 analyzes the structure of the real space image provided from the image acquisition unit 152 as a three-dimensional space.
  • the three-dimensional structure of the real space image may be analyzed by recognizing the density of the image, or the building included in the real space image Or the like, and a three-dimensional structure may be analyzed based on the frame configuration.
  • the storage unit 156 stores virtual information superimposed on the real space image and the actual size of the virtual information in association with each other.
  • FIG. 5 is an explanatory diagram for explaining the stored contents 400 of the storage unit 156.
  • the virtual information 401 and the virtual information size 400 are stored in association with each other.
  • the virtual information 401 may have identification information that identifies the virtual information.
  • An image of each virtual information may be stored as the virtual information 401, or only the identification information of the virtual information is stored, and an image associated with the identification information of the virtual information is acquired from another device such as a server. It may be.
  • the storage unit 156 stores, for example, “cat” of the virtual information 3D model 401 and “50 cm” of size 402, “dog” of the virtual information 3D model 401 and “60 cm of size 402”. "Is stored in association with each other. Further, “OO Hotel” of the 3D model 401 of virtual information and “100 m” of size 402 are stored in association with each other.
  • the 3D model 401 and the size 402 of the virtual information may be stored in advance, or the stored content may be updated or added according to user input.
  • the scale reference detection unit 158 has a function of detecting the length in the three-dimensional space of the object to be the scale reference included in the real space image.
  • the scale reference object included in the real space image include an object whose average length is clear, such as a person or a face. As for the height of the person, the length of the face, the distance between the eyes, etc., an average length can be obtained in advance. Further, the length is a length in a three-dimensional space coordinate system, for example, the number of scales.
  • FIG. 6 shows an example of the detection result 410 of the scale reference detection unit 158.
  • the scale reference detection unit 158 detects 16.5 as the length 511 of a certain object.
  • the property 412 of the detected object is “person, male, adult, standing”. Further, one coordinate of the object in the virtual space is detected as “(1, 2, 3)”. Further, as a property of the scale reference object, it may be detected that the user is in the “sitting” state, and the length (height) of the sitting state may be detected.
  • the face length (interval between eyes) may be detected by detecting “face” as the property of the scale reference object.
  • the height of the person and the length of the face included in the real space image can be detected using, for example, a known technique described in JP-A-2006-209334.
  • a person or the like is photographed to acquire a two-dimensional image, and a person region is extracted from the acquired two-dimensional image and projected onto a plurality of horizontal planes in a three-dimensional space. Then, an integral value is calculated by integrating the mapping of the person projected on each horizontal plane, and the horizontal position in the three-dimensional space where the peak of the calculated integral value is located is detected as the position of the person. The height of the highest horizontal plane in which a person's mapping exists at a horizontal position in the three-dimensional space in which is located is detected as the human height.
  • the description of the function of the scale reference detection unit 158 will be continued.
  • an object that is captured more clearly among the plurality of persons and faces is preferentially set as the scale reference object, and the length thereof is detected.
  • the length of the person or the like located at a short distance from the information processing apparatus 10 may be detected as an object that is preferentially used as a scale reference.
  • the length of the object close to the horizontal position of the information processing apparatus 10 may be detected as a scale reference object preferentially.
  • An object located in a place where the difference in height direction from the information processing apparatus 10 is large is close to the horizontal position of the information processing apparatus 10 because it is difficult to accurately detect the height, face length, and the like.
  • a male having a general person's height, not a child having a significant difference in height may be preferentially set as an object to be a scale reference.
  • the scale reference detection unit 158 detects the object property as well as the object length, and provides the detection result to the scale determination unit 160.
  • the scale determination unit 160 has a function of determining the scale of the three-dimensional space from the length of the object detected by the scale reference detection unit 158. For example, it is assumed that the scale reference detection unit 158 notifies that the scale reference object is a person and its length is 16.5 scales. In this case, when the average height of the person is preset to be 165 cm, the space scale can be determined to be 10 cm / division.
  • the scale of the space can be determined based on the feature of the property.
  • the average actual size value when an adult male is standing up is displayed. It is possible to obtain and more accurately determine the scale of the space.
  • the scale reference detection unit 158 when the lengths of a plurality of objects are provided by the scale reference detection unit 158, an arbitrary one object may be selected from the plurality of objects to determine the space scale. In addition, when the lengths of a plurality of objects are provided from the scale reference detection unit 158, the length values are averaged or outliers are excluded using the plurality of objects, and the space is calculated by statistical calculation processing. The scale may be calculated.
  • scale reference objects when there are a plurality of scale reference objects, they may be classified into groups according to the object property information, and the actual lengths of different scale reference objects may be applied to each group. For example, it is conceivable to classify by object properties such as gender, age, person or face type, person posture (standing, sitting), and the like.
  • the scale determination unit 160 excludes any object from the scale determination process, May be weighted to determine the scale.
  • an object far from the information processing apparatus 10 may be excluded from the scale determination process, or may be calculated with a lower weight than an object close to the information processing apparatus 10.
  • an object far from the information processing apparatus 10 is likely to be unclear in terms of image, and the calculation accuracy is reduced when used for the scale determination process.
  • an object located at a location where the difference in height direction is large from the information processing apparatus 10 may be excluded, or calculation may be performed with a lower weight than an object close to the horizontal position of the information processing apparatus 10. . This is because, as described above, when the object is located in a place where the difference in the height direction is larger than that of the information processing apparatus 10, it is difficult to accurately detect the height.
  • the virtual information arrangement unit 162 has a function of arranging virtual information whose size is adjusted according to the scale determined by the scale determination unit 160 in the real space image. As described above, the virtual information is stored in the storage unit 156 in association with the actual size of each virtual information. The virtual information arrangement unit 162 acquires the virtual information to be arranged in the real space image and the size of the virtual information from the storage unit 156, and stores the information on the scale of the space calculated by the scale determination unit 160 and the size of the virtual information. And the size of the virtual information in the three-dimensional space is calculated.
  • the virtual information arrangement unit 162 adjusts the virtual information “cat” to 5 scales and arranges it at an appropriate position.
  • the virtual information placement unit 162 places virtual information, if the position of the virtual information is determined by a relative position or relative distance from the information processing apparatus 10 or an absolute position such as GPS, the virtual information placement unit 162 places virtual information. Is adjusted to an appropriate size and arranged at an appropriate position based on the scale of the three-dimensional space.
  • the image generation unit 164 has a function of generating a two-dimensional output image by superimposing virtual information arranged by the virtual information arrangement unit 162 on a real space image. For example, an output image is generated by superimposing an image obtained by projecting virtual information on three-dimensional space coordinates onto a two-dimensional plane serving as a virtual display on a real space image.
  • the image generation unit 164 provides the generated image to the image output unit 166.
  • the image output unit 166 has a function of outputting the image provided from the image generation unit 164 to a display (not shown) or the like.
  • the output device such as a display may be integrated with the information processing device 10 or may be provided in a separate device.
  • the image output unit 166 sends the generated image to the display regardless of whether the display is integral or separate from the information processing apparatus 10.
  • FIG. 7 is a flowchart showing the overall operation of the information processing apparatus 10.
  • the image acquisition unit 152 acquires an image around the information processing apparatus 10 via the imaging device (S102).
  • the space analysis unit 154 analyzes the structure of the real space image acquired in step S102 as a three-dimensional space.
  • the three-dimensional structure of the real space image may be analyzed by recognizing the density of the image, A frame such as a building included in the image may be detected, and a three-dimensional structure may be analyzed based on the frame configuration.
  • FIG. 8 is a flowchart showing details of the scaling process.
  • the scale reference detection unit 158 selects an object to be a scale reference and detects the length of the object (S122). In step S122, the scale reference detection unit 158 selects an object whose average length is clear, such as a person or face included in the real space image, and calculates the number of scales in the three-dimensional space coordinate system of the object. To detect.
  • the scale determining unit 160 determines the scale of the three-dimensional space from the length of the object detected in step S122 (S124). Assume that it is detected in step S122 that the scale reference object is a person and the length is 16.5 scales. If it is preset that the average height of the person is 165 cm, the space scale is determined to be 10 cm / scale in step S124.
  • step S106 virtual information is arranged in the real space image by the virtual information arrangement unit 162 (S108).
  • S108 the details of the virtual information arrangement processing in step S108 will be described with reference to FIG.
  • FIG. 9 is a flowchart showing details of the virtual information arrangement processing.
  • the virtual information placement unit 162 first acquires the virtual information stored in the storage unit 156 (S132). Then, based on the spatial scale determined in step S106, the size of the virtual information in the real space image is determined (S134). In step S134, for example, when the scale of the space is determined to be 10 cm / scale in step S106, the size of the virtual information “cat” in which the actual size is 50 cm in the three-dimensional space is determined to be “5 scales”. Is done.
  • step S132 the virtual information acquired in step S132 is arranged in the three-dimensional space coordinates (S136), and the size of the 3D model of the virtual information is converted to the size determined in step S134 (S138). Note that the placement of the virtual information in step S136 may be performed immediately after step S132.
  • FIG. 10 is an explanatory diagram for explaining an arrangement example of virtual information.
  • the structure of the three-dimensional space of the image 540 is analyzed by the space analysis unit 154, and the coordinate axis 541 is set.
  • the image 540 includes a plurality of persons, the length of the person 543 is detected by the scale reference detection unit 158, the scale of the person is 16.5, and the height in the real space is 165 cm.
  • the scale determination unit 160 determines the scale of the three-dimensional space as 10 cm / scale.
  • the size of the virtual information “cat” is superimposed on the real space image without being converted according to the scale. Therefore, in the image 540, the size of the cat is 20 scales, and the size of the person and the cat does not match the actual size.
  • the image 550 is an output image obtained as a result of converting the scale of virtual information by the virtual information placement unit 162.
  • the scale is changed from 20 to 5 in accordance with the scale (10 cm / scale) of the three-dimensional space coordinates. Therefore, in the image 550, the size of the virtual information “cat” 553 is appropriate for the size of the person 552. The details of the virtual information arrangement process have been described above.
  • step S110 the image generation unit 164 generates an output image (S110).
  • step S110 the virtual information scale-converted in step S108 is superimposed on the real space image to generate a two-dimensional output image.
  • the image output unit 166 outputs the image generated in step S164 to the display (S112).
  • each process shown in FIG. 7 may be periodically executed in accordance with the frame rate of the imaging apparatus.
  • the spatial analysis step (S104), the scaling step (S106), and the virtual information arrangement step (S108) are steps with a high processing load, and may be executed once every several cycles.
  • the scaling step (S106) is executed only once at the beginning, and may not be performed periodically.
  • the unified scaling process is executed in one real space image, but the present invention is not limited to such an example. That is, you may make it change scaling for every some space within one real space image. For example, different spatial scales may be determined in the vicinity and the distance of the information processing apparatus 10. Thereby, the virtual information arranged in the vicinity of the information processing apparatus 10 is converted into a size larger than the virtual information arranged far from the information processing apparatus 10, and is arranged in the same manner as in an actual three-dimensional space. It is possible to arrange virtual information in
  • each step in the processing of the information processing apparatus 10 of the present specification does not necessarily have to be processed in time series in the order described as a flowchart. That is, each step in the process of the information processing apparatus 10 may be executed in parallel even if it is a different process.
  • each process is executed in the information processing apparatus 10, but the present invention is not limited to such an example.
  • a predetermined process in the information processing apparatus 10 may be executed in the server 20 connected to the network.
  • FIG. 11 is a block diagram illustrating functional configurations of the information processing apparatus 10 and the server 20.
  • the information processing device 15 and the server 20 are connected via a network.
  • the information processing apparatus 15 includes an image acquisition unit 152 and an image output unit 166.
  • the server 20 includes a space analysis unit 202, a scale reference detection unit 204, a scale determination unit 206, a storage unit 208, a virtual information arrangement unit 210, an image generation unit 212, and the like.
  • each unit in the server 20 has the same function as each unit corresponding to the information processing apparatus 10 described above, detailed description thereof is omitted.
  • high-load processing such as spatial analysis processing, scale determination processing, and image generation processing is executed in the server 20. That is, the real space image acquired in the information processing apparatus 15 is transmitted to the server 20 via the network. Then, the space analysis unit 202 of the server 20 analyzes the three-dimensional space structure of the real space image using the transmitted real space image. Further, the scale reference detection unit 204 detects the length of the object serving as the scale reference in the three-dimensional space, and the scale determination unit 206 determines the scale of the three-dimensional space.
  • the virtual information placement unit 210 adjusts the size of the virtual information to a size corresponding to the scale, and the image generation unit 212 generates an output image on which the virtual information is superimposed.
  • the image generated by the image generation unit 212 is transmitted to the information processing device 15 and displayed on the display of the information processing device 15.
  • the virtual information is converted into an appropriate size by simply transmitting the real space image to the server 20. It is possible to obtain a desired image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳する。 【解決手段】情報処理装置１０は、実空間画像を取得する画像取得部１５２と、実空間画像の３次元空間構造を解析する空間解析部１５４と、実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部１５８と、スケール基準検出部により検出されたオブジェクトの長さから、３次元空間のスケールを決定するスケール決定部１６０と、を備える。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の一環として撮影画像などの実空間情報に対して仮想的な情報を重畳して表示することが行われている。例えば、撮影画像に含まれる所定のマークなどを読み取り、該マークに対応する仮想的な情報を実空間画像に重畳して表示することができる（例えば、特許文献１）。
特開２００８－５１０２５４号公報
　しかし、特許文献１では、撮像された実空間画像における空間のスケールが不明であるため、仮想情報を適切な大きさで実空間画像に重畳させて表示することができないという問題があった。
　そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
　上記課題を解決するために、本発明のある観点によれば、実空間画像を取得する画像取得部と、前記実空間画像の３次元空間構造を解析する空間解析部と、前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部と、前記スケール基準検出部により検出された前記オブジェクトの長さから、３次元空間のスケールを決定するスケール決定部と、を備える情報処理装置が提供される。
　また、上記情報処理装置は、さらに、前記実空間画像に重畳表示する仮想情報と前記仮想情報の実寸サイズとを関連付けて記憶している記憶部と、前記スケール決定部により決定されたスケールに応じてサイズ調整された前記仮想情報を、前記実空間画像に配置する仮想情報配置部と、前記実空間画像に前記仮想情報を重畳した出力画像を生成する画像生成部と、を備えてもよい。
　また、前記スケール基準検出部により検出されるスケール基準となるオブジェクトは、人物であってもよい。
　また、前記スケール基準検出部により検出されるスケール基準となるオブジェクトは、顔であってもよい。
　また、前記スケール基準検出部は、前記実空間画像に含まれるオブジェクトのうち、鮮明に撮像されているオブジェクトを、優先的に基準となるオブジェクトとしてもよい。
　また、前記スケール基準検出部は、前記実空間画像に含まれるオブジェクトのうち、撮像装置から近い距離に位置しているオブジェクトを、優先的に基準となるオブジェクトとしてもよい。
　また、前記スケール基準検出部は、前記実空間画像に含まれるオブジェクトのうち、撮像装置の水平位置に近いオブジェクトを、優先的に基準となるオブジェクトとしてもよい。
　また、上記課題を解決するために、本発明の別の観点によれば、実空間画像を取得するステップと、前記実空間画像の３次元空間構造を解析するステップと、前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するステップと、前記検出されたオブジェクトの長さから、３次元空間のスケールを決定するステップと、を含む情報処理方法が提供される。
　また、コンピュータを、実空間画像を取得する画像取得部と、前記実空間画像の３次元空間構造を解析する空間解析部と、前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部と、前記スケール基準検出部により検出された前記オブジェクトの長さから、３次元空間のスケールを決定するスケール決定部と、を備える情報処理装置として機能させる、プログラムが提供される。
　以上説明したように本発明によれば、実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳することができる。
本発明の実施形態に係る情報処理装置の概要を説明する説明図である。 同実施形態にかかる情報処理装置の概要を説明する説明図である。 同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 同実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかる記憶部の記憶内容を説明する説明図である。 同実施形態にかかるスケール基準検出部の検出結果の例を説明する説明図である。 同実施形態にかかる情報処理装置の全体動作を示すフローチャートである。 同実施形態にかかるスケーリング処理の詳細を示すフローチャートである。 同実施形態にかかる仮想情報配置処理の詳細を示すフローチャートである。 同実施形態にかかる仮想情報の配置例を説明する説明図である。 他の実施形態にかかる情報処理装置とサーバの機能構成を示すブロック図である。
　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕情報処理装置の概要
〔３〕情報処理装置のハードウェア構成
〔４〕情報処理装置の機能構成
〔５〕情報処理装置の動作の詳細
〔１〕本実施形態の目的
　まず、本実施形態の目的について説明する。最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の一環として撮影画像などの実空間情報に対して仮想的な情報を重畳して表示することが行われている。例えば、撮影画像に含まれる所定のマークなどを読み取り、該マークに対応する仮想的な情報を実空間画像に重畳して表示することができる。しかし、撮像された実空間画像における空間のスケールが不明であるため、仮想情報を適切な大きさで実空間画像に重畳させて表示することができないという問題があった。
　そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳することが可能となる。
〔２〕情報処理装置の概要
　次に、図１および図２を参照して、情報処理装置１０の概要について説明する。図１および図２は、情報処理装置１０の概要を説明する説明図である。情報処理装置１０は、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）、携帯用ゲーム機器や小型のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）など、表示装置を備える情報処理端末を例示することができる。情報処理装置１０には、実空間画像に重畳される仮想情報が登録されている。
　図１に示したように、画像５００は、情報処理装置１０の表示部に表示される画像である。画像５００には、情報処理装置１０に備わる撮像装置により撮像された実空間画像に仮想情報５０１が重畳して表示されている。画像５００では、仮想情報５０１として、ネコやイヌなどが表示されている。画像５００に表示されている仮想情報５０１のサイズは、実空間画像の実物体である人よりも大きいサイズとなってしまっている。これは、実空間画像のスケールや、仮想情報の実空間画像における大きさなどが不明なため、仮想情報５０１を適切なサイズに調整することができないためである。
　一方、画像５１０では、人物５１２の高さに合わせて、仮想情報５１１のサイズが調整されて実空間画像に重畳されている。情報処理装置１０は、人物５１２の高さをもとに、実空間画像のスケール基準を決定して、該スケール基準に合ったサイズに仮想情報５１１を調整する。例えば、スケール基準となるオブジェクトを人物５１２とした場合、画像内の人物５１２の長さが１６．５目盛であり、人物の平均身長が１６５ｃｍであれば、空間のスケールは１０ｃｍ／目盛となる。
　仮想情報５１１のネコの実寸サイズが５０ｃｍであることが登録されている場合、上記方法により算出された空間スケールに合わせて、ネコのサイズは５目盛であることがわかる。このように、本実施形態では、実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳して表示することが可能となる。
　また、図２に示したように、画像５２０では、仮想情報５２１の大きさは人物に対して適切な大きさとなっているが、３次元空間の奥に配置された仮想情報５２２は適切な大きさで表示されていない。画像５２０においては、右側の画像は３次元空間において奥行きのある画像となっているにも関わらず、仮想情報５２２のサイズは３次元空間の奥行きとは合わないサイズとなっている。
　一方、画像５３０では、仮想情報５３１は、実空間画像内の人物５３３の高さに合った大きさとなっており、仮想情報５３２は、３次元空間の奥行きに合った大きさとなっている。このように、情報処理装置１０は、実空間画像のスケールに適したサイズの仮想情報を重畳し、さらに、実空間画像の３次元空間における奥行きに適したサイズの仮想情報を重畳することができる。
〔３〕情報処理装置のハードウェア構成
　以上、情報処理装置１０の概要について説明した。次に、図３を参照して、情報処理装置１０のハードウェア構成について説明する。図３は、情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１０９と、ストレージ装置（ＨＤＤ）１１０と、ドライブ１１１と、通信装置１１２とを備える。
　ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。
　ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
　入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１０９、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
　ストレージ装置１１０は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。また、このストレージ装置１１０には、後述の、アイテム、識別番号などを記憶する。
　ドライブ１１１は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ１０３に出力する。
　通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
〔４〕情報処理装置の機能構成
　以上、情報処理装置１０のハードウェア構成例について説明した。次に、図４を参照して、本実施形態にかかる情報処理装置１０の機能構成について説明する。図４は、本実施形態にかかる情報処理装置１０の機能構成を示すブロック図である。
　図４に示したように、情報処理装置１０は、画像取得部１５２、空間解析部１５４、記憶部１５６、スケール基準検出部１５８、スケール決定部１６０、仮想情報配置部１６２、画像生成部１６４、画像出力部１６６などを備える。
　画像取得部１５２は、実空間画像を取得する機能を有する。実区間画像とは、撮像装置（図示せず）により撮像された風景などの画像である。撮像装置は、情報処理装置１０と一体として構成されていてもよいし、別体の装置として構成されていてもよい。例えば、情報処理装置１０とは別体の撮像装置により撮像された画像をメモリカード等の記憶装置に記憶させて、画像取得部１５２により取り込むようにしてもよい。画像取得部１５２は、取得した実空間画像を空間解析部１５４に提供する。
　空間解析部１５４は、画像取得部１５２から提供された実空間画像の３次元空間としての構造を解析する。実空間画像をもとに、３次元の構造を解析する方法としては、画像の濃淡を認識することにより実空間画像の３次元の構造を解析してもよいし、実空間画像に含まれる建物などのフレームを検出して、フレームの構成をもとに３次元の構造を解析するようにしてもよい。
　記憶部１５６には、実空間画像に重畳される仮想情報と、該仮想情報の実際のサイズとが関連付けて記憶されている。図５は、記憶部１５６の記憶内容４００を説明する説明図である。図５に示したように、仮想情報４０１と仮想情報のサイズ４００とが関連付けられて記憶されている。仮想情報４０１は、仮想情報を識別する識別情報を有していてもよい。仮想情報４０１として、各仮想情報の画像が記憶されていてもよいし、仮想情報の識別情報のみ記憶されており、仮想情報の識別情報に関連付けられた画像をサーバ等他の装置から取得するようにしてもよい。
　図５に示したように、記憶部１５６には、例えば、仮想情報の３Ｄモデル４０１の「ネコ」とサイズ４０２の「５０ｃｍ」、仮想情報の３Ｄモデル４０１の「イヌ」とサイズ４０２の「６０ｃｍ」が関連付けられて記憶されている。また、仮想情報の３Ｄモデル４０１の「○○ホテル」とサイズ４０２の「１００ｍ」が関連付けられて記憶されている。仮想情報の３Ｄモデル４０１とサイズ４０２は、予め記憶されていてもよいし、ユーザ入力に応じて記憶内容を更新したり追加したりしてもよい。
　図４に戻り、スケール基準検出部１５８は、実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出する機能を有する。実空間画像に含まれるスケール基準となるオブジェクトとは、例えば、人物や顔など、その平均的な長さが明らかなものが挙げられる。人物の身長や、顔の長さ、目の間の距離などについては、予め平均的な長さを得ることができる。また、長さとは、３次元空間座標系における長さであり、例えば目盛数などが挙げられる。
　図６に、スケール基準検出部１５８の検出結果４１０の例を示した。例えば、図６に示したように、スケール基準検出部１５８は、あるオブジェクトの長さ５１１として１６．５を検出する。検出したオブジェクトのプロパティ４１２は、「人物、男性、大人、起立」である。また、仮想空間での該オブジェクトの一座標は、「（１、２、３）」と検出される。また、スケール基準オブジェクトのプロパティとして、「座っている」状態であることを検出して、座っている状態の長さ（身長）を検出してもよい。さらに、スケール基準オブジェクトのプロパティとして「顔」であることを検出して、顔の長さ（目と目の間隔）を検出してもよい。実空間画像に含まれる人物の身長や顔の長さなどは、例えば、特開２００６－２０９３３４に記載されている公知の技術を用いて検出することが可能である。
　特開２００６－２０９３３４では、人物などを撮影して２次元画像を取得し、取得した２次元画像から人物領域を抽出して３次元空間中の複数の水平面上に投影する。そして、各水平面上に投影された人物の写像を積分して積分値を算出し、算出された積分値のピークが位置する３次元空間中の水平位置を人物の位置として検出するとともに、このピークが位置する三次元空間中の水平位置に人物の写像が存在する最も高い水平面の高さを人間の高さとして検出する。
　図４に戻り、スケール基準検出部１５８の機能の説明を続ける。実空間画像に複数の人物や顔がある場合には、複数の人物や顔のうち、より鮮明に撮像されているオブジェクトを優先的にスケール基準となるオブジェクトとし、その長さを検出する。また、情報処理装置１０から近い距離に位置している人物等を優先的にスケール基準となるオブジェクトとして、その長さを検出してもよい。
　さらに、情報処理装置１０の水平位置に近いオブジェクトを優先的にスケール基準となるオブジェクトとして、その長さを検出してもよい。情報処理装置１０と高さ方向の差が大きい場所に位置しているオブジェクトは、身長の長さや顔の長さなどを正確に検出するのが困難なため、情報処理装置１０の水平位置に近いオブジェクトを優先的に選択する。また、身長差の著しい子供ではなく、一般的な人物の身長を有する男性を優先的にスケール基準となるオブジェクトとしてもよい。
　また、人物が座っている状態の場合には、スケール基準となるオブジェクトが座っている状態であることを検出して、座っている状態の長さ（例えば、１４．８）を検出する。このように、スケール基準検出部１５８は、オブジェクトの長さとともに、オブジェクトのプロパティも検出して、検出結果をスケール決定部１６０に提供する。
　スケール決定部１６０は、スケール基準検出部１５８により検出されたオブジェクトの長さから、３次元空間のスケールを決定する機能を有する。例えば、スケール基準検出部１５８から、スケール基準となるオブジェクトは人物であり、その長さが１６．５目盛であると通知されたとする。この場合人物の平均身長が１６５ｃｍであると予め設定されている場合には、空間のスケールは１０ｃｍ／目盛に決定することができる。
　また、上記したように、スケール基準検出部１５８から、オブジェクトの長さとともにオブジェクトのプロパティが提供されている場合には、プロパティの特徴をもとに空間のスケールを決定することができる。すなわち、オブジェクトのプロパティとして、「人物」という情報だけでなく、「男性、大人、起立」などの情報が提供された場合には、大人の男性が起立している場合の平均的な実寸値を取得して、空間のスケールをより精密に決定することが可能となる。
　また、スケール基準検出部１５８により、複数のオブジェクトの長さが提供された場合には、複数のオブジェクトのなかから、任意の一つのオブジェクトを選択して空間のスケールを決定してもよい。また、スケール基準検出部１５８から複数のオブジェクトの長さが提供された場合、複数のオブジェクトを用いて長さの値の平均化や外れ値の除外などを行って、統計的な算出処理により空間のスケールを算出するようにしてもよい。
　また、スケール基準となるオブジェクトが複数ある場合には、オブジェクトのプロパティ情報に応じてグループに分類し、各グループに対して異なるスケール基準のオブジェクトの実際の長さを適用するようにしてもよい。例えば、オブジェクトのプロパティである性別や年齢、人物か顔の種別、人物の姿勢（起立、着座）などにより分類することが考えられる。
　また、スケール基準検出部１５８において、実空間画像に含まれるすべてのオブジェクトの長さが検出される場合には、スケール決定部１６０により、任意のオブジェクトをスケール決定の処理から除外したり、各オブジェクトを重み付けしてスケールを決定したりするようにしてもよい。
　例えば、情報処理装置１０から遠いオブジェクトは、スケール決定処理から除外してもよいし、情報処理装置１０から近いオブジェクトよりも低い重み付けで計算するようにしてもよい。上記したように、情報処理装置１０から遠いオブジェクトは画像的に不鮮明である可能性が高く、スケール決定処理に用いると計算精度が落ちるためである。
　また、情報処理装置１０から高さ方向の差が大きい場所に位置しているオブジェクトを除外したり、情報処理装置１０の水平位置に近いオブジェクトよりも低い重み付けで計算したりするようにしてもよい。これは、上記したように、オブジェクトが情報処理装置１０よりも高さ方向の差が大きい場所に位置している場合には、正確な身長の検出が困難であるからである。
　仮想情報配置部１６２は、スケール決定部１６０により決定されたスケールに応じてサイズ調整された仮想情報を、実空間画像に配置する機能を有する。上記したように、仮想情報は、記憶部１５６に、各仮想情報の実際のサイズと関連付けて記憶されている。仮想情報配置部１６２は、実空間画像に配置する仮想情報と仮想情報のサイズを記憶部１５６から取得して、スケール決定部１６０により算出された空間のスケールと、仮想情報のサイズの情報をもとに、仮想情報の３次元空間におけるサイズを算出する。
　例えば、スケール決定部１６０により、空間のスケールが１０ｃｍ／目盛に決定された場合には、実際のサイズが５０ｃｍである仮想情報「ネコ」の３次元空間におけるサイズは「５目盛」となる。したがって、仮想情報配置部１６２は、仮想情報「ネコ」を５目盛に調整して適切な位置に配置する。
　また、仮想情報配置部１６２は、仮想情報を配置する際に、仮想情報の位置が情報処理装置１０からの相対位置や相対距離、ＧＰＳ等の絶対位置で決められている場合には、仮想情報を適切な大きさに調整するとともに、３次元空間のスケールをもとに適切な位置に配置する。
　画像生成部１６４は、上記仮想情報配置部１６２により配置される仮想情報を実空間画像に重畳して２次元の出力画像を生成する機能を有する。例えば、３次元空間座標上の仮想情報を仮想ディスプレイとなる２次元平面に投影した画像を、実空間画像に重畳して出力画像を生成する。画像生成部１６４は、生成した画像を画像出力部１６６に提供する。
　画像出力部１６６は、画像生成部１６４より提供された画像をディスプレイ（図示せず）等に出力する機能を有する。ディスプレイ等の出力装置は、情報処理装置１０と一体であってもよし、別体の装置に備えられていてもよい。画像出力部１６６は、ディスプレイが情報処理装置１０と一体か別体かに関わらず、生成された画像をディスプレイに送出する。
　なお、上記では、実空間画像に人物などのスケール基準となるオブジェクトが含まれている場合について説明したが、実空間画像にスケール基準となるオブジェクトが含まれていない場合には、スケール基準となるオブジェクトを撮像する必要がある旨のメッセージをディスプレイに表示して、ユーザに通知するようにしてもよい。
〔５〕情報処理装置の動作の詳細
　以上、情報処理装置１０の機能構成について説明した。次に、図７～図１０を参照して、情報処理装置１０の動作の詳細について説明する。図７は、情報処理装置１０の全体動作を示すフローチャートである。まず。画像取得部１５２は、撮像装置を介して情報処理装置１０の周辺の画像を取得する（Ｓ１０２）。
　そして、空間解析部１５４は、ステップＳ１０２において取得した実空間画像の３次元空間としての構造を解析する。上記したように、実空間画像をもとに、３次元の構造を解析する方法としては、画像の濃淡を認識することにより実空間画像の３次元の構造を解析してもよいし、実空間画像に含まれる建物などのフレームを検出して、フレームの構成をもとに３次元の構造を解析するようにしてもよい。
　次に、スケール基準検出部１５８およびスケール決定部１６０により、実空間画像のスケーリングが行われる（Ｓ１０６）。ここで、図８を参照して、ステップＳ１０６におけるスケーリング処理について詳細に説明する。図８は、スケーリング処理の詳細を示すフローチャートである。
　図８に示したように、スケール基準検出部１５８は、スケール基準となるオブジェクトを選択して、該オブジェクトの長さを検出する（Ｓ１２２）。ステップＳ１２２において、スケール基準検出部１５８は、実空間画像に含まれる人物や顔など、その平均的な長さが明らかなオブジェクトを選択して、該オブジェクトの３次元空間座標系における目盛数などを検出する。
　そして、スケール決定部１６０は、ステップＳ１２２において検出されたオブジェクトの長さから、３次元空間のスケールを決定する（Ｓ１２４）。ステップＳ１２２においてスケール基準となるオブジェクトは人物であり、その長さが１６．５目盛であると検出されたとする。人物の平均身長が１６５ｃｍであると予め設定されている場合には、ステップＳ１２４において、空間のスケールは１０ｃｍ／目盛と決定する。
　以上、ステップＳ１０６におけるスケーリング処理の詳細について説明した。図７に戻り、説明を続ける。ステップＳ１０６においてスケーリング処理が実行された後、仮想情報配置部１６２により、実空間画像に仮想情報が配置される（Ｓ１０８）。ここで、図９を参照して、ステップＳ１０８における仮想情報配置処理の詳細について説明する。図９は仮想情報配置処理の詳細を示すフローチャートである。
　図９に示したように、仮想情報配置部１６２は、まず記憶部１５６に記憶されている仮想情報を取得する（Ｓ１３２）。そして、ステップＳ１０６において決定された空間スケールをもとに、実空間画像における仮想情報のサイズを決定する（Ｓ１３４）。ステップＳ１３４においては、例えば、ステップＳ１０６において空間のスケールが１０ｃｍ／目盛に決定された場合には、実際のサイズが５０ｃｍである仮想情報「ネコ」の三次元空間におけるサイズは「５目盛」と決定される。
　そして、ステップＳ１３２において取得した仮想情報を３次元空間座標に配置して（Ｓ１３６）、ステップＳ１３４において決定したサイズに仮想情報の３Ｄモデルのサイズを変換する（Ｓ１３８）。なお、ステップＳ１３６における仮想情報の配置は、ステップＳ１３２の直後に実行するようにしてもよい。
　ここで、図１０を参照して、仮想情報の配置例について説明する。図１０は、仮想情報の配置例を説明する説明図である。図１０に示したように、画像５４０は、空間解析部１５４により３次元空間の構造が解析され、座標軸５４１が設定されている。画像５４０には複数の人物が含まれており、スケール基準検出部１５８により人物５４３の長さが検出されて、人物の目盛は１６．５目盛であり、実空間における身長は１６５ｃｍであるとする。スケール決定部１６０は、３次元空間のスケールを１０ｃｍ／目盛と決定する。
　画像５４０では、仮想情報「ネコ」のサイズをスケールに合わせて変換せずに実空間画像に重畳している。したがって、画像５４０では、ネコのサイズは２０目盛となっており、人物とネコの大きさが実際の大きさと合っていない状態である。
　画像５５０は、仮想情報配置部１６２により仮想情報のスケールが変換された結果の出力画像である。画像５５０では、仮想情報「ネコ」の実際のサイズは５０ｃｍであるため、３次元空間座標のスケール（１０ｃｍ／目盛）に合わせて、２０目盛から５目盛に変更されている。したがって、画像５５０では、人物５５２の大きさに対して、仮想情報「ネコ」５５３の大きさが適切な大きさとなっている。以上、仮想情報配置処理の詳細について説明した。
　図７に戻り説明を続ける。ステップＳ１０８において、仮想情報が配置された後に、画像生成部１６４は、出力画像を生成する（Ｓ１１０）。ステップＳ１１０において、ステップＳ１０８においてスケール変換された仮想情報が、実空間画像上に重畳されて２次元の出力画像が生成される。そして、画像出力部１６６は、ステップＳ１６４において生成された画像をディスプレイに出力する（Ｓ１１２）。
　以上、情報処理装置１０の動作の詳細について説明した。図７に示した各処理は、撮像装置のフレームレート等に合わせて周期的に実行するようにしてもよい。また、空間解析のステップ（Ｓ１０４）や、スケーリングのステップ（Ｓ１０６）や、仮想情報配置のステップ（Ｓ１０８）は、処理負荷の高いステップであるため、数周期に一度実行するようにしてもよい。また、スケーリングのステップ（Ｓ１０６）は、最初に一度だけ実行するようにして、周期的に行わなくてもよい。
　また、本実施形態では、１つの実空間画像内で統一されたスケーリング処理を実行することとしたが、本発明はかかる例に限定されない。すなわち、１つの実空間画像内で、複数の空間ごとにスケーリングを変更するようにしてもよい。例えば、情報処理装置１０の近傍と遠方でそれぞれ異なる空間スケールを決定するようにしてもよい。これにより、情報処理装置１０の近傍に配置される仮想情報は、情報処理装置１０の遠方に配置される仮想情報よりも大きいサイズに変換されて配置されることとなり、実際の３次元空間と同様に仮想情報を配置することが可能となる。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　例えば、本明細書の情報処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１０の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。
　また、情報処理装置１０などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　上記実施形態では、情報処理装置１０において各処理を実行することとしたが、本発明はかかる例に限定されない。例えば、情報処理装置１０における所定の処理をネットワークに接続されたサーバ２０において実行するようにしてもよい。図１１は、情報処理装置１０とサーバ２０の機能構成を示すブロック図である。
　図１１に示したように、情報処理装置１５とサーバ２０とは、ネットワークを介して接続されている。情報処理装置１５は、画像取得部１５２および画像出力部１６６を有する。また、サーバ２０は、空間解析部２０２、スケール基準検出部２０４、スケール決定部２０６、記憶部２０８、仮想情報配置部２１０、画像生成部２１２などを備える。
　サーバ２０における各部は、上記した情報処理装置１０に対応する各部と同様の機能を有するため、詳細な説明は省略する。図１１に示した構成とすることにより、空間解析処理やスケール決定処理や画像生成処理等の負荷の高い処理がサーバ２０において実行されることとなる。すなわち、情報処理装置１５において取得された実空間画像がネットワークを介してサーバ２０に送信される。そして、サーバ２０の空間解析部２０２は、送信された実空間画像を用いて実空間画像の３次元空間構造を解析する。さらに、スケール基準検出部２０４によりスケール基準となるオブジェクトの３次元空間における長さが検出されて、スケール決定部２０６により、３次元空間のスケールが決定される。そして、仮想情報配置部２１０により仮想情報のサイズがスケールに応じたサイズに調整されて、画像生成部２１２により該仮想情報を重畳した出力画像が生成される。画像生成部２１２により生成された画像が情報処理装置１５に送信されて、情報処理装置１５のディスプレイに表示される。
　これにより、情報処理装置１５の処理性能が高くなく、負荷の高い処理を実行するのに時間がかかる場合でも、サーバ２０に実空間画像を送信するだけで、仮想情報が適切な大きさに変換された所望の画像を取得することが可能となる。
　１０　　　情報処理装置
　１５２　　画像取得部
　１５４　　空間解析部
　１５６　　記憶部
　１５８　　スケール基準検出部
　１６０　　スケール決定部
　１６２　　仮想情報配置部
　１６４　　画像生成部
　１６６　　画像出力部
　１５　　　情報処理装置
　２０　　　サーバ
　２０２　　空間解析部
　２０４　　スケール基準検出部
　２０６　　スケール決定部
　２０８　　記憶部
　２１０　　仮想情報配置部
　２１２　　画像生成部

Claims (9)

  1. 　実空間画像を取得する画像取得部と、
    　前記実空間画像の３次元空間構造を解析する空間解析部と、
    　前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部と、
    　前記スケール基準検出部により検出された前記オブジェクトの長さから、３次元空間のスケールを決定するスケール決定部と、
    　を備える情報処理装置。
  2. 　前記実空間画像に重畳表示する仮想情報と前記仮想情報の実寸サイズとを関連付けて記憶している記憶部と、
    　前記スケール決定部により決定されたスケールに応じてサイズ調整された前記仮想情報を、前記実空間画像に配置する仮想情報配置部と、
    　前記実空間画像に前記仮想情報を重畳した出力画像を生成する画像生成部と、
    　を備える、請求項１に記載の情報処理装置。
  3. 　前記スケール基準検出部により検出されるスケール基準となるオブジェクトは、人物である、請求項１に記載の情報処理装置。
  4. 　前記スケール基準検出部により検出されるスケール基準となるオブジェクトは、顔である、請求項１に記載の情報処理装置。
  5. 　前記スケール基準検出部は、
    　前記実空間画像に含まれるオブジェクトのうち、鮮明に撮像されているオブジェクトを、優先的にスケール基準となるオブジェクトとする、請求項１に記載の情報処理装置。
  6. 　前記スケール基準検出部は、
    　前記実空間画像に含まれるオブジェクトのうち、撮像装置から近い距離に位置しているオブジェクトを、優先的にスケール基準となるオブジェクトとする、請求項１に記載の情報処理装置。
  7. 　前記スケール基準検出部は、
    　前記実空間画像に含まれるオブジェクトのうち、撮像装置の水平位置に近いオブジェクトを、優先的にスケール基準となるオブジェクトとする、請求項１に記載の情報処理装置。
  8. 　実空間画像を取得するステップと、
    　前記実空間画像の３次元空間構造を解析するステップと、
    　前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するステップと、
    　前記検出されたオブジェクトの長さから、３次元空間のスケールを決定するステップと、
    　を含む情報処理方法。
  9. 　コンピュータを、
    　実空間画像を取得する画像取得部と、
    　前記実空間画像の３次元空間構造を解析する空間解析部と、
    　前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部と、
    　前記スケール基準検出部により検出された前記オブジェクトの長さから、３次元空間のスケールを決定するスケール決定部と、
    　を備える情報処理装置として機能させる、プログラム。
     
PCT/JP2010/069153 2009-12-07 2010-10-28 情報処理装置、情報処理方法およびプログラム Ceased WO2011070871A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/510,313 US8891855B2 (en) 2009-12-07 2010-10-28 Information processing apparatus, information processing method, and program for generating an image including virtual information whose size has been adjusted
CN201080054570.9A CN102792338B (zh) 2009-12-07 2010-10-28 信息处理设备和信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009277850A JP2011118834A (ja) 2009-12-07 2009-12-07 情報処理装置、情報処理方法およびプログラム
JP2009-277850 2009-12-07

Publications (1)

Publication Number Publication Date
WO2011070871A1 true WO2011070871A1 (ja) 2011-06-16

Family

ID=44145424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/069153 Ceased WO2011070871A1 (ja) 2009-12-07 2010-10-28 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US8891855B2 (ja)
JP (1) JP2011118834A (ja)
CN (1) CN102792338B (ja)
WO (1) WO2011070871A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8089513B2 (en) 2009-11-16 2012-01-03 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
US20140104316A1 (en) * 2012-04-26 2014-04-17 Sameer Sharma Augmented reality computing device, apparatus and system
US20160364793A1 (en) * 2011-10-27 2016-12-15 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US10210659B2 (en) 2009-12-22 2019-02-19 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US10614602B2 (en) 2011-12-29 2020-04-07 Ebay Inc. Personal augmented reality
JP2021009495A (ja) * 2019-06-28 2021-01-28 Ｌｉｎｅ株式会社 情報処理方法、プログラム、端末
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US10956775B2 (en) 2008-03-05 2021-03-23 Ebay Inc. Identification of items depicted in images
JP2021125214A (ja) * 2020-02-03 2021-08-30 アップル インコーポレイテッドApple Inc. 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
US11651398B2 (en) 2012-06-29 2023-05-16 Ebay Inc. Contextual menus based on image recognition

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130314443A1 (en) * 2012-05-28 2013-11-28 Clayton Grassick Methods, mobile device and server for support of augmented reality on the mobile device
JP2014052974A (ja) * 2012-09-10 2014-03-20 Toshiba Corp 情報端末装置、制御方法及び制御プログラム
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
JP6053625B2 (ja) * 2013-07-01 2016-12-27 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP6375662B2 (ja) * 2014-03-27 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置
JP6213177B2 (ja) * 2013-11-18 2017-10-18 株式会社リコー 表示処理装置及び表示処理方法
TWI628613B (zh) * 2014-12-09 2018-07-01 財團法人工業技術研究院 擴增實境方法與系統
US10535169B2 (en) * 2016-11-02 2020-01-14 United Parcel Service Of America, Inc. Displaying items of interest in an augmented reality environment
JP6242473B1 (ja) * 2016-12-22 2017-12-06 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
TWI615776B (zh) 2016-12-23 2018-02-21 李雨暹 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
WO2018131238A1 (ja) * 2017-01-16 2018-07-19 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11156471B2 (en) 2017-08-15 2021-10-26 United Parcel Service Of America, Inc. Hands-free augmented reality system for picking and/or sorting assets
US11797910B2 (en) 2017-08-15 2023-10-24 United Parcel Service Of America, Inc. Hands-free augmented reality system for picking and/or sorting assets
US10796423B2 (en) 2017-09-29 2020-10-06 United Parcel Service Of America, Inc. Predictive parcel damage identification, analysis, and mitigation
WO2019116689A1 (ja) 2017-12-15 2019-06-20 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11429338B2 (en) 2018-04-27 2022-08-30 Amazon Technologies, Inc. Shared visualizations in augmented reality
CN112154658B (zh) * 2018-05-29 2024-07-23 索尼公司 图像处理装置、图像处理方法和存储介质
JP7078989B2 (ja) * 2018-08-22 2022-06-01 国立大学法人信州大学 食育及び栄養の指導・学習支援システムおよび食育教材作成ツール
US10984599B1 (en) * 2018-12-17 2021-04-20 Chi Fai Ho Augmented reality system with display of object with real world dimensions
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
TW202324172A (zh) 2021-11-10 2023-06-16 美商元平台技術有限公司 自動建立人工實境世界
US20230260239A1 (en) * 2022-02-14 2023-08-17 Meta Platforms, Inc. Turning a Two-Dimensional Image into a Skybox

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210608A (ja) * 1994-01-27 1995-08-11 Omron Corp 販売支援システム
JP2004239965A (ja) * 2003-02-03 2004-08-26 Sharp Corp 焦点調節装置、カメラ並びに焦点調節プログラム及びそのプログラムを記録した記録媒体
JP2005094741A (ja) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd 撮像装置及び画像合成方法
JP2005295163A (ja) * 2004-03-31 2005-10-20 Omron Entertainment Kk 写真プリント装置、写真プリント装置の制御方法、プログラム、および、プログラムを記録した記録媒体
JP2007256254A (ja) * 2006-02-24 2007-10-04 Nagaoka Univ Of Technology 流水領域検出システム、流水領域検出方法、及びプログラム
JP2008191751A (ja) * 2007-02-01 2008-08-21 Dainippon Printing Co Ltd 配置シミュレーションシステム
JP2009088742A (ja) * 2007-09-28 2009-04-23 Casio Comput Co Ltd 撮像装置、撮像制御プログラム及び撮像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8131013B2 (en) * 2005-12-28 2012-03-06 Kao Corporation Method and detecting system for positions of facial parts
CN101339654A (zh) * 2007-07-04 2009-01-07 北京威亚视讯科技有限公司 一种基于标志点的增强现实三维注册方法和系统
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210608A (ja) * 1994-01-27 1995-08-11 Omron Corp 販売支援システム
JP2004239965A (ja) * 2003-02-03 2004-08-26 Sharp Corp 焦点調節装置、カメラ並びに焦点調節プログラム及びそのプログラムを記録した記録媒体
JP2005094741A (ja) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd 撮像装置及び画像合成方法
JP2005295163A (ja) * 2004-03-31 2005-10-20 Omron Entertainment Kk 写真プリント装置、写真プリント装置の制御方法、プログラム、および、プログラムを記録した記録媒体
JP2007256254A (ja) * 2006-02-24 2007-10-04 Nagaoka Univ Of Technology 流水領域検出システム、流水領域検出方法、及びプログラム
JP2008191751A (ja) * 2007-02-01 2008-08-21 Dainippon Printing Co Ltd 配置シミュレーションシステム
JP2009088742A (ja) * 2007-09-28 2009-04-23 Casio Comput Co Ltd 撮像装置、撮像制御プログラム及び撮像方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694427B2 (en) 2008-03-05 2023-07-04 Ebay Inc. Identification of items depicted in images
US11727054B2 (en) 2008-03-05 2023-08-15 Ebay Inc. Method and apparatus for image recognition services
US10956775B2 (en) 2008-03-05 2021-03-23 Ebay Inc. Identification of items depicted in images
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US8089513B2 (en) 2009-11-16 2012-01-03 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
US8514326B2 (en) 2009-11-16 2013-08-20 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
US8953036B2 (en) 2009-11-16 2015-02-10 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
US10210659B2 (en) 2009-12-22 2019-02-19 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US20160364793A1 (en) * 2011-10-27 2016-12-15 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US10628877B2 (en) 2011-10-27 2020-04-21 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US10147134B2 (en) * 2011-10-27 2018-12-04 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US11113755B2 (en) 2011-10-27 2021-09-07 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US11475509B2 (en) 2011-10-27 2022-10-18 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US10614602B2 (en) 2011-12-29 2020-04-07 Ebay Inc. Personal augmented reality
US9595137B2 (en) * 2012-04-26 2017-03-14 Intel Corporation Augmented reality computing device, apparatus and system
US20140104316A1 (en) * 2012-04-26 2014-04-17 Sameer Sharma Augmented reality computing device, apparatus and system
US11651398B2 (en) 2012-06-29 2023-05-16 Ebay Inc. Contextual menus based on image recognition
JP2021009495A (ja) * 2019-06-28 2021-01-28 Ｌｉｎｅ株式会社 情報処理方法、プログラム、端末
JP2022059611A (ja) * 2020-02-03 2022-04-13 アップル インコーポレイテッド 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2021125214A (ja) * 2020-02-03 2021-08-30 アップル インコーポレイテッドApple Inc. 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース

Also Published As

Publication number Publication date
US8891855B2 (en) 2014-11-18
CN102792338B (zh) 2016-06-15
US20120230581A1 (en) 2012-09-13
JP2011118834A (ja) 2011-06-16
CN102792338A (zh) 2012-11-21

Similar Documents

Publication Publication Date Title
WO2011070871A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11010968B2 (en) Automated three dimensional model generation
US8953036B2 (en) Information processing apparatus, information processing method, program, and information processing system
US9076256B2 (en) Information processing device, information processing method, and program
EP2378393A2 (en) Image processing system, image processing apparatus, image processing method, and program
US20120027305A1 (en) Apparatus to provide guide for augmented reality object recognition and method thereof
WO2020205197A1 (en) Contextual media filter search
KR102646344B1 (ko) 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법
US20180262713A1 (en) Dynamically modeling an object in an environment from different perspectives
KR20140090022A (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
CN110089117B (zh) 处理和格式化视频用于交互式呈现
JP2011197777A (ja) 情報処理装置、情報処理方法およびプログラム
CN115494945A (zh) 基于速度场数据的海洋流场沉浸式可视化方法
KR20160096966A (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
JP5446700B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2013004001A (ja) 表示制御装置、表示制御方法、およびプログラム
CN109040588A (zh) 人脸图像的拍照方法、装置、存储介质及终端
KR20230073381A (ko) 사용자 단말기 및 사용자의 신체 부위 별 체형 정보를 제공하는 방법
US20220277578A1 (en) Information output apparatus, information output method, and program
EP3355266A1 (en) Systems and methods for contextualizing data obtained from barcode images
JP2008014825A (ja) 測定方法及び測定プログラム
CN116069164A (zh) 气体可视化方法、装置、设备、存储介质及程序产品
CN119365904A (zh) 无需图像尺寸调整的高效多尺度orb

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080054570.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10835793

Country of ref document: EP

Kind code of ref document: A1

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10835793

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13510313

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10835793

Country of ref document: EP

Kind code of ref document: A1