WO2021048985A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021048985A1
WO2021048985A1 PCT/JP2019/035972 JP2019035972W WO2021048985A1 WO 2021048985 A1 WO2021048985 A1 WO 2021048985A1 JP 2019035972 W JP2019035972 W JP 2019035972W WO 2021048985 A1 WO2021048985 A1 WO 2021048985A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
dimensional
image
dimensional map
position recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/035972
Other languages
English (en)
French (fr)
Inventor
勉 堀川
大地 小野
博之 矢部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to PCT/JP2019/035972 priority Critical patent/WO2021048985A1/ja
Priority to JP2021545056A priority patent/JP7162750B2/ja
Priority to US17/635,951 priority patent/US12014459B2/en
Publication of WO2021048985A1 publication Critical patent/WO2021048985A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • SLAM Simultaneous Localization and Mapping
  • semantic segmentation an object type recognition technology that recognizes the type of an object such as a person, a road, or the sky represented by the pixel for each pixel of the input image and attaches a label indicating the type to each pixel.
  • semantic segmentation an object type recognition technology
  • the object type recognition is performed using a machine learning model that has been trained using the training data.
  • the technology for forming a 3D map by simultaneously executing self-position estimation and 3D position recognition of the object represented in the input image is based on the premise that the object represented in the input image is stationary. Therefore, if the object represented by the input image includes a moving object such as a person or an animal (the position, posture, shape, etc. change with time), the three-dimensional map cannot be formed correctly. Further, even if the object represented in the input image is a stationary object such as a cup, if the cup is moved after forming the three-dimensional map, it is necessary to recreate the three-dimensional map.
  • the present invention has been made in view of the above problems, and an object of the present invention is an image processing device capable of accurately forming a three-dimensional map even when an object moving to an input image is included. It is to provide an image processing method and a program.
  • the image processing apparatus has an image acquisition unit that sequentially acquires two-dimensional captured images, and an object represented by the pixels in each pixel of the captured images that are sequentially acquired.
  • 3D map creation to create a 3D map by executing 3D position recognition of each pixel of the captured image based on the object type recognition execution unit with a label indicating the type of
  • the three-dimensional map creation unit includes a unit and a unit, and is characterized in that the three-dimensional position recognition of each pixel of the captured image is limited according to a label attached to the pixel.
  • the three-dimensional map creation unit limits the three-dimensional position recognition of a pixel when the label attached to the pixel indicates the type of moving object.
  • the three-dimensional map creating unit divides the captured image into a plurality of regions based on the label attached to each pixel of the captured image, and the pixels included in the region for each region. It is characterized in that it executes three-dimensional position recognition of.
  • the three-dimensional map creating unit creates the three-dimensional map by synthesizing the three-dimensional position recognition results for each area.
  • a rendering unit that creates a two-dimensional image by rendering the three-dimensional map with the imaging position of the captured image as a viewpoint, and a pixel of the captured image with respect to the two-dimensional image. It is characterized by further having a compositing unit for synthesizing pixels with limited three-dimensional position recognition.
  • the three-dimensional map creating unit further limits the three-dimensional position recognition by using a weighting coefficient preset according to the label.
  • the image processing method includes an image acquisition step for sequentially acquiring two-dimensional captured images, and an object in which each pixel of the sequentially acquired captured images is labeled to indicate the type of object represented by the pixels.
  • the above 3 includes a type recognition execution step and a 3D map creation step of executing 3D position recognition of each pixel of the captured image to create a 3D map based on the sequentially acquired captured images.
  • the three-dimensional position recognition of each pixel of the captured image is limited according to the label attached to the pixel.
  • the program according to the present invention includes an image acquisition procedure for sequentially acquiring two-dimensional captured images, and object type recognition in which each pixel of the sequentially acquired captured images is labeled to indicate the type of object represented by the pixel.
  • FIG. 1 is a configuration diagram of an image processing device 10 according to the present embodiment.
  • the image processing device 10 is, for example, a computer such as a game console or a personal computer. Further, the image processing device 10 may be an image pickup device such as a digital camera. As shown in FIG. 1, the image processing device 10 according to the present embodiment includes, for example, a processor 12, a storage unit 14, an operation unit 16, and a display unit 18.
  • the processor 12 is, for example, a program control device such as a CPU that operates according to a program installed in the image processing device 10.
  • the storage unit 14 is a storage element such as a ROM or RAM, a hard disk drive, or the like.
  • the storage unit 14 stores a program or the like executed by the processor 12.
  • the operation unit 16 is a user interface such as a keyboard, a mouse, and a controller of a game console, receives a user's operation input, and outputs a signal indicating the contents to the processor 12.
  • the display unit 18 is a display device such as a liquid crystal display, and displays various images according to the instructions of the processor 12.
  • the image processing device 10 may include a communication interface such as a network board, an optical disk drive for reading an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disc, and a USB (Universal Serial Bus) port.
  • a communication interface such as a network board
  • an optical disk drive for reading an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disc
  • a USB Universal Serial Bus
  • the image processing apparatus 10 includes an image acquisition unit 202, an object type recognition execution unit 204, a three-dimensional map creation unit 206, a rendering unit 208, and a composition unit. 210, is included.
  • the above elements are mainly implemented in the processor 12 and the storage unit 14.
  • the image acquisition unit 202 sequentially acquires two-dimensional captured images. Specifically, for example, the image acquisition unit 202 sequentially acquires still images of each frame included in a moving image taken by a general video camera.
  • the still image is a two-dimensional image including gradation information of each color of, for example, red, green, and blue.
  • the position and direction of the video camera that captures the input image changes with time. Therefore, the image acquisition unit 202 acquires a two-dimensional image taken while continuously changing the viewpoint and the angle of view with time.
  • the image acquisition unit 202 may acquire depth information together with the captured image. Specifically, for example, the image acquisition unit 202 sets the distance between the object and the lens represented by each pixel from the distance measuring sensor arranged near the lens of the video camera, and the depth corresponding to each pixel of the input image. It may be acquired as information. Further, for example, based on two captured images captured by a two-lens video camera, the image acquisition unit 202 includes gradation information of each color of red, green, and blue, and depth information of each pixel. A dimensional image may be acquired.
  • the object type recognition execution unit 204 attaches a label indicating the type of the object represented by the pixel to each pixel of the captured image sequentially acquired.
  • the object type recognition execution unit 204 is a machine learning model implemented by a convolutional neural network (CNN).
  • CNN convolutional neural network
  • a label indicating the type of object represented by the pixel is attached to each pixel of the acquired input image. Labels are, for example, "human” representing a person, "table” representing a table, “sofa” representing a sofa, "cup” representing a cup, "floor” representing a floor, “wall” representing a wall, and the like.
  • the three-dimensional map creation unit 206 creates a three-dimensional map by executing three-dimensional position recognition of each pixel of the captured image based on the sequentially acquired captured images. Specifically, for example, the three-dimensional map creation unit 206 executes a visual slam (Visual SLAM) based on the input images sequentially acquired by the image acquisition unit 202. The three-dimensional map creation unit 206 can simultaneously estimate the three-dimensional information of the environment captured by the camera and the position and orientation of the camera from the two-dimensional image captured by the camera. As a result, the three-dimensional map creation unit 206 can create a three-dimensional map.
  • a visual slam Visual slam
  • the three-dimensional map creation unit 206 creates a three-dimensional map by performing three-dimensional position recognition using the position information acquired from GPS (not shown) and the depth information acquired by the image acquisition unit 202. You may.
  • the three-dimensional map creation unit 206 limits the three-dimensional position recognition of each pixel of the captured image according to the label attached to the pixel. Specifically, the three-dimensional map creation unit 206 limits the three-dimensional position recognition of a pixel when the label attached to the pixel indicates the type of the moving object. For example, for each pixel contained in one captured image, "human” representing a person, "cup” representing a cup, “TV” representing a television, “table” representing a table, and “sofa” representing a sofa. , "Floor” for the floor, or "wall” for the wall. In this case, the 3D map creation unit 206 limits the 3D position recognition of the pixel labeled "human” indicating the type of moving object.
  • the three-dimensional map creation unit 206 is referred to as "cup”, “TV”, “table”, “sofa”, “floor”, and “wall” among the plurality of pixels included in the acquired captured image. Create a 3D map using only labeled pixels. As a result, a three-dimensional map composed of voxels corresponding to positions other than the position where the person to be moved exists in the real space is created. The voxel corresponding to the position where the person exists is not included in the three-dimensional map.
  • the type of the moving object is only “human”
  • the type of the moving object may be set as appropriate.
  • "human” and “cup” may be set as the types of moving objects.
  • all objects other than the floor and walls can be moved, even if "human”, “cup”, “TV”, “table”, and “sofa” are set as the types of moving objects. Good.
  • the three-dimensional map creation unit 206 divides the captured image into a plurality of regions based on the label attached to each pixel of the captured image, and executes three-dimensional position recognition of the pixels included in the region for each region. You may. Specifically, in the above example, the three-dimensional map creation unit 206 sets the captured image as a region labeled "human” and “cup”, “TV”, “table”, “sofa”, and “floor”. , And the area labeled "wall”. Then, the 3D map creation unit 206 recognizes the 3D position using only the pixels labeled "cup”, “TV”, “table”, “sofa”, “floor”, and “wall”. To execute.
  • the three-dimensional map creation unit 206 executes the three-dimensional position recognition using only the pixels labeled as "human”. Then, the three-dimensional map creation unit 206 may create a three-dimensional map by synthesizing the three-dimensional position recognition results for each area. This makes it possible to create a three-dimensional map including voxels corresponding to the position where the person exists.
  • the 3D map creation unit 206 can create a 3D map by synthesizing the 3D position recognition results for each area only when the person does not move. Therefore, when the person moves, the 3D map creation unit 206 stops synthesizing the 3D position recognition result for each area, and uses only pixels with labels other than the label indicating the type of the moving object. To create a 3D map. Then, when the movement of the person stops, the 3D position recognition for the pixel labeled indicating the type of the moving object is restarted, and the 3D map in which the 3D position recognition result for each area is synthesized is displayed again. Can be created.
  • the rendering unit 208 creates a two-dimensional image by rendering a three-dimensional map with the imaging position of the captured image as a viewpoint.
  • the image acquisition unit 202 sequentially acquires two-dimensional captured images for each frame.
  • the viewpoint at the time of imaging changes for each frame.
  • the rendering unit 208 renders the three-dimensional map with the imaging position of the captured image in the current frame as a viewpoint.
  • the compositing unit 210 synthesizes the pixels of the captured image in which the three-dimensional position recognition is restricted with respect to the two-dimensional image created by the rendering unit 208.
  • the rendering unit 208 only has pixels labeled "cup”, “TV”, “table”, “sofa”, “floor”, and "wall”. It is assumed that a two-dimensional image is created with respect to the imaging position of the captured image in the current frame with respect to the three-dimensional map created using the map. Since the 3D map does not include the voxels corresponding to the pixels labeled "human", the created 2D image does not include the gradation information in the area where the person is represented.
  • the compositing unit 210 synthesizes the gradation information of the pixels of the captured image of the current frame, which are labeled to represent the person, with respect to the two-dimensional image that does not include the gradation information in the area where the person is represented. To do. As a result, while creating a 3D map with high accuracy, the 2D image created from the 3D map and the moving object that does not exist in the 3D map due to the limitation of 3D position recognition are displayed in an overlapping manner. can do.
  • the 3D map creation unit 206 divides the captured image into a plurality of regions and executes the 3D position recognition of the pixels included in the region for each region, the captured image is created by rendering from the 3D map.
  • the two-dimensional image includes both an object with a label indicating the type of the moving object and an object with another label.
  • the image processing device 10 may be configured not to include the compositing unit 210.
  • the above functions may be implemented by executing the program including the instructions corresponding to the above functions installed in the image processing device 10 which is a computer on the processor 12.
  • This program may be supplied to the image processing apparatus 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like. ..
  • a three-dimensional map is created based on a two-dimensional image taken by a general video camera.
  • a method of creating a three-dimensional map will be described with reference to FIG.
  • the two-dimensional input images sequentially acquired by the image acquisition unit 202 for each frame are input to the object type recognition execution unit 204.
  • a two-dimensional input image taken by a two-lens video camera is sequentially input to the object recognition execution unit frame by frame.
  • each pixel of the input image includes gradation information representing red, green, and blue, and depth information representing the distance from the video camera.
  • the object type recognition execution unit 204 attaches a label indicating the type of the object represented by the pixel to each pixel of the input image acquired for each frame. Specifically, the object type recognition execution unit 204 determines the type of the object represented by the pixel based on the gradation information of each pixel of the input two-dimensional input image. Then, the object type recognition execution unit 204 attaches a label indicating the determined object type to each pixel of the input image. For example, when the object type recognition execution unit 204 determines that the object represented by a pixel is a person, the object type recognition execution unit 204 labels the pixel as "human".
  • each pixel of the image output by the object type recognition execution unit 204 includes information representing a label in addition to the gradation information and the depth information.
  • the output image is sequentially input to the 3D map creation unit 206 for each frame, and the 3D map is created.
  • a two-dimensional image in which each pixel includes gradation information, depth information, and information representing a label is input to the three-dimensional map creation unit 206.
  • the three-dimensional map creation unit 206 creates a three-dimensional map by executing three-dimensional position recognition of the object represented by the input image based on the gradation information and the depth information of the input images sequentially input.
  • the three-dimensional map creation unit 206 limits the three-dimensional position recognition of each pixel of the captured image according to the label attached to the pixel.
  • the three-dimensional map creation unit 206 acquires the label "human” as the label to be restricted. Then, the three-dimensional map creation unit 206 sets the image with each label in the area labeled "human” and “cup”, “TV”, “table”, “sofa”, and “floor”. , And the area labeled "wall” (see the lower side of the 3D map creation unit 206 in FIG. 3). Then, the 3D map creation unit 206 recognizes the 3D position using only the pixels labeled "cup”, “TV”, “table”, “sofa”, “floor”, and "wall". To execute.
  • the 3D map creation unit 206 can accurately form the 3D map even when the input image includes the moving object. Further, as time elapses, the moving object in the input image changes its position, and the image acquisition unit 202 acquires the input image captured from different viewpoints. As a result, the three-dimensional map creation unit 206 can create a three-dimensional map including the voxels of the area that is missing because it was in the back of the moving object in the three-dimensional map of FIG.
  • the three-dimensional map created as described above can be applied to, for example, Augmented Reality (AR) technology.
  • AR Augmented Reality
  • the user can experience a virtual space reflecting the real world room while staying in the real world room. At this time, there is no need to move a person out of the room for shooting, or to clean up small items such as cups or moving objects, and the user can more easily create a highly accurate 3D map.
  • the three-dimensional map creation unit 206 may further limit the three-dimensional position recognition by using a weighting coefficient set in advance according to the label. Specifically, when the input image of the nth frame is input, the three-dimensional map creation unit 206 is characterized by the three-dimensional map created in the n-1 frame and the input image of the nth frame. Extract points. The three-dimensional map creation unit 206 recognizes the position of the input image so that the total error of the feature points is minimized.
  • the three-dimensional map creation unit 206 may multiply the error of the feature point by a weighting coefficient for each feature point.
  • the weighting factor to be multiplied is preset for the label attached to the pixel in which the feature point appears.
  • the preset weighting coefficient is set to a smaller value so that the type of object indicated by the label can be easily moved. Specifically, for example, a weighting coefficient of "1.0” is set for the labels “floor” and “wall”. A weighting factor of "0.5” is set for the labels “table”, “TV” and “sofa”. A weighting factor of "0.1” is set for the label “cup”. A weighting factor of "0.0" is set for the label "human”.
  • the error of the feature point multiplied by the weighting coefficient of "0.0" is "0.0"
  • the error of the feature point is excluded from the calculation target when the three-dimensional map creation unit 206 recognizes the position. ..
  • the error of the feature point to which the weighting coefficients of "0.1", “0.5” and “1.0” are multiplied differs in the magnitude of the influence on the total error depending on the coefficient. As a result, the magnitude of the influence on the three-dimensional position recognition can be changed for each feature point according to the high possibility that the object moves.
  • the above weighting coefficient is appropriately set according to the shooting environment and intended use. Therefore, it is possible to reduce the adverse effect of objects that are unlikely to move but are not zero (objects represented by "table”, “TV”, and “sofa” in the above example) on the accuracy of three-dimensional position recognition. On the other hand, an object that has a high possibility of moving (an object represented by "cup” in the above example) can also be used as a feature point as needed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

入力画像に移動するオブジェクトが含まれる場合であっても、精度よく３次元マップを形成することができる画像処理装置、画像処理方法、及び、プログラムを提供する。　画像処理装置は、２次元の撮像画像を順次取得する画像取得部と、順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行部と、順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの３次元位置認識を実行して３次元マップを作成する３次元マップ作成部と、を含み、前記３次元マップ作成部は、前記撮像画像の各ピクセルの３次元位置認識を、該ピクセルに付されたラベルに応じて制限する。

Description

画像処理装置、画像処理方法、及び、プログラム
　本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
　入力画像に基づいて、自己位置推定と入力画像に表されたオブジェクトの３次元位置認識を同時に実行することで３次元マップ形成を行う技術(いわゆる、スラム(SLAM: Simultaneous Localization and Mapping))が知られている。
　また、入力画像の各ピクセルに対して、該ピクセルに表された人物、道路、空等のオブジェクトの種類を認識し、当該種類を表すラベルを各ピクセルに付すオブジェクト種類認識技術(いわゆる、セマンティックセグメンテーション(Semantic segmentation))が知られている。当該オブジェクト種類認識は、学習データを用いて学習済である機械学習モデルを用いて行われる。
　自己位置推定と入力画像に表されたオブジェクトの３次元位置認識を同時に実行することで３次元マップを形成する技術は、当該入力画像に表されたオブジェクトが静止していることを前提としている。そのため、入力画像に表されたオブジェクトに人物や動物等の動く（位置、姿勢、形状等が時間で変化する）オブジェクトが含まれている場合、３次元マップを正しく形成することができない。また、入力画像に表されたオブジェクトがコップ等の静止しているものであっても、３次元マップを形成後に当該コップを動かした場合、３次元マップを再度作成する必要がある。
　本発明は、上記問題点に鑑みてなされたものであり、その目的は、入力画像に移動するオブジェクトが含まれる場合であっても、精度よく３次元マップを形成することができる画像処理装置、画像処理方法、及び、プログラムを提供することである。
　上記課題を解決するために、本発明に係る画像処理装置は、２次元の撮像画像を順次取得する画像取得部と、順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行部と、順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの３次元位置認識を実行して３次元マップを作成する３次元マップ作成部と、を含み、前記３次元マップ作成部は、前記撮像画像の各ピクセルの３次元位置認識を、該ピクセルに付されたラベルに応じて制限する、ことを特徴とする。
　本発明の一態様では、前記３次元マップ作成部は、ピクセルに付されたラベルが、移動するオブジェクトの種類を示す場合に、該ピクセルの３次元位置認識を制限する、ことを特徴とする。
　本発明の一態様では、前記３次元マップ作成部は、前記撮像画像の各ピクセルに付されたラベルに基づいて、前記撮像画像を複数の領域に分割し、領域ごとに該領域に含まれるピクセルの３次元位置認識を実行する、ことを特徴とする。
　本発明の一態様では、前記３次元マップ作成部は、領域ごとの３次元位置認識結果を合成することで前記３次元マップを作成する、ことを特徴とする。
　本発明の一態様では、前記撮像画像の撮像位置を視点として前記３次元マップをレンダリングすることにより２次元画像を作成するレンダリング部と、前記２次元画像に対して、前記撮像画像のピクセルのうち、３次元位置認識が制限されたピクセルを合成する合成部と、をさらに有することを特徴とする。
　本発明の一態様では、前記３次元マップ作成部は、さらに、前記ラベルに応じて予め設定された重み係数を用いて、前記３次元位置認識を制限することを特徴とする。
　本発明に係る画像処理方法は、２次元の撮像画像を順次取得する画像取得ステップと、順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行ステップと、順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの３次元位置認識を実行して３次元マップを作成する３次元マップ作成ステップと、を含み、前記３次元マップ作成ステップにおいて、前記撮像画像の各ピクセルの３次元位置認識は、該ピクセルに付されたラベルに応じて制限される、ことを特徴とする。
　本発明に係るプログラムは、２次元の撮像画像を順次取得する画像取得手順と、順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行手順と、順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの３次元位置認識を実行して３次元マップを作成する３次元マップ作成手順と、をコンピュータに実行させるプログラムであって、前記３次元マップ作成手順において、前記撮像画像の各ピクセルの３次元位置認識を、該ピクセルに付されたラベルに応じて制限する、ことを特徴とする。
本発明の一実施形態に係る画像処理装置の構成図である。 本発明の一実施形態に係る画像処理装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置で行われる画像処理の流れの一例を示す図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。図１は、本実施形態に係る画像処理装置１０の構成図である。
　本実施形態に係る画像処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。また、画像処理装置１０は、デジタルカメラ等の撮像装置であってもよい。図１に示すように、本実施形態に係る画像処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８を含んでいる。
　プロセッサ１２は、例えば画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
　記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。
　操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
　表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
　なお、画像処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
　続いて、本実施形態に係る画像処理装置１０の機能、及び、画像処理装置１０で実行される処理についてさらに説明する。
　図２に示すように、本実施形態に係る画像処理装置１０には、機能的には例えば、画像取得部２０２、オブジェクト種類認識実行部２０４、３次元マップ作成部２０６、レンダリング部２０８、合成部２１０、が含まれる。以上の要素はプロセッサ１２、及び、記憶部１４を主として実装される。
　画像取得部２０２は、２次元の撮像画像を順次取得する。具体的には、例えば、画像取得部２０２は、一般的なビデオカメラで撮影された動画像に含まれる各フレームの静止画像を順次取得する。ここで、静止画像は、例えば赤、緑、及び、青の各色の階調情報を含む２次元画像である。また、入力画像を撮影するビデオカメラは、時間に応じて位置及び方向が変化する。従って、画像取得部２０２は、時間によって連続的に視点及び画角が変化しながら撮影された２次元画像を取得する。
　なお、画像取得部２０２は、撮像画像とともに深度情報を取得してもよい。具体的には、例えば、画像取得部２０２は、ビデオカメラのレンズ近傍に配置された測距センサから、各ピクセルに表されたオブジェクトとレンズの距離を、当該入力画像の各ピクセルに対応する深度情報として取得してもよい。また、例えば、２眼のビデオカメラが撮像した２枚の撮像画像に基づいて、画像取得部２０２は、赤、緑、及び、青の各色の階調情報とともに、各ピクセルの深度情報を含む２次元画像を取得してもよい。
　オブジェクト種類認識実行部２０４は、順次取得された撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付す。具体的には、例えば、オブジェクト種類認識実行部２０４は、畳み込みニューラルネットワーク（ＣＮＮ）により実装された機械学習モデルである。オブジェクト種類認識実行部２０４は、画像取得部２０２が１フレームの入力画像を取得するたびに、入力画像に含まれる階調情報に基づいて、当該入力画像に対するセマンティックセグメンテーションを実行する。これにより、フレームごとに、取得された入力画像の各ピクセルに対して、該ピクセルにより表されたオブジェクトの種類を表すラベルが付される。ラベルは、例えば、人物を表す「human」、テーブルを表す「table」、ソファを表す「sofa」、コップを表す「cup」、床を表す「floor」、壁を表す「wall」等である。
　３次元マップ作成部２０６は、順次取得された撮像画像に基づいて、撮像画像の各ピクセルの３次元位置認識を実行して３次元マップを作成する。具体的には、例えば、３次元マップ作成部２０６は、画像取得部２０２が順次取得した入力画像に基づいて、ビジュアルスラム(Visual SLAM)を実行する。３次元マップ作成部２０６は、カメラで撮影された２次元画像からカメラが撮影した環境の３次元情報とカメラの位置姿勢を同時に推定することができる。これにより、３次元マップ作成部２０６は、３次元マップを作成できる。
　なお、３次元マップ作成部２０６は、ＧＰＳ（図示なし）から取得した位置情報と、画像取得部２０２が取得した深度情報と、を用いて３次元位置認識を行うことで、３次元マップを作成してもよい。
　ここで、３次元マップ作成部２０６は、撮像画像の各ピクセルの３次元位置認識を、該ピクセルに付されたラベルに応じて制限する。具体的には、３次元マップ作成部２０６は、ピクセルに付されたラベルが、移動するオブジェクトの種類を示す場合に、該ピクセルの３次元位置認識を制限する。例えば、１枚の撮像画像に含まれる各ピクセルに対して、人物を表す「human」、コップを表す「cup」、テレビを表す「TV」、テーブルを表す「table」、ソファを表す「sofa」、床を表す「floor」、または、壁を表す「wall」のいずれかが付されているとする。この場合、３次元マップ作成部２０６は、移動するオブジェクトの種類を示す「human」というラベルが付されたピクセルの３次元位置認識を制限する。すなわち、３次元マップ作成部２０６は、取得された撮像画像に含まれる複数のピクセルのうち、「cup」、「TV」、「table」、「sofa」、「floor」、及び、「wall」というラベルが付されたピクセルのみを用いて、３次元マップを作成する。これにより、実空間において、移動する対象である人物が存在する位置以外の位置と対応するボクセルによって構成される３次元マップが作成される。人物が存在する位置に対応するボクセルは、当該３次元マップに含まれない。
　なお、上記において、移動するオブジェクトの種類が「human」のみである場合について説明したが、移動するオブジェクトの種類は、適宜設定されてよい。具体的には、例えば、コップは人物が頻繁に移動させる対象であるため、移動するオブジェクトの種類として、「human」及び「cup」が設定されてよい。また、例えば、床及び壁以外の対象はすべて移動させることができるため、移動するオブジェクトの種類として、「human」、「cup」、「TV」、「table」及び「sofa」が設定されてもよい。
　また、３次元マップ作成部２０６は、撮像画像の各ピクセルに付されたラベルに基づいて、撮像画像を複数の領域に分割し、領域ごとに該領域に含まれるピクセルの３次元位置認識を実行してもよい。具体的には上記例では、３次元マップ作成部２０６は、撮像画像を「human」というラベルが付された領域と、「cup」、「TV」、「table」、「sofa」、「floor」、及び、「wall」というラベルが付された領域に分割する。そして、３次元マップ作成部２０６は、「cup」、「TV」、「table」、「sofa」、「floor」、及び、「wall」というラベルが付されたピクセルのみを用いて３次元位置認識を実行する。また、３次元マップ作成部２０６は、「human」というラベルが付されたピクセルのみを用いて３次元位置認識を実行する。そして、３次元マップ作成部２０６は、領域ごとの３次元位置認識結果を合成することで３次元マップを作成してもよい。これにより、人物が存在する位置に対応するボクセルを含む３次元マップを作成できる。
　なお、３次元マップ作成部２０６は、人物が動かない状況下でのみ、領域ごとの３次元位置認識結果を合成することで３次元マップを作成することができる。そのため、人物が動いた時点で、３次元マップ作成部２０６は、領域ごとの３次元位置認識結果の合成を停止し、移動するオブジェクトの種類を示すラベル以外のラベルが付されたピクセルのみを用いて、３次元マップを作成する。そして、人物の動きが停止した時点で、移動するオブジェクトの種類を示すラベルが付されたピクセルに対する３次元位置認識を再開し、再び領域ごとの３次元位置認識結果が合成された３次元マップを作成することができる。
　レンダリング部２０８は、撮像画像の撮像位置を視点として３次元マップをレンダリングすることにより２次元画像を作成する。具体的には、例えば、画像取得部２０２は、２次元の撮像画像をフレームごとに順次取得する。このとき、ビデオカメラ等の撮像装置は時間とともに移動するため、撮像時の視点はフレームごとに変化する。レンダリング部２０８は、現フレームにおける撮像画像の撮像位置を視点として、３次元マップに対してレンダリングを行う。
　合成部２１０は、レンダリング部２０８の作成した２次元画像に対して、撮像画像のピクセルのうち、３次元位置認識が制限されたピクセルを合成する。具体的には、上記例のように、レンダリング部２０８は、「cup」、「TV」、「table」、「sofa」、「floor」、及び、「wall」というラベルが付されたピクセルのみを用いて作成された３次元マップに対して、現フレームにおける撮像画像の撮像位置を視点として、２次元画像を作成したとする。当該３次元マップには、「human」というラベルが付されたピクセルと対応するボクセルが含まれないため、作成された２次元画像は、人物が表された領域に階調情報を含まない。一方、画像取得部２０２が取得した撮像画像の全てのピクセルは階調情報を含む。そのため、撮像画像のピクセルのうち、人物を表すピクセルは階調情報を含む。合成部２１０は、人物が表された領域に階調情報を含まない２次元画像に対して、現フレームの撮像画像のピクセルのうち、人物を表すラベルが付されたピクセルの階調情報を合成する。これにより、精度よく３次元マップを作成しつつ、３次元マップから作成された２次元画像と、３次元位置認識が制限されたために、３次元マップに存在しない移動するオブジェクトと、を重ねて表示することができる。
　なお、３次元マップ作成部２０６が撮像画像を複数の領域に分割し、領域ごとに該領域に含まれるピクセルの３次元位置認識を実行する場合には、３次元マップからレンダリングによって作成された２次元画像は、移動するオブジェクトの種類を示すラベルが付与されたオブジェクトと、それ以外のラベルが付与されたオブジェクトと、どちらのオブジェクトも含む。この場合、画像処理装置１０は、合成部２１０を含まない構成であってもよい。
　以上の機能は、コンピュータである画像処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置１０に供給されてもよい。
　本実施形態では例えば、一般的なビデオカメラで撮影される２次元画像に基づいて、３次元マップが作成される。以下、３次元マップの作成方法について図３を参照しながら説明する。
　まず、画像取得部２０２によってフレームごとに順次取得された２次元の入力画像は、オブジェクト種類認識実行部２０４に入力される。具体的には、例えば、２眼のビデオカメラによって撮影された２次元の入力画像は、フレームごとに順次オブジェクト認識実行部に入力される。ここで、例えば、入力画像の各ピクセルは、赤、緑及び青を表す階調情報と、ビデオカメラからの距離を表す深度情報と、を含む。
　オブジェクト種類認識実行部２０４は、フレームごとに取得した入力画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付す。具体的には、オブジェクト種類認識実行部２０４は、入力された２次元の入力画像の各ピクセルの階調情報に基づいて、該ピクセルにより表されたオブジェクトの種類を判定する。そして、オブジェクト種類認識実行部２０４は、入力画像の各ピクセルに対して、判定されたオブジェクトの種類を表すラベルを付す。例えば、オブジェクト種類認識実行部２０４は、あるピクセルが表すオブジェクトが人物であると判定した場合、当該ピクセルに対して「human」というラベルを付す。また、例えば、オブジェクト種類認識実行部２０４は、あるピクセルが表すオブジェクトが壁面であると判定した場合、当該ピクセルに対して「wall」というラベルを付す。従って、オブジェクト種類認識実行部２０４が出力した画像の各ピクセルは、階調情報及び深度情報に加えて、ラベルを表す情報を含む。
　次に、出力された画像は、フレームごとに順次３次元マップ作成部２０６に入力され、３次元マップが作成される。具体的には、上記のように、各ピクセルが階調情報、深度情報、及び、ラベルを表す情報を含む２次元の画像は、３次元マップ作成部２０６に入力される。３次元マップ作成部２０６は、順次入力された入力画像の階調情報及び深度情報に基づいて、入力画像に表されたオブジェクトの３次元位置認識を実行して３次元マップを作成する。
　ここで、３次元マップ作成部２０６は、撮像画像の各ピクセルの３次元位置認識を、該ピクセルに付されたラベルに応じて制限する。図３の例では、３次元マップ作成部２０６は、制限の対象となるラベルとして、「human」というラベルを取得する。そして、３次元マップ作成部２０６は、各ラベルが付された画像を、「human」というラベルが付された領域と、「cup」、「TV」、「table」、「sofa」、「floor」、及び、「wall」というラベルが付された領域と、に分割する（図３の３次元マップ作成部２０６の下側参照）。そして、３次元マップ作成部２０６は、「cup」、「TV」、「table」、「sofa」、「floor」、及び、「wall」というラベルが付されたピクセルのみを用いて３次元位置認識を実行する。
　静止しているオブジェクトについてのみスラムを実行することにより、３次元マップ作成部２０６は、入力画像に移動するオブジェクトが含まれる場合であっても、精度よく３次元マップを形成することができる。また、時間が経過するごとに、入力画像中の移動するオブジェクトが位置を変更するとともに、画像取得部２０２が異なる視点で撮像された入力画像を取得する。これにより、３次元マップ作成部２０６は、図３の３次元マップにおいて、移動するオブジェクトの奥にあったために欠けてしまった領域のボクセルを含む３次元マップを作成できる。
　上記のように作成された３次元マップは、例えば、拡張現実（ＡＲ：Augmented Reality）技術に適用することができる。テーブル、テレビ、ソファ等が配置された部屋の内部の３次元マップを作成した場合、ユーザは、現実世界の部屋にいながら、現実世界の部屋が反映された仮想空間を体験できる。この時、撮影のために部屋から人物を退去させたり、コップなどの小物や動く物体を片づけたりする必要がなく、ユーザはより手軽に高精度な３次元マップを作成することができる。
　なお、本発明は上述の実施形態に限定されるものではない。また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
　例えば、３次元マップ作成部２０６は、さらに、ラベルに応じて予め設定された重み係数を用いて、３次元位置認識を制限してもよい。具体的には、ｎフレーム目の入力画像が入力されたときに、３次元マップ作成部２０６は、ｎ－１フレームで作成された３次元マップと、ｎフレーム目の入力画像と、からそれぞれ特徴点を抽出する。３次元マップ作成部２０６は、当該特徴点の誤差の総和が最小となるように、入力画像の位置認識を行う。
　ここで、３次元マップ作成部２０６は、特徴点ごとに、当該特徴点の誤差に対して重み付け係数を乗算してもよい。乗算される重み付け係数は、特徴点が現れたピクセルに付されたラベルに対して予め設定される。
　予め設定される重みづけ係数は、ラベルが示すオブジェクトの種類が移動しやすいほど小さい値が設定される。具体的には、例えば、「floor」及び「wall」というラベルに対して、「1.0」という重み係数が設定される。「table」、「TV」及び「sofa」というラベルに対して、「0.5」という重み係数が設定される。「cup」というラベルに対して、「0.1」という重み係数が設定される。「human」というラベルに対して、「0.0」という重み係数が設定される。
　この場合、「0.0」という重み係数が乗算される特徴点の誤差は「0.0」であるため、３次元マップ作成部２０６が位置認識する際に、当該特徴点の誤差は計算対象から除外される。「0.1」、「0.5」及び「1.0」という重み係数が乗算される特徴点の誤差は、当該係数に応じて誤差の総和に対する影響の大きさが異なる。これにより、オブジェクトの移動する可能性の高さに応じて、特徴点ごとに３次元位置認識に与える影響の大きさを変化させることができる。
　上記重み付け係数は、撮影環境や使用用途に応じて、適宜設定される。従って、移動する可能性は低いがゼロではないオブジェクト（上記例では「table」、「TV」及び「sofa」が表すオブジェクト）が３次元位置認識の精度に与える悪影響を軽減することができる。一方、移動する可能性が高いオブジェクト（上記例では「cup」が表すオブジェクト）も必要に応じて特徴点として利用することが可能となる。

Claims (8)

  1. 　２次元の撮像画像を順次取得する画像取得部と、
    　順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行部と、
    　順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの３次元位置認識を実行して３次元マップを作成する３次元マップ作成部と、
    　を含み、
    　前記３次元マップ作成部は、前記撮像画像の各ピクセルの３次元位置認識を、該ピクセルに付されたラベルに応じて制限する、ことを特徴とする画像処理装置。
  2. 　前記３次元マップ作成部は、ピクセルに付されたラベルが、移動するオブジェクトの種類を示す場合に、該ピクセルの３次元位置認識を制限する、ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記３次元マップ作成部は、前記撮像画像の各ピクセルに付されたラベルに基づいて、前記撮像画像を複数の領域に分割し、領域ごとに該領域に含まれるピクセルの３次元位置認識を実行する、ことを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記３次元マップ作成部は、領域ごとの３次元位置認識結果を合成することで前記３次元マップを作成する、ことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記撮像画像の撮像位置を視点として前記３次元マップをレンダリングすることにより２次元画像を作成するレンダリング部と、
    　前記２次元画像に対して、前記撮像画像のピクセルのうち、３次元位置認識が制限されたピクセルを合成する合成部と、
    　をさらに有することを特徴とする請求項１に記載の画像処理装置。
  6. 　前記３次元マップ作成部は、さらに、前記ラベルに応じて予め設定された重み係数を用いて、前記３次元位置認識を制限することを特徴とする請求項１に記載の画像処理装置。
  7. 　２次元の撮像画像を順次取得する画像取得ステップと、
    　順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行ステップと、
    　順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの３次元位置認識を実行して３次元マップを作成する３次元マップ作成ステップと、
    　を含み、
    　前記３次元マップ作成ステップにおいて、前記撮像画像の各ピクセルの３次元位置認識は、該ピクセルに付されたラベルに応じて制限される、ことを特徴とする画像処理方法。
  8. 　２次元の撮像画像を順次取得する画像取得手順と、
    　順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行手順と、
    　順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの３次元位置認識を実行して３次元マップを作成する３次元マップ作成手順と、
    　をコンピュータに実行させるプログラムであって、
    　前記３次元マップ作成手順において、前記撮像画像の各ピクセルの３次元位置認識を、該ピクセルに付されたラベルに応じて制限する、ことを特徴とするプログラム。
PCT/JP2019/035972 2019-09-12 2019-09-12 画像処理装置、画像処理方法、及び、プログラム Ceased WO2021048985A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/035972 WO2021048985A1 (ja) 2019-09-12 2019-09-12 画像処理装置、画像処理方法、及び、プログラム
JP2021545056A JP7162750B2 (ja) 2019-09-12 2019-09-12 画像処理装置、画像処理方法、及び、プログラム
US17/635,951 US12014459B2 (en) 2019-09-12 2019-09-12 Image processing device, image processing method, and program for forming an accurate three-dimensional map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/035972 WO2021048985A1 (ja) 2019-09-12 2019-09-12 画像処理装置、画像処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
WO2021048985A1 true WO2021048985A1 (ja) 2021-03-18

Family

ID=74866314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035972 Ceased WO2021048985A1 (ja) 2019-09-12 2019-09-12 画像処理装置、画像処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US12014459B2 (ja)
JP (1) JP7162750B2 (ja)
WO (1) WO2021048985A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067068A (zh) * 2021-11-11 2022-02-18 武汉理工大学重庆研究院 一种环境建图方法、装置、设备及存储介质
JP7254222B1 (ja) 2022-01-20 2023-04-07 三菱電機エンジニアリング株式会社 環境地図生成装置、環境地図生成方法およびプログラム
JP2023049073A (ja) * 2021-09-29 2023-04-10 株式会社豊田自動織機 自己位置推定装置を有する移動体
WO2024154397A1 (ja) * 2023-01-17 2024-07-25 パナソニックＩｐマネジメント株式会社 領域抽出方法、領域抽出装置及びコンピュータプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
IL284840B2 (en) 2019-01-22 2023-04-01 Fyusion Inc Damage detection using visual data from multiple viewing angles
US12203872B2 (en) 2019-01-22 2025-01-21 Fyusion, Inc. Damage detection from multi-view visual data
US10887582B2 (en) 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US12204869B2 (en) 2019-01-22 2025-01-21 Fyusion, Inc. Natural language understanding for visual tagging
US12243170B2 (en) 2019-01-22 2025-03-04 Fyusion, Inc. Live in-camera overlays
US11776142B2 (en) * 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618221A (ja) * 1991-03-11 1994-01-25 Agency Of Ind Science & Technol 多視点距離データの統合方法
WO2015111283A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法
JP2019028861A (ja) * 2017-08-02 2019-02-21 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
WO2017079341A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
EP3552147A1 (en) * 2016-12-12 2019-10-16 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
US10558864B2 (en) * 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US11676296B2 (en) * 2017-08-11 2023-06-13 Sri International Augmenting reality using semantic segmentation
KR102472767B1 (ko) * 2017-09-14 2022-12-01 삼성전자주식회사 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
US11019283B2 (en) * 2018-01-18 2021-05-25 GumGum, Inc. Augmenting detected regions in image or video data
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
WO2020076952A1 (en) * 2018-10-09 2020-04-16 Google Llc Placing augmented reality objects in an image based on device position
JP6757392B2 (ja) * 2018-11-21 2020-09-16 株式会社モルフォ 画像生成装置、画像生成方法及び画像生成プログラム
US11151391B2 (en) * 2018-12-10 2021-10-19 Here Global B.V. Method and apparatus for creating a visual map without dynamic content
JP6790145B2 (ja) 2019-02-13 2020-11-25 キヤノン株式会社 制御装置、制御方法、及び、プログラム
US11003945B2 (en) * 2019-05-22 2021-05-11 Zoox, Inc. Localization using semantically segmented images
US10769848B1 (en) * 2019-05-24 2020-09-08 Adobe, Inc. 3D object reconstruction using photometric mesh representation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618221A (ja) * 1991-03-11 1994-01-25 Agency Of Ind Science & Technol 多視点距離データの統合方法
WO2015111283A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法
JP2019028861A (ja) * 2017-08-02 2019-02-21 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN RUNZ ET AL.: "Co-Fusion: Real-time Segmentation, Tracking and Fusion of Multiple Objects", 2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, 2017, pages 4471 - 4478, XP033127260, DOI: 10.1109/ICRA.2017.7989518 *
TATENO, KEISUKE ET AL.: "CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2017, pages 6565 - 6574, XP033250021, DOI: 10.1109/CVPR.2017.695 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023049073A (ja) * 2021-09-29 2023-04-10 株式会社豊田自動織機 自己位置推定装置を有する移動体
CN114067068A (zh) * 2021-11-11 2022-02-18 武汉理工大学重庆研究院 一种环境建图方法、装置、设备及存储介质
JP7254222B1 (ja) 2022-01-20 2023-04-07 三菱電機エンジニアリング株式会社 環境地図生成装置、環境地図生成方法およびプログラム
JP2023105835A (ja) * 2022-01-20 2023-08-01 三菱電機エンジニアリング株式会社 環境地図生成装置、環境地図生成方法およびプログラム
WO2024154397A1 (ja) * 2023-01-17 2024-07-25 パナソニックＩｐマネジメント株式会社 領域抽出方法、領域抽出装置及びコンピュータプログラム

Also Published As

Publication number Publication date
US20220335681A1 (en) 2022-10-20
JP7162750B2 (ja) 2022-10-28
JPWO2021048985A1 (ja) 2021-03-18
US12014459B2 (en) 2024-06-18

Similar Documents

Publication Publication Date Title
JP7162750B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US11900552B2 (en) System and method for generating virtual pseudo 3D outputs from images
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
CN109660783B (zh) 虚拟现实视差校正
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN106797458B (zh) 真实对象的虚拟改变
Tomioka et al. Approximated user-perspective rendering in tablet-based augmented reality
WO2021167586A1 (en) Systems and methods for object detection including pose and size estimation
CN113160421B (zh) 一种基于投影的空间式实物交互虚拟实验方法
JP2020198066A (ja) 拡張現実アプリケーション用システム及び方法
JP6911123B2 (ja) 学習装置、認識装置、学習方法、認識方法及びプログラム
WO2019012632A1 (ja) 認識処理装置、認識処理方法及びプログラム
CN114399610B (zh) 基于引导先验的纹理映射系统和方法
US9208606B2 (en) System, method, and computer program product for extruding a model through a two-dimensional scene
US12475656B2 (en) Space and content matching for augmented and mixed reality
EP4050400B1 (en) Display apparatuses and methods incorporating image masking
Battisti et al. Seamless bare-hand interaction in mixed reality
WO2022195157A1 (en) Detection of test object for virtual superimposition
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
Wu et al. Tangible and visible 3D object reconstruction in augmented reality
KR101566459B1 (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
Piumsomboon et al. Physically-based interaction for tabletop augmented reality using a depth-sensing camera for environment mapping
US11636578B1 (en) Partial image completion
Zheng et al. Pixel-wise closed-loop registration in video-based augmented reality
JP7178499B2 (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19944909

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021545056

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19944909

Country of ref document: EP

Kind code of ref document: A1