JP6572406B1 - 警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 - Google Patents

警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Download PDF

Info

Publication number
JP6572406B1
JP6572406B1 JP2019534910A JP2019534910A JP6572406B1 JP 6572406 B1 JP6572406 B1 JP 6572406B1 JP 2019534910 A JP2019534910 A JP 2019534910A JP 2019534910 A JP2019534910 A JP 2019534910A JP 6572406 B1 JP6572406 B1 JP 6572406B1
Authority
JP
Japan
Prior art keywords
objects
warning
warning device
image
image group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019534910A
Other languages
English (en)
Other versions
JPWO2020026381A1 (ja
Inventor
裕章 岩瀬
裕章 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6572406B1 publication Critical patent/JP6572406B1/ja
Publication of JPWO2020026381A1 publication Critical patent/JPWO2020026381A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

警告装置（１００）は、取得部（１１１）と、検出部（１１２）と、出力部（１１３）とを備える。取得部（１１１）は、ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する。検出部（１１２）は、取得された画像群に基づいて、複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する。出力部（１１３）は、検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する。

Description

本発明は、警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体に関する。
従来、マニピュレータやロボットを用いて、複数の物品から１つ以上の物品を衝突することなく取り出すために、ステレオカメラによって撮像された画像から３次元画像を生成し、各オブジェクトの３次元モデルと比較することにより物品の位置や姿勢を特定し、特定した位置や姿勢に基づいて、衝突することなく取り出すことが可能か否か判定する技術がある（例えば、特許文献１参照）。
特開２０１３−１４５５２５号公報
一方、ヘッドマウントディスプレイによりユーザに仮想空間を提供する仮想現実（Virtual Reality）システムにおいて、ヘッドマウントディスプレイを装着しているユーザは、一般的に現実空間を視認できないため、例えば、自身の手を動かしたときに、現実空間に配置されているオブジェクトと衝突する可能性がある。従って、オブジェクトの移動も考慮して衝突を事前に警告することができる技術が望まれる。
本発明は、上記の課題を解決するためのものであり、衝突する可能性があるオブジェクトを検出してユーザに警告することが可能な警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することを目的とする。
本発明の第１の観点に係る警告装置は、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部と、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部と、
前記検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する出力部と、
を備えることを特徴とする。
上記の観点に係る警告装置において、
前記検出部は、
前記複数のオブジェクトが撮像された位置および視差により、相対的な位置関係を維持している維持オブジェクト群を抽出し、
前記取得された画像群において、前記抽出された維持オブジェクト群に含まれない前方オブジェクトに隠される後方オブジェクトが、前記抽出された維持オブジェクト群に含まれる場合、前記相対的な位置関係により、前記後方オブジェクトと、前記前方オブジェクトと、が近づきつつあるか否かを判定してもよい。
上記の観点に係る警告装置において、
前記取得部は、前記ステレオカメラにより所定時間毎に撮像されたステレオ画像を含む前記画像群を取得し、
前記検出部は、
前記取得された画像群に含まれる前記ステレオ画像のそれぞれについて、前記ステレオ画像内における前記複数のオブジェクト間の距離と、前記複数のオブジェクトのそれぞれの視差と、を算出し、
前記算出した距離及び視差の時間変化に基づいて、近づきつつあるオブジェクト同士を検出してもよい。
上記の観点に係る警告装置において、
前記出力部は、前記検出されたオブジェクト同士の輪郭を表す警告オブジェクトを表示部に出力してもよい。
本発明の第２の観点に係る警告方法は、
警告装置が実行する警告方法であって、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得ステップと、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出ステップと、
前記検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する出力ステップと、
を備えることを特徴とする。
本発明の第３の観点に係るプログラムは、
コンピュータを、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部、
前記検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する出力部、
として機能させることを特徴とする。
本発明の第４の観点に係る非一時的なコンピュータ読取可能な情報記録媒体は、
コンピュータを、
ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部、
前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部、
前記検出されたオブジェクト同士の近さの度合を表す近づき度に応じた警告を出力する出力部、
として機能させることを特徴とする。
なお、上記情報記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な（non-transitory）情報記録媒体とは、有形な（tangible）情報記録媒体をいう。非一時的な情報記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリである。また、一時的な（transitory）情報記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波である。なお、一時的な（temporary）記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えばＲＡＭ（Random Access Memory）といった揮発性メモリである。
本発明によれば、衝突する可能性があるオブジェクトを検出してユーザに警告することができる。
実施形態に係る警告装置のハードウェア構成を示す概略ブロック図である。 ユーザに装着された状態での実施形態に係る警告装置の外観図である。 現実空間における警告装置、ユーザ、及びオブジェクト群の様子を示す上面図である。 実施形態に係る警告装置の機能構成を示す概略ブロック図である。 時刻ｔ＝ｔ１においてステレオカメラが撮像した右側画像である。 時刻ｔ＝ｔ１においてステレオカメラが撮像した左側画像である。 時刻ｔ＝ｔ２においての現実空間における警告装置、ユーザ、及びオブジェクト群の様子を示す上面図である。 時刻ｔ＝ｔ２においてステレオカメラが撮像した右側画像である。 時刻ｔ＝ｔ２においてステレオカメラが撮像した左側画像である。 時刻ｔ＝ｔ１においてディスプレイに表示される仮想空間の様子を表す画像である。 時刻ｔ＝ｔ２においてディスプレイに表示される仮想空間の様子を表す画像である。 実施形態に係る警告装置の制御部により実行される警告処理の流れを表すフローチャートである。 時刻ｔ＝ｔ３においての現実空間における警告装置、ユーザ、及びオブジェクト群の様子を示す上面図である。 時刻ｔ＝ｔ３においてステレオカメラが撮像した右側画像である。 時刻ｔ＝ｔ３においてステレオカメラが撮像した左側画像である。 変形例に係る仮想空間の様子を表す画像である。
以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。また、本願発明の実施形態を図面を参照して説明するにあたり、図中同一又は相当する部分には同一符号を付す。
図１は、本実施形態に係る警告装置１００のハードウェア構成を示す概略ブロック図である。警告装置１００は、例えば、各種のセンサや制御装置を備えたヘッドマウントディスプレイにより構成される。スマートフォンやタブレットコンピュータ、ファブレット等をアタッチメントに装着することにより、ヘッドマウントディスプレイが構築されてもよい。この場合には、スマートフォン等のコンピュータを上記各部として機能させるためのプログラムを、当該スマートフォン等にて実行させることにより、警告装置１００が実現される。図１に示すように、警告装置１００は、制御部１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ１０３と、ディスプレイ１０４と、センサ部１０５と、操作部１０６と、ステレオカメラ１０７とから構成され、各部は、バス１０８により接続されている。
制御部１０１は、例えばＣＰＵ（Central Processing Unit）から構成され、警告装置１００全体を制御する。
ＲＯＭ１０２は、制御部１０１が警告装置１００全体を制御するためのプログラムや各種データを格納する不揮発性メモリである。
ＲＡＭ１０３は、制御部１０１が生成した情報や、その情報の生成に必要なデータを一時的に格納するための揮発性メモリである。
ディスプレイ１０４は、ＬＣＤ（Liquid Crystal Display）およびバックライト等を備え、制御部１０１による制御の下、例えば、制御部１０１から出力された画像を表示する。
センサ部１０５は、姿勢センサや加速度センサを備え、警告装置１００の向きを検知する。センサ部１０５は、検知した警告装置１００の向きを表す信号を制御部１０１に出力する。
操作部１０６は、ボタン、キーボード、タッチパネル等の入力装置から構成される。操作部１０６は、警告装置１００のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部１０１に出力する。
ステレオカメラ１０７は、レンズと、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサといった撮像素子とを含む２つのカメラから構成される。本実施形態において、図２に示すように、ステレオカメラ１０７は、警告装置１００の前面のユーザ３００から見て右側の端部に設けられる右側カメラ１０７ａと、ユーザから見て左側の端部に設けられる左側カメラ１０７ｂとを有する。ステレオカメラ１０７は、後述するオブジェクト群４００を撮像する。
次に、本実施形態における警告装置１００、ユーザ３００、及びオブジェクト群４００の現実空間における位置関係について説明する。図３は、現実空間２００における警告装置１００、ユーザ３００、及びオブジェクト群４００の様子を示す上面図である。図３に示すように、現実空間２００において、ユーザ３００の前方に、オブジェクト４０１〜４０５からなるオブジェクト群４００が位置している。オブジェクト４０１〜４０５は、警告装置１００の外部に位置するオブジェクトであって、警告装置１００の移動とは無関係に移動可能なものである。本実施形態において、オブジェクト４０１〜４０５は、それぞれ、ユーザ３００の右手、ユーザ３００の左手、カップ、缶、絵画である。なお、オブジェクト４０１，４０２は、ユーザの意図に従って移動可能であり、オブジェクト４０３〜４０５は、静止しているものとする。なお、本実施形態に係るオブジェクト４０１〜４０５は、本発明に係る複数のオブジェクトの一例であり、これに限定されない。後述するように、ステレオカメラ１０７により撮像された画像から認識可能であれば、本発明に係る複数のオブジェクトとして任意のオブジェクトを適用することができる。
図４は、本発明の実施形態に係る警告装置１００の機能構成を示す概略ブロック図である。図４に示すように、警告装置１００は、取得部１１１と、検出部１１２と、出力部１１３と、を備える。これらの機能は、制御部１０１がＲＯＭ１０２に記録されたプログラムを実行することにより、警告装置１００の各部と協働して実現される。
取得部１１１は、ステレオカメラ１０７により、オブジェクト群４００を撮像した画像群を取得する。ここで、画像群は、ステレオカメラ１０７が所定時間毎に撮像した画像のグループである。例えば、取得部１１１は、時刻ｔ＝ｔ１においてステレオカメラ１０７の右側カメラ１０７ａが撮像した右側画像と、左側カメラ１０７ｂが撮像した左側画像と、を時刻ｔ＝ｔ１における１組のステレオ画像として取得する。また、取得部１１１は、時刻ｔ＝ｔ１から所定時間Δｔ経過後の時刻ｔ＝ｔ２において右側カメラ１０７ａが撮像した右側画像と、左側カメラ１０７ｂが撮像した左側画像と、を時刻ｔ＝ｔ２における１組のステレオ画像として取得する。このようにして、取得部１１１は、所定時間Δｔ毎にステレオカメラ１０７により撮像されたステレオ画像のグループを、画像群として取得する。
本実施形態において、制御部１０１とステレオカメラ１０７が協働することにより、取得部１１１として機能する。
検出部１１２は、取得部１１１により取得された画像群により、複数のオブジェクト４０１〜４０５が撮像された位置および視差により、近づきつつあるオブジェクト同士を検出する。
以下、近づきつつあるオブジェクト同士の検出方法の一例を説明する。まず、検出部１１２は、取得部１１１により取得された画像群のうち、ある時刻ｔ＝ｔ１に取得されたステレオ画像から、ステレオ画像内におけるオブジェクト４０１〜４０５の位置を特定する。具体的には、検出部１１２は、予めＲＯＭ１０２に記録された、オブジェクト４０１〜４０５の形状や模様、色彩等のパターンと、ステレオ画像とを比較し、画像認識により、オブジェクト４０１〜４０５の位置を特定する。ステレオ画像内におけるオブジェクト４０１〜４０５の位置として、例えば、ステレオ画像内におけるオブジェクト４０１〜４０５の中心点といったオブジェクト４０１〜４０５の代表点の位置を適用することができる。次に、検出部１１２は、特定されたステレオ画像内におけるオブジェクト４０１〜４０５の位置に基づいて、ステレオ画像内における各オブジェクト４０１〜４０５間の距離を算出する。また、検出部１１２は、ステレオ画像に含まれる右側画像及び左側画像に基づいて、オブジェクト４０１〜４０５それぞれの視差を算出する。ここで、視差は、右側画像におけるオブジェクト４０１〜４０４の位置と、左側画像におけるオブジェクト４０１〜４０４の位置と、の差（距離）を示す。
例えば、取得部１１１は、図５Ａに示す時刻ｔ＝ｔ１における右側画像５０１Ｒと、図５Ｂに示す時刻ｔ＝ｔ１における左側画像５０１Ｌと、を取得したとする。このとき検出部１１２は、右側画像５０１Ｒにおけるオブジェクト４０１〜４０５の位置ＰＲ１１〜ＰＲ１５と、左側画像５０１Ｌにおけるオブジェクト４０１〜４０５の位置ＰＬ１１〜ＰＬ１５を特定する。そして、検出部１１２は、位置ＰＲ１１〜ＰＲ１５に基づいて、右側画像５０１Ｒにおける各オブジェクト４０１〜４０５間の距離を算出する。また、検出部１１２は、位置ＰＬ１１〜ＰＬ１５に基づいて、左側画像５０１Ｌにおける各オブジェクト４０１〜４０５間の距離を算出する。また、検出部１１２は、各オブジェクト４０１〜４０５について、右側画像５０１Ｒの位置ＰＲ１１〜ＰＲ１５と、左側画像５０１Ｌの位置ＰＬ１１〜ＰＬ１５と、の差から、各オブジェクト４０１〜４０５の視差を算出する。
検出部１１２は、取得部１１１により所定時間毎に取得されるステレオ画像のそれぞれについて、上述したように、右側画像における各オブジェクト４０１〜４０５間の距離と、左側画像における各オブジェクト４０１〜４０５間の距離と、各オブジェクト４０１〜４０５の視差と、を算出する。そして、検出部１１２は、右側画像における各オブジェクト４０１〜４０５間の距離と、左側画像における各オブジェクト４０１〜４０５間の距離と、各オブジェクト４０１〜４０５の視差と、のそれぞれの時間変化に基づいて、以下の条件（１）〜（３）を満たすオブジェクトＡ及びオブジェクトＢを近づきつつあるオブジェクト同士として検出する。
（１）右側画像におけるオブジェクトＡとオブジェクトＢとの間の距離が短くなっている。
（２）左側画像におけるオブジェクトＡとオブジェクトＢとの間の距離が短くなっている。
（３）オブジェクトＡの視差と、オブジェクトＢの視差との差が小さくなっている。
すなわち、検出部１１２は、条件（１）及び（２）により、ステレオカメラ１０７による撮影方向（ユーザの前方）と直交する面内においてオブジェクト４０１〜４０５が近づきつつあるか否かを判定する。また、検出部１１２は、条件（３）により、ステレオカメラ１０７による撮影方向において、オブジェクト４０１〜４０５が近づきつつあるか否かを判定する。従って、検出部１１２は、オブジェクト４０１〜４０５のうち、２つのオブジェクトが条件（１）〜（３）を満たすとき、その２つのオブジェクトを、現実空間２００において近づきつつあるオブジェクト同士として検出する。
例えば、時刻ｔ＝ｔ１において図３に示す位置にあったオブジェクト４０１が、右に移動し、時刻ｔ＝ｔ２において図６に示す位置に移動したとする。そして、取得部１１１は、時刻ｔ＝ｔ１から所定時間Δｔ経過後の時刻ｔ＝ｔ２において図７Ａに示す右側画像５０２Ｒと、図７Ｂに示す左側画像５０２Ｌと、を含むステレオ画像を取得したとする。そして、検出部１１２は、図７Ａに示すように右側画像５０２Ｒにおける各オブジェクト４０１〜４０５の位置ＰＲ２１〜ＰＲ２５と、図７Ｂに示すように左側画像５０２Ｌにおける各オブジェクト４０１〜４０５の位置ＰＬ２１〜ＰＬ２５と、を特定する。また、検出部１１２は、位置ＰＲ２１〜ＰＲ２５に基づいて、右側画像５０２Ｒにおける各オブジェクト４０１〜４０５間の距離を算出し、位置ＰＬ２１〜ＰＬ２５に基づいて、左側画像５０２Ｌにおける各オブジェクト４０１〜４０５間の距離を算出する。また、検出部１１２は、各オブジェクト４０１〜４０５について、右側画像５０２Ｒの位置ＰＲ２１〜ＰＲ２５と、左側画像５０２Ｌの位置ＰＬ２１〜ＰＬ２５と、の差から、各オブジェクト４０１〜４０５の視差を算出する。そして、検出部１１２は、ｔ＝ｔ２における右側画像５０２Ｒ内のオブジェクト４０１とオブジェクト４０３との間の距離（図７Ａの位置ＰＲ２１と位置ＰＲ２３の間の距離）が、ｔ＝ｔ１における右側画像５０１Ｒ内のオブジェクト４０１とオブジェクト４０３との間の距離（図５Ａの位置ＰＲ１１と位置ＰＲ１３の間の距離）よりも短いと判定し、オブジェクト４０１，４０３が条件（１）を満たすと判定する。また、検出部１１２は、ｔ＝ｔ２における左側画像５０２Ｌ内のオブジェクト４０１とオブジェクト４０３との間の距離（図７Ｂの位置ＰＬ２１と位置ＰＬ２３の間の距離）が、ｔ＝ｔ１における左側画像５０１Ｌ内のオブジェクト４０１とオブジェクト４０３との間の距離（図５Ｂの位置ＰＬ１１と位置ＰＬ１３の間の距離）よりも短いと判定し、オブジェクト４０１，４０３が条件（２）を満たすと判定する。また、検出部１１２は、ｔ＝ｔ２におけるオブジェクト４０１の視差（図７Ａの位置ＰＲ２１と図７Ｂの位置ＰＬ２１の間の距離）と、オブジェクト４０３の視差（図７Ａの位置ＰＲ２３と図７Ｂの位置ＰＬ２３の間の距離）と、の差が、ｔ＝ｔ１におけるオブジェクト４０１の視差（図５Ａの位置ＰＲ１１と図５Ｂの位置ＰＬ１１の間の距離）と、オブジェクト４０３の視差（図５Ａの位置ＰＲ１３と図５Ｂの位置ＰＬ１３の間の距離）と、の差よりも小さいと判定し、オブジェクト４０１，４０３が条件（３）を満たすと判定する。そして、検出部１１２は、オブジェクト４０１，４０３が条件（１）〜（３）を満たすため、オブジェクト４０１，４０３を、現実空間２００において近づきつつあるオブジェクト同士として検出する。
本実施形態において、制御部１０１が、検出部１１２として機能する。
出力部１１３は、検出部１１２により検出されたオブジェクト同士の近づき度に応じた警告を出力する。ここで、近づき度は、オブジェクト同士の近さの度合を表す。
以下、検出部１１２により検出されたオブジェクト同士の近づき度の算出方法の一例を説明する。例えば、出力部１１３は、検出部１１２により検出されたオブジェクト間の右側画像における距離ＤＲ、検出部１１２により検出されたオブジェクト間の左側画像における距離ＤＬ、及び検出部１１２により検出されたオブジェクトの視差の差Ｘを用いて、近づき度Ａは以下の式により算出することができる。
Ａ＝１／（αＤＲ２＋βＤＬ２＋γＸ２）（α、β、γは任意の正の係数）
そして、出力部１１３は、算出した近づき度が所定の閾値よりも大きいとき、検出部１１２により検出されたオブジェクト同士が衝突する可能性があると判定し、警告をディスプレイ１０４に出力する。
以下、出力部１１３による警告の出力例を説明する。図８Ａに出力部１１３が時刻ｔ＝ｔ１においてディスプレイ１０４に表示する画像の一例を示す。本実施形態において、出力部１１３は、センサ部１０５により検知された警告装置１００の向きや操作部１０６により受け付けられたユーザ３００からの入力に応じて、仮想空間における観察位置、観察方向を変化させ、その観察位置から観察方向を見た仮想空間の様子を表す画像を生成し、ディスプレイ１０４に出力する。時刻ｔ＝ｔ１において、検出部１１２は、オブジェクト４０１〜４０５は条件（１）〜（３）を満たしていないと判定し、出力部１１３は、警告を含まない仮想空間の様子を表す画像６０１をディスプレイ１０４に表示する。
図８Ｂに出力部１１３が時刻ｔ＝ｔ２においてディスプレイ１０４に表示する画像の一例を示す。時刻ｔ＝ｔ２において、検出部１１２が、オブジェクト４０１，４０３が条件（１）〜（３）を満たすと判定し、出力部１１３が、オブジェクト４０１，４０３の近づき度が所定の閾値よりも大きいと判定すると、図８Ｂに示すように、オブジェクト４０１またはオブジェクト４０３に対応する位置に警告オブジェクト６１０を含む、仮想空間の様子を表す画像６０２をディスプレイ１０４に表示する。警告オブジェクト６１０は、ユーザ３００にオブジェクト４０１，４０３が衝突する可能性があることを警告するオブジェクトである。図８Ｂに示す例では、警告オブジェクト６１０は、「警告」、「手がカップに衝突するおそれがあります。」というメッセージを含む。出力部１１３は、オブジェクト４０１，４０３の近づき度が所定の閾値以下になるまで、警告オブジェクト６１０を表示し続ける。
本実施形態において、制御部１０１及びディスプレイ１０４が協働して、出力部１１３として機能する。
次に、本発明の実施形態に係る警告装置１００の動作について説明する。図９は、警告装置１００の制御部１０１により実行される警告処理の流れを表すフローチャートである。本処理は、例えば、操作部１０６を介して本処理の開始指示を受け付けたことを契機として開始する。
まず、警告装置１００は、仮想空間内において、観察位置及び観察方向を予め定められた初期状態に設定する（ステップＳ１０１）。
次に、警告装置１００は、仮想空間を初期化する（ステップＳ１０２）。この初期化の際には、警告装置１００は、例えば、仮想空間内に配置されるオブジェクトの位置、形状、向き、外観を取得、設定したり、仮想空間の無限遠方に配置されると想定される背景の画像等を取得、設定する。
次に、警告装置１００は、ステレオカメラ１０７から、ステレオ画像を取得する（ステップＳ１０３）。
警告装置１００は、ステップＳ１０３において取得したステレオ画像に含まれる右側画像に基づいて、右側画像における各オブジェクト４０１〜４０５の位置を特定する（ステップＳ１０４）。
次に、警告装置１００は、ステップＳ１０４において特定した右側画像における各オブジェクト４０１〜４０５の位置に基づいて、右側画像における各オブジェクト間の距離を算出する（ステップＳ１０５）。
また警告装置１００は、ステップＳ１０３において取得したステレオ画像に含まれる左側画像に基づいて、左側画像における各オブジェクト４０１〜４０５の位置を特定する（ステップＳ１０６）。
次に、警告装置１００は、ステップＳ１０６において特定した左側画像における各オブジェクト４０１〜４０５の位置に基づいて、左側画像における各オブジェクト間の距離を算出する（ステップＳ１０７）。
そして、警告装置１００は、ステップＳ１０３において取得したステレオ画像に基づいて、各オブジェクトの視差を算出する（ステップＳ１０８）。
そして、警告装置１００は、ステップＳ１０８において算出した各オブジェクトの視差に基づいて、各オブジェクト間の視差の差を算出する（ステップＳ１０９）。
そして、警告装置１００は、算出した右側画像における各オブジェクト間の距離、左側画像における各オブジェクト間の距離、及び各オブジェクト間の視差の差と、前回算出した右側画像における各オブジェクト間の距離、左側画像における各オブジェクト間の距離、及び各オブジェクト間の視差の差と、を比較し、条件（１）〜（３）を満たすオブジェクト同士が存在するか、すなわち、近づきつつあるオブジェクト同士が存在するか否かを判定する（ステップＳ１１０）。
そして、警告装置１００は、近づきつつあるオブジェクト同士が存在すると判定したとき（ステップＳ１１０；Ｙｅｓ）、近づき度を算出し、近づき度が所定の閾値よりも大きいか否かを判定する（ステップＳ１１１）。
警告装置１００は、近づきつつあるオブジェクト同士が存在しないと判定したとき（ステップＳ１１０；Ｎｏ）、または、近づき度が所定の閾値以下であると判定したとき（ステップＳ１１１；Ｎｏ）、現在の観察位置から観察方向に仮想空間を観察した様子を表す画像を生成する（ステップＳ１１２）。そして、警告装置１００は、ステップＳ１１４に処理を進める。
警告装置１００は、近づき度が所定の閾値よりも大きいと判定したとき（ステップＳ１１１；Ｙｅｓ）、近づきつつあるオブジェクト同士が存在する位置と対応する位置に警告オブジェクトを含む、現在の観察位置から観察方向に仮想空間を観察した様子を表す画像を生成する（ステップＳ１１３）。
この後、警告装置１００は、ディスプレイ１０４の垂直同期割込が生じるまで待機してから（ステップＳ１１４）、生成された画像をディスプレイ１０４に転送して表示する（ステップＳ１１５）。
そして、警告装置１００は、仮想空間の状態を更新する（ステップＳ１１６）。例えば、仮想空間が時間の経過に応じて変化するコンピュータグラフィックスにより構成される場合には、仮想空間内のオブジェクトの位置や向きを、当該オブジェクトに設定された速度、加速度、角速度、角加速度等により更新する物理シミュレーションを行ったり、予め定められた条件に基づいてオブジェクトを変形させる。
そして、警告装置１００は、ステップＳ１０３の処理に戻る。警告装置１００は、例えば操作部１０６を介して本処理の終了指示を受け付けるまで、繰り返し上記の処理を実行する。なおステップＳ１１４において待機することから、この処理の繰り返し周期は、垂直同期周期となる。
以上説明したように、本発明の実施形態に係る警告装置１００は、ステレオカメラ１０７によりオブジェクト群４００を撮像した画像群に基づいて、複数のオブジェクト４０１〜４０５が撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する。そして、警告装置１００は、検出されたオブジェクト同士の近づき度に応じた警告を出力する。そのため、警告装置１００は、衝突する可能性があるオブジェクトを検出してユーザに警告することができる。
また、本発明の実施形態に係る警告装置１００は、ステレオカメラ１０７により撮像された画像群に基づいて、右側画像における各オブジェクト４０１〜４０５間の距離、左側画像における各オブジェクト４０１〜４０５間の距離、及びオブジェクト４０１〜４０５間の視差の差を、時系列で比較し、オブジェクト同士が近づきつつあるか否かを判定する。そのため、ステレオカメラ１０７により撮像された画像から、３次元画像を生成して各オブジェクト４０１〜４０５の現実空間における位置や姿勢を特定することにより、衝突するか否かを判定する場合よりも、高速に処理することができる。
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。即ち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
例えば、上記の実施形態では、警告装置１００が、近づきつつある全てのオブジェクト同士について、近づき度に応じて警告を出力する例について説明した。しかし、警告装置１００は、近づきつつある全てのオブジェクト同士について警告を出力しなくてもよい。例えば、ユーザ３００の右手と左手が近づいている場合は、衝突しても危険はないため、警告装置１００は警告しなくてもよい。以下、変形例として、警告が不要なオブジェクト以外のオブジェクトについて近づきつつあるか否かを判定する方法の一例について説明する。
まず、検出部１１２は、上記実施形態と同様にステレオカメラ１０７により撮像された画像群に基づいて、複数のオブジェクト４０１〜４０５が撮像された位置および視差により、相対的な位置関係を維持している維持オブジェクト群を抽出する。
例えば、検出部１１２は、上記実施形態と同様に、ステレオ画像内におけるオブジェクト４０１〜４０５の位置を特定する。また、検出部１１２は、ステレオ画像に含まれる右側画像及び左側画像に基づいて、オブジェクト４０１〜４０５それぞれの視差を算出する。そして、検出部１１２は、各オブジェクト４０１〜４０５について、直近の所定期間において視差が最も小さいオブジェクト４０５を、相対的な位置関係を規定するための基準となるオブジェクトとして特定する。すなわち、図３及び図６に示すように、オブジェクト４０５は、オブジェクト４０１〜４０５のうちで、警告装置１００から最も遠いため、他のオブジェクト４０１〜４０５よりも視差が小さい。従って、オブジェクト４０５を基準とする各オブジェクト４０１〜４０４の位置を、各オブジェクト４０１〜４０５の相対的な位置関係として特定することができる。
そして、検出部１１２は、各オブジェクト４０１〜４０５について、直近の所定期間において相対的な位置関係の時間変化が所定の閾値よりも小さいオブジェクトを、維持オブジェクト群に含まれるオブジェクトの１つとして抽出する。例えば、直近の所定期間において、図６に示すように、オブジェクト４０１が移動した場合、オブジェクト４０２〜４０５は、静止状態であり、相対的な位置関係の時間変化が所定の閾値よりも小さいと判定され、維持オブジェクト群に含まれる。一方、オブジェクト４０１は、移動したため、相対的な位置関係の時間変化が所定の閾値よりも大きいと判定され、維持オブジェクト群に含まれない。
そして、検出部１１２は、取得された画像群において、抽出された維持オブジェクト群に含まれない前方オブジェクトに隠される後方オブジェクトが、抽出された維持オブジェクト群に含まれる場合、相対的な位置関係により、後方オブジェクトと前方オブジェクトと、が近づきつつあるか否かを判定する。
例えば、検出部１１２は、直近の所定期間の画像群において、抽出された維持オブジェクト群に含まれないオブジェクト４０１が、維持オブジェクト群に含まれるオブジェクト４０２〜４０５のいずれかを隠しているか否かを判定する。あるオブジェクトが、他のオブジェクトを隠しているか否かは、例えば、予めＲＯＭ１０２に記録された各オブジェクト４０１〜４０５のパターンと画像群とを比較し、あるオブジェクトと他のオブジェクトの画像内における位置が所定の基準で近く、かつ他のオブジェクトが表れる画像内の領域がパターンと比較して一部欠けている場合、あるオブジェクトが他のオブジェクトを隠していると判定することができる。検出部１１２は、オブジェクト４０１がオブジェクト４０３を隠していると判定すると、オブジェクト４０１とオブジェクト４０３とが近づきつつあるか否かを、上記の実施形態と同様に条件（１）〜（３）を満たすか否かに基づいて判定する。
また、例えば、時刻ｔ＝ｔ３において、図１０に示すように、オブジェクト４０１，４０２が移動し、図１１Ａ，１１Ｂに示すような右側画像５０３Ｒ及び左側画像５０３Ｌを含むステレオ画像が取得されたとする。このとき、検出部１１２は、図１１Ａに示すように右側画像５０３Ｒにおける各オブジェクト４０１〜４０５の位置ＰＲ３１〜ＰＲ３５と、図１１Ｂに示すように左側画像５０３Ｌにおける各オブジェクト４０１〜４０５の位置ＰＬ３１〜ＰＬ３５と、を特定する。この場合、時刻ｔ＝ｔ３を含む直近の所定期間において、オブジェクト４０３〜４０５は、静止状態であり、相対的な位置関係の時間変化が所定の閾値よりも小さいと判定され、維持オブジェクト群に含まれる。一方、オブジェクト４０１，４０２は、移動したため、相対的な位置関係の時間変化が所定の閾値よりも大きいと判定され、維持オブジェクト群に含まれない。従って、オブジェクト４０１がオブジェクト４０２を隠す場合、またはオブジェクト４０２がオブジェクト４０１を隠す場合であっても、オブジェクト４０１，４０２は維持オブジェクトに含まれないため、近づきつつあるか否かを判定する対象にはならない。そのため、オブジェクト４０１，４０２が近づいても、警告は出力されない。
また、上記の実施形態では、出力部１１３は、検出部１１２により検出されたオブジェクト間の右側画像における距離、検出部１１２により検出されたオブジェクト間の左側画像における距離、及び検出部１１２により検出されたオブジェクトの視差の差を用いて、近づき度を算出する例について説明した。しかし、近づき度の算出方法は、これに限られない。例えば、出力部１１３は、直近の所定期間の画像群に基づいて、検出部１１２により検出されたオブジェクト間の右側画像における距離が短くなる速さ、検出部１１２により検出されたオブジェクト間の左側画像における距離が短くなる早さ、検出部１１２により検出されたオブジェクトの視差の差が小さくなる速さを算出し、これらに基づいて、近づき度を算出してもよい。また、これらの早さと、上記実施形態の距離及び視差の差と、の両方に基づいて近づき度を算出してもよい。
また、上記の実施形態では、出力部１１３は、算出した近づき度が所定の閾値よりも大きいとき、検出部１１２により検出されたオブジェクト同士が衝突する可能性があると判定し、警告をディスプレイ１０４に出力する例について説明した。しかし、出力部１１３による近づき度に応じた警告の態様はこれに限られない。例えば、出力部１１３は、近づき度が大きいほど、警告オブジェクトを強調するように表示してもよい。また、図１２に示すように、近づきつつあるオブジェクト同士の輪郭を表す警告オブジェクト６１１を、仮想空間の様子を表す画像と重ねて出力してもよい。検出部１１２は、例えば、取得部１１１により取得されたステレオ画像から予め記憶された肌色の領域と、カップの色の領域とを抽出し、それらの領域に対応するオブジェクトを近づきつつあるオブジェクト同士として検出する。そして、出力部１１３は、肌色の領域と、カップの色の領域との輪郭をそれぞれ抽出し、抽出した輪郭を仮想空間にマッチした色や、破線などに加工して警告オブジェクトとしてディスプレイ１０４に出力する。これにより、警告装置１００は、ユーザの仮想空間への没入感を損なうことなく、現実空間におけるオブジェクトの衝突を警告することができる。そして、ユーザは、警告装置１００としてのヘッドマウントディスプレイを装着したまま、現実空間におけるオブジェクトの衝突を認識することができる。
また、出力部１１３が警告オブジェクトを表示する位置は、近づきつつあるオブジェクト同士の位置に対応する位置に限られず、例えば、ディスプレイ１０４の中央付近に警告オブジェクトを表示してもよい。また、出力部１１３は、ディスプレイ１０４への警告オブジェクトの表示に限られず、警告音を図示しないスピーカーに出力することにより、警告を出力してもよい。
なお、本発明に係る機能を実現するための構成を予め備えた警告装置１００として提供できることはもとより、プログラムの適用により、既存のパーソナルコンピュータや情報端末機器等を、本発明に係る警告装置１００として機能させることもできる。即ち、上記実施形態で例示した警告装置１００による各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器を制御するＣＰＵ等が実行できるように、既存のパーソナルコンピュータや情報端末機器に適用することで、そのパーソナルコンピュータや情報端末機器を本発明に係る警告装置１００として機能させることができる。また、本発明に係る表示方法は、警告装置１００を用いて実施できる。
また、このようなプログラムは、上記に限られず、任意の方法で適用可能である。プログラムを、例えば、コンピュータが読取可能な記録媒体［ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）等］に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
本発明によれば、オブジェクト同士の衝突を事前に警告する警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することができる。
１００ 警告装置
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ディスプレイ
１０５ センサ部
１０６ 操作部
１０７ ステレオカメラ
１０７ａ 右側カメラ
１０７ｂ 左側カメラ
１０８ バス
１１１ 取得部
１１２ 検出部
１１３ 出力部
２００ 現実空間
３００ ユーザ
４００ オブジェクト群
４０１〜４０５ オブジェクト
５０１Ｒ〜５０３Ｒ 右側画像
５０１Ｌ〜５０３Ｌ 左側画像
６０１〜６０３ 画像
６１０，６１１ 警告オブジェクト

Claims (9)

  1. ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部と、
    前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部と、
    前記検出されたオブジェクト同士に係る警告を出力する出力部と、
    を備える警告装置。
  2. 前記検出部は、
    前記複数のオブジェクトが撮像された位置および視差により、相対的な位置関係を維持している維持オブジェクト群を抽出し、
    前記取得された画像群において、前記抽出された維持オブジェクト群に含まれない前方オブジェクトに隠される後方オブジェクトが、前記抽出された維持オブジェクト群に含まれる場合、前記相対的な位置関係により、前記後方オブジェクトと、前記前方オブジェクトと、が近づきつつあるか否かを判定する、
    請求項１に記載の警告装置。
  3. 前記取得部は、前記ステレオカメラにより所定時間毎に撮像されたステレオ画像を含む前記画像群を取得し、
    前記検出部は、
    前記取得された画像群に含まれる前記ステレオ画像のそれぞれについて、前記ステレオ画像内における前記複数のオブジェクト間の距離と、前記複数のオブジェクトのそれぞれの視差と、を算出し、
    前記算出した距離及び視差の時間変化に基づいて、近づきつつあるオブジェクト同士を検出する、
    請求項１に記載の警告装置。
  4. 前記出力部は、前記検出されたオブジェクト同士の輪郭を表す警告オブジェクトを表示部に出力する、
    請求項１に記載の警告装置。
  5. 前記出力部は、前記検出されたオブジェクト同士の近さの度合いを表す近づき度に応じた警告を出力する、
    請求項１に記載の警告装置。
  6. ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部と、
    前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部と、
    を備える検出装置。
  7. 警告装置が実行する警告方法であって、
    ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得ステップと、
    前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出ステップと、
    前記検出されたオブジェクト同士に係る警告を出力する出力ステップと、
    を備えることを特徴とする警告方法。
  8. コンピュータを、
    ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部、
    前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部、
    前記検出されたオブジェクト同士に係る警告を出力する出力部、
    として機能させることを特徴とするプログラム。
  9. コンピュータを、
    ステレオカメラにより、外部の複数のオブジェクトからなるオブジェクト群を撮像した画像群を取得する取得部、
    前記取得された画像群に基づいて、前記複数のオブジェクトが撮像された位置及び視差により、近づきつつあるオブジェクト同士を検出する検出部、
    前記検出されたオブジェクト同士に係る警告を出力する出力部、
    として機能させることを特徴とするプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体。
JP2019534910A 2018-08-01 2018-08-01 警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Active JP6572406B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028875 WO2020026381A1 (ja) 2018-08-01 2018-08-01 警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Publications (2)

Publication Number Publication Date
JP6572406B1 true JP6572406B1 (ja) 2019-09-11
JPWO2020026381A1 JPWO2020026381A1 (ja) 2020-08-06

Family

ID=67909581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534910A Active JP6572406B1 (ja) 2018-08-01 2018-08-01 警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Country Status (4)

Country Link
US (1) US11205076B2 (ja)
EP (1) EP3671640B1 (ja)
JP (1) JP6572406B1 (ja)
WO (1) WO2020026381A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061075A (ja) * 2001-08-09 2003-02-28 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡方法および侵入者監視システム
JP2015114933A (ja) * 2013-12-13 2015-06-22 国立大学法人 東京大学 物体認識装置、ロボット及び物体認識方法
WO2016092650A1 (ja) * 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP2013145525A (ja) 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
CN104584097B (zh) * 2012-08-09 2017-04-05 丰田自动车株式会社 物体检测装置和驾驶辅助装置
KR102483838B1 (ko) * 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061075A (ja) * 2001-08-09 2003-02-28 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡方法および侵入者監視システム
JP2015114933A (ja) * 2013-12-13 2015-06-22 国立大学法人 東京大学 物体認識装置、ロボット及び物体認識方法
WO2016092650A1 (ja) * 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
WO2020026381A1 (ja) 2020-02-06
JPWO2020026381A1 (ja) 2020-08-06
US11205076B2 (en) 2021-12-21
US20210133446A1 (en) 2021-05-06
EP3671640B1 (en) 2023-05-10
EP3671640A4 (en) 2020-09-16
EP3671640A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10453235B2 (en) Image processing apparatus displaying image of virtual object and method of displaying the same
US10001844B2 (en) Information processing apparatus information processing method and storage medium
US9767611B2 (en) Information processing apparatus and method for estimating depth values using an approximate plane
US10855925B2 (en) Information processing device, information processing method, and program
US11508150B2 (en) Image processing apparatus and method of controlling the same
US10366539B2 (en) Information processing apparatus, information processing method, and storage medium for reporting based on elapse time and positional relationships between 3-D objects
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
WO2020054760A1 (ja) 画像表示制御装置および画像表示制御用プログラム
US10573083B2 (en) Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system
US20230083677A1 (en) Information processing apparatus, information processing method, and storage medium
US11275434B2 (en) Information processing apparatus, information processing method, and storage medium
JP6723743B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5111934B2 (ja) 監視装置
US11416975B2 (en) Information processing apparatus
JP6572406B1 (ja) 警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11589001B2 (en) Information processing apparatus, information processing method, and program
US20190318503A1 (en) Non-transitory computer-readable storage medium, display apparatus, head-mounted display apparatus, and marker
US10762715B2 (en) Information processing apparatus
US20230021861A1 (en) Information processing system and non-transitory computer readable medium
JP2019200718A (ja) 監視装置、監視方法及びプログラム
US20210281966A1 (en) Information processing apparatus, program, and information processing method
JP5950806B2 (ja) 入力装置、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190625

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190625

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190809

R150 Certificate of patent or registration of utility model

Ref document number: 6572406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250