JP5538483B2 - 映像処理装置、映像処理方法、および映像処理システム - Google Patents

映像処理装置、映像処理方法、および映像処理システム Download PDF

Info

Publication number
JP5538483B2
JP5538483B2 JP2012147342A JP2012147342A JP5538483B2 JP 5538483 B2 JP5538483 B2 JP 5538483B2 JP 2012147342 A JP2012147342 A JP 2012147342A JP 2012147342 A JP2012147342 A JP 2012147342A JP 5538483 B2 JP5538483 B2 JP 5538483B2
Authority
JP
Japan
Prior art keywords
image
image sensor
marker
video
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012147342A
Other languages
English (en)
Other versions
JP2014011655A (ja
Inventor
洋一 西牧
良徳 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2012147342A priority Critical patent/JP5538483B2/ja
Priority to US13/798,519 priority patent/US8912980B2/en
Priority to CN201310149276.1A priority patent/CN103513421B/zh
Priority to CN201610670008.8A priority patent/CN106023241B/zh
Publication of JP2014011655A publication Critical patent/JP2014011655A/ja
Application granted granted Critical
Publication of JP5538483B2 publication Critical patent/JP5538483B2/ja
Priority to US14/542,921 priority patent/US9123158B2/en
Priority to US14/804,870 priority patent/US9311754B2/en
Priority to US15/061,163 priority patent/US9684173B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Description

本発明は、映像処理装置、映像処理方法、および映像処理システムに関する。
近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display; 以下「ＨＭＤ」と記載する。）が普及してきている。このようなＨＭＤの中には、ホログラフィック素子やハーフミラー等を用いて、立体映像をユーザに提示しつつ、かつユーザがＨＭＤの外の様子をシースルーで見ることができる光学透過型ＨＭＤも開発されている。
一方、カメラ等の撮像素子で撮像した実世界の映像にＣＧ（Computer Graphics）等の映像を付加した映像を生成し、ユーザに提示する実世界の映像の一部に修正を加えるＡＲ（Augmented Reality）技術も実用段階に入りつつある。ＡＲ技術では、バーコード等の識別可能な特定の情報（以下、「マーカ」という。）を認識し、その情報に紐付けて画像を生成する場合もある。
光学透過型ＨＭＤに撮像素子を取り付ければ、ユーザの視界に映るマーカを撮像できる。そのマーカに紐付けてＡＲイメージを生成し、ＨＭＤに提示することもできる。しかしながら、光学透過型ＨＭＤに取り付けられた撮像素子は、ユーザの頭の動きと連動してその画角が変動する。このため、例えばユーザがマーカを所持して動かすような場合などにおいて、撮像素子の視野にマーカが入りにくくなる場合があり、マーカの位置をより精度よく特定することが望まれている。
本発明はこうした課題に鑑みてなされたものであり、その目的は、位置を識別可能な特定の情報の位置特定の精度を向上する技術を提供することにある。
上記課題を解決するために、本発明のある態様は映像処理装置である。この装置は、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得する映像取得部と、前記映像取得部が取得した前記第１撮像素子が撮像する映像に含まれるマーカを検出するマーカ検出部とを含む。ここで前記映像取得部は、第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像も取得し、前記マーカ検出部は、前記第１撮像素子が撮像する映像に前記マーカが撮像されていない場合、前記第２撮像素子が撮像する映像中の前記マーカを検出する。
本発明の別の態様は、映像処理方法である。この方法は、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得するステップと、前記第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像を取得するステップと、前記第１撮像素子が撮像する映像または前記第２撮像素子の少なくともいずれか一方が撮像する映像に含まれるマーカを検出するステップとをプロセッサに実行させる。
本発明のさらに別の態様は、映像処理システムである。このシステムは、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、前記光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する、前記光学透過型ＨＭＤに備えられた第１撮像素子と、第１撮像素子の画角と少なくとも一部を共有する画角を持つ第２撮像素子と、前記第１撮像素子と前記第２撮像素子との少なくともいずれか一方が撮像する被写体をマーカとして、前記光学透過型ＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成する映像生成部とを含む。
本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。
このプログラムは、ビデオやオーディオのデコーダ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、位置を識別可能な特定の情報の位置特定の精度を向上する技術を提供することができる。
実施の形態に係る立体映像観察デバイスの外観の一例を模式的に示す図である。 実施の形態に係る映像提示システムの全体構成を模式的に示す図である。 実施の形態に係る映像処理装置の内部構成を模式的に示す図である。 実施の形態に係るマーカとＡＲイメージとの一例を示す図である。 図５（ａ）−（ｂ）は、第１撮像素子の画角とマーカとの位置関係、およびそのときの光学透過型ＨＭＤの映像を例示する図である。 第１撮像素子の画角と第２撮像素子の画角との関係を例示する図である。 実施の形態に係る立体映像観察デバイスを２台使用する場合の利用シーンを例示する図である。 実施の形態に係る映像処理装置における映像処理の流れを示すフローチャートである。
図１は、実施の形態に係る立体映像観察デバイス２００の外観の一例を模式的に示す図である。立体映像観察デバイス２００は、立体映像を提示する提示部２０２、第１撮像素子２０４、および種々のモジュールを収納する筐体２０６を含む。なお、図示はしないが、立体映像観察デバイス２００は音声を出力するためのイヤホンを備えている。
提示部２０２は、ユーザの目に立体映像を提示する光学透過型ＨＭＤと、光学透過型ＨＭＤを透過する外界の光の透過率を変更する液晶シャッタとを含む。第１撮像素子２０４は、立体映像観察デバイス２００を装着するユーザの視野を含む領域にある被写体を撮像する。このため、第１撮像素子２０４は、立体映像観察デバイス２００をユーザが装着したとき、ユーザの眉間のあたりに配置されるように設置されている。第１撮像素子２０４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。
筐体２０６は、めがね形状の立体映像観察デバイス２００におけるフレームの役割を果たすとともに、立体映像観察デバイス２００が利用する様々なモジュール（図示せず）を収納する。立体映像観察デバイス２００が利用するモジュールとは、光学透過型ＨＭＤを実現するためのホログラム導光板を含む光学エンジン、液晶シャッタを駆動するためのドライバや同期信号受信部、その他Ｗｉ−Ｆｉ（登録商標）モジュール等の通信モジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、３Ｇ（3rd. Generation）モジュール、および照度センサ等である。これらのモジュールは例示であり、また立体映像観察デバイス２００はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、立体映像観察デバイス２００が想定する利用シーンに応じて決定すればよい。
図１は、めがね型の立体映像観察デバイス２００を例示する図である。立体映像観察デバイス２００の形状は、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられるが、いずれの形状の立体映像観察デバイス２００も本発明の実施の形態に含まれることは、当業者であれば容易に理解されよう。
図２は、実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００は、立体映像観察デバイス２００、モニタ３００、第２撮像素子３０２、および情報処理装置４００を含む。
モニタ３００は、コンテンツの再生画面の少なくとも一部を再生する。モニタ３００は一般的なテレビモニタを用いて実現できるが、フレームシーケンシャル方式で立体映像を表示する３次元モニタであることが好ましく、以下本明細書においては、モニタ３００は３次元モニタであることを前提とする。なお、３次元モニタは、２次元画像を表示する一般的なテレビモニタの機能も合わせ持つ。
人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。モニタ３００は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する。モニタ３００は、液晶テレビやプラズマディスプレイ、有機ＥＬモニタ等の既知の提示デバイスを用いて実現できる。
第２撮像素子３０２は、モニタ３００の全面中央部に設置され、モニタと正対する方向を撮像する。なお、第２撮像素子３０２はモニタ３００に組み込まれていてもよいし、モニタ３００の全面に据え置かれていてもよい。第２撮像素子３０２の詳細は後述する。
立体映像観察デバイス２００は、光学透過型ＨＭＤである。上述したとおり、立体映像観察デバイス２００は、モニタ３００を観察するための光学シャッタ（図示せず）を備える。光学シャッタはモニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。光学シャッタは、例えば既知の液晶シャッタを用いて実現できる。
液晶シャッタ２１０は、モニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。
立体映像観察デバイス２００は、シャッタ切替のための同期信号を受信する。同期信号は、モニタ３００または情報処理装置４００に設けられた図示しない信号送信部から、例えば赤外光等を用いて無線で伝達される。
情報処理装置４００は、映像提示システム１００で提示するための立体映像や上述した同期信号を取得する。情報処理装置４００の例としては、例えば据置型のゲーム機や携帯ゲーム機等である。情報処理装置４００は内蔵するプロセッサを用いて立体映像や同期信号を生成したり、図示しないネットワークインタフェースを介して、サーバ等の他の情報処理装置から立体映像を取得したりする。
図３は、実施の形態に係る映像処理装置５００の内部構成を模式的に示す図である。実施の形態に係る映像処理装置５００は、上述した情報処理装置４００の一部として実現される。あるいは、インターネット等のネットワークを介して情報処理装置４００に送信するための立体映像を生成するサーバ内に実現されてもよいし、立体映像観察デバイス２００やモニタ３００に内蔵されてもよい。あるいはさらに、映像処理装置５００は独立したひとつの装置であってもよい。以下では、実施の形態に係る映像処理装置５００は、上述した情報処理装置４００の一部として実現されることを前提に説明する。
映像取得部５０２は、立体映像観察デバイス２００を装着するユーザの視野を含む領域を撮像する第１撮像素子２０４が撮像する映像を取得する。マーカ検出部５０４は、映像取得部５０２が取得した、第１撮像素子２０４が撮像する映像に含まれるマーカを検出する。映像生成部５０６は、マーカ検出部５０４が検出したマーカに紐付けて、立体映像観察デバイス２００中の光学透過型ＨＭＤに提示させるＡＲイメージを生成する。映像生成部５０６は生成したＡＲイメージを立体映像観察デバイス２００に送信し、光学透過型ＨＭＤはＡＲイメージを表示する。
ここで「マーカ」とは、映像生成部５０６が利用する情報であって、仮想的な３次元空間に生成する画像の位置および向きを特定できる情報である。また「ＡＲイメージ」とは、例えばマーカと関連づけて映像生成部５０６が生成する画像であり、そのマーカの位置および向きの変化に連動して位置および向きを変化させる画像である。
図４は、実施の形態に係るマーカとＡＲイメージとの一例を示す図である。図４は、ユーザの腕７０２が握っている棒状の握り部および球状の物体からなるマーカの一例を図示している。図４に示す例では、マーカ７１０は実在する物体である。第１撮像素子２０４は、ユーザの視野を含む領域中に存在するマーカ７１０を流し撮りして、映像取得部５０２に送信する。マーカ検出部５０４は、映像取得部５０２が取得した映像からマーカ７１０の位置および向きを特定し、仮想的な３次元空間の対応する位置にマーカ７１０に関連づけてＡＲイメージ７１２を生成する。図４に示す例では、ＡＲイメージ７１２は炎を表現するオブジェクトである。
映像生成部５０６は、ＡＲイメージ７１２を関連づけるマーカ７１０の位置を原点として設定された座標系７１４にしたがって、ＡＲイメージ７１２を生成する。このため、ユーザがマーカ７１０の位置および向きを変更すると、ＡＲイメージ７１２が基準とする座標系７１４も変更される。座標系７１４が変更されると、それに伴ってＡＲイメージ７１２の位置および向きも変更される。なお、ＡＲイメージ７１２が基準とする座標系７１４の原点は、必ずしも関連するマーカと重なる位置になくてもよいが、いずれにしても、マーカと、マーカに関連づけて生成されるＡＲイメージとは、３次元空間上の異なる位置座標に存在する。このため、例えばユーザの視線がマーカ７１０からはずれ、第１撮像素子２０４の画角からマーカ７１０がはずれるが、マーカ７１０に関連づけられたＡＲイメージ７１２は立体映像観察デバイス２００の光学透過型ＨＭＤの表示領域に留まるという状態も起こり得る。
図５（ａ）−（ｂ）は、第１撮像素子２０４の画角とマーカ７１０との位置関係、およびそのときの光学透過型ＨＭＤの映像２０８を例示する図である。
図５（ａ）は、第１撮像素子２０４の画角にマーカ７１０が含まれる場合を示す図である。第１撮像素子２０４の画角にマーカ７１０が含まれるため、マーカ検出部５０４は、映像取得部５０２が取得した映像中においてマーカ７１０を検出することができる。このため、光学透過型ＨＭＤの映像２０８中に、第１撮像素子２０４が撮像しているマーカ７１０と、マーカ７１０に紐付けて映像生成部５０６が生成したＡＲイメージ７１２とが表示される。
図５（ｂ）は、第１撮像素子２０４の画角からマーカ７１０がはずれている場合を示す図である。第１撮像素子２０４の画角にマーカ７１０が含まれないため、マーカ検出部５０４は、映像取得部５０２が映像取得部得した映像中においてマーカ７１０を検出することができない。図５（ｂ）においては、光学透過型ＨＭＤの映像２０８中におけるＡＲイメージ７１２と、ＡＲイメージ７１２を紐付けるマーカ７１０とを破線で図示しているが、映像生成部５０６は、マーカ検出部５０４がマーカ７１０を検出できないため、ＡＲイメージ７１２を生成することができす、光学透過型ＨＭＤの映像２０８にはＡＲイメージ７１２が表示されないことになる。
ユーザの視線、すなわち第１撮像素子２０４の撮像方向が図５（ａ）に示す位置から図５（ｂ）示す位置に至るまで移動すると、その途中でマーカ７１０が第１撮像素子２０４の画角からはずれる。このとき、ユーザにとっては光学透過型ＨＭＤの映像２０８から突然ＡＲイメージ７１２が消失するように見えるため、ユーザに違和感を与えかねない。この違和感は、例えば映像生成部５０６またはマーカ検出部５０４が第１撮像素子２０４の画角からはずれた後もマーカ７１０の位置を推定し、その推定位置に基づいて映像生成部５０６がＡＲイメージ７１２を生成することで緩和できるが、ＡＲイメージ７１２を生成すべき位置の精度が落ちる可能性がある。
そこで映像取得部５０２は、第１撮像素子２０４の画角と少なくとも一部が重なる画角を持つ第２撮像素子３０２が撮像する映像も取得する。マーカ検出部５０４は、第１撮像素子２０４が撮像する映像または第２撮像素子３０２の少なくともいずれか一方が撮像する映像に含まれるマーカを検出する。より具体的には、マーカ検出部５０４は、第１撮像素子２０４が撮像する映像にマーカが撮像されていない場合、第２撮像素子３０２が撮像する映像中のマーカを検出する。
図５（ａ）−（ｂ）に示す例では、モニタ３００の手前に第２撮像素子３０２が設置されている。図５（ｂ）に示す例のように、第１撮像素子２０４の画角からマーカ７１０がはずれたとしても、第２撮像素子３０２の画角にマーカ７１０が含まれていれば、マーカ検出部５０４はマーカ７１０を検出することができる。これにより、映像生成部５０６は、光学透過型ＨＭＤの映像２０８中にＡＲイメージ７１２またはその一部を表示することが可能となる。
図６は、第１撮像素子２０４の画角と第２撮像素子３０２の画角との関係を例示する図である。図６において、符号２１０ａおよび符号２１０ｂで示されるふたつの線分に挟まれた領域が第１撮像素子２０４の画角を表す。また、符号３０４ａおよび符号３０４ｂで示されるふたつの線分に挟まれた領域が第２撮像素子３０２の画角を表す。また、図６において符号２０８で表される線分は、光学透過型ＨＭＤの映像２０８が提示される領域である。
図６には、第１マーカ７１０ａと第２マーカ７１０ｂとのふたつのマーカが図示されている。ここで第１マーカ７１０ａのうち少なくとも球状の物体については、第１撮像素子２０４の画角と第２撮像素子３０２の画角との両方に含まれている。一方、第２マーカ７１０ｂは、第１撮像素子２０４の画角には含まれず、第２撮像素子３０２の画角にのみ含まれる。
第２マーカ７１０ｂに紐付けて映像生成部５０６によって生成されるＡＲイメージが光学透過型ＨＭＤの映像２０８中に含まれる場合、映像生成部５０６は、マーカ検出部５０４によって第２撮像素子３０２が撮像した映像から検出された第２マーカ７１０ｂの位置をもとにして、ＡＲイメージを生成する。
これに対して、第１マーカ７１０ａは第１撮像素子２０４の画角と第２撮像素子３０２の画角との両方に含まれる。このため、映像生成部５０６は第１撮像素子２０４の映像中に含まれる第１マーカ７１０ａの情報と、第２撮像素子３０２の映像中に含まれる第１マーカ７１０ａの情報とのふたつの情報を統合することにより、第１マーカ７１０ａの位置精度を向上することができる。
上述したとおり、第１撮像素子２０４はユーザの頭部に装着される立体映像観察デバイス２００に備えられており、ユーザが頭を傾けると、ユーザの頭の動きに連動して第１撮像素子２０４も移動する。このため、例えばユーザが頭を傾けない状態で第１マーカ７１０ａを傾けたときに第１撮像素子２０４が撮像する場合と、ユーザが第１マーカ７１０ａを傾けない状態で頭を傾けたときに第１撮像素子２０４が撮像する場合とでは、撮像される映像は似た映像となる。つまり、第１撮像素子２０４が撮像する映像だけでは、ユーザが頭を傾けているのか、第１マーカ７１０ａが傾いているのかを判別することが難しい。
一方、第２撮像素子３０２はユーザの頭部とは独立して存在しているため、第２撮像素子３０２が撮像した映像を解析すれば、ユーザが頭を傾けているのか、第１マーカ７１０ａが傾いているのかを判断することができる。そこでマーカ検出部５０４は、第１撮像素子２０４が撮像する映像と第２撮像素子３０２が撮像する映像とのいずれにもマーカが撮像されている場合、第２撮像素子３０２が撮像する映像をもとに、マーカの傾きを検出する。映像生成部５０６は、マーカ検出部５０４が検出したマーカの傾きに応じて、そのマーカに紐付けられたＡＲイメージを傾けて生成する。
これにより、例えば第１マーカ７１０ａに紐付けられたＡＲイメージがスープの満たされた皿であるような場合、第１マーカ７１０ａの傾きを正確に判断できるため、映像生成部５０６は、第１マーカ７１０ａの傾きに応じて、皿からスープがこぼれ出す映像を生成することが可能となる。
このように、マーカが第１撮像素子２０４の画角からはずれた場合に、そのマーカを第２撮像素子３０２が撮像できれば、映像生成部５０６はそのマーカに紐付けてＡＲイメージを生成することができる。この意味で、第２撮像素子３０２の画角は、第１撮像素子２０４の画角と少なくとも一部が重なっていればいずれの位置に設置されていてもよい。一方で、図２に示すように実施の形態に係る映像提示システム１００においては、ユーザは立体映像観察デバイス２００中の光学透過型ＨＭＤを通してモニタ３００の映像を観察することが前提となっており、映像生成部５０６が生成する映像の少なくとも一部は、モニタ３００にも表示される。このため、ユーザはモニタ３００を見ている機会が比較的多いと考えられる。
そこで、第２撮像素子３０２は、光学透過型ＨＭＤを装着するユーザがモニタ３００に対して正対したときに、そのユーザに対して正対するように設置されていることが好ましい。具体的には、モニタ３００のフレームの中央上部または下部に取り付けられるか、据え置かれることが好ましい。これにより、ユーザが所持するマーカが第２撮像素子３０２の画角に入る確率を高めることができる。
以上、第２撮像素子３０２が立体映像観察デバイス２００と独立して単独で存在する場合について説明した。第２撮像素子３０２は立体映像観察デバイス２００と独立していることには限られず、例えば第１の立体映像観察デバイス２００ａを装着する第１ユーザとは異なるユーザである、第２ユーザが装着する第２の立体映像観察デバイス２００ｂが備える撮像素子であってもよい。以下、この場合について説明する。
図７は、実施の形態に係る立体映像観察デバイス２００を２台使用する場合の利用シーンを例示する図である。図７に示す例では、第１ユーザ６００ａと第２ユーザ６００ｂとのふたりのユーザが、それぞれ第１の立体映像観察デバイス２００ａと第２の立体映像観察デバイス２００ｂとを装着している。また、第１ユーザ６００ａは第１マーカ７１０ａを所持しており、第２ユーザ６００ｂは第２マーカ７１０ｂを所持している。
第１の立体映像観察デバイス２００ａに備えられた第１撮像素子２０４と、第２の立体映像観察デバイス２００ｂに備えられた第２撮像素子３０２との、少なくともいずれか一方が撮像した映像中に、第１マーカ７１０ａまたは第２マーカ７１０ｂが含まれていることを、マーカ検出部５０４が検出したとする。このとき、映像生成部５０６は、第１マーカ７１０ａに紐付けて、刀身を表す第１のＡＲイメージ７１２ａを生成する。また、映像生成部５０６は、第２マーカ７１０ｂに紐付けて、刀身を表す第２のＡＲイメージ７１２ｂも生成する。このように、図７に示す例では第１ユーザ６００ａと第２ユーザ６００ｂとが、ＡＲイメージで生成された仮想的な刀身を用いてチャンバラゲームをする場合を図示している。
図７に示す例のように、複数のユーザが相互に関わり合いながらゲームが進行するような場合、ユーザは自分が所持するマーカではなく、他のユーザの動向に注目している期間が長くなることが多いと考えられる。例えば図７に示す例では、第１ユーザ６００ａは第２ユーザ６００ｂが操る刀身のＡＲイメージ７１２ｂに注目しつつ、視界の中で自身が操る刀身のＡＲイメージ７１２ａを捉えるが、柄の部分に相当する第１マーカ７１０ａまでは常に見ているとは限らない。一方で、第１ユーザ６００ａが装着している第１の立体映像観察デバイス２００ａに備えられた第１撮像素子２０４の画角には、第２ユーザ６００ｂが所持する第２マーカ７１０ｂが含まれる期間が長くなる。
そこで映像生成部５０６は、第１撮像素子２０４と第２撮像素子３０２との少なくともいずれか一方が撮像する被写体をマーカとして、第１撮像素子２０４を備える第１の立体映像観察デバイス２００ａ中の光学透過型ＨＭＤと、第２撮像素子を備える第２の立体映像観察デバイス２００ｂ中の光学透過型ＨＭＤとのいずれにも提示させるＡＲイメージを生成する。これにより、第１ユーザ６００ａが装着している光学透過型ＨＭＤに提示される第１のＡＲイメージ７１２ａは、第２撮像素子３０２が撮像した映像からマーカ検出部５０４が検出した第１マーカ７１０ａに紐付けて、映像生成部５０６が生成することが可能となる。また映像生成部５０６が生成した第１マーカ７１０ａは第１ユーザ６００ａが装着している光学透過型ＨＭＤと第２ユーザ６００ｂが装着している光学透過型ＨＭＤとの両方に提示されるため、複数のユーザが相互に関わり合いながらゲームが進行することが実現できる。
さらに、例えば第２ユーザ６００ｂの体に遮蔽されることが原因で、第１撮像素子２０４から第２マーカ７１０ｂが撮像できなくなったとしても、第２撮像素子３０２が第２マーカ７１０ｂを撮像していれば、映像生成部５０６は、第２ユーザ６００ｂが操る刀身のＡＲイメージ７１２ｂは第１ユーザの装着する光学透過型ＨＭＤに表示させることができる。
図８は、実施の形態に係る映像処理装置５００における映像処理の流れを示すフローチャートである。本フローチャートにおける処理は、例えば映像処理装置５００の電源が投入されたときに開始する。
映像取得部５０２は、第１撮像素子２０４が流し撮りする映像Ａを取得する（Ｓ２）。映像取得部５０２はまた、第２撮像素子３０２が流し撮りする映像Ｂも取得する（Ｓ４）。
マーカ検出部５０４が、第１撮像素子２０４が流し撮りする映像Ａ中にマーカを検出した場合であって（Ｓ６のＹ）、かつ第２撮像素子３０２が流し撮りする映像Ｂ中にも同じマーカを検出した場合（Ｓ８のＹ）、映像生成部５０６は、映像Ａから検出したマーカの情報と映像Ｂから検出したマーカの情報とを統合してＡＲイメージを生成する（Ｓ１０）。
マーカ検出部５０４が、第１撮像素子２０４が流し撮りする映像Ａ中にマーカを検出した場合であって（Ｓ６のＹ）、かつ第２撮像素子３０２が流し撮りする映像Ｂ中からはそのマーカを検出できない場合（Ｓ８のＮ）、映像生成部５０６は、映像Ａから検出したマーカをもとにＡＲイメージを生成する（Ｓ１２）。
マーカ検出部５０４が、第１撮像素子２０４が流し撮りする映像Ａ中にマーカを検出できない場合であって（Ｓ６のＮ）、かつ第２撮像素子３０２が流し撮りする映像Ｂ中からマーカを検出した場合（Ｓ１４のＹ）、映像生成部５０６は、映像Ｂから検出したマーカをもとにＡＲイメージを生成する（Ｓ１２）。マーカ検出部５０４が、第１撮像素子２０４が流し撮りする映像Ａ中にマーカを検出できない場合であって（Ｓ６のＮ）、かつ第２撮像素子３０２が流し撮りする映像Ｂ中からもマーカを検出できない場合（Ｓ１４のＮ）、映像生成部５０６は特段の処理をしない。
映像生成部５０６がＡＲイメージを生成するか、あるいは映像Ａおよび映像Ｂのいずれからもマーカが検出されない場合、本フローチャートにおける処理は終了する。
以上の構成による映像処理装置５００の利用シーンは以下のとおりである。ユーザが装着している立体映像観察デバイス２００に備えられた第１撮像素子２０４の画角からマーカがはずれても、第１撮像素子２０４の画角の少なくとも一部を共有する第２撮像素子３０２がそのマーカを撮像していれば、マーカ検出部５０４はマーカを検出できる。映像生成部５０６は、マーカ検出部５０４が検出したマーカに紐付けて生成したＡＲイメージを、ユーザが装着している立体映像観察デバイス２００中の光学透過型ＨＭＤに提示する。
以上述べたように、実施の形態に係る映像処理装置５００によれば、位置を識別可能な特定の情報の位置特定の精度を向上する技術を提供することができる。特に、立体映像観察デバイス２００にジャイロセンサ等の傾きを検出するモジュールを搭載しなくても、ユーザが頭を傾けているのか、あるいはマーカが傾いているのかを切り分けることができる。
一般に、ひとたび認識したマーカを追跡するための計算コストと、映像中から新たにマーカを検出するための計算コストとを比較すると、マーカを検出するためのコストの方が大きい。そのため、複数の撮像素子でマーカを撮像することによってマーカを見失う可能性が下がり、マーカの再検出に係る計算コストを抑制することが可能となる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
（第１の変形例）
上記では、第２撮像素子３０２を、第１撮像素子２０４と同様にマーカの撮像に使用する場合について説明した。これに代えて、あるいはこれと加えて、第２撮像素子３０２はユーザの視線を検出することに利用してもよい。具体的には、第２撮像素子３０２がユーザの目を撮像し、映像処理装置５００中の図示しない視線検出部がユーザの視線方向を解析する。これにより、例えばユーザが頭を傾けずに眼球だけを動かして視点を変更した場合であっても、ユーザの視界を特定することが可能となる。
（第２の変形例）
上記では、マーカを撮像する撮像素子がふたつ存在する場合について主に説明したが、撮像素子の数はふたつに限られず、３つ以上あってもよい。撮像素子の数を増やすことで、マーカを見失う可能性を下げ、かつマーカの検出精度を向上することができる。
１００ 映像提示システム、 ２００ 立体映像観察デバイス、 ２０２ 提示部、 ２０４ 第１撮像素子、 ２０６ 筐体、 ２０８ 映像、 ２１０ 液晶シャッタ、 ３００ モニタ、 ３０２ 第２撮像素子、 ４００ 情報処理装置、 ５００ 映像処理装置、 ５０２ 映像取得部、 ５０４ マーカ検出部、 ５０６ 映像生成部、 ６００ａ 第１ユーザ、 ６００ｂ 第２ユーザ、 ７０２ 腕、 ７１０ マーカ、 ７１２ ＡＲイメージ、 ７１４ 座標系。

Claims (9)

  1. 仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得する映像取得部と、
    前記映像取得部が取得した前記第１撮像素子が撮像する映像に含まれるマーカを検出するマーカ検出部とを含み、
    前記映像取得部は、第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像も取得し、
    前記マーカ検出部は、前記第１撮像素子が撮像する映像に前記マーカが撮像されていない場合、前記第２撮像素子が撮像する映像中の前記マーカを検出することを特徴とする映像処理装置。
  2. 前記マーカ検出部が検出したマーカに紐付けて、前記光学透過型ＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成する映像生成部をさらに含むことを特徴とする請求項１に記載の映像処理装置。
  3. 前記マーカ検出部は、前記第１撮像素子が撮像する映像と前記第２撮像素子が撮像する映像とのいずれにも前記マーカが撮像されている場合、前記第２撮像素子が撮像する映像をもとに前記マーカの傾きを検出し、
    前記映像生成部は、前記マーカの傾きに応じて前記ＡＲイメージを傾けて生成することを特徴とする請求項２に記載の映像処理装置。
  4. 前記第２撮像素子は、前記第１撮像素子を備える光学透過型ＨＭＤを装着するユーザとは異なるユーザが装着している、前記光学透過型ＨＭＤとは別の光学透過型ＨＭＤが備える撮像素子であることを特徴とする請求項２または３に記載の映像処理装置。
  5. 前記映像生成部は、前記第１撮像素子と前記第２撮像素子との少なくともいずれか一方が撮像する被写体をマーカとして、前記第１撮像素子を備える光学透過型ＨＭＤと前記第２撮像素子を備える光学透過型ＨＭＤとのいずれにも提示させるＡＲイメージを生成することを特徴とする請求項４に記載の映像処理装置。
  6. 仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得するステップと、
    前記第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像を取得するステップと、
    取得した前記第１撮像素子が撮像する映像に含まれるマーカを検出するステップと、
    前記第１撮像素子が撮像する映像にマーカが撮像されていない場合、前記第２撮像素子が撮像する映像中のマーカを検出するステップと、をプロセッサに実行させることを特徴とする映像処理方法。
  7. 仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得する機能と、
    前記第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像を取得する機能と、
    取得した前記第１撮像素子が撮像する映像に含まれるマーカを検出する機能と、
    前記第１撮像素子が撮像する映像にマーカが撮像されていない場合、前記第２撮像素子が撮像する映像中のマーカを検出する機能とをコンピュータに実現させることを特徴とするプログラム。
  8. 仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、
    前記光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する、前記光学透過型ＨＭＤに備えられた第１撮像素子と、
    第１撮像素子の画角と少なくとも一部を共有する画角を持つ第２撮像素子と、
    前記第１撮像素子と前記第２撮像素子との少なくともいずれか一方が撮像する被写体をマーカとして、前記光学透過型ＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成する映像生成部と、
    前記映像生成部が生成する映像を表示するモニタを含み、
    前記第２撮像素子は、前記光学透過型ＨＭＤを装着するユーザが前記モニタに対して正対したときに、当該ユーザに対して正対するように設置されていることを特徴とする映像処理システム。
  9. 仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、
    前記光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する、前記光学透過型ＨＭＤに備えられた第１撮像素子と、
    第１撮像素子の画角と少なくとも一部を共有する画角を持つ第２撮像素子と、
    前記第１撮像素子が撮像する映像に含まれるマーカを検出し、前記第１撮像素子が撮像する映像にマーカが撮像されていない場合、前記第２撮像素子が撮像する映像中のマーカを検出するマーカ検出部とを含むことを特徴とする映像処理システム。
JP2012147342A 2012-06-29 2012-06-29 映像処理装置、映像処理方法、および映像処理システム Active JP5538483B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2012147342A JP5538483B2 (ja) 2012-06-29 2012-06-29 映像処理装置、映像処理方法、および映像処理システム
US13/798,519 US8912980B2 (en) 2012-06-29 2013-03-13 Image processing device, image processing method, and image processing system
CN201610670008.8A CN106023241B (zh) 2012-06-29 2013-04-26 影像处理装置、影像处理方法及影像处理系统
CN201310149276.1A CN103513421B (zh) 2012-06-29 2013-04-26 影像处理装置、影像处理方法及影像处理系统
US14/542,921 US9123158B2 (en) 2012-06-29 2014-11-17 Image processing device, image processing method, and image processing system
US14/804,870 US9311754B2 (en) 2012-06-29 2015-07-21 Image processing device, image processing method, and image processing system
US15/061,163 US9684173B2 (en) 2012-06-29 2016-03-04 Image processing device, image processing method, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012147342A JP5538483B2 (ja) 2012-06-29 2012-06-29 映像処理装置、映像処理方法、および映像処理システム

Publications (2)

Publication Number Publication Date
JP2014011655A JP2014011655A (ja) 2014-01-20
JP5538483B2 true JP5538483B2 (ja) 2014-07-02

Family

ID=49777575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012147342A Active JP5538483B2 (ja) 2012-06-29 2012-06-29 映像処理装置、映像処理方法、および映像処理システム

Country Status (3)

Country Link
US (4) US8912980B2 (ja)
JP (1) JP5538483B2 (ja)
CN (2) CN103513421B (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5538483B2 (ja) * 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
CN104065859B (zh) * 2014-06-12 2017-06-06 青岛海信电器股份有限公司 一种全景深图像的获取方法及摄像装置
US10719950B2 (en) * 2014-08-05 2020-07-21 Sony Corporation Head mount display (HMD) operated with mobile device for transforming reference coordinate systems for providing screen information
WO2016056680A1 (ko) * 2014-10-06 2016-04-14 엘지전자 주식회사 디지털 이미지 처리 장치 및 제어 방법
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
US10484824B1 (en) 2015-06-26 2019-11-19 Lucasfilm Entertainment Company Ltd. Content presentation and layering across multiple devices
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
CN105242400B (zh) * 2015-07-10 2017-12-29 上海鹰为智能科技有限公司 虚拟现实眼镜
US10511895B2 (en) * 2015-10-09 2019-12-17 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality
US11351472B2 (en) * 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US9846971B2 (en) * 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US11663783B2 (en) 2016-02-10 2023-05-30 Disney Enterprises, Inc. Systems and methods for using augmented reality with the internet of things
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10422976B2 (en) 2016-02-26 2019-09-24 Samsung Electronics Co., Ltd. Aberration corrected optical system for near-eye displays
US10163198B2 (en) 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
US10587834B2 (en) 2016-03-07 2020-03-10 Disney Enterprises, Inc. Systems and methods for tracking objects for augmented reality
CA3069596C (en) * 2016-07-13 2023-10-24 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
GB2555410B (en) * 2016-10-25 2020-11-04 Sony Interactive Entertainment Inc Video content synchronisation method and apparatus
JP2018078475A (ja) * 2016-11-10 2018-05-17 富士通株式会社 制御プログラム、制御方法および制御装置
CN106780757B (zh) * 2016-12-02 2020-05-12 西北大学 一种增强现实的方法
NL2017964B1 (en) * 2016-12-09 2018-06-19 Opticon Sensors Europe B V Device for capturing bar code information
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A2 (en) 2016-12-30 2024-01-03 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10437343B2 (en) 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
WO2018173790A1 (ja) * 2017-03-22 2018-09-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN107157588B (zh) * 2017-05-08 2021-05-18 上海联影医疗科技股份有限公司 影像设备的数据处理方法以及影像设备
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
KR20230152180A (ko) 2017-12-10 2023-11-02 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
US10481680B2 (en) 2018-02-02 2019-11-19 Disney Enterprises, Inc. Systems and methods to provide a shared augmented reality experience
US10961008B2 (en) * 2018-02-02 2021-03-30 Cuong Cao Vessel display
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
JP7137944B2 (ja) * 2018-03-20 2022-09-15 株式会社バンダイナムコエンターテインメント プログラム及びコンピュータシステム
US10546431B2 (en) 2018-03-29 2020-01-28 Disney Enterprises, Inc. Systems and methods to augment an appearance of physical object for an augmented reality experience
CN108616752B (zh) * 2018-04-25 2020-11-06 北京赛博恩福科技有限公司 支持增强现实交互的头戴设备及控制方法
US11454783B2 (en) 2018-04-25 2022-09-27 Samsung Electronics Co., Ltd. Tiled triplet lenses providing a wide field of view
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US10974132B2 (en) 2018-10-02 2021-04-13 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices based on detection of one or more extraterrestrial bodies
CN109873939A (zh) * 2019-02-19 2019-06-11 北京灵优智学科技有限公司 最优角度实现的摄像装置
US11014008B2 (en) 2019-03-27 2021-05-25 Disney Enterprises, Inc. Systems and methods for game profile development based on virtual and/or real activities
US10916061B2 (en) 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) * 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
US10918949B2 (en) 2019-07-01 2021-02-16 Disney Enterprises, Inc. Systems and methods to provide a sports-based interactive experience
US11132051B2 (en) * 2019-07-09 2021-09-28 Disney Enterprises, Inc. Systems and methods to provide an interactive environment in response to touch-based inputs
US11514673B2 (en) * 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US20230004215A1 (en) * 2019-11-29 2023-01-05 Sony Group Corporation Head-mounted display apparatus, image display system, and image display method
US11169600B1 (en) 2019-12-06 2021-11-09 Snap Inc. Virtual object display interface between a wearable device and a mobile device
WO2021158600A1 (en) * 2020-02-04 2021-08-12 Google Llc Systems, devices, and methods for directing and managing image data from a camera in wearable devices
CN111368577B (zh) * 2020-03-28 2023-04-07 吉林农业科技学院 一种图像处理系统
CN116206740B (zh) * 2023-03-07 2023-12-26 上海熙软科技有限公司 基于医院总账的财物数据管理系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
JP4688739B2 (ja) * 2006-05-02 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 情報表示装置
US8781151B2 (en) * 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8218903B2 (en) * 2007-04-24 2012-07-10 Sony Computer Entertainment Inc. 3D object scanning using video camera and TV monitor
JP5111210B2 (ja) * 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
JP5156571B2 (ja) * 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
JP5604909B2 (ja) * 2010-02-26 2014-10-15 セイコーエプソン株式会社 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP5329480B2 (ja) * 2010-05-18 2013-10-30 富士フイルム株式会社 ヘッドマウントディスプレイ装置
JP5613041B2 (ja) * 2010-12-24 2014-10-22 パナソニック株式会社 カメラ装置、画像処理システムおよび画像処理方法
CN102209253A (zh) * 2011-05-12 2011-10-05 深圳Tcl新技术有限公司 立体显示方法及立体显示系统
JP5538483B2 (ja) * 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム

Also Published As

Publication number Publication date
CN103513421B (zh) 2016-09-07
US8912980B2 (en) 2014-12-16
US20160187655A1 (en) 2016-06-30
JP2014011655A (ja) 2014-01-20
CN106023241A (zh) 2016-10-12
US20150070391A1 (en) 2015-03-12
US20150325053A1 (en) 2015-11-12
US9684173B2 (en) 2017-06-20
CN106023241B (zh) 2019-09-17
US20140002329A1 (en) 2014-01-02
CN103513421A (zh) 2014-01-15
US9311754B2 (en) 2016-04-12
US9123158B2 (en) 2015-09-01

Similar Documents

Publication Publication Date Title
JP5538483B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
EP3294428B1 (en) Method for displaying augmented reality with privacy-sensitive consumer cameras coupled to augmented reality systems
JP5483761B2 (ja) 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US20130293447A1 (en) Head-mountable display system
JP6845111B2 (ja) 情報処理装置および画像表示方法
JP2017097122A (ja) 情報処理装置および画像生成方法
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
CN112655202A (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
JP5563625B2 (ja) 画像解析装置、画像解析方法、および画像解析システム
JP2017046065A (ja) 情報処理装置
US11187895B2 (en) Content generation apparatus and method
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016116066A (ja) 表示装置、及び、表示装置の制御方法
GB2558278A (en) Virtual reality
JP2013131884A (ja) 眼鏡
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140415

R150 Certificate of patent or registration of utility model

Ref document number: 5538483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140428

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250