WO2017179432A1 - ３次元的な投影対象のための画像投影方法及び画像投影装置 - Google Patents

３次元的な投影対象のための画像投影方法及び画像投影装置 Download PDF

Info

Publication number
WO2017179432A1
WO2017179432A1 PCT/JP2017/013139 JP2017013139W WO2017179432A1 WO 2017179432 A1 WO2017179432 A1 WO 2017179432A1 JP 2017013139 W JP2017013139 W JP 2017013139W WO 2017179432 A1 WO2017179432 A1 WO 2017179432A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
dimensional
projection device
dimensional model
Prior art date
Application number
PCT/JP2017/013139
Other languages
English (en)
French (fr)
Inventor
中村　秀幸
渕上　竜司
郁雄 渕上
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US16/088,723 priority Critical patent/US10909748B2/en
Publication of WO2017179432A1 publication Critical patent/WO2017179432A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present disclosure relates to an image projection method and an image projection apparatus for projecting projection content onto a three-dimensional projection target.
  • Projection mapping is known as a technique for projecting video content onto a three-dimensional projection target such as a building.
  • this technique it is necessary to project the projection content onto the projection target without positional deviation or distortion.
  • an imaging function is provided in a projection mapping system, coordinate conversion information between the projection apparatus and the imaging apparatus is acquired, and an image of the projection apparatus viewpoint is created, thereby accurately aligning the projection content.
  • the method to perform is disclosed.
  • a projection content uses a two-dimensional image. Therefore, a projection content must be prepared for each projection device, which is very important for creating a projection content. Labor is required.
  • multiple projectors placed at different positions are used at the same time to ensure the required amount of light during projection and to avoid unnatural shadows caused by projection light being blocked by a part of the projection target. In this case, a great deal of labor is required to perform alignment so that two-dimensional projection content projected from different projection apparatuses can be projected without deviation on the projection target.
  • the projection content must be modified significantly, and a great deal of labor is required to adapt the projection content to the projection target again.
  • This disclosure is intended to accurately and easily execute the generation and alignment of projection content when projecting projection content onto a three-dimensional projection target such as a building.
  • the image projection method of the present disclosure is an image projection method for projecting an image onto a three-dimensional projection target, the step of acquiring a projection device viewpoint image of the three-dimensional projection target, Preparing a three-dimensional model corresponding to a projection target; converting the three-dimensional model into a two-dimensional image so that the three-dimensional model and the projection device viewpoint image match; and Projecting onto the projection target.
  • the image projection apparatus is an image projection apparatus for projecting an image onto a three-dimensional projection target, and includes a coordinate correspondence calculation unit that calculates a coordinate correspondence between the imaging apparatus and the projection apparatus, and 3 A projection device viewpoint image generation unit for generating a projection device viewpoint image of a three-dimensional projection target, a three-dimensional model unit that stores or receives a three-dimensional model corresponding to the projection target as projection content, and the projection device A parameter calculation unit that calculates a parameter for converting the three-dimensional model so that the viewpoint image matches the three-dimensional model, a three-dimensional model drawing unit that generates a two-dimensional image based on the parameter, and a projection device viewpoint A superimposed image creating unit that creates an image obtained by superimposing the projection device viewpoint image obtained from the image generating unit and the two-dimensional image obtained from the three-dimensional model drawing unit; Having a projection image generation unit for outputting an image as a two-dimensional projection images that can be output from the projector.
  • the creation of the projection content is performed. And its alignment can be performed accurately and easily.
  • FIG. 1 is a block diagram illustrating an embodiment of an image projection apparatus according to the present disclosure.
  • FIG. 2 is a flow diagram illustrating one embodiment of an image projection method according to the present disclosure.
  • FIG. 3 is a diagram showing a configuration for superimposing the projection device viewpoint image and the three-dimensional model by the graphic user interface.
  • FIG. 4 is a flowchart showing a modification of the image projection method according to the present disclosure.
  • the image processing apparatus 1 shown in FIG. 1 is connected to a camera 3 directed to a projection target 2 made up of a building or other three-dimensional structure, and a projector 4 also directed to the projection target 2.
  • the camera 3 may be a digital camera, and may be arranged in the vicinity of the projector 4 or at a position slightly apart.
  • the camera 3 may be a single camera, but may preferably be composed of a plurality of cameras arranged at different positions in order to eliminate the concealed portion of the projection target 2.
  • the projector 4 may be a digital micromirror device, but may be of other types such as a liquid crystal.
  • the coordinate correspondence calculation unit 5 calculates the coordinate correspondence information based on the image data obtained from the camera 3 (step ST1). .
  • the projection device viewpoint image generation unit 6 generates a two-dimensional image of the projection target 2 viewed from the viewpoint of the projector 4 using the coordinate correspondence information and the captured image of the camera 3 (step ST2). .
  • a projection device viewpoint image of the projection target 2 is acquired by calculating coordinate correspondence information between the projector 4 and the camera 3 by using a calibration pattern such as a spatial coding method or a checker pattern. be able to.
  • the projection content is stored as three-dimensional data from a three-dimensional data drawn by a human or a design drawing of the projection target so as to conform to the intended three-dimensional shape of the projection target
  • the three-dimensional data acquired by the three-dimensional measuring apparatus may be used, and the three-dimensional data (three-dimensional model data) is stored in the three-dimensional model unit 7.
  • This data may be stored in advance as a library or may be transmitted from a remote location by communication.
  • the projection object 2 may be one obtained by printing the 3D model data with a 3D printer or the like. This makes it possible to perform projection on a scale smaller than the actual object.
  • the 3D model data is converted into a 2D image by the 3D model drawing unit 9 (step ST3).
  • the two-dimensional image is superimposed on the projection device viewpoint image of the projection target 2 in the superimposed image creation unit 10 (step ST4).
  • the superimposed image is displayed on the display device 11 for the operator's judgment.
  • what is displayed on the display device 11 is a screen that transparently displays the projection device viewpoint image and the two-dimensional image obtained from the three-dimensional model drawing unit 9, or the projection device viewpoint image and the three-dimensional model data are converted. It is the screen which displayed the two-dimensional image obtained by arranging side by side. By performing alignment while viewing this screen, it is possible to easily confirm the deviation between the projection target 2 and the projection content.
  • the 3D model rendering unit converts 3D model data into a 2D image by geometric deformation represented by the following equation.
  • (XM, YM, ZM) is three-dimensional model data
  • (XS, YS) is coordinates on the projection device viewpoint image or coordinates on the projection image.
  • T is a parameter for converting the three-dimensional model data into a two-dimensional image, and includes external parameters such as translation and rotation, and internal parameters such as angle of view and lens shift.
  • the parameter T for performing such geometric deformation becomes a parameter for performing projection on the three-dimensional structure without positional deviation or distortion.
  • T can be obtained by the least square method if at least 6 combinations of corresponding points (XM, YM, ZM) and (XS, YS) are given.
  • a procedure can be used in which an operator matches points on the three-dimensional model with corresponding points on the projection device viewpoint image. For example, as shown in FIG. 3, in response to a command from the input device 12 by the operator, a point on the 3D model displayed as a two-dimensional image and a point on the projection device viewpoint image are designated (step ST5). ), The parameter can be obtained in the parameter calculation unit 8 (step ST6).
  • the display device 11 displays the projection device viewpoint image and the two-dimensional image obtained by converting the three-dimensional model on the same screen in a state of being superimposed on each other, and the operator can input while viewing the displayed superimposed image.
  • a correction command is input from the device 12 and this procedure is repeated until the required alignment accuracy is reached.
  • the two-dimensional image obtained in this way is converted into an image that can be projected by the projector 4 by the projection image creating unit 13 (step ST7), and then transferred to the projector 4.
  • the two-dimensional image obtained in this way is projected onto the projection target 2 (step ST8).
  • FIG. 4 is a flowchart showing a second embodiment of the present disclosure. Although mostly similar to that shown in FIG. 2, the step of matching a point on the three-dimensional model with a corresponding point on the projector perspective image is a feature point matching (without operator intervention). The difference is that it is automatically performed in step ST11).
  • the method of matching the projection device viewpoint image with the three-dimensional model may be a method using a phase-only correlation method or the like, and is not limited thereto.
  • the viewpoint image of the projection device may not completely match the 2D image converted from the 3D model.
  • the two-dimensional image obtained by converting the three-dimensional model is converted by affine transformation or the like so as to match the projection device viewpoint image, so that final fine adjustment can be performed. good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

３次元的な投影対象の投影装置視点画像を取得し、投影コンテンツとして、前記投影対象に対応する３次元モデルを準備し、前記３次元モデルを、前記投影装置視点画像に一致する２次元画像に変換し、前記プロジェクタ視点画像に一致する前記２次元画像を前記投影対象に投影する。

Description

３次元的な投影対象のための画像投影方法及び画像投影装置
　本開示は、投影コンテンツを３次元的な投影対象に投影するための画像投影方法及び画像投影装置に関する。
　建物等の３次元的な投影対象に映像コンテンツを投影する技術として、プロジェクションマッピングが知られている。この技術に於いては、投影対象に位置ずれや歪み無く投影コンテンツを投影対象に投影する必要がある。例えば、特許文献１では、プロジェクションマッピングのシステムの中に撮像機能を設け、投影装置と撮像装置の座標変換情報を取得し、投影装置視点の画像を作成することにより、投影コンテンツの位置合わせを正確に行う方法が開示されている。
　しかしながら、プロジェクションマッピングでは、投影対象が３次元的ではあるものの、投影コンテンツは２次元的な画像が用いられるため、投影装置毎に投影コンテンツを用意しなければならず、投影コンテンツの作成に多大な労力が必要となる。また、投影時に所要の光量を確保したり、投影光が投影対象の一部によりブロックされて不自然な影が生じるのを回避するために、異なる位置に配置された複数の投影装置を同時に使用する場合に、異なる投影装置から投影された２次元の投影コンテンツが、投影対象上でずれなく投影できるように位置合わせを行う作業に多大な労力が必要となる。さらに、投影コンテンツの精度によっては、３次元の投影対象に２次元の投影コンテンツを位置ずれなく合わせること自体が困難なこともある。
　また、投影装置の配置もしくは投影対象の位置が変更されると、投影コンテンツを大幅に修正しなければならず、改めて投影コンテンツを投影対象に適合させるために多大な労力が必要となる。
　本開示は、建物等の３次元的な投影対象に投影コンテンツを投影する際に、投影コンテンツの生成と位置合わせを、正確かつ簡単に実行することを目的とする。
　また、本開示は、投影装置の位置もしくは投影対象の位置が移動しても、投影画像の生成と位置合わせを、正確かつ簡単に実行することを目的とする。
特開２０１５－１７３４３０号公報
　本開示の画像投影方法は、画像を３次元的な投影対象に投影するための画像投影方法であって、３次元的な投影対象の投影装置視点画像を取得するステップと、投影コンテンツとして、前記投影対象に対応する３次元モデルを準備するステップと、前記３次元モデルと前記投影装置視点画像とが一致するように、前記３次元モデルを２次元画像に変換するステップと、前記２次元画像を前記投影対象に投影するステップと、を有する。
　また、本開示の画像投影装置は、画像を３次元的な投影対象に投影するための画像投影装置であって、撮像装置と投影装置の座標対応関係を算出する座標対応関係算出部と、３次元的な投影対象の投影装置視点画像を生成するための投影装置視点画像生成部と、投影コンテンツとして、前記投影対象に対応する３次元モデルを記憶又は受信する３次元モデル部と、前記投影装置視点画像と前記３次元モデルとが一致するように、３次元モデルを変換するパラメータを算出するパラメータ計算部と、前記パラメータに基づいて２次元画像を生成する３次元モデル描画部と、投影装置視点画像生成部から得られた投影装置視点画像と３次元モデル描画部から得られた２次元画像とを互いに重畳させた画像を作成する重畳画像作成部と、前記２次元画像をプロジェクタから出力可能な２次元投影画像として出力する投影画像作成部と、を有する。
　本開示によれば、建物等の３次元的な投影対象に投影コンテンツを投影する際に、投影装置の位置が変更されても、或いは複数の投影装置が用いられた場合でも、投影コンテンツの作成とその位置合わせを正確に、かつ簡単に実行することができる。
図１は、本開示に基づく画像投影装置の一実施態様を示すブロック図である。 図２は、本開示に基づく画像投影方法の一実施態様を示すフロー図である。 図３は、投影装置視点画像と３次元モデルをグラフィック・ユーザ・インターフェースにより重ね合わせるための構成を示す図である。 図４は、本開示に基づく画像投影方法の一変形態様を示すフロー図である。
　以下、本開示の実施の形態を、図１のブロック図及び図２のフロー図を参照しながら説明する。図１に示された画像処理装置１は、建物、その他の３次元的な構築物からなる投影対象２に向けられたカメラ３及び同じく投影対象２に向けられたプロジェクタ４に接続されている。カメラ３はデジタルカメラからなるものであって良く、プロジェクタ４の近傍、或いは多少離れた位置に配置されるものであって良い。カメラ３は１台のカメラでも良いが、好ましくは、投影対象２の隠蔽部分を解消するために、異なる位置に配置された複数のカメラからなるものであって良い。プロジェクタ４は、デジタル・マイクロミラー・デバイスからなるものであって良いが、液晶などの他の形式のものであっても良い。
　いずれにせよ、プロジェクタ４とカメラ３の座標対応情報を捕捉する必要があり、座標対応計算部５に於いて、カメラ３から得られた画像データに基づき、座標対応情報を算出する（ステップＳＴ１）。次に、投影装置視点画像生成部６に於いて、座標対応情報とカメラ３の撮像画像を用いて、プロジェクタ４の視点から見た投影対象２の２次元的な画像を生成する（ステップＳＴ２）。実際には、空間コード化法やチェッカーパターン等のキャリブレーションパターンを用いることで、プロジェクタ４とカメラ３との間の座標対応情報を算出することにより、投影対象２の投影装置視点画像を取得することができる。
　一方、投影コンテンツは、意図された投影対象の３次元的な形状に適合するように、人間により描画された３次元データ、或いは投影対象の設計図等から３次元データとして保存されたデータや、３次元計測装置によって取得された３次元データ等であって良く、その３次元データ（３次元モデルデータ）が３次元モデル部７に記憶されている。このデータは、予めライブラリとして保存されているものでも、遠隔地から通信により伝達されたものであっても良い。
　投影対象２は、前記３次元モデルデータを３Ｄプリンタ等で印刷したものであっても良い。これにより、実物よりも小さいスケールでの投影を実施することが可能となる。
　３次元モデルデータは、３次元モデル描画部９に於いて、２次元画像に変換される（ステップＳＴ３）。２次元画像は、重畳画像作成部１０に於いて、投影対象２の投影装置視点画像に重畳される（ステップＳＴ４）。重畳画像は、オペレータの判断を仰ぐために表示装置１１に表示される。
　ここで表示装置１１に表示されるのは、投影装置視点画像と３次元モデル描画部９から得られた２次元画像とを透過表示した画面、もしくは、投影装置視点画像と３次元モデルデータを変換して得られた２次元画像とを並べて表示した画面である。この画面を見ながら位置合わせを行うことで、投影対象２と投影コンテンツのずれを容易に確認することが可能となる。
　３次元モデル描画部では、以下の式で表される幾何学変形により３次元モデルデータを２次元画像に変換する。
Figure JPOXMLDOC01-appb-M000001
　ここで、（XM,YM,ZM）は３次元モデルデータであり、（XS,YS）は投影装置視点画像上の座標、もしくは投影画像上の座標である。Tは、３次元モデルデータを２次元画像に変換するためのパラメータであり、並進、回転等の外部パラメータと、画角、レンズシフト等の内部パラメータを含む。このような幾何学変形を行うためのパラメータTが、３次元構造物に位置ずれや歪なく投影を行うためのパラメータとなる。
　（XM,YM,ZM）、（XS,YS）の対応点の組み合わせが、少なくとも６点与えられれば、最小二乗法によりTを求めることができる。６点の対応点を与える方法としては、オペレータにより、３次元モデル上の点と投影装置視点画像上の対応点とを合致させるような手順を用いることができる。例えば、図３に示されるように、オペレータによる入力装置１２からの指令に応じて、２次元画像として表示された３Ｄモデル上の点と投影装置視点画像上の点を指定することで（ステップＳＴ５）、パラメータ計算部８に於いてパラメータを求めることができる（ステップＳＴ６）。この場合、表示装置１１により、同一画面上に投影装置視点画像と、３次元モデルを変換した２次元画像とを互いに重畳した状態で表示し、オペレータは、表示された重畳画像を見ながら、入力装置１２から補正指令を入力し、所要の整合精度に達するまで、この手順を繰り返す。
　（XM,YM,ZM）、（XS,YS）の対応点の組み合わせが、４点、或いは５点しか得られない場合であっても、最急降下法によって最小二乗法を解くことで、パラメータTの近似解を求めることができる。したがって、映像コンテンツの位置合わせにおいて、精度よりも速さが必要とされる場合などにも対応することが可能となる。
　このようにして得られた２次元画像は、投影画像作成部１３により、プロジェクタ４で投影可能な画像に変換された（ステップＳＴ７）後にプロジェクタ４に転送される。このようにして得られた２次元画像が投影対象２に投影される（ステップＳＴ８）。
　図４は、本開示の第２実施例を示すフロー図である。図２に示されたものと大部分同様であるが、３次元モデル上の点と投影装置視点画像上の対応する点とを一致させるステップが、オペレータの介入を伴わずに、特徴点マッチング（ステップＳＴ１１）によって自動で行われる点で相違する。
　投影装置視点画像と３次元モデルとを一致させる方法は、他にも、位相限定相関法を用いる方法などでも良く、これに限定されるものではない。
　３次元モデルの精度によっては、投影装置視点画像と３次元モデルを変換した２次元画像とが完全に一致しない場合がある。その場合には、最適なパラメータを算出した後に、３次元モデルを変換した２次元画像を投影装置視点画像に一致するようにアフィン変換等で変換することで、最終的な微調整を行っても良い。
　本開示は、建物等の３次元的な投影対象に投影コンテンツを投影する際に、位置合わせを正確に、かつ簡単に実行可能とし、プロジェクションマッピングのセットアップを簡便に実施できるようにする等、産業上の有用性が高い。
　１　　画像処理装置
　２　　投影対象
　３　　カメラ
　４　　プロジェクタ
　５　　座標対応計算部
　６　　投影装置視点画像生成部
　７　　３次元モデル部
　８　　パラメータ計算部
　９　　３次元モデル描画部
　１０　　重畳画像作成部
　１１　　表示装置
　１２　　入力装置
　１３　　投影画像作成部

Claims (11)

  1. 　画像を３次元的な投影対象に投影するための画像投影方法であって、
    　３次元的な投影対象の投影装置視点画像を取得するステップと、
    　投影コンテンツとして、前記投影対象に対応する３次元モデルを準備するステップと、
    　前記３次元モデルと前記投影装置視点画像とが一致するように、前記３次元モデルを前記２次元画像に変換するステップと、
    　前記２次元画像を前記投影対象に投影するステップと、を有する画像投影方法。
  2. 　前記３次元モデルを、前記投影装置視点画像に一致する２次元画像に変換するステップが、前記３次元モデル上の点と、前記投影装置視点画像上の対応する点とを合致させることを含む請求項１に記載の画像投影方法。
  3. 　３次元的な投影対象の投影装置視点画像を取得するステップが、投影装置及び撮像装置を用いた空間コード化法を用いることを含む請求項１に記載の画像投影方法。
  4. 　前記３次元モデルを、前記投影装置視点画像に一致する２次元画像に変換するステップが、前記３次元モデル上の点と、前記投影装置視点画像上の対応する点とを合致させることを含む請求項３に記載の画像投影方法。
  5. 　前記３次元モデル上の点に対応する前記投影装置視点画像上の点が、特徴点マッチングによって指定される請求項４に記載の画像投影方法。
  6. 　前記３次元モデル上の点と、前記投影装置視点画像上の対応する点とを合致させるために、グラフィックユーザーインターフェースを用いる請求項４に記載の画像投影方法。
  7. 　前記３次元モデル上の点に対応する前記投影装置視点画像上の点が、前記グラフィックユーザーインターフェースを介して、オペレータによって指定される請求項６に記載の画像投影方法。
  8. 　前記３次元モデル上の点に対応する前記投影装置視点画像上の点が、特徴点マッチングによって指定される請求項６に記載の画像投影方法。
  9. 　　複数の投影装置視点画像を取得し、個々の投影装置視点画像と投影コンテンツとしての３次元モデルとが一致するように変換することで、複数の２次元画像を生成し、それぞれ対応するプロジェクタにより前記投影対象に投影する請求項１に記載の画像投影方法。
  10. 　画像を３次元的な投影対象に投影するための画像投影装置であって、
    　撮像装置と投影装置の座標対応関係を算出する座標対応関係算出部と、
    　３次元的な投影対象の投影装置視点画像を生成するための投影装置視点画像生成部と、
    　コンテンツ画像として、前記投影対象に対応する３次元モデルを記憶又は受信する３次元モデル部と、
    　前記３次元モデルを所定のパラメータに基づいて変換することで２次元画像を生成する３次元モデル描画部と、
    　投影装置視点画像生成部から得られた投影装置視点画像と、３次元モデル描画部から得られた２次元画像とを互いに重畳させた画像を作成する重畳画像作成部と、
    　前記重畳画像作成部から得られた、前記パラメータを変更した後の最終的な２次元画像を前記投影対象に投影するための投影装置と、を有する画像投影装置。
  11. 　前記重畳画像作成部が、前記投影装置視点画像及び前記２次元画像の複数の対応点を互いに対応させるためのグラフィックユーザーインターフェースを含む請求項１０に記載の画像投影装置。
PCT/JP2017/013139 2016-04-13 2017-03-30 ３次元的な投影対象のための画像投影方法及び画像投影装置 WO2017179432A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/088,723 US10909748B2 (en) 2016-04-13 2017-03-30 Image projection method and image projection device for three-dimensional object for projection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-080595 2016-04-13
JP2016080595A JP6846661B2 (ja) 2016-04-13 2016-04-13 ３次元的な投影対象のための投影方法及び装置

Publications (1)

Publication Number Publication Date
WO2017179432A1 true WO2017179432A1 (ja) 2017-10-19

Family

ID=60042489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013139 WO2017179432A1 (ja) 2016-04-13 2017-03-30 ３次元的な投影対象のための画像投影方法及び画像投影装置

Country Status (3)

Country Link
US (1) US10909748B2 (ja)
JP (1) JP6846661B2 (ja)
WO (1) WO2017179432A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671017A (zh) * 2018-12-25 2019-04-23 广州励丰文化科技股份有限公司 一种基于模型的异形面投影校正方法及系统
JP2023044838A (ja) * 2021-09-21 2023-04-03 セイコーエプソン株式会社 投射方法、及び投射システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7139637B2 (ja) 2018-03-19 2022-09-21 株式会社リコー 画像処理装置及び投影システム
WO2020247788A1 (en) * 2019-06-06 2020-12-10 Bluebeam, Inc. Methods and systems for processing images to perform automatic alignment of electronic images
WO2020261741A1 (ja) * 2019-06-25 2020-12-30 パナソニックＩｐマネジメント株式会社 投影システム
JP7163943B2 (ja) * 2020-09-10 2022-11-01 セイコーエプソン株式会社 情報生成方法、情報生成システム、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002062842A (ja) * 2000-08-11 2002-02-28 Nec Corp 投射映像補正システム及びその方法
JP2005277900A (ja) * 2004-03-25 2005-10-06 Mitsubishi Electric Corp ３次元映像装置
JP2007316461A (ja) * 2006-05-29 2007-12-06 Seiko Epson Corp プロジェクタ及び画像投写方法
JP2011254411A (ja) * 2010-06-04 2011-12-15 Hokkaido Univ 映像投影システムおよび映像投影プログラム
JP2013156979A (ja) * 2011-12-16 2013-08-15 Commissariat A L'energie Atomique Et Aux Energies Alternatives 起伏投影面に画像を投影するシステムの設定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348815A (ja) * 1993-06-04 1994-12-22 Hitachi Ltd Ｃｇシステムにおける建物の景観の３次元モデルの設定方法
JP2002269546A (ja) * 2001-03-14 2002-09-20 Atr Onsei Gengo Tsushin Kenkyusho:Kk 自動顔トラッキングシステムおよび自動顔トラッキング方法
US7775666B2 (en) 2005-03-16 2010-08-17 Panasonic Corporation Three-dimensional image communication terminal and projection-type three-dimensional image display apparatus
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2014064248A (ja) * 2012-09-24 2014-04-10 Ntt Docomo Inc 画像投影装置及び画像投影方法
US20140210857A1 (en) * 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
JP2015045751A (ja) * 2013-08-28 2015-03-12 株式会社ニコン 投影装置
JP6537237B2 (ja) * 2013-11-05 2019-07-03 キヤノン株式会社 情報処理装置および方法
JP6510213B2 (ja) 2014-02-18 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システム、半導体集積回路、および画像補正方法
US9996636B2 (en) * 2014-05-13 2018-06-12 Atheer, Inc. Method for forming walls to align 3D objects in 2D environment
JP6451139B2 (ja) * 2014-08-11 2019-01-16 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
JP6601790B2 (ja) 2015-06-30 2019-11-06 パナソニックＩｐマネジメント株式会社 リアルタイム計測投影装置及び三次元投影計測装置
JP2017215374A (ja) 2016-05-30 2017-12-07 パナソニックＩｐマネジメント株式会社 画像投影システムおよび画像投影方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002062842A (ja) * 2000-08-11 2002-02-28 Nec Corp 投射映像補正システム及びその方法
JP2005277900A (ja) * 2004-03-25 2005-10-06 Mitsubishi Electric Corp ３次元映像装置
JP2007316461A (ja) * 2006-05-29 2007-12-06 Seiko Epson Corp プロジェクタ及び画像投写方法
JP2011254411A (ja) * 2010-06-04 2011-12-15 Hokkaido Univ 映像投影システムおよび映像投影プログラム
JP2013156979A (ja) * 2011-12-16 2013-08-15 Commissariat A L'energie Atomique Et Aux Energies Alternatives 起伏投影面に画像を投影するシステムの設定方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671017A (zh) * 2018-12-25 2019-04-23 广州励丰文化科技股份有限公司 一种基于模型的异形面投影校正方法及系统
JP2023044838A (ja) * 2021-09-21 2023-04-03 セイコーエプソン株式会社 投射方法、及び投射システム
JP7380661B2 (ja) 2021-09-21 2023-11-15 セイコーエプソン株式会社 投射方法、及び投射システム

Also Published As

Publication number Publication date
US20190108673A1 (en) 2019-04-11
JP6846661B2 (ja) 2021-03-24
JP2017192040A (ja) 2017-10-19
US10909748B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
WO2017179432A1 (ja) ３次元的な投影対象のための画像投影方法及び画像投影装置
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
JP6852355B2 (ja) プログラム、頭部装着型表示装置
JP6645151B2 (ja) 投影装置、投影方法及び投影用コンピュータプログラム
US20170223338A1 (en) Three dimensional scanning system and framework
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
JP2016218905A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006072903A (ja) 画像合成方法及び装置
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
KR20140054590A (ko) 카메라 캘리브레이션 방법 및 장치
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
JP2013171523A (ja) Ａｒ画像処理装置及び方法
JP2004228824A (ja) スタックプロジェクション装置及びその調整方法
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
TWI615808B (zh) 全景即時影像處理方法
JP2006352495A (ja) 遠隔指示システム
JP2016218729A (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2017203796A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP4199641B2 (ja) プロジェクタ装置
US11127212B1 (en) Method of projecting virtual reality imagery for augmenting real world objects and surfaces
JP2011170174A (ja) 光学投影安定化装置、光学投影安定化方法およびプログラム
US11118899B2 (en) Work support system and work support method
JP2010220177A (ja) ステレオ画像処理装置、ステレオ画像処理方法及びステレオ画像処理プログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17782250

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17782250

Country of ref document: EP

Kind code of ref document: A1