JP6467516B2 - 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法 - Google Patents

距離画像取得装置付きプロジェクタ装置及びプロジェクション方法 Download PDF

Info

Publication number
JP6467516B2
JP6467516B2 JP2017543009A JP2017543009A JP6467516B2 JP 6467516 B2 JP6467516 B2 JP 6467516B2 JP 2017543009 A JP2017543009 A JP 2017543009A JP 2017543009 A JP2017543009 A JP 2017543009A JP 6467516 B2 JP6467516 B2 JP 6467516B2
Authority
JP
Japan
Prior art keywords
projection
image
distance
distance image
difference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543009A
Other languages
English (en)
Other versions
JPWO2017056776A1 (ja
Inventor
潤也 北川
潤也 北川
智行 河合
智行 河合
新貝 安浩
安浩 新貝
智紀 増田
智紀 増田
善工 古田
善工 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017056776A1 publication Critical patent/JPWO2017056776A1/ja
Application granted granted Critical
Publication of JP6467516B2 publication Critical patent/JP6467516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/53Means for automatic focusing, e.g. to compensate thermal effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/005Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/006Projectors using an electronic spatial light modulator but not peculiar thereto using LCD's
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2053Intensity control of illuminating light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、距離画像取得装置付きプロジェクタ装置及びプロジェクション方法に関し、特に移動及び静止する被投影体の動きに合わせて画像を投影する技術に関する。
距離情報を取得しながら画像を取得するカメラとして、TOF(Time Of Flight)カメラが知られている。TOFカメラは、被写体に光を照射し、その反射光をイメージセンサで受光するまでの時間(飛翔時間)を測定することにより被写体までの距離を示す距離画像(深度データ)を求めるものである。
また、プロジェクタ装置から被投影体の立体形状に合わせて画像を投影する技術も知られており、プロジェクションマッピング、ビデオマッピングなどと呼ばれている。
特許文献1では、被投影体の撮像画像を電子カメラの座標系から表示画面の座標系に座標変換し、変換後の画像の被投影体に対してエッジ処理を行うことで閉領域の輪郭形状を抽出し、その輪郭形状に対してプロジェクションマッピングを行うことが記載されている。
また特許文献2では、被投影体の距離画像をリアルタイムに取得する装置としてTOFカメラを利用し、プロジェクタ装置と一体化することで、プロジェクションマッピング用の装置を小型化する技術が提案されている。
特に特許文献2に記載のプロジェクタ装置は、投影用の画像をパルス光として照射し、これによりプロジェクタ装置の光源及び投影レンズを、TOFカメラの光源及び投影レンズとして兼用することを特徴としている。
特開2013−192189号公報 特表2013−546222号公報
ここでプロジェクションマッピングでは、被投影体の形状に合わせて生成された画像を投影するので、被投影体が動いているか又は静止しているかの検出が重要となる。すなわち、移動している被投影体に対してプロジェクションマッピングを行う場合、被投影体と投影画像とのずれが発生し上手くプロジェクションマッピングが行えない場合が発生する。
一方で被投影体の動きを検出するためには、被投影体の動きを検出するための検出装置の機能をプロジェクタ装置にさらに追加しなければならず、プロジェクタ装置が大型化又は複雑化する要因となる。
上述した特許文献1及び2には、プロジェクションマッピングを行う場合にプロジェクタ装置の大型化又は複雑化を抑制し且つ被投影体の動きを検出することに関しては言及されていない。
本発明はこのような事情に鑑みてなされたもので、その目的は、プロジェクタ装置の大型化又は複雑化を抑制し且つ被投影体の動きを検出し、被投影体に対して精度よく画像を投影する距離画像取得装置付きプロジェクタ装置及びプロジェクション方法を提供することである。
上記目的を達成するための本発明の一の態様である距離画像取得装置付きプロジェクタ装置は、投影画像を表示する表示用光学素子と、表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、複数の受光素子が2次元状に配列された距離画像センサと、測定用光源と、測定用光源から出射され、被投影体にて反射する測定光を距離画像センサに結像させる結像レンズと、測定用光源から出射され、被投影体にて反射して距離画像センサに入射する測定光の飛翔時間に対応する距離情報を距離画像センサから取得し、取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなり、プロジェクタ装置は、距離画像取得装置により取得した距離画像に基づいて被投影体の形状を検出し、検出した形状に対応する投影画像を生成する投影画像生成部と、距離画像取得装置により第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する差分値取得部と、差分値取得部で取得された差分値に基づいて被投影体が静止しているか否かの判定を行う判定部と、判定部の判定結果に基づいて、被投影体に対して投影画像生成部で生成された画像の投影を行う指示を出力する投影指示部と、投影指示部から出力された投影を行う指示に基づいてプロジェクタ装置の投影を制御する投影制御部と、を備える。
本態様によれば、距離画像取得装置の距離画像生成部で生成された距離画像に基づいて、投影体の形状を検出して投影画像が生成される。さらに本態様によれば、第1のタイミングで取得された距離画像及び第2のタイミングで取得された距離画像の差分値から被投影体が静止しているか否かの判定がされ、その判定に基づいて投影がおこなわれる。これにより、本態様は、距離画像を投影画像の生成及び被投影体が静止しているか否かの判定に使用するので、装置の大型化又は複雑化を抑制し且つ被投影体の動きを検出することができ、被投影体に対して精度良く投影画像を投影することができる。
好ましくは、差分値取得部は、第1の距離画像が有する距離情報の平均値と第2の距離画像が有する距離情報の平均値との差分値を取得し、判定部は、差分値が第1の閾値以下である場合に被投影体が静止していると判定する。
本態様によれば、差分値は第1の距離画像が有する距離情報の平均値と第2の距離画像が有する距離情報の平均値とに基づいて算出され、判定部は第1の閾値に基づいて被投影体が静止しているか否かを判定する。これにより、本態様は、距離画像が有する距離情報の平均値に基づいて、より精度良く被投影体が静止しているかの判定を行うことができる。
好ましくは、差分値取得部は、第1の距離画像が有する距離情報と第2の距離画像が有する距離情報との最大の差分値を取得し、判定部は、最大の差分値が第2の閾値以下である場合に被投影体が静止していると判定する。
本態様によれば、差分値は第1の距離画像が有する距離情報と第2の距離画像が有する距離情報との差分値の最大値であり、判定部は第2の閾値に基づいて被投影体が静止しているか否かを判定する。これにより、本態様は、差分値の最大値に基づいて、より精度良く被投影体が静止しているかの判定を行うことができる。
好ましくは、距離画像取得装置付きプロジェクタ装置は、差分値取得部が取得する差分値に基づいて生成された差分画像を生成する差分画像生成部と、を備える。
本態様によれば、差分値に基づいて差分画像が生成されるので、差分画像を利用することができる。
好ましくは、差分画像生成部は、差分画像の複数のフレームにおける平均差分値を取得し、判定部は、差分画像の複数のフレームにおける平均差分値が第3の閾値以下である場合に被投影体が静止していると判定する。
本態様によれば、差分画像の複数のフレームにおける平均差分値が第3の閾値以下である場合に被投影体が静止していると判定されるので、より精度良く被投影体が静止しているか否かの判定を行うことができる。
好ましくは、差分画像生成部は、差分画像の複数のフレームにおける最大の差分値を取得し、判定部は、差分画像の複数のフレームにおける最大の差分値が第4の閾値以下である場合に被投影体が静止していると判定する。
本態様によれば、差分画像の複数のフレームにおける最大の差分値が第4の閾値以下である場合に被投影体が静止していると判定されるので、複数フレームにおいて最大の差分値に基づいて被投影体が静止しているか否かの判定を行うことができる。
好ましくは、差分画像生成部は、差分画像の領域毎の差分値を取得し、判定部は、差分画像において差分値が第5の閾値以下である領域の大きさに基づいて被投影体が静止しているか否かの判定を行う。
本態様によれば、差分画像において差分値が第5の閾値以下である領域の大きさに基づいて被投影体が静止しているか否かの判定が行われるので、より精度良く被投影体が静止しているか否かの判定を行うことができる。
好ましくは、差分画像生成部は、差分画像の領域毎の差分値を複数フレームにおいて取得し、判定部は、複数フレームの差分画像において差分値が第6の閾値以下である領域の大きさに基づいて被投影体が静止しているか否かの判定を行う。
本態様によれば、複数フレームの差分画像において差分値が第6の閾値以下である領域の大きさに基づいて被投影体が静止しているか否かの判定が行われるので、複数フレームにおいての被投影体の静止を精度良く判定することができる。
好ましくは、差分画像生成部は、差分画像の領域に応じて設定された重み付け係数に差分値を乗じた値を取得し、判定部は、重み付け係数に差分値を乗じた値が第7の閾値以下である場合に被投影体が静止しているとの判定を行う。
本態様によれば、差分値は差分画像の領域に応じて設定された重み付けに基づいて取得され、その差分値に基づいて被投影体が静止しているか否かの判定が行われるので、より正確な被投影体の動きの判定を行うことができる。
好ましくは、距離画像取得装置付きプロジェクタ装置は、判定部の判定結果に基づいて、被投影体に対して投影画像生成部で生成された画像の投影の停止指示を出力する投影停止指示部と、を備え、投影制御部は、投影停止指示部からの投影の停止指示に基づいてプロジェクタ装置の投影を制御する。
本態様によれば、判定結果に基づいて画像投影の停止指示が出力され、その停止指示に基づいてプロジェクタ装置の投影が制御されるので、被投影体が静止した後に再び動き始めた場合に投影を停止する。これにより、移動している被投影体への投影を防ぎより精度の良い投影を行うことができる。
本発明の他の態様であるプロジェクション方法は、投影画像を表示する表示用光学素子と、表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、複数の受光素子が2次元状に配列された距離画像センサと、測定用光源と、測定用光源から出射され、被投影体にて反射する測定光を距離画像センサに結像させる結像レンズと、測定用光源から出射され、被投影体にて反射して距離画像センサに入射する測定光の飛翔時間に対応する距離情報を距離画像センサから取得し、取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用するプロジェクション方法であり、距離画像取得装置により取得した距離画像に基づいて被投影体の形状を検出し、検出した形状に対応する投影画像を生成する投影画像生成ステップと、距離画像取得装置により第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する差分値取得ステップと、差分値取得ステップで取得された差分値に基づいて被投影体が静止しているか否かの判定を行う判定ステップと、判定ステップの判定結果に基づいて、被投影体に対して投影画像生成ステップで生成された画像の投影を行う指示を出力する投影指示ステップと、投影指示ステップから出力された投影を行う指示に基づいてプロジェクタ装置の投影を制御する投影制御ステップと、を含む。
本発明によれば、距離画像取得装置の距離画像生成部で生成された距離画像に基づいて、投影体の形状を検出して投影画像が生成され、第1のタイミングで取得された距離画像及び第2のタイミングで取得された距離画像の差分値から被投影体が静止しているか否かの判定がされ、その判定に基づいて投影がおこなわれる。これにより、本発明は、距離画像を投影画像の生成及び被投影体が静止しているか否かの判定に使用するので、装置の大型化又は複雑化を抑制し且つ被投影体の動きを検出することができ、被投影体に対して精度良く投影画像を投影することができる。
図1は距離画像取得装置付きプロジェクタ装置が使用される場合を示す概念図である。 図2は図1で説明した被投影体を正面から見た図である。 図3は図2で説明した被投影体に対してプロジェクションマッピングが行われている態様を概念的に示す図である。 図4はプロジェクタ装置の構成を示すブロック図である。 図5は被投影体の距離の演算処理を説明する図である。 図6は制御部の構成を示すブロック図である。 図7は差分値取得部が行う差分値の取得に関して説明する図である。 図8は差分値取得部が行う差分値の取得に関して説明する図である。 図9はプロジェクタ装置の動作を示すフロー図である。 図10は制御部の構成を示すブロック図である。 図11は差分画像を示す概念図である。 図12は差分画像を示した概念図である。 図13は距離画像と差分画像とが概念的に示された図である。 図14は距離画像と差分画像とが概念的に示された図である。
以下、添付図面に従って本発明に係る距離画像取得装置付きプロジェクタ装置及びプロジェクション方法の好ましい実施の形態について説明する。
図1は、本発明に係る距離画像取得装置付きプロジェクタ装置が使用される場合を示す概念図である。被投影体2である人物が距離画像取得装置付きプロジェクタ装置20(以下、プロジェクタ装置20という)に直進してくる場合が示されている。図1に示す場合の具体例としてはファッションショー等が想定される。プロジェクタ装置20は、距離画像取得部(距離画像取得装置)20Aとプロジェクタ部(プロジェクタ装置)20Bとを備えている。プロジェクタ装置20は、被投影体2である人物が着ている服を投影領域3とし、被投影体2が静止している場合に被投影体2の投影領域3に対してプロジェクションマッピング(Projection Mapping)を行う。
図2は、図1で説明した被投影体2を正面から見た図である。図2(A)は時刻T1での被投影体2の正面図であり、図2(B)は時刻T2での被投影体2を正面図であり、図2(C)は時刻T3での被投影体2を正面図である。図2(A)〜(C)に示すように被投影体2が移動している場合、プロジェクタ装置20と被投影体2との距離が変化するので投影領域3の範囲が変化する。投影領域3の範囲が変化すると、投影領域3に合わせて生成された投影画像と投影領域3とが一致しなくなる。よって、本発明では投影画像と投影領域3との上述したような不一致を防ぐため、被投影体2の動きを検知して、被投影体2が静止している場合にプロジェクションマッピングを行う。
図3は、図2(C)で説明した被投影体2に対してプロジェクションマッピングが行われている態様を概念的に示す図である。プロジェクタ装置20は、被投影体2である人物が着ている服に対して投影画像5を投影している。プロジェクタ装置20により投影される投影画像5は、被投影体2である人物が着ている服が構成する閉領域の形状を投影領域3に合わせて形成されている。このように、投影領域3の形状に合わせた投影画像5を投影することは一般にプロジェクションマッピングと呼ばれている。
図4は、プロジェクタ装置20の構成を示すブロック図である。このプロジェクタ装置20は、距離画像の取得を行う距離画像取得部20Aと、投影画像5の投影を行うプロジェクタ部20Bと、制御部26と、メモリ27と、投影画像生成部28と、入力I/F(interface)29と、を備えている。なお制御部26、メモリ27、及び入力I/F29は、距離画像取得部20A及びプロジェクタ部20Bにおいて共通に機能する。
距離画像取得部20Aは、パルス光検出方式の距離画像の取得を行うものであり、タイミングジェネレータ31と、LED(Light Emitting Diode)光源(測定用光源)32と、光源ドライバ33と、投影レンズ35と、結像レンズ36と、レンズドライバ37と、距離画像センサ38と、図中「A/D」と表示しているAD(Analog-to-Digital)変換器39と、図中「I/F」と表示しているインターフェース(interface)回路40と、を含む。距離画像取得部20Aは所謂TOF(Time Of Flight)カメラの機能を有する。TOF(Time Of Flight)カメラの原理に関しては後述する。なお距離画像とは、TOFなどの距離計測方法によって得られる距離値(距離情報)の2次元分布画像のことである。距離画像の各画素は距離値(距離情報)を有する。
タイミングジェネレータ31は、制御部26の制御の下、LED光源32と距離画像センサ38とにそれぞれタイミング信号を出力する。
LED光源32は、タイミングジェネレータ31から入力されるタイミング信号に同期して一定のパルス幅のパルス光を発光する。光源ドライバ33は、制御部26の制御の下、LED光源32の駆動を制御する。
投影レンズ35は、LED光源32から出射したパルス光を、被投影体2に向けて照射する。結像レンズ36は、LED光源32から投影レンズ35を通して被投影体2にパルス光が照射された場合、この被投影体2にて反射されたパルス光を距離画像センサ38に結像させる。レンズドライバ37は、図示しないレンズ駆動部を介して、結像レンズ36のフォーカス制御等を行う。
距離画像センサ38は、複数の受光素子が2次元状に配列されており、垂直ドライバ及び水平ドライバ等を有するCMOS(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータ31により駆動されるCMOS型のイメージセンサにより構成されている。尚、距離画像センサ38は、CMOS型に限らず、XYアドレス型、又はCCD(Charge Coupled Device)型のイメージセンサでもよい。
距離画像センサ38は、2次元状に複数の受光素子(フォトダイオード)が配列され、複数の受光素子の入射面側には、LED光源32から発光されるパルス光の波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタを設けてもよい。これにより、距離画像センサ38の複数の受光素子は、パルス光に対して感度をもった画素として機能する。
距離画像センサ38は、タイミングジェネレータ31から入力されるタイミング信号により、LED光源32のパルス光の発光と同期して露光期間(露光時間及び露光タイミング)が制御される。距離画像センサ38の各受光素子には、露光期間に入射するパルス光の光量に対応する電荷が蓄積される。このようにパルス光検出方式では、被投影体2までの距離が短いほど露光量が多くなり、逆に被投影体2までの距離が遠いほど露光量が少なくなるので、露光量の大きさに応じて被投影体2までの距離を測定することができる。そして、距離画像センサ38からは、被投影体2にて反射されたパルス光の入射光量に応じた画素信号(画素毎に蓄積された電荷に対応するアナログ信号)が読み出される。
AD変換器39は、距離画像センサ38から読み出された画素信号をデジタル信号に変換してインターフェース回路40へ出力する。なお、CMOS型のイメージセンサには、AD変換器39を含むものがあり、この場合にはAD変換器39は省略することができる。インターフェース回路40は、画像入力コントローラとして機能するものであり、AD変換器39から入力されたデジタル信号を制御部26へ出力する。これにより、詳しくは後述するが、制御部26の距離画像生成部113(図6)で距離画像が生成され、さらに投影画像生成部28により投影画像5が生成される。
プロジェクタ部20Bは、所謂単板式の液晶プロジェクタであり、表示用光学素子(光変調素子ともいう)42と、素子ドライバ43と、LED光源(投影光源)44と、光源ドライバ45と、投影レンズ46と、レンズドライバ47と、を含む。
表示用光学素子42は、複数色のカラーフィルタを備えた透過型の液晶パネル、又はダイクロイックミラーとマイクロレンズアレイとモノクロの透過型の液晶パネルとを組み合わせたカラーフィルタレス構造の素子等が用いられる。カラーフィルタレス構造の素子は、例えば、R(Red)光、G(Green)光、B(Blue)光をそれぞれ反射する3種類のダイクロイックミラーにより白色光をRGBの3色の光に分光し、3色の光を互いに異なった角度で液晶パネル上のマイクロレンズアレイに入射させる。そして、3色の光をマイクロレンズアレイにより液晶パネルのR用画素、G用画素、B用画素にそれぞれ入射させることによりカラー画像の表示が可能となる。
なお、プロジェクタ部20Bは、単板式の液晶プロジェクタに限定されるものでなく、色分離光学及び複数の液晶パネルを備える公知の3板式の液晶プロジェクタであってもよい。また、プロジェクタ部20Bは、透過型液晶方式に限定されるものではなく、反射型液晶表示方式やマイクロミラーデバイス方式(ライトスイッチ表示方式)等の他の方式を採用してもよい。
素子ドライバ43は、制御部26の制御の下、表示用光学素子42を制御して、後述する投影画像生成部28が生成した投影画像5を表示させる。
LED光源44は、表示用光学素子42の背面側(投影レンズ46に対向する面とは反対面側)から表示用光学素子42に対して白色光を入射させる。これにより、表示用光学素子42から投影画像5の像光が出射される。光源ドライバ45は、制御部26の制御の下、LED光源44の駆動を制御する。
投影レンズ46は、表示用光学素子42から出射される投影画像5の像光を被投影体2に投影する。レンズドライバ47は、図示しないレンズ駆動部を介して、投影レンズ46のフォーカス制御等を行う。
制御部26は、データバス49を介して、タイミングジェネレータ31、光源ドライバ33、レンズドライバ37、距離画像センサ38、インターフェース回路40、素子ドライバ43、光源ドライバ45、及びレンズドライバ47等に接続している。この制御部26は、例えばCPU(Central Processing Unit)を含む各種の演算部及び処理部及び記憶部により構成されたものであり、メモリ27から読み出した制御用のプログラムやデータを実行することで、プロジェクタ装置20の全体の動作や処理を統括制御する。
メモリ27は、制御部26が処理を実行するための制御用のプログラム等を格納している。
投影画像生成部28は、制御部26の制御の下、制御部26から入力されたデータや情報に基づいて投影画像5の生成を行う。すなわち投影画像生成部28は、距離画像取得装置により取得した距離画像に基づいて被投影体2の形状を検出し、検出した形状に対応する投影画像5を生成する。なお投影画像生成部28が行う投影画像5の生成に関しては後述する。
<TOF法の基本原理>
次に、TOFカメラにより距離画像を取得する基本原理について説明する。以下、TOFカメラ(距離画像取得部20A)により被投影体2の距離画像を取得する場合について説明する。
距離画像取得部20AのLED光源32は、近赤外光を発行するのでタイミングジェネレータ31によりパルス駆動され、その結果、LED光源32からは、パルス幅のパルス光が発光される。このパルス光は、被投影体2の表面で反射し、その反射したパルス光は、距離画像取得部20Aの結像レンズ36を介して距離画像センサ38により結像(受光)される。なお、距離画像センサ38には可視光カットフィルタが設けられており、距離画像センサ38は近赤外のパルス光のみを受光する。
図5は、被投影体2の距離の演算処理を説明する図である。
距離画像取得部20AのLED光源32は、タイミングジェネレータ31によりパルス駆動されるが、LED光源32のパルス駆動に同期して、図5(A)及び(B)に示すように、距離画像センサ38は、タイミングジェネレータ31により第1の露光制御及び第2の露光制御の2回の露光制御が順次行われる。
図5(A)に示す第1の露光制御は、LED光源32からパルス光を発光させ、少なくとも被投影体2の距離に応じて距離画像センサ38の対応する受光素子での露光量に差が生じるように露光期間を制御する露光制御であり、LED光源32からパルス光を発光させた後、一定時間(測距可能な最も遠い被写体からパルス光が戻ってくるまでの時間)経過後に露光を開始し、少なくとも最も遠い被写体にて反射したパルス光の全てが戻ってくる時間(所定の露光時間)経過後に露光を終了させる。
図5(B)に示す第2の露光制御は、LED光源32からパルス光を発光させ、パルス光に対する露光開始の位相が第1の露光制御のパルス光に対する露光開始の位相と異なる露光制御であり、被写体の反射率の相違及び全画面一様光量でないパルス光による距離画像センサ38での露光量の変化を除去するための露光制御である。本例では、距離画像センサ38の全ての受光素子が被写体にて反射したパルス光を全て露光する露光制御である。具体的には、LED光源32から発光するパルス光の発光タイミングに同期して露光を開始し、一定時間(少なくとも測距可能な最も遠い被写体からパルス光が全て戻ってくるまでの所定の露光時間)経過後に露光を終了させる。尚、第1の露光制御における「所定の露光時間」と、第2の露光制御における「所定の露光時間」とは同じ時間であるが、上記のようにパルス光に対する露光開始の位相が異なる。
次に、制御部26の距離画像生成部113は、図5(C)に示すように第1の露光制御及び第2の露光制御により距離画像センサ38から取得される各露光量に対応するセンサ出力(ある画素の出力データ)を、それぞれ第1のデータL及び第2のデータLとすると、被写体の距離に対応する距離情報Dを、次式により算出する。
[数1]
D=L÷L
即ち、[数1]式によれば、第1のデータLを第2のデータLで除算した除算データを算出する。この除算データは、被写体の反射率の影響が除去され、かつ全画面一様光量でないパルス光の光量の影響が除去された相対距離に対応するデータ(距離情報D)となる。尚、第1のデータLと第2のデータLとに基づいて被写体の絶対距離を求めることも可能である。
そして、距離画像センサ38の全ての画素毎に距離情報Dを取得することにより、距離画像を生成することができる。
<投影画像の生成>
次に投影画像生成部28が行う投影画像5の生成に関して説明する。
投影画像生成部28は、メモリ27に記録されている投影用の画像(動画又は静止画)を、距離画像生成部113(図6)により生成された第1の距離画像及び第2の距離画像(即ち、被投影体2の投影領域3の形状、大きさ及び凹凸といった情報)を利用して、メモリ27に記録されている投影用の画像(動画又は静止画)をトリミング、座標変換、拡縮等の処理を行い、被投影体2の表面に合った投影画像5を生成する。なお、投影画像生成部28が投影画像5の生成のために使用する距離画像として、差分値取得部101で使用された距離画像を使用することによりデータが有効利用されるので好ましい。
図4に示したプロジェクタ部20Bの表示用光学素子42は、投影画像生成部28により生成された投影画像5に基づいて各光学素子の透過率が制御される。
[第1実施形態]
次に本発明の第1実施形態における制御部26に関して説明をする。
図6は、制御部26の構成を示すブロック図である。制御部26は、主に距離画像生成部113、差分値取得部101、判定部103、投影指示部105、投影制御部107、及び投影停止指示部109を備えている。
距離画像生成部113は、距離画像センサ38から距離情報を取得し、取得した距離情報に基づいて距離画像を生成する。ここで距離情報とは、LED光源32から発光されるパルス光(測定光)が被投影体2にて反射して距離画像センサ38に入射する測定光の飛翔時間に対応する情報のことであり、被投影体2の距離に対応する。距離画像生成部113の具体的な距離画像の生成方法は上述したとおりである。距離画像生成部113で生成された距離画像は、2次元的に分布された距離情報により構成されている。
差分値取得部101は、距離画像取得部20Aにより第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する。
図7及び図8は、差分値取得部101が行う差分値の取得に関して説明する図である。図7(A)は、図2(A)(時刻T1)の場合に距離画像取得部20Aで取得された距離画像Sを示している。図7(B)は、図2(B)(時刻T2)の場合に距離画像取得部20Aで取得された距離画像Tを示している。また、説明のために距離情報を近距離11、中距離13、及び遠距離15として図中では濃淡で示している。なお、図7では被投影体2は楕円で描き簡略化されており、画像中のステージ7及び被投影体2以外の背景は省略されている。
図7(A)で示された距離画像Sは、ステージ7において近距離11、中距離13、及び遠距離15の距離情報を有し、被投影体2において遠距離15の距離情報を有する。そして、距離画像Sでは、ステージ7の遠距離15の距離情報を有する領域の濃淡と被投影体2の濃淡とが等しく表されている。図7(B)で示された距離画像Tは、ステージ7において近距離11、中距離13、及び遠距離15の距離情報を有し、被投影体2において中距離13の距離情報を有する。そして、距離画像Tでは、ステージ7の中距離13の距離情報を有する領域の濃淡と被投影体2の濃淡とが等しく表されている。
図7(C)では、距離画像Sが有する距離情報と距離画像Tが有する距離情報との差分値を示す。ステージ7に関する距離情報は、距離画像Sと距離画像Tとで変わらないので差分値は0となる。一方、被投影体2に関する距離情報は、距離画像Sと距離画像Tとで変わるので差分値は0ではない。すなわち、距離画像Sでの被投影体2の距離情報は遠距離15であるのに対して、距離画像Tでの被投影体2の距離情報は中距離13である。したがって、被投影体2には差分値が発生する。
一方図8の場合には、被投影体2が静止している場合に取得された距離画像U及びVが示されている。すなわち、図8(A)では時刻T3で距離画像取得部20Aで取得された距離画像Uが示されており、図8(B)では時刻T4で距離画像取得部20Aで取得された距離画像Vが示されている。距離画像U及びVにおいて、被投影体2の距離情報は中距離13で同じである。したがって、図8(C)で示すように、距離画像Uの距離情報と距離画像Vの距離情報との差分値は0となる。また、ステージ7の差分値に関しても図7と同様に0となる。なお、時刻T3とT4との時間差は非常に短いので、距離画像UとVとの差分値が0に近いと被投影体2が静止していると予測することができる。また距離画像取得部20Aは連続して距離画像を取得することができる。その場合距離画像取得部20Aは、30fps(frame per second)や60fpsで距離画像を取得することができる。
このように差分値取得部101では、第1のタイミングで取得された距離画像が有する距離情報と第2のタイミングで取得された距離画像が有する距離情報とを引き算することによって差分値が取得される。
また差分値取得部101は、距離画像Sが有する距離情報の平均値を取得し、距離画像Tが有する距離情報の平均値を取得し、その後平均値同士を減算した値を差分値としてもよい。すなわち差分値取得部101は、第1のタイミングで取得された距離画像が有する距離情報の平均値と、第2の距離画像が有する距離情報の平均値とを減算した値を差分値として取得してもよい。
また例えば差分値取得部101は、第1のタイミングで取得された距離画像が有する距離情報と第2のタイミングで取得された距離画像が有する距離情報との最大の差分を、差分値として取得してもよい。すなわち、第1のタイミングで取得された距離画像が有する距離情報と第2のタイミングで取得された距離画像が有する距離情報とを減算し、最大の値を差分値として採用してもよい。
また例えば差分値取得部101は、第1のタイミングで取得された距離画像が有する距離情報の総和と第2のタイミングで取得された距離画像が有する距離情報の総和とを減算した値を差分値として取得してもよい。
図6に戻って、判定部103は、差分値取得部101で取得された差分値に基づいて被投影体2が静止しているか否かの判定を行う。すなわち判定部103は、差分値を取得し、その差分値に基づいて被投影体2の状態(移動している又は静止している)を判定する。判定部103は、差分値を用いて様々な方法により被投影体2の状態を判定することができる。例えば判定部103は閾値に基づいて被投影体2の状態を判定することができる。具体的には判定部103は、取得した差分値が閾値以下の場合には被投影体2が静止していると判定し、取得した差分値が閾値より大きい場合には被投影体2が動いていると判定してもよい。閾値は、判定部103が第1の距離画像が有する距離情報の平均値と第2の距離画像が有する距離情報の平均値との差分値により判別する場合の閾値(第1の閾値)と、判定部103が第1の距離画像が有する距離情報と第2の距離画像が有する距離情報との最大の差分値により判別する場合の閾値(第2の閾値)とで使い分けられる。
投影指示部105は、判定部103の判定結果に基づいて、被投影体2に対して投影画像生成部28で生成された画像の投影を行う指示を出力する。すなわち、投影指示部105は、判定部103により被投影体2が静止していると判定された場合には、プロジェクタ部20Bによる投影の指示を出力する。
投影制御部107は、投影指示部105から出力された投影を行う指示に基づいてプロジェクタ部20Bの投影を制御する。投影制御部107は、投影画像生成部28で生成された投影画像5を表示用光学素子42に表示させ、光源ドライバ45によりLED光源44を発光させ、投影画像5を被投影体2に表示させる。
投影停止指示部109は、一旦被投影体2が静止していると判定されプロジェクタ部20Bにより投影が始まった後に、判定部103により被投影体2が動き出したと判定された場合には、被投影体2に対して投影画像生成部28で生成された画像の投影の停止指示を出力する。すなわち、投影停止指示部109は、再び被投影体2が動き出した場合に、プロジェクタ部20Bによる投影の停止の指示を出力する。なお、プロジェクタ部20Bにより投影が行われている間でも、距離画像取得部20Aにより距離画像が随時取得され、判定部103により随時被投影体2の状態が判定されている。
次に、プロジェクタ装置20を使用したプロジェクション方法に関して説明する。図9は、プロジェクタ装置20の動作を示すフロー図である。
先ずプロジェクタ装置20の距離画像取得部20Aにより、第1のタイミングで距離画像が取得される(ステップS10)。その後、距離画像取得部20Aにより、第2のタイミングで距離画像が取得される(ステップS11)。そして差分値取得部101により、第1のタイミングの距離画像が有する距離情報と第2のタイミングでの距離画像が有する距離情報との差分値が取得される(ステップS12)。なお、図示は省略するが、距離画像取得部20Aによる距離画像の取得、及び差分値取得部101による差分値の取得は随時行われている。
そして、判定部103は差分値により被投影体2が静止しているか否かについて判定を行う(ステップS13)。判定部103により、被投影体2が静止していない(動いている)と判定した場合(ステップS13のNoの場合)には、再び距離画像取得部20Aで距離画像が取得される。一方判定部103により被投影体2が静止していると判定された場合には、投影画像生成部28で投影画像5が生成される(ステップS14)。投影画像生成部28は、第1のタイミングで取得された距離画像及び/又は第2のタイミングで取得された距離画像に基づいて投影画像5を生成する。その後、投影指示部105により投影画像5を投影する指示が出力される(ステップS15)。そして投影制御部107によりプロジェクタ部20Bが制御されて被投影体2に対して投影が行われる(ステップS16)。
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
以上で説明をしたように、本発明によれば、距離画像取得部20Aの距離画像生成部113で生成された距離画像に基づいて、被投影体2の形状を検出して投影画像5が生成される。さらに本発明によれば、第1のタイミングで取得された距離画像及び第2のタイミングで取得された距離画像の差分値から被投影体2が静止しているか否かの判定がされ、その判定に基づいて投影が行われる。これにより、本発明は、距離画像を投影画像5の生成及び被写体が静止しているか否かの判定に使用するので、装置の大型化又は複雑化を抑制しつつ被投影体2の動きを検出し、被投影体2に対して精度良く投影画像5を投影することができる。
[第2実施形態]
次に、本発明の第2実施形態に関して説明する。本実施形態では差分値に基づいて差分画像を生成し、被投影体2の動きを精度良く検出する。
図10は、本実施形態の制御部26の構成を示すブロック図である。なお、図6で説明を行った箇所は同じ符号を付し説明は省略する。制御部26は、主に距離画像生成部113、差分値取得部101、判定部103、差分画像生成部111、投影指示部105、投影制御部107、及び投影停止指示部109を備えている。
図10で示した本実施形態の制御部26と、図6で示した第1実施形態の制御部26を比較すると、本実施形態の制御部26は差分画像生成部111を有する点で異なる。
差分画像生成部111は、差分値取得部101が取得する差分値に基づいて生成された差分画像を生成する。すなわち差分画像生成部111は、差分値取得部101から取得した差分値に基づいて、差分値の2次元分布図を作成する。なお、ここで差分画像とは、差分値の2次元の分布図のことである。
図11は、差分画像を示す概念図である。図11に示された差分画像Wは、図7及び図8で説明を行った距離画像及び差分値に基づいて作成されている。また、差分画像において、差分画像を構成する差分値に応じて濃淡又は色を変えて表示させてもよい。このようにすることで、差分画像が表示画面(図示せず)に表示された場合にユーザは、差分値の違いを把握し易くなる。図11に示した差分画像の場合には差分値の違いが表現されている。なお、被投影体2及びステージ7以外の背景は省略されている。
図11(A)は、図7(A)及び(B)で示された距離画像S及びTから取得された差分値により作成される差分画像Wであり、取得された差分値の2次元分布が示されている。ステージ7は、距離画像S及びTの間で差分値が0であるので、黒で表現されている。一方被投影体2は、距離画像S及びTの間で差分値が異なる2つの領域(領域O、P、及びQ)で構成されている。
領域Oは、距離画像S及びTとの間で差分値0であるのでステージ7と同じように黒で示されている。領域Qでの差分値は中距離13(図7)と遠距離15(図7)との差分値であり、領域Pでの差分値は中距離13(図7)と背景との差分値である。なお、背景は無限遠方と仮定をしている。
図11(B)は、図8(A)及び(B)で示された距離画像U及びVから取得された差分値により作成される差分画像Wであり、取得された差分値の2次元分布が示されている。図11(B)に示した場合では、被投影体2及びステージ7において差分値は0であるので、被投影体2及びステージ7は黒で表現されている。このように、差分画像は距離画像が有する距離情報の差分値の2次元分布により構成されている。
図10に戻って本実施形態の判定部103は、差分画像Wに基づいて様々な態様により被投影体2の動きを判定することができる。例えば判定部103は、差分画像の領域に応じて設定された重み付け係数に差分値を乗じた値に基づいて被投影体2が静止しているか否かの判定を、閾値(第7の閾値)を使用して行うことができる。この場合、差分画像生成部111は、差分画像の領域に応じて設定された重み付け係数に差分値を乗じた値を取得する。
図12は、差分画像Wを示した概念図である。図12に示された差分画像Wは領域Fと領域Eとで異なる重み付け係数が設定されており、その重み付け係数に差分値を乗じた値を差分画像生成部111は取得する。例えば、領域Fに対しては係数1.5の重み付けがされ、領域Eに対しては係数0.5の重み付けがされる。そして差分画像生成部111は、領域Fの重み付け係数と領域Fの差分値を掛け合わせ、領域Eの重み付け係数と領域Eの差分値を掛け合わせる。これにより、画像の中央にはメインの被写体が存在している場合が多いので、メインの被写体(被投影体2)の動きをより正確に検出することができる。なお、図12では中央付近の領域及びその周辺の領域とで領域分けを行ったが、領域の設定は様々な態様を採用することができる。例えば、差分画像WをN×M(N及びMは整数)の格子状の領域に分割したり、被投影体2の形状に沿って領域を分割することもできる。
図13及び14は、距離画像S及びTと差分画像Wとが概念的に示された図である。図13(A)では、被投影体2が中央付近に移っている距離画像S及び距離画像Tが示されている。距離画像Sは時刻T1で撮像され、距離画像Tは時刻T2で撮像されており、被投影体2は時刻T1からT2の間に図13に向かって右に移動をしている。なお図13(A)では、距離に関して被投影体2と背景とで2値化されており、プロジェクタ装置20から距離が近い被投影体2は背景に比べて白く表現されている。
図13(B)は、図13(A)に示された距離画像Sと距離画像Tとの差分画像(W1及びW2)である。なお図13(B)では、差分値が0の領域を黒で表現され、差分値が0でない領域117を白で表現されている。例えば差分画像(W1及びW2)の領域117の差分値を100とする。差分画像W2では図12で説明をしたように領域E及びFにおいて重み付けが設定されており、差分画像W1では重み付けは設定されていない。差分画像W2では領域Fでの差分値に対して係数1.5の重み付けがされるので、差分画像生成部111は領域117の差分値(100)と重み付け係数(1.5)が乗算され150という値を得る(100×1.5=150)。一方で、差分画像W1では重み付けは設定されていないので、W1の差分値は100となる。
図14(A)では、被投影体2ではない人物114が写っている距離画像S及び人物114が写っていない距離画像Tが示されている。距離画像Sは時刻T1で撮像され、距離画像Tは時刻T2で撮像されている。また図14(A)では、距離に関して人物114と背景との2値化されており、プロジェクタ装置20から距離が近い人物114は背景に比べて白く表現されている。
図14(B)は、図14(A)に示された距離画像Sと距離画像Tとの差分画像(W1及びW2)であり、人物114に応じた差分値が0でない領域119が白で表現されている。例えば差分画像(W1及びW2)での差分値を50とする。図14(B)は、図13(B)と同様に重み付けが設定されている。差分画像W2では領域Eでの差分値に対して係数0.5の重み付けがされるので、差分画像生成部111は領域119の差分値(50)と重み付け係数(0.5)が乗算され25という値を得る(50×0.5=25)。一方で、差分画像W1では重み付けは設定されていないので、W1の差分値は50となる。
このように図13(B)及び図14(B)の場合(領域に応じて重み付けが設定されている場合)では、領域Fの差分値が大きく評価され、領域Eの差分値が小さく評価される。
このように、差分画像の領域に応じて重み付けを行い、その重み付け係数に差分値を乗算することにより得た値に基づいて被投影体2の動きが判定されることにより、被投影体2の動きをより正確に判定することができる。
さらに判定部103は、差分画像生成部111が生成する差分画像の複数のフレームにおける平均差分値が閾値(第3の閾値)以下である場合に被投影体2が静止していると判定してもよい。すなわち、差分画像生成部111は一つの差分画像において平均差分値を取得しその平均値を複数フレーム分生成し、判定部103は得られた複数フレーム分の差分画像における平均差分値に基づいて被投影体2が静止していると判定する。これにより、複数フレームの差分画像の平均値に基づいて被投影体2が静止しているか否かが判定されるので、より正解な被投影体2の動きを判定することが可能となる。
また判定部103は、差分画像の複数のフレームにおける最大の差分値が閾値(第4の閾値)以下である場合に被投影体2が静止していると判定することができる。すなわち、差分画像生成部111は複数フレームの差分画像における最大の差分値を取得し、判定部103はその最大の差分値に基づいて被投影体2が静止しているか否かを判定する。これにより、最大の差分値に基づいて被投影体2が静止しているか否かが判定されるので、より正解な被投影体2の動きを判定することが可能となる。
また判定部103は、差分画像において差分値が閾値(第5の閾値)以下である領域の大きさに基づいて被投影体2が静止しているか否かの判定を行う。すなわち、差分画像生成部111は差分画像において閾値以下の領域を算出し、その領域の大きさが一定の大きさよりも大きい場合には被投影体2は静止していると判定部103は判定する。また、差分画像生成部111は複数フレームの差分画像において閾値(第6の閾値)以下の領域を算出し、その領域の大きさが一定の大きさよりも大きい場合には被投影体2は静止していると判定部103は判定してもよい。
また差分値取得部101は、差分画像に関連する様々な値を判定部103が被投影体2の動き判定する値(以下評価値という)として取得又は算出することができる。例えば差分画像生成部111は、距離画像Sと距離画像Tとの間で差分値が0でない画素の数を評価値としてもよい。また差分画像生成部111は、差分画像の差分値の分散値又は標準偏差を評価値としてもよい。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
2…被投影体、7…ステージ、20…距離画像取得装置付きプロジェクタ装置、20A…距離画像取得部、20B…プロジェクタ部、26…制御部、27…メモリ、28…投影画像生成部、29…入力I/F、31…タイミングジェネレータ、32…測定用光源、33…光源ドライバ、35…投影レンズ、36…結像レンズ、37…レンズドライバ、38…距離画像センサ、39…AD変換器、39…変換器、40…インターフェース回路、40…回路、42…表示用光学素子、43…素子ドライバ、44…投影光源、45…光源ドライバ、46…投影レンズ、47…レンズドライバ、49…データバス、101…差分値取得部、103…判定部、105…投影指示部、107…投影制御部、109…投影停止指示部、111…差分画像生成部、113…距離画像生成部

Claims (12)

  1. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が2次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなり、
    前記プロジェクタ装置は、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成部と、
    前記距離画像取得装置により第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する差分値取得部と、
    前記差分値取得部で取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定部と、
    前記判定部の判定結果に基づいて、前記被投影体に対して前記投影画像生成部で生成された画像の投影を行う指示を出力する投影指示部と、
    前記投影指示部から出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御部と、
    を備え
    前記差分値取得部は、前記第1の距離画像が有する距離情報の平均値と前記第2の距離画像が有する距離情報の平均値との差分値を取得し、
    前記判定部は、前記差分値が第1の閾値以下である場合に前記被投影体が静止していると判定する距離画像取得装置付きプロジェクタ装置。
  2. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が2次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなり、
    前記プロジェクタ装置は、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成部と、
    前記距離画像取得装置により第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する差分値取得部と、
    前記差分値取得部で取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定部と、
    前記判定部の判定結果に基づいて、前記被投影体に対して前記投影画像生成部で生成された画像の投影を行う指示を出力する投影指示部と、
    前記投影指示部から出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御部と、
    を備え、
    前記差分値取得部は、前記第1の距離画像が有する距離情報と前記第2の距離画像が有する距離情報との最大の差分値を取得し、
    前記判定部は、前記最大の差分値が第2の閾値以下である場合に前記被投影体が静止していると判定する請求項1に記載の距離画像取得装置付きプロジェクタ装置。
  3. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が2次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなり、
    前記プロジェクタ装置は、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成部と、
    前記距離画像取得装置により第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する差分値取得部と、
    前記差分値取得部で取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定部と、
    前記判定部の判定結果に基づいて、前記被投影体に対して前記投影画像生成部で生成された画像の投影を行う指示を出力する投影指示部と、
    前記投影指示部から出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御部と、
    前記差分値取得部が取得する前記差分値に基づいて生成された差分画像を生成する差分画像生成部と、を備える距離画像取得装置付きプロジェクタ装置。
  4. 前記差分画像生成部は、前記差分画像の複数のフレームにおける平均差分値を取得し、
    前記判定部は、前記差分画像の前記複数のフレームにおける前記平均差分値が第3の閾値以下である場合に前記被投影体が静止していると判定する請求項に記載の距離画像取得装置付きプロジェクタ装置。
  5. 前記差分画像生成部は、前記差分画像の複数のフレームにおける最大の差分値を取得し、
    前記判定部は、前記差分画像の前記複数のフレームにおける前記最大の差分値が第4の閾値以下である場合に前記被投影体が静止していると判定する請求項に記載の距離画像取得装置付きプロジェクタ装置。
  6. 前記差分画像生成部は、前記差分画像の領域毎の差分値を取得し、
    前記判定部は、前記差分画像において前記差分値が第5の閾値以下である前記領域の大きさに基づいて前記被投影体が静止しているか否かの判定を行う請求項に記載の距離画像取得装置付きプロジェクタ装置。
  7. 前記差分画像生成部は、前記差分画像の領域毎の差分値を複数フレームにおいて取得し、
    前記判定部は、前記複数フレームの前記差分画像において前記差分値が第6の閾値以下である領域の大きさに基づいて前記被投影体が静止しているか否かの判定を行う請求項に記載の距離画像取得装置付きプロジェクタ装置。
  8. 前記差分画像生成部は、前記差分画像の領域に応じて設定された重み付け係数に差分値を乗じた値を取得し、
    前記判定部は、前記重み付け係数に差分値を乗じた値が第7の閾値以下である場合に前記被投影体が静止しているとの判定を行う請求項に記載の距離画像取得装置付きプロジェクタ装置。
  9. 前記判定部の判定結果に基づいて、前記被投影体に対して前記投影画像生成部で生成された画像の投影の停止指示を出力する投影停止指示部と、を備え、
    前記投影制御部は、前記投影停止指示部からの前記投影の停止指示に基づいて前記プロジェクタ装置の投影を制御する請求項1からのいずれか1項に記載の距離画像取得装置付きプロジェクタ装置。
  10. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が2次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用するプロジェクション方法であり、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成ステップと、
    前記距離画像取得装置により第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する差分値取得ステップと、
    前記差分値取得ステップで取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定ステップと、
    前記判定ステップの判定結果に基づいて、前記被投影体に対して前記投影画像生成ステップで生成された画像の投影を行う指示を出力する投影指示ステップと、
    前記投影指示ステップから出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御ステップと、
    前記第1の距離画像が有する距離情報の平均値と前記第2の距離画像が有する距離情報の平均値との差分値を取得するステップと、
    前記差分値が第1の閾値以下である場合に前記被投影体が静止していると判定するするステップと、
    を含むプロジェクション方法。
  11. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が2次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用するプロジェクション方法であり、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成ステップと、
    前記距離画像取得装置により第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する差分値取得ステップと、
    前記差分値取得ステップで取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定ステップと、
    前記判定ステップの判定結果に基づいて、前記被投影体に対して前記投影画像生成ステップで生成された画像の投影を行う指示を出力する投影指示ステップと、
    前記投影指示ステップから出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御ステップと、
    前記第1の距離画像が有する距離情報と前記第2の距離画像が有する距離情報との最大の差分値を取得するステップと、
    前記最大の差分値が第2の閾値以下である場合に前記被投影体が静止していると判定するステップと、
    を含むプロジェクション方法。
  12. 投影画像を表示する表示用光学素子と、前記表示用光学素子に表示された投影画像を被投影体に投影する投影光源及び投影レンズと、を備えたプロジェクタ装置と、
    複数の受光素子が2次元状に配列された距離画像センサと、測定用光源と、前記測定用光源から出射され、前記被投影体にて反射する測定光を前記距離画像センサに結像させる結像レンズと、前記測定用光源から出射され、前記被投影体にて反射して前記距離画像センサに入射する前記測定光の飛翔時間に対応する距離情報を前記距離画像センサから取得し、前記取得した距離情報に基づいて距離画像を生成する距離画像生成部と、を備えた距離画像取得装置と、からなる距離画像取得装置付きプロジェクタ装置を使用するプロジェクション方法であり、
    前記距離画像取得装置により取得した前記距離画像に基づいて前記被投影体の形状を検出し、前記検出した形状に対応する投影画像を生成する投影画像生成ステップと、
    前記距離画像取得装置により第1のタイミングで取得された第1の距離画像が有する距離情報と第2のタイミングで取得された第2の距離画像が有する距離情報との差分値を取得する差分値取得ステップと、
    前記差分値取得ステップで取得された前記差分値に基づいて前記被投影体が静止しているか否かの判定を行う判定ステップと、
    前記判定ステップの判定結果に基づいて、前記被投影体に対して前記投影画像生成ステップで生成された画像の投影を行う指示を出力する投影指示ステップと、
    前記投影指示ステップから出力された前記投影を行う指示に基づいて前記プロジェクタ装置の投影を制御する投影制御ステップと、
    前記差分値に基づいて生成された差分画像を生成するステップと、
    を含むプロジェクション方法。
JP2017543009A 2015-09-29 2016-08-19 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法 Active JP6467516B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015191761 2015-09-29
JP2015191761 2015-09-29
PCT/JP2016/074251 WO2017056776A1 (ja) 2015-09-29 2016-08-19 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法

Publications (2)

Publication Number Publication Date
JPWO2017056776A1 JPWO2017056776A1 (ja) 2018-08-09
JP6467516B2 true JP6467516B2 (ja) 2019-02-13

Family

ID=58423434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543009A Active JP6467516B2 (ja) 2015-09-29 2016-08-19 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法

Country Status (4)

Country Link
US (1) US10663593B2 (ja)
JP (1) JP6467516B2 (ja)
CN (1) CN108140358A (ja)
WO (1) WO2017056776A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
CN112262363A (zh) 2018-02-27 2021-01-22 利惠商业有限公司 激光整理设计工具
DE102018105621A1 (de) * 2018-03-12 2019-09-12 Salzbrenner STW-Inside GmbH Videoprojektionsvorrichtung
WO2020145097A1 (ja) * 2019-01-10 2020-07-16 株式会社小糸製作所 LiDARセンサユニットおよび車両用防犯システム
CN111757075A (zh) * 2019-03-29 2020-10-09 福建天泉教育科技有限公司 一种动态投影方法及系统
WO2021042068A1 (en) 2019-08-29 2021-03-04 Levi Strauss & Co. Digital showroom with virtual previews of garments and finishes

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407952B2 (ja) * 1993-10-19 2003-05-19 東日本旅客鉄道株式会社 列車扉検出装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
JP2003255219A (ja) * 2002-03-04 2003-09-10 Nisca Corp 自動フレーミングカメラ
JP3495355B2 (ja) * 2001-11-05 2004-02-09 三菱電機株式会社 パルスレーダ装置
JP3772870B2 (ja) * 2003-08-25 2006-05-10 カシオ計算機株式会社 投影装置、投影方法及びプログラム
JP2005223393A (ja) * 2004-02-03 2005-08-18 Casio Comput Co Ltd 投影装置、投影方法、及び投影プログラム
JP4670303B2 (ja) * 2004-10-06 2011-04-13 ソニー株式会社 画像処理方法及び画像処理装置
JP2008242658A (ja) * 2007-03-26 2008-10-09 Funai Electric Co Ltd 立体物体の撮像装置
CN101726978B (zh) * 2008-10-29 2012-09-12 精工爱普生株式会社 投影仪及投影仪的控制方法
US10410500B2 (en) * 2010-09-23 2019-09-10 Stryker Corporation Person support apparatuses with virtual control panels
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
KR20120055991A (ko) * 2010-11-24 2012-06-01 삼성전자주식회사 영상처리장치 및 그 제어방법
JP2012208439A (ja) * 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム
JP2013033206A (ja) * 2011-07-06 2013-02-14 Ricoh Co Ltd 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム
JP2013061552A (ja) * 2011-09-14 2013-04-04 Ricoh Co Ltd プロジェクタ装置および操作検出方法
EP2635022A1 (en) * 2012-02-29 2013-09-04 Flir Systems AB A method and system for performing alignment of a projection image to detected infrared (IR) radiation information
EP2634747A1 (en) * 2012-02-29 2013-09-04 Flir Systems AB A method and system for projecting a visible representation of infrared radiation
JP2013192189A (ja) 2012-03-15 2013-09-26 Casio Comput Co Ltd 画像処理装置、投影システム、プログラム及び画像処理方法
JP5842694B2 (ja) * 2012-03-21 2016-01-13 セイコーエプソン株式会社 画像処理装置、プロジェクター、およびプロジェクターの制御方法
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP2014041225A (ja) * 2012-08-22 2014-03-06 Canon Inc 液晶プロジェクタ及び液晶プロジェクタの投射方法
US9996909B2 (en) * 2012-08-30 2018-06-12 Rakuten, Inc. Clothing image processing device, clothing image display method and program
CN104755981B (zh) * 2012-11-14 2017-04-12 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP2014137762A (ja) * 2013-01-18 2014-07-28 Sanyo Electric Co Ltd 物体検出装置
US9405124B2 (en) * 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
JP2015038595A (ja) * 2013-07-19 2015-02-26 キヤノン株式会社 映像生成装置、映像生成方法
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
JP6101944B2 (ja) * 2014-12-25 2017-03-29 パナソニックIpマネジメント株式会社 投影装置
US10122976B2 (en) * 2014-12-25 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Projection device for controlling a position of an image projected on a projection surface

Also Published As

Publication number Publication date
WO2017056776A1 (ja) 2017-04-06
CN108140358A (zh) 2018-06-08
US20180224553A1 (en) 2018-08-09
US10663593B2 (en) 2020-05-26
JPWO2017056776A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
US10412352B2 (en) Projector apparatus with distance image acquisition device and projection mapping method
US11381753B2 (en) Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US9875423B2 (en) Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic
US20160266347A1 (en) Imaging apparatus and method, and program
US9979876B2 (en) Imaging apparatus, imaging method, and storage medium
US12120425B2 (en) Information processing device, imaging device, information processing method, and program
JP6700818B2 (ja) 画像処理装置、撮像装置、および画像処理方法
WO2020021914A1 (ja) 距離測定装置および信頼性判定方法
CN110235442B (zh) 投射型影像显示装置
JP2013186293A (ja) 画像生成装置および画像表示方法
US9843715B2 (en) Photographic apparatus, stroboscopic image prediction method, and a non-transitory computer readable storage medium storing stroboscopic image prediction program
US9906705B2 (en) Image pickup apparatus
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
JP4640108B2 (ja) カメラ
WO2019181125A1 (ja) 画像処理装置及び画像処理方法
JP5981898B2 (ja) 撮像装置およびその制御方法
JP2012058434A (ja) 画像投影装置
JP2015159432A (ja) 撮影装置および撮影方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190111

R150 Certificate of patent or registration of utility model

Ref document number: 6467516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250