JP6757004B2 - 画像処理装置及び方法、画像処理プログラム、並びに投影装置 - Google Patents
画像処理装置及び方法、画像処理プログラム、並びに投影装置 Download PDFInfo
- Publication number
- JP6757004B2 JP6757004B2 JP2016152202A JP2016152202A JP6757004B2 JP 6757004 B2 JP6757004 B2 JP 6757004B2 JP 2016152202 A JP2016152202 A JP 2016152202A JP 2016152202 A JP2016152202 A JP 2016152202A JP 6757004 B2 JP6757004 B2 JP 6757004B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projected
- image processing
- estimated
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
- Processing Or Creating Images (AREA)
Description
画像処理後の出力画像及び前記撮影画像に基づいて、前記撮影画像と前記投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、前記推定画像と前記撮影画像との差が小さくなるように閉ループ制御しかつ前記推定画像に対して所定の画像処理を行って出力画像を出力し、前記撮影画像の各画素位置と前記出力画像の各画素位置とが互いに一致するように前記出力画像を前記投影画像に座標変換する画像処理手段とを備えた画像処理装置において、
前記画像処理手段は、
(A)前記推定画像に対して、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行って画素値が変化して発振するように所定の画像処理を実行することで前記投影画像において所定のエフェクトのアニメーションを発生させ、もしくは
(B)前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで前記投影画像において所定のエフェクトのアニメーションを発生させることを特徴とする。
前記画像処理装置は、画像処理後の出力画像及び前記撮影画像に基づいて、前記撮影画像と前記投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、前記推定画像と前記撮影画像との差が小さくなるように閉ループ制御しかつ前記推定画像に対して所定の画像処理を行って出力画像を出力し、前記撮影画像の各画素位置と前記出力画像の各画素位置とが互いに一致するように前記出力画像を前記投影画像に座標変換する画像処理手段とを備え、
前記画像処理方法は、前記画像処理手段が、
(A)前記推定画像に対して、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行って画素値が変化して発振するように所定の画像処理を実行することで前記投影画像において所定のエフェクトのアニメーションを発生させるステップ、もしくは
(B)前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで前記投影画像において所定のエフェクトのアニメーションを発生させるステップを含むことを特徴とする。
前記画像処理装置と、
前記投影画像を前記被投影物に投影するプロジェクタと、
前記被投影物に投影された画像を撮影する撮影装置とを備えたことを特徴とする。
プロジェクタベースの拡張現実感技術は光学的に実世界に働きかけることができ、付加情報の提示のみならず、補正光投影により現実世界の見かけを変化させることもできる技術である。本明細書では、このようにプロジェクタとカメラからなる系で実世界の見かけを変化させる技術を見かけの制御技術と呼ぶ。見かけの制御技術は、投影対象もしくはスクリーンのテクスチャを除去するのか、あるいはテクスチャを強調もしくは改変するのかという目的の違いと、静的もしくは動的な処理という観点で表1のように分類できる。
Fujii et al.(非特許文献3参照)が提案した動的適応化(Dynamic Adaptation)は1980年代から化学プラントや製油所プラントなどで応用されているMPC(モデル予測制御)の一つと解釈することができる。操作入力u(t)を持つ制御対象のモデルyM(t)とセンサにより取得された出力y(t)より、時刻t+1における予測値yP(t+1)は次式で表される。
図1は比較例1に係る、繰り返し投影法による見かけの強調処理を行う画像処理システムの構成を示すブロック図である。図1において、画像処理システムは、プロジェクタ102と、撮影カメラ106と、画像処理装置103とを備えて構成され、プロジェクタ102の投影面及び撮影カメラ106の撮影面に、反射率Kの反射物体104が載置される。ここで、画像処理装置103は、γ補正部130と、色補正部131と、画像処理部133と、座標変換部134と、γ補正部135とを備える。図1において、
応答の線形化が施された撮影カメラ106とプロジェクタ102を仮定し、撮影カメラ106で撮影される画像CMの応答モデルを次式とする。
図3は実施形態1に係る画像処理システムであって、鑑賞者の有無、位置及び動作に応じてアニメーションを変化させる対話的なプロジェクションマッピングを行う画像処理システムの構成及び使用状態を示す斜視図である。また、図4は図3の画像処理システムの詳細構成を示すブロック図である。図3及び図4において、投影装置1内の各画像はデータ形式の画像データである。
図6は実施形態2に係る画像処理システムであって、被投影物4と投影装置1の間に配置された移動物体7の有無、位置及び動作に応じてアニメーションを変化させる対話的なプロジェクションマッピングを行う画像処理システムの構成例及び使用状態を示す斜視図である。図6において、実施形態2に係る画像処理システムは図3の実施形態1にかかる画像処理システムと同一の装置構成を有するが、実施形態1にかかる画像処理システムに比較して、鑑賞者5が、投影装置1と被投影物4の間に位置して移動方向7Aで移動する移動物体7となり、移動物体7の移動に伴って、投影画像に新たなアニメーションが発生することを特徴とする。
b’=kb
以上説明したように、実施例1〜5においては、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行うことで投影画像に対して所定のエフェクトのアニメーションを発生させることができる。また、実施例6においては、対象画素の外側の画素に投影画像が投影されかつコントラスト強調を行うことでにじみのエッフェクトのアニメーションを発生させることができる。
2…プロジェクタ、
3…画像処理装置、
4…被投影物、
5…鑑賞者、
6…撮影カメラ、
7…移動物体、
30…γ補正部、
31…色補正部、
32…見かけの推定部、
33…投影画像生成部、
34…座標変換部、
35…γ補正部、
42…投影範囲、
44…撮影範囲、
50…ユーザインターフェース装置、
60…撮影画像、
102…プロジェクタ、
103,103A…画像処理装置、
104…反射物体、
106…撮影カメラ、
130…γ補正部、
131…色補正部、
132…見かけの推定部、
133,133A…画像処理部、
134…座標変換部、
135…γ補正部、
136…MPC制御部、
331…画像処理部、
331G…γ補正部、
332…MPC制御部、
333…加算器。
Claims (11)
- 所定の投影画像が所定の反射率で反射する被投影物に投影され、前記被投影物により反射された投影画像の光がユーザにより反射された後前記被投影物に投影され、前記被投影物に投影された画像が撮影されて撮影画像として入力される画像処理装置であって、
画像処理後の出力画像及び前記撮影画像に基づいて、前記撮影画像と前記投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、前記推定画像と前記撮影画像との差が小さくなるように閉ループ制御しかつ前記推定画像に対して所定の画像処理を行って出力画像を出力し、前記撮影画像の各画素位置と前記出力画像の各画素位置とが互いに一致するように前記出力画像を前記投影画像に座標変換する画像処理手段とを備えた画像処理装置において、
前記画像処理手段は、
(A)前記推定画像に対して、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行って画素値が変化して発振するように所定の画像処理を実行することで前記投影画像において所定のエフェクトのアニメーションを発生させ、もしくは
(B)前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで前記投影画像において所定のエフェクトのアニメーションを発生させることを特徴とする画像処理装置。 - 前記画像処理手段は、前記推定画像に対して、前記画素の輝度を変化させて発振するように画像処理を実行することで、前記投影画像において輝度変化を有する雲模様を発生させることを特徴とする請求項1記載の画像処理装置。
- 前記画像処理手段は、前記推定画像に対して、輪郭強調及びコントラスト強調を行うことで、前記投影画像において気泡模様を発生させることを特徴とする請求項1記載の画像処理装置。
- 前記画像処理手段は、前記推定画像に対して、画素の色相を変化させることで白色の帯状模様を発生させ、背景の色調の変換を行うことを特徴とする請求項1記載の画像処理装置。
- 前記画像処理手段は、前記推定画像に対して、前記推定画像の色彩を減少させてモノクロ画像に変換させることで色彩の変化を発生させることを特徴とする請求項1記載の画像処理装置。
- 前記画像処理手段は、前記推定画像に対して、前記推定画像の彩度を均一にして画像全体の彩度を同一にさせることで、投影対象の模様に応じて発振する模様を発生させることを特徴とする請求項1記載の画像処理装置。
- 前記画像処理手段は、前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで、前記対象画素から外側の画素ににじみを発生させ、当該にじみが時間経過で当該対象画素から拡大することを特徴とする請求項1記載の画像処理装置。
- 所定の投影画像が所定の反射率で反射する被投影物に投影され、前記被投影物により反射された投影画像の光がユーザにより反射された後前記被投影物に投影され、前記被投影物に投影された画像が撮影されて撮影画像として入力される画像処理装置のための画像処理方法であって、
前記画像処理装置は、画像処理後の出力画像及び前記撮影画像に基づいて、前記撮影画像と前記投影画像との関係から白色照明下で取得される画像を見かけの推定を用いて推定画像を推定し、前記推定画像と前記撮影画像との差が小さくなるように閉ループ制御しかつ前記推定画像に対して所定の画像処理を行って出力画像を出力し、前記撮影画像の各画素位置と前記出力画像の各画素位置とが互いに一致するように前記出力画像を前記投影画像に座標変換する画像処理手段とを備え、
前記画像処理方法は、前記画像処理手段が、
(A)前記推定画像に対して、画素の輝度又は色相を変化させ、もしくは輪郭強調又はコントラスト強調を行って画素値が変化して発振するように所定の画像処理を実行することで前記投影画像において所定のエフェクトのアニメーションを発生させるステップ、もしくは
(B)前記推定画像に対して、対象画素の外側の画素に投影画像が投影されかつ輪郭強調とコントラスト強調のうちコントラスト強調の効果を強めることで所定のエフェクトのアニメーションを発生させるステップを含むことを特徴とする画像処理方法。 - 請求項8記載の画像処理方法のステップを含むことを特徴とする画像処理プログラム。
- 請求項1〜7のうちのいずれか1つに記載の画像処理装置と、
前記投影画像を前記被投影物に投影するプロジェクタと、
前記被投影物に投影された画像を撮影する撮影装置とを備えたことを特徴とする投影装置。 - 前記ユーザは、前記プロジェクタ及び前記撮影装置と、前記被投影物との間に位置して移動することを特徴とする請求項10記載の投影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016152202A JP6757004B2 (ja) | 2016-08-02 | 2016-08-02 | 画像処理装置及び方法、画像処理プログラム、並びに投影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016152202A JP6757004B2 (ja) | 2016-08-02 | 2016-08-02 | 画像処理装置及び方法、画像処理プログラム、並びに投影装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018022287A JP2018022287A (ja) | 2018-02-08 |
JP6757004B2 true JP6757004B2 (ja) | 2020-09-16 |
Family
ID=61165679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016152202A Active JP6757004B2 (ja) | 2016-08-02 | 2016-08-02 | 画像処理装置及び方法、画像処理プログラム、並びに投影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6757004B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115209113B (zh) * | 2021-04-14 | 2024-04-05 | 广州拓火科技有限公司 | 一种投影系统 |
CN115695741A (zh) * | 2021-07-23 | 2023-02-03 | 青岛海尔科技有限公司 | 投射图像的确定方法及装置、存储介质及电子装置 |
JPWO2023073913A1 (ja) * | 2021-10-29 | 2023-05-04 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105359546B (zh) * | 2013-05-01 | 2018-09-25 | 乐盟交互公司 | 用于交互式视频投影系统的内容产生 |
US10297082B2 (en) * | 2014-10-07 | 2019-05-21 | Microsoft Technology Licensing, Llc | Driving a projector to generate a shared spatial augmented reality experience |
-
2016
- 2016-08-02 JP JP2016152202A patent/JP6757004B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018022287A (ja) | 2018-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7289653B2 (ja) | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム | |
US9122946B2 (en) | Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image | |
US9865032B2 (en) | Focal length warping | |
US20170323465A1 (en) | Image processing apparatus, image processing method, and storage medium | |
Johnson et al. | Real-time projector tracking on complex geometry using ordinary imagery | |
JP6576083B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4345940B2 (ja) | 手ぶれ画像補正方法、記録媒体及び撮像装置 | |
Klein et al. | Simulating low-cost cameras for augmented reality compositing | |
Menk et al. | Truthful color reproduction in spatial augmented reality applications | |
JP6757004B2 (ja) | 画像処理装置及び方法、画像処理プログラム、並びに投影装置 | |
JP5596427B2 (ja) | 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム | |
JP6028527B2 (ja) | 表示処理装置、表示処理方法、及びプログラム | |
JP2006081151A (ja) | キーヤ用グラフィカル・ユーザ・インターフェース | |
JP2012155624A (ja) | 画像出力装置、画像表示装置、画像出力方法、プログラム及び記憶媒体 | |
US9270883B2 (en) | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
CN117522936A (zh) | 融合多信息辅助和轮廓检测的虚实遮挡处理方法 | |
JP2002044469A (ja) | 画像処理方法および画像処理プログラムを記録した記録媒体 | |
JP2017147638A (ja) | 映像投影システム、映像処理装置、映像処理プログラムおよび映像処理方法 | |
Kurth et al. | Real-time adaptive color correction in dynamic projection mapping | |
JP2019205205A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
Zheng et al. | Pixel-wise closed-loop registration in video-based augmented reality | |
US11954867B2 (en) | Motion vector generation apparatus, projection image generation apparatus, motion vector generation method, and program | |
Menk et al. | Interactive visualization technique for truthful color reproduction in spatial augmented reality applications | |
Park et al. | Projector compensation framework using differentiable rendering | |
JP2007165995A (ja) | 画像生成装置、画像生成方法および画像生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6757004 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |