JP6249734B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6249734B2 JP6249734B2 JP2013240222A JP2013240222A JP6249734B2 JP 6249734 B2 JP6249734 B2 JP 6249734B2 JP 2013240222 A JP2013240222 A JP 2013240222A JP 2013240222 A JP2013240222 A JP 2013240222A JP 6249734 B2 JP6249734 B2 JP 6249734B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- image
- chroma key
- color
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
以下、本発明の第1の実施形態について、図面を参照しながら説明する。
図1は、本実施形態に係るMRシステム100の構成例を示す図である。
図1において、MRシステム100は、ビデオシースルー型の頭部搭載型の表示装置(以下、HMD)101、コントローラ102、表示部103を有する画像処理装置104とから構成されている。なお、HMD101はビデオシースルー型に限らず、光学シースルー型であってもよい。
図2において、HMD201は、表示部に表示するための現実空間画像を撮影する撮像部202、撮像画像とCG画像との合成画像を表示する表示部203、及び画像や制御信号を送受信する無線I/Fユニット208を備えている。さらに、HMD201を制御する制御部207、撮像画像からHMD201の位置姿勢を求める位置姿勢算出部204、及びコントローラ210から受信した圧縮されたCG画像をデコードするデコード部206を備えている。さらに、CG画像と撮像画像を重畳する画像合成ユニット205や、その他不図示の機能部を備えている。なお、MRシステムが3D映像に対応できるように、撮像部202及び表示部203は、左眼用、右眼用と別々に存在してもよい。
図3において、境界ブロック検出部303は、デコード部206においてデコード(復号)されたCG画像からブロック単位にCG部とクロマキー部との境界を含む境界ブロックを検出する。CG画像用メモリ302は、受信したCG画像を保存する。クロマキー色決定部304は、クロマキー色の範囲を決定する。撮像画像用メモリ305は、撮像部202で撮影した撮像画像を保存する。合成部301は、撮像画像とCG画像とを合成する。
まず、S701において、境界ブロック検出部303は、対象ブロックの画素全てがクロマキー色であるか否かを判定する。この判定の結果、全てクロマキー色の画素から構成されている場合は、S705において、境界ブロック検出部303は対象ブロックをクロマキーブロックであると判定し、この結果をクロマキー色決定部304に送る。そして、クロマキー色決定部304は、この結果に基づいて狭い範囲でのクロマキー色の範囲を決定する。
第1の実施形態では、簡易な方法でCG部とクロマキー部との境界ブロックを検出し、ブロックに応じてクロマキー色の範囲を変更する方法について説明した。本実施形態では、CGが複雑な形状の場合でもきれいにクロマキー合成できる方法について説明する。
図9は、本実施形態における画像合成ユニット205の内部構成例を示すブロック図である。図3に示した構成と比べて、クロマキー色置き換え部902、一時メモリ901、及び隣接ブロック画素値判定部903が追加されている。
まず、S1101において、第1の実施形態と同様の手順で境界ブロックを検出し、検出した境界ブロックについてクロマキー色に近い画素をクロマキー色に置き換える。
まず、S1501において、隣接ブロック画素値判定部903は、対象となる隣接ブロックに対し、広い範囲でのクロマキー色の範囲を決定する。そして、S1502において、隣接ブロック画素値判定部903は、S1402(またはS1302)で判定した隣接ブロックと、境界ブロック(2次境界ブロック)との境界画素を1ライン分取得する。図10に示す例では、ブロック801の最右の縦一列の画素を取得する。
第1及び第2の実施形態では、エンコード/デコードで発生した劣化画像に対してCG部とクロマキー部との境界を含む境界ブロックを検出し、ブロックに応じてクロマキー色の範囲を変更する方法について説明した。本実施形態では、無線通信の通信エラーによって画像補間を行ったために発生した劣化画像に対して、きれいにクロマキー合成できる方法について説明する。なお、本実施形態では説明を分かりやすくするために、無線伝送では画像を圧縮せずに伝送する方法について説明するが、無線伝送部では圧縮した画像で通信を行ってもよい。
第1〜第3の実施形態では、ビデオシースルーHMDのシステム構成について説明した。本実施形態では光学シースルーの時の構成について説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
303 境界ブロック検出部
304 クロマキー色決定部
Claims (14)
- 物体を含む画像を取得する取得手段と、
前記取得手段によって取得された画像を構成する複数のブロックから、前記物体の境界を含む境界ブロックを検出する検出手段と、
前記複数のブロックに対して、所定の色に変更する色の範囲をそれぞれ決定する決定手段と、
前記決定手段によって決定された色の範囲に属する画素を前記所定の色に変更する変更手段とを有し、
前記決定手段は、前記検出手段によって検出された境界ブロックに対して、それ以外のブロックよりも前記色の範囲を広くすることを特徴とする画像処理装置。 - 前記検出手段は、クロマキー色とは異なる色の画素を含み、さらに周囲のブロックのうち少なくとも1つのブロックにおいてすべての画素がクロマキー色であるブロックを、境界ブロックとして検出することを特徴とする請求項1に記載の画像処理装置。
- 前記検出手段は、検出した境界ブロックと隣接するブロックが境界ブロックであるか否かを判定しながら境界ブロックを検出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記検出手段は、前記隣接するブロックが物体側のブロックであり、該隣接するブロックに隣接する少なくとも1つの画素がクロマキー色であるブロックを、境界ブロックと判定することを特徴とする請求項3に記載の画像処理装置。
- 前記取得手段は、非可逆圧縮方式で圧縮された画像を復号した画像を取得することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。
- 前記複数のブロックは、圧縮処理を行うサイズの単位であることを特徴とする請求項1〜5の何れか1項に記載の画像処理装置。
- 前記決定手段は、前記色の範囲をR、G、Bで同じ割合に決定することを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。
- 前記決定手段は、前記色の範囲をR、G、Bでそれぞれ異なる割合に決定することを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。
- 前記所定の色は、クロマキー色であることを特徴とする請求項1〜8の何れか1項に記載の画像処理装置。
- 前記決定手段は、前記境界ブロックに欠陥を補間した画素が含まれている場合に、前記色の範囲を広く決定することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記変更手段によって画素の色が変更された画像と、撮像画像とを合成する合成手段をさらに有することを特徴とする請求項1〜10の何れか1項に記載の画像処理装置。
- 前記所定の色は、黒色であることを特徴とする請求項1〜8の何れか1項に記載の画像処理装置。
- 物体を含む画像を取得する取得工程と、
前記取得工程において取得された画像を構成する複数のブロックから、前記物体の境界を含む境界ブロックを検出する検出工程と、
前記複数のブロックに対して、所定の色に変更する色の範囲をそれぞれ決定する決定工程と、
前記決定工程において決定された色の範囲に属する画素を前記所定の色に変更する変更工程とを有し、
前記決定工程においては、前記検出工程において検出された境界ブロックに対して、それ以外のブロックよりも前記色の範囲を広くすることを特徴とする画像処理方法。 - 物体を含む画像を取得する取得工程と、
前記取得工程において取得された画像を構成する複数のブロックから、前記物体の境界を含む境界ブロックを検出する検出工程と、
前記複数のブロックに対して、所定の色に変更する色の範囲をそれぞれ決定する決定工程と、
前記決定工程において決定された色の範囲に属する画素を前記所定の色に変更する変更工程とをコンピュータに実行させ、
前記決定工程においては、前記検出工程において検出された境界ブロックに対して、それ以外のブロックよりも前記色の範囲を広くすることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013240222A JP6249734B2 (ja) | 2013-11-20 | 2013-11-20 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013240222A JP6249734B2 (ja) | 2013-11-20 | 2013-11-20 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015099562A JP2015099562A (ja) | 2015-05-28 |
JP6249734B2 true JP6249734B2 (ja) | 2017-12-20 |
Family
ID=53376112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013240222A Expired - Fee Related JP6249734B2 (ja) | 2013-11-20 | 2013-11-20 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6249734B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6494439B2 (ja) * | 2015-06-05 | 2019-04-03 | キヤノン株式会社 | 通信装置およびその制御方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05242143A (ja) * | 1992-02-26 | 1993-09-21 | Hitachi Ltd | マルチメディアプレゼンテーションシステム |
JP3886184B2 (ja) * | 1996-09-20 | 2007-02-28 | 株式会社ソニー・コンピュータエンタテインメント | 画像データの処理方法および画像処理装置 |
DE69901565T2 (de) * | 1998-07-14 | 2002-09-05 | Pe Corporation (Ny), Foster City | Automatische maskierung von objekten in bildern |
JP2006252108A (ja) * | 2005-03-10 | 2006-09-21 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法及びそのプログラム |
JP5545316B2 (ja) * | 2012-04-11 | 2014-07-09 | 大日本印刷株式会社 | 印画物作製装置及び印画物作製方法 |
-
2013
- 2013-11-20 JP JP2013240222A patent/JP6249734B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015099562A (ja) | 2015-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6167703B2 (ja) | 表示制御装置、プログラム及び記録媒体 | |
JP6563043B2 (ja) | 映像表示システム | |
JP5113426B2 (ja) | 頭部装着型表示装置、及びその制御方法 | |
CA3068417C (en) | Display control apparatus, display control method, and program | |
US10375305B2 (en) | Information processing device, imaging device, information processing method, and program | |
US8687053B2 (en) | Stereoscopic image display device | |
TWI508521B (zh) | 一種顯示系統和方法 | |
EP3550522A1 (en) | Image processing device and method | |
US9706114B2 (en) | Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program | |
JP6195076B2 (ja) | 別視点画像生成装置および別視点画像生成方法 | |
CN110537208B (zh) | 头戴式显示器和方法 | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
JP6249734B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018141943A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9542777B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2016086245A (ja) | 画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム | |
JP2018088605A (ja) | 情報処理装置、表示制御装置、制御方法、及びプログラム | |
US20150002624A1 (en) | Video signal processing device and video signal processing method | |
JP6930423B2 (ja) | 受信装置、受信方法および送受信システム | |
JP2014199508A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015191314A (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP2013042414A (ja) | 立体画像生成装置、立体画像表示装置、立体画像生成方法およびプログラム | |
JP6443505B2 (ja) | プログラム、表示制御装置及び表示制御方法 | |
WO2011114745A1 (ja) | 映像再生装置 | |
JP2016082528A (ja) | システム、プログラム、表示装置、画像処理装置、システムの制御方法、表示装置の制御方法および画像処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6249734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |