JP5239991B2 - 画像処理装置、及び画像処理システム - Google Patents
画像処理装置、及び画像処理システム Download PDFInfo
- Publication number
- JP5239991B2 JP5239991B2 JP2009074349A JP2009074349A JP5239991B2 JP 5239991 B2 JP5239991 B2 JP 5239991B2 JP 2009074349 A JP2009074349 A JP 2009074349A JP 2009074349 A JP2009074349 A JP 2009074349A JP 5239991 B2 JP5239991 B2 JP 5239991B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- virtual
- luminance
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Description
<システム構成>
図8は、実施例1における画像処理システムの構成例を示す図である。図8に示すように、画像処理システム10は、2つ以上(N個)の撮像装置、画像合成装置(画像処理装置)20、表示装置(モニタ)30を含む。
図9は、画像合成装置20の主要機能構成の一例を示す図である。図9に示すように、画像合成装置20は、画像取得手段201、取得画像記録手段202、仮想面位置決定手段203、出力画素位置制御手段204、対応点座標算出手段205、対応点比較手段206、輝度決定手段207、出力画像記録手段208、画像出力手段209を含む。
(通常処理)
図11は、実施例1における仮想カメラと各カメラと撮影対象との位置関係を示す図である。図11に示すように、立体物の撮影対象をカメラ1とカメラ2とで撮影し、上方の仮想カメラから撮影したとする合成画像を生成する例について説明する。
次に、図13〜図15を用いて、合成画像の点の輝度値を決定する例外処理について説明する。図13は、例外処理が起こる例1を示す図である。図13に示すように、領域bは、いずれか一方のカメラからは撮影できない範囲であり、かつ、合成画像に必要な範囲aに対応する仮想面の範囲である。領域aに含まれる点の輝度値を決定するために前述したような通常処理を行っても、カメラ1の対応点Bの輝度値と、カメラ2の対応点Cの輝度値が一致する可能性は低い。よって、例外処理が必要となる。
次に、実施例1にかかる画像処理システムの動作について説明する。図16は、実施例1における輝度決定処理の一例を示すフローチャートである。ステップS11において、仮想面位置決定手段203は、仮想面の位置を初期化する。例えば対象物の載置面を初期値とする。
次に、実施例2に係る画像処理システムについて説明する。実施例2では、撮像装置(カメラ)が3台以上ある場合に、合成画像の点の輝度値の決め方について説明する。画像処理装置20の機能構成については、図9と同様であるためその説明を省略する。
図18は、実施例2における仮想カメラと各カメラと撮影対象との位置関係を示す図である。図18に示すように、立体物の撮影対象をカメラ1とカメラ2とカメラ3とで撮影し、上方の仮想カメラから撮影したとする合成画像を生成する例について説明する。なお、図18に示す例ではカメラは3つであるが、カメラを3つ以上にしても以下に説明する処理と同様の処理を行うことができる。
次に、実施例2にかかる画像処理システムの動作について説明する。図20は、実施例2における輝度決定処理の一例を示すフローチャートである。図20に示す処理で図16に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。
次に、各実施例の変形例について説明する。変形例では、各撮像装置の撮像画像の対応点の輝度値が所定の条件を満たすかどうかを判定するのではなく、対応点を中心とした部分画像が所定の条件を満たすかどうかを判定する。
(付記1)
複数の撮像画像から合成画像を生成する画像処理装置であって、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
複数の撮像装置から撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から1の仮想面の位置を決定する位置決定手段と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する2以上の前記撮像画像の点を求める対応点算出手段と、
算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段と
を備える画像処理装置。
(付記2)
前記位置決定手段は、
前記各撮像画像の点の輝度値が所定の条件を満たさない場合、前記仮想面の位置を他の位置にする付記1記載の画像処理装置。
(付記3)
前記輝度決定手段は、
前記複数の仮想面の位置全てに対して、前記各撮像画像の点の輝度値が所定の条件を満たさない場合、前記仮想面の点に一番近い撮像装置における前記仮想面の点に対応する撮像画像の点の輝度値を、前記合成画像の点の輝度値に決定する付記2記載の画像処理装置。
(付記4)
前記輝度決定手段は、
前記仮想面位置決定手段により仮想面の位置を変更することで、前記対応点算出手段により算出された前記撮像画像の点が1つのみになった場合、該点の輝度値を前記合成画像の点の輝度値に決定する付記2又は3記載の画像処理装置。
(付記5)
前記輝度決定手段は、
算出された各撮像画像の点を含む部分画像が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する付記1乃至4いずれか一に記載の画像処理装置。
(付記6)
前記所定の条件は、
各撮像画像の点の輝度値が一致する、又は各撮像画像の点の輝度値の差分が所定値未満である付記1乃至5いずれか一に記載の画像処理装置。
(付記7)
複数の撮像画像から合成した合成画像を表示する画像処理システムであって、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
複数の撮像装置から撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から1の仮想面の位置を決定する位置決定手段と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する少なくとも2つ以上の前記撮像画像の点を求める対応点算出手段と、
算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段と、
決定された輝度値を含む合成画像を表示する表示手段と
を有する画像処理システム。
(付記8)
複数の撮像画像から合成画像を生成する画像処理方法であって、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得段階と、
複数の撮像装置から撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から1の仮想面の位置を決定する位置決定段階と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する2以上の前記撮像画像の点を求める対応点算出段階と、
算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定段階と
を有する画像処理方法。
(付記9)
複数の撮像画像から合成画像を生成する画像処理装置を制御するコンピュータを、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
複数の撮像装置から撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から1の仮想面の位置を決定する位置決定手段と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する2以上の前記撮像画像の点を求める対応点算出手段と、
算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段として機能させるためのプログラム。
10 画像処理システム
20 画像合成装置
30 表示装置
201 画像取得手段
202 取得画像記憶手段
203 仮想面位置決定手段
204 出力画素位置制御手段
205 対応点座標算出手段
206 対応点比較手段
207 輝度決定手段
208 出力画像記録手段
209 画像出力手段
Claims (3)
- 複数の撮像画像から合成画像を生成する画像処理装置であって、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
複数の撮像装置に撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から1の仮想面の位置を決定する位置決定手段と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する2以上の前記撮像画像の点を求める対応点算出手段と、
算出された各撮像画像の点の輝度値のうち2つの輝度値の差分値が所定値以下である場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段と
を備え、
前記位置決定手段は、
前記2つの輝度値の差分値が所定値より大きい場合、前記仮想面の位置を他の位置にする画像処理装置。 - 前記輝度決定手段は、
前記複数の仮想面の位置全てに対して、前記2つの輝度値の差分値が所定値より大きい場合、前記仮想面の点に一番近い撮像装置における前記仮想面の点に対応する撮像画像の点の輝度値を、前記合成画像の点の輝度値に決定する請求項1記載の画像処理装置。 - 複数の撮像画像から合成した合成画像を表示する画像処理システムであって、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
複数の撮像装置に撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から1の仮想面の位置を決定する位置決定手段と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する少なくとも2つ以上の前記撮像画像の点を求める対応点算出手段と、
算出された各撮像画像の点の輝度値のうち2つの輝度値の差分値が所定値以下である場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段と、
決定された輝度値を含む合成画像を表示する表示手段と
を有し、
前記位置決定手段は、
前記2つの輝度値の差分値が所定値より大きい場合、前記仮想面の位置を他の位置にする画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009074349A JP5239991B2 (ja) | 2009-03-25 | 2009-03-25 | 画像処理装置、及び画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009074349A JP5239991B2 (ja) | 2009-03-25 | 2009-03-25 | 画像処理装置、及び画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010225092A JP2010225092A (ja) | 2010-10-07 |
JP5239991B2 true JP5239991B2 (ja) | 2013-07-17 |
Family
ID=43042179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009074349A Expired - Fee Related JP5239991B2 (ja) | 2009-03-25 | 2009-03-25 | 画像処理装置、及び画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5239991B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3326358B1 (en) | 2015-02-27 | 2022-08-17 | LEIA Inc. | Multiview camera |
EP3104357A1 (en) * | 2015-06-09 | 2016-12-14 | Kapsch TrafficCom AG | A device for detecting vehicles on a traffic area |
EP3692713A4 (en) | 2017-10-02 | 2021-10-20 | LEIA Inc. | MULTI-VIEWING CAMERA ARRANGEMENT, MULTI-VIEWING SYSTEM AND PROCEDURES WITH CAMERA SUBGROUPS WITH A SHARED CAMERA |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4340722B2 (ja) * | 1998-09-25 | 2009-10-07 | 財団法人電磁応用研究所 | 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体 |
JP4374468B2 (ja) * | 1999-02-04 | 2009-12-02 | 独立行政法人情報通信研究機構 | 画像処理装置及び画像処理方法 |
JP3695377B2 (ja) * | 2001-10-01 | 2005-09-14 | 日産自動車株式会社 | 画像合成装置および画像合成方法 |
JP2003150940A (ja) * | 2001-11-16 | 2003-05-23 | Komatsu Ltd | ステレオ画像処理装置 |
WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
-
2009
- 2009-03-25 JP JP2009074349A patent/JP5239991B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010225092A (ja) | 2010-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6721065B2 (ja) | 撮像装置、画像処理装置および方法 | |
JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
JP6764533B2 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
US8482599B2 (en) | 3D modeling apparatus, 3D modeling method, and computer readable medium | |
KR100968378B1 (ko) | 파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록 매체 | |
TWI493504B (zh) | 結合影像之方法 | |
WO2012114639A1 (ja) | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム | |
CN107077743A (zh) | 用于阵列相机的动态校准的系统和方法 | |
WO2014069247A1 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
CN102227746A (zh) | 立体图像处理装置、方法、记录介质和立体成像设备 | |
JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
KR101204888B1 (ko) | 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체 | |
JP2010193058A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP5239991B2 (ja) | 画像処理装置、及び画像処理システム | |
JP6665917B2 (ja) | 画像処理装置 | |
CN104883520A (zh) | 图像处理装置和图像处理装置的控制方法 | |
JPWO2018189880A1 (ja) | 情報処理装置、情報処理システム、および画像処理方法 | |
JP5796611B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
JP2006017632A (ja) | 3次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
KR100736565B1 (ko) | 파노라마 영상 촬영 방법 및 이를 수행하기 위한이동통신단말기 | |
CN109429018B (zh) | 影像处理装置和方法 | |
JP2018032991A (ja) | 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム | |
JP2011182084A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130318 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |