JP6169742B2 - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP6169742B2 JP6169742B2 JP2016044854A JP2016044854A JP6169742B2 JP 6169742 B2 JP6169742 B2 JP 6169742B2 JP 2016044854 A JP2016044854 A JP 2016044854A JP 2016044854 A JP2016044854 A JP 2016044854A JP 6169742 B2 JP6169742 B2 JP 6169742B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual object
- data
- editing
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 69
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000002131 composite material Substances 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 13
- 239000000203 mixture Substances 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 25
- 238000005286 illumination Methods 0.000 description 24
- 230000001133 acceleration Effects 0.000 description 22
- 239000013598 vector Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 14
- 239000003550 marker Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Description
また、撮影画像の顔領域をもとに生成した照明方向ベクトルを衣服などの他の領域のオブジェクトの法線ベクトルに掛け合わせた値を用いて、当該他の領域の輝度値を修正することにより、CPUに負荷を掛けずに現実感の高い合成画像を生成することができる。
図1において、本実施の形態による画像処理装置1は、通信ネットワーク3を介して他の装置との間でデータの送受信を実行する通信部30、カメラ等の撮影機能を有し撮影画像を取得する撮影手段50、画像を表示させるディスプレイなどの表示部60、キーボードあるいは表示部60と一体となって構成されるタッチパネルなどの入力部55、撮影画像や仮想オブジェクトの画像データなどを記憶する記憶部40、種々の画像データを用いて演算処理を実行し合成画像(AR画像)を生成する演算処理部10を備えている。画像処理装置1は、カメラ機能付きの携帯端末や汎用のコンピュータ装置で実現することができる。
(仮想オブジェクト入力処理)
仮想オブジェクト入力手段12は、通信ネットワーク3を介して接続するサーバ装置8の仮想オブジェクト保存手段81から仮想オブジェクトをダウンロードする。仮想オブジェクトは、たとえば、人物画像や衣服画像等である。サーバ装置8は、WEBサイト上にこのような仮想オブジェクトを掲載しており、ユーザは、画像処理装置1を通して仮想オブジェクトを確認し、所望の仮想オブジェクトをダウンロードする。
(1)あるサイトのホームページ上に掲示されたオブジェクト画像を選択してダウンロードする。
(2)雑誌等に掲載された特定のコード情報(バーコードなど)を読み込み、そのコード情報に埋め込まれた仮想オブジェクトに対応するURLからダウンロードする。
(3)雑誌等に掲載された特定の画像を、カメラ(撮影手段50)で撮影して、直接画像を取り込む。
(4)電子メール等、他の方法で取得する。
撮影手段50によって人物を撮影する。撮影した画像は、撮影画像入力手段13によって、記憶部40の撮影画像保存手段42に格納される。また、ユーザは、入力部55から被写体となった人物の身長や顔の幅などのサイズデータを入力する。入力されたサイズデータは、入力処理手段16を介して、撮影画像に関連付けられて撮影画像保存手段42に保存される。図5は撮影画像保存手段42のデータ構成例である。撮影画像データごとに識別番号(ID)が付され、ユーザが入力したサイズデータなどが保存されている。
顔検出手段14は、撮影画像から顔検出を行う。顔検出は、肌色判定やパターンマッチング手法などがあるが、既存の技術が用いられる。(たとえば、特許第3806096号参照)。顔検出処理の結果得られた顔領域の位置および範囲は、撮影画像保存手段42の撮影画像に関連付けて保存される。なお、顔領域は通常矩形として、その位置および範囲は、対角関係にある二つの頂点座標、あるいは一の頂点座標(基準点)と縦横のスケール値(長さ)で表される。本実施の形態では、縦横のスケール値のうち横のスケール値(幅データ)が重要であるので、特に断らない限り、顔領域を基準点と幅データ(矩形サイズ)で表すものとする。
合成位置演算手段15は、顔検出手段14で算出された撮影画像中の顔領域の位置データを基準位置として、予め定められたアルゴリズムに従って合成位置を決定する。
以下、合成位置の決定方法の例として、位置合せのために仮表示された仮想オブジェクトをタッチパネル上でドラッグすることによって、所望の位置に移動させるときの処理手順について図面を参照しながら説明する。
仮想オブジェクト編集手段17は、検出した撮影画像中の顔領域をもとに編集データを生成する。以下、図9を用いて仮想オブジェクト編集手段17による、撮影画像から顔領域の陰影情報を取得する処理について説明する。
<ステップS1>図11(b)の各区域(小領域)内において、肌色成分(R<赤色>成分で判断する)のみのピクセルの平均を求め、各区域の明るさの代表値(0〜255)とする。
<ステップS2>顔は左右対称と考えられるので、ULとUR、MLとMR、DLとDRの各区間の明るさの代表値をそれぞれ比較し、照明が当てられている方向(左からか、中央からか、右からか)を判定する。
<ステップS3> 次に、以下の演算式により、高さごとの明るさの平均値(u, m, d)を求める。
上段 (UL + UM + UR) / 3 = u
中段 (ML + MM + MR) / 3 = m
下段 (DL + DM + DR) / 3 = d
次に、u, m, dのうち、どの値が最大値かを求め、これにより照明が上、中央、下の何れから当てられているかを判定する。
そして、上記の<ステップS2>と<ステップS3>から上記の9つの区域に照明が最も当たっているかを決定し、照明が最も当たっている区域を顔画像の重心位置として抽出する。
仮想オブジェクト編集手段17は、次に、照明方向ベクトルを用いて仮想オブジェクトの編集処理を行う。以下、編集処理の手順について図12に基づいて詳述する。
まず、仮想オブジェクト編集手段17は、ステップS401で補正した撮影画像の顔領域の平均輝度値を演算する(S402)。そして、仮想オブジェクトの顔領域の平均輝度値を抽出し(S403)、両平均輝度値の差を演算する(S404)。この差に重みをつけて、仮想オブジェクトの各ピクセルの輝度値を補正する(S405)。なお重みのつけ方としては、両画像の平均輝度値を完全に一致させるのではなく、重みは1未満の値として、輝度値の差をある程度保ちながら、両平均輝度値を近づけるように調整された値を用いるのが良い。そして、仮想オブジェクト編集手段17は、編集用データ保存手段43に保存されている拡大縮小率ad/bcを抽出し、この比率でステップS405で補正した仮想オブジェクトを拡大/縮小して、合成用の仮想オブジェクトを生成する(S406)。
これにより、撮影された人物に当てられた照明と矛盾しないので、合成が自然になる。
画像合成処理手段18は、合成位置演算手段15の合成位置決定ルーチンのステップS207によって起動されると、編集用データ保存手段43から合成位置を抽出して、仮想オブジェクト編集手段17によって編集された仮想オブジェクトを撮影画像上の当該合成位置に合成する。合成画像は、合成画像保存手段44に保存され、合成画像出力手段19によって表示部60へ出力される。
次に、本発明の第2の実施の形態を図15に基づいて説明する。
ユーザは次のように画像処理装置1にアクセスして、携帯端末70の精度の良い位置情報を取得する。
(ステップS3)この人物をユーザが携帯端末70の撮影手段50で撮影する。
(ステップS4)ユーザは、携帯端末70から画像処理装置1へ、撮影画像I、GPSデータP1(x1,y1)、携帯端末70(即ち撮影手段50)の向きを示す磁気センサーデータD(0°〜360°)を送信する。
画像処理装置1の撮影画像入力手段13は、携帯端末70から送られてきた撮影画像Iを撮影画像保存手段42へ保存し、位置情報取得手段20は、GPSデータP1と磁気センサーデータDを基準位置保存手段45へ保存する。
画像処理装置1の位置情報補正手段21は、携帯端末70のGPSデータP1と磁気センサーデータDから携帯端末の概略位置と向きがわかるので、基準位置保存手段45からその方向にあるマーカーのうちGPSデータP1に最も近いマーカー位置P0を抽出する。また、位置情報補正手段21は、顔領域の幅データからマーカー位置P0からの距離を算出し、GPSデータP1を補正する。以下、具体的に説明する。
また、P1は、GPSによって測定された撮影手段50(即ち撮影者)の位置である。なお、カメラ付携帯端末の場合は、GPSの他、ネットワークによって与えられる位置であっても良い。
または、携帯端末中のプログラムが機種や撮影モードを自動的に判断して、理論上の矩形サイズと距離との関係を決める定数を自動的に選んで調整できるようにしても良い。
ある高台から戦国時代の古戦場が見渡せる場所に観光客がFaceARカメラで記念撮影をしようとしているとする。指定された地面上のマーカーに立った被写体をFaceARカメラで撮影すると、人物といっしょに映りこんだ眼下の古戦場に地名や山の名前、当時の布陣や進軍の方向の矢印等が映りこむ。
即ち、テレビカメラの映像に映る人物(テレビカメラの撮影領域内に居る人物)の携帯端末携帯端末から送られるデータは、空間的な位置座標(X,Y,Z)に時刻(t)を加えたデータ構成になっている。(X0,Y0, Z0,t0),(X1,Y1,Z1,t1),(X2,Y2,Z2,t2)…
その空間の中に複数の人物がいる場合は、矩形移動データもその人物の数になる。
その場合、携帯端末70の加速度データは三次元だが、カメラに映る場合は二次元になり、また、カメラの位置によってその座標軸が変わるので、端末の加速度データのうち三次元(X,Y,Z)の値を入れ替えて二次元データに変換し、この二次元データと、テレビカメラの端末装置を介して取得した二次元データと比較する。
3・・・通信ネットワーク
8・・・サーバ装置
10・・・演算処理部
11・・・通信処理手段
12・・・仮想オブジェクト入力手段
13・・・撮影画像入力手段
14・・・顔検出手段
15・・・合成位置演算手段
16・・・入力処理手段
17・・・仮想オブジェクト編集手段
18・・・画像合成処理手段
19・・・合成画像出力手段
20・・・位置情報取得手段
21・・・位置情報補正手段
30・・・通信部
40・・・記憶部
41・・・仮想オブジェクト保存手段
42・・・撮影画像保存手段
43・・・編集用データ保存手段
44・・・合成画像保存手段
45・・・基準位置保存手段
50・・・撮影手段
55・・・入力部
60・・・表示部
70・・・携帯端末
Claims (2)
- 仮想オブジェクトを保存する仮想オブジェクト保存手段と、撮影手段によって撮影された撮影画像を入力する撮影画像入力手段と、前記撮影画像から顔領域を検出する顔検出手段と、仮想オブジェクトの合成位置を決定する合成位置演算手段と、前記顔検出手段によって検出した顔領域の画像をもとに、前記仮想オブジェクトを編集するための編集データを生成し、該編集データを用いて前記仮想オブジェクトを編集する仮想オブジェクト編集手段と、編集した仮想オブジェクトを、前記合成位置演算手段で決定した撮影画像上の合成位置に合成する画像合成手段と、を備えた画像処理装置を用いて、撮影手段の位置を算出する画像処理方法であって、
目印となる場所ごとに位置情報を保存するステップと、
前記撮影手段の位置をGPSまたは基地局その他のネットワークによって取得すると共に、磁気センサーのデータを取得するステップと、
前記撮影手段によって前記目印となる場所に位置する人物を被写体として撮影して撮影画像を取得するステップと、
前記被写体と前記撮影手段との距離を一定にしたまま、前記被写体を中心に前記磁気センサーのデータの示す方向と一致するように前記撮影手段の位置を補正するステップと、
さらに、前記撮影画像中の前記被写体の顔領域の幅と、理論上の顔領域の幅との比から前記被写体の位置を固定にして前記被写体と前記撮影手段との距離を補正して、前記撮影手段の位置を算出するステップと、
を含むことを特徴とする画像処理方法。 - 仮想オブジェクトを保存する仮想オブジェクト保存手段と、
撮影手段によって撮影された撮影画像を入力する撮影画像入力手段と、 前記撮影画像から顔領域を検出する顔検出手段と、
仮想オブジェクトの合成位置を決定する合成位置演算手段と、
前記顔検出手段によって検出した顔領域の画像をもとに、前記仮想オブジェクトを編集するための編集データを生成し、該編集データを用いて前記仮想オブジェクトを編集する仮想オブジェクト編集手段と、
編集した仮想オブジェクトを、前記合成位置演算手段で決定した撮影画像上の合成位置に合成する画像合成手段と、を具備する画像処理装置であって、
携帯端末から送られてくるGPSあるいは基地局やルーターのネットワークによる位置情報を取得する位置情報取得手段と、
前記携帯端末の磁気センサーから与えられる方向データと、前記顔検出手段で検出された顔領域をもとに、前記位置情報取得手段によって取得した位置情報を補正する位置情報補正手段と、を備え、
前記位置情報補正手段によって補正された位置情報により仮想オブジェクトの合成位置を決定することを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016044854A JP6169742B2 (ja) | 2016-03-08 | 2016-03-08 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016044854A JP6169742B2 (ja) | 2016-03-08 | 2016-03-08 | 画像処理方法および画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012062865A Division JP5901370B2 (ja) | 2012-03-19 | 2012-03-19 | 画像処理装置、画像処理方法、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016149139A JP2016149139A (ja) | 2016-08-18 |
JP6169742B2 true JP6169742B2 (ja) | 2017-07-26 |
Family
ID=56687962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016044854A Expired - Fee Related JP6169742B2 (ja) | 2016-03-08 | 2016-03-08 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6169742B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180050847A (ko) * | 2016-11-07 | 2018-05-16 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 방법 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5255595B2 (ja) * | 2010-05-17 | 2013-08-07 | 株式会社エヌ・ティ・ティ・ドコモ | 端末位置特定システム、及び端末位置特定方法 |
-
2016
- 2016-03-08 JP JP2016044854A patent/JP6169742B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016149139A (ja) | 2016-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11830163B2 (en) | Method and system for image generation | |
CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
US10777002B2 (en) | 3D model generating system, 3D model generating method, and program | |
JP5093053B2 (ja) | 電子カメラ | |
US7031495B2 (en) | Data authoring device | |
JP3437555B2 (ja) | 特定点検出方法及び装置 | |
US10607405B2 (en) | 3D model generating system, 3D model generating method, and program | |
JP5901370B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
TW201229962A (en) | Augmenting image data based on related 3D point cloud data | |
JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
WO2019100219A1 (zh) | 输出影像生成方法、设备及无人机 | |
JP2008275341A (ja) | 情報処理装置、情報処理方法 | |
CN109523635B (zh) | 一种三维人体扫描非刚性重建和测量方法及装置 | |
KR101703013B1 (ko) | 3차원 스캐너 및 스캐닝 방법 | |
KR101574636B1 (ko) | 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템 | |
Reitinger et al. | Augmented reality scouting for interactive 3d reconstruction | |
JP6169742B2 (ja) | 画像処理方法および画像処理装置 | |
KR101902131B1 (ko) | 시뮬레이션 파노라마 실내영상 제작 시스템 | |
JP2005063041A (ja) | 3次元モデリング装置、方法、及びプログラム | |
KR101289885B1 (ko) | 건물의 모델링을 위한 장치 및 방법 | |
JP2008203991A (ja) | 画像処理装置 | |
JP2011022662A (ja) | 携帯電話端末及び情報処理システム | |
JP5670092B2 (ja) | 地形表示システム、携帯端末、地形表示方法およびプログラム | |
KR102358950B1 (ko) | 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 | |
JP2012103116A (ja) | カメラポーズ情報算出装置およびカメラポーズ情報算出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6169742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |