JP4775205B2 - 撮像装置、撮像方法及びプログラム - Google Patents
撮像装置、撮像方法及びプログラム Download PDFInfo
- Publication number
- JP4775205B2 JP4775205B2 JP2006254651A JP2006254651A JP4775205B2 JP 4775205 B2 JP4775205 B2 JP 4775205B2 JP 2006254651 A JP2006254651 A JP 2006254651A JP 2006254651 A JP2006254651 A JP 2006254651A JP 4775205 B2 JP4775205 B2 JP 4775205B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- real world
- virtual image
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 46
- 239000002131 composite material Substances 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 22
- 239000000203 mixture Substances 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 92
- 230000008569 process Effects 0.000 description 56
- 230000000007 visual effect Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000005375 photometry Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 9
- 230000006837 decompression Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 206010060800 Hot flush Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Description
以下本発明をデジタルカメラに適用した場合の第1の実施の形態について図面を参照して説明する。
まず、図3乃至図5により本実施の形態の動作の概要を示す。
すなわち本実施の形態では、任意の位置を指定することで、その位置に存在する山や地形、建物、橋等の建造物を含む仮想の被写体の地理情報をデータ化して予めデータメモリ59に記憶しておき、撮影時のデジタルカメラ10の位置や向き、傾斜等のデータを入力する。
x=(r+h)*cos(φ)*cos(λ)
y=(r+h)*cos(φ)*sin(λ)
z=(r+h)*sin(φ)*
(但し、r:当該地点の地球半径。)
に従って地心中心の直交座標XYZに変換する(ステップC03)。
x'=x*cosλ0+y*sinλ0
y'=-x*sinλ0+y*cosλ0
z'=z
により直交座標X’Y’Z’に変換する(ステップC04)。
x"=x'*cos(π/2-φ0)-z'*sin(π/2-φ0)
y"=y'
z"=x'*sin(π/2-φ0)+z'*cos(π/2-φ0)h)
-(R+h0)
により直交座標X”Y”Z”に変換する(ステップC05)。
X=x"-x"0
Y=y"-y"0
Z=z"-z"0
R=√(X2+Y2+Z2)
Az=tan-1(Y/X)
ψ=sin-1(Z/R)
により求め(ステップC06)、求めた各地点までの距離R、方位角Az、及び高度角ψを出力して(ステップC07)、以上で図9のサブルーチンを一旦終了し、上記図6の処理に戻る。
なお、当該画角θは、次式
撮影画角θ=2tan-1(X'/2f)
表示及び記録画角θ'=θ/Md
で求められる。
すなわち、まず投影・座標変換処理(ステップD06)により上記3次元モデルを現在位置から見た2次元画像として透視投影処理する。
図13は、デジタルカメラ10の向き(方位角θyaw)に応じた仮想被写体の視位置の表示を説明するものである。図13(A)はデジタルカメラ10の方位角(θyaw)が70°(略西南西)である場合、図13(B)は同90°(真西)である場合、図13(C)は同110°(略西北西)である場合のそれぞれの電子ファインダ22での表示例を示している。ここでは、電子ファインダ22中の中央にフォーカスエリアFAを表示すると共に、中心となる方位角θyaw及び仰角θpitchの目盛りを合わせて表示している。
図16(A)に示す如く、XYZ空間において仮想被写体の視位置を、方位角Az、高度角(仰角)ψで表すものとする。このとき、図16(B)に示すようにデジタルカメラ10の向きをuvw空間(w軸がカメラ光軸)でθyaw,θpitch,θrollで表す。このうち、θrollがデジタルカメラ10を左右にも傾けた状態での角度を示す。
ur=u'cos(θroll)+v'sin(θroll)
vr=-u'sin(θroll)+v'cos(θroll)
Sx=Wv/2+ur
Sy=Hv/2−vr
となる。なお、撮影レンズ11による倒立像を電子ファインダ22では正立像で表示する。
X'/2f=tan(θ/2)の関係により
撮像画角θ=2tan-1(X'/2f)
被写界範囲X=X'×L/f
となる。
θ'=θ/M
となり、天体の視位置の狭い範囲が、電子ファインダ22ではMd倍に拡大して表示されることとなる。
P’(Md*u’,Md*v’)
に相当する位置に変換して表示する必要がある。
上記図6及び図7の仮想被写体の計算処理において、すべての仮想被写体の視位置を計算して、その中から視野範囲に入る視位置の天体を表示するものとすると、デジタルカメラ10に備えられる主制御回路37が実行しなければならない計算の時間と量が膨大なものとなってしまう。そのため、予め視野範囲に入り得る仮想被写体のみを計算することとすれば、計算の時間と量を大幅に削減できる。
(θyaw-θW/2)≦Az≦(θyaw+θW/2)、且つ
(θpitch-√(θW 2+θH 2)/2)≦ψ≦(θpitch+√(θW 2+θH 2)/2)
により逆算して、その仮想被写体の範囲のみを計算すればよい。
(θpitch-√(θW 2+θH 2)/2)≦ψ≦90°
により逆算して、その仮想被写体の範囲のみを計算すればよい。
θW=θW/Md、且つ
θH=θH/Md
であるものとして計算する必要がある。
ここでは、シーン選択プログラム(SP)の第3番目「SP3」に図24(A)に示す如く「風景と人物」を写すモード、第4番目「SP4」に図24(B)に示す如く「仮想風景を背景に写す」モードがある場合を例示する。
以下本発明をデジタルカメラに適用した場合の第2の実施の形態について図面を参照して説明する。
なお、その外観構成に関しては上記図1に示したものと、電子回路の構成については上記図2に示したものとそれぞれ基本的にほぼ同様であるので、同一部分には同一符号を用いるものとして、ここではその図示と説明とを省略する。
なお、データメモリ59には、地形や建造物等の物体のみならず、人物や自動車等の移動体の3次元CG画像データが予め記憶されているものとする。
図26及び図27により本実施の形態の動作の概要を示す。
すなわち本実施の形態では、任意の位置を指定することで、その位置に存在する山や地形、建物、橋等の建造物を含む固定物体の仮想の被写体(図では「仮想被写体A」と称する)をその地理情報と共にデータ化して予めデータメモリ59に記憶しておく一方で、人物や自動車など、位置等に関係しない移動体の仮想の被写体(図では「仮想被写体B」と称する)の形状モデルデータ等も合わせて予めデータメモリ59に記憶しておき、撮影時にこれら2種類の仮想の被写体のデータを必要に応じて読出すものとする。
すなわち、まず投影・座標変換処理(ステップE05)により上記3次元モデルを現在の視点位置及び視線方向から見た2次元画像として透視投影処理する。
図30は、データメモリ59に記憶されているCG描画用の形状モデルデータの構成を最も単純な立方体を例にとって示すものである。
Claims (10)
- 被写体の画像を撮影する撮像手段と、
被写体となりうる実世界内の物体の外観を表す3次元データを、実世界内の位置と方位とに対応付けて記憶した記憶手段と、
上記実世界内の位置を任意に指定する位置指定手段と、
上記実世界内における装置本体の方位を検出する方位検出手段と、
上記位置指定手段で指定された位置を視点位置とするとともに上記方位検出手段で検出された方位を視線方向として、上記記憶手段に記憶される3次元データから実世界内の物体の仮想画像を生成する仮想画像生成手段と、
上記仮想画像生成手段による仮想画像の生成に用いた方位と同じ方位に装置本体を向けたときに上記撮像手段で撮影された被写体の画像と、上記仮想画像生成手段で得た仮想画像とを透過的に重ね合わせた合成画像を作成する画像合成手段と、
を具備したことを特徴とする撮像装置。 - 上記画像合成手段で得た合成画像を表示する表示手段と、
画像の記録を指示する指示手段と、
上記指示手段で指示されたタイミングで上記画像合成手段より得られる合成画像を記録する記録手段と
を具備したことを特徴とする請求項1記載の撮像装置。 - 上記位置指定手段は、上記指定された実世界内の位置を保持し、
上記方位検出手段は、上記実世界内における装置本体の方位を逐次検出し、
上記仮想画像生成手段は、上記位置指定手段で保持された位置を視点位置とするとともに上記方位検出手段で逐次検出される方位を視線方向として、上記記憶手段に記憶される3次元データから実世界内の物体の仮想画像を逐次生成し、
上記表示手段は、上記画像合成手段で逐次生成される合成画像を逐次表示する
ことを特徴とする請求項2記載の撮像装置。 - 上記仮想画像生成手段は、上記指示手段で画像の記録が指示されるまでの間は、上記実世界内の物体の輪郭だけを仮想画像として生成し、上記指示手段で画像の記録が指示されたときは、上記実世界内の物体の輪郭以外を含む仮想画像を生成することを特徴とする請求項3記載の撮像装置。
- 上記撮像手段による被写体の画像中から人物部分の画像領域を特定する画像特定手段をさらに具備し、
上記画像合成手段は、上記画像特定手段で特定した人物部分の画像領域のみを上記仮想画像生成手段で得た仮想画像と重ね合わせることを特徴とする請求項4記載の撮像装置。 - 上記撮像手段による被写体の画像中から所定距離以内にある被写体の画像領域を特定する画像特定手段をさらに具備し、
上記画像合成手段は、上記画像特定手段で特定した所定距離以内にある被写体の画像領域のみを上記仮想画像生成手段で得た仮想画像と重ね合わせる
ことを特徴とする請求項4記載の撮像装置。 - 上記記憶手段は、実世界内の物体として地形及び建造物を含む固定物体の外観を表す3次元データを位置情報と対応付けて記憶することを特徴とする請求項1乃至6のいずれかに記載の撮像装置。
- 上記記憶手段は、実世界内の物体として生物及び乗り物を含む移動物体の外観を表す3次元データを位置情報と対応付けて記憶することを特徴とする請求項1乃至6のいずれかに記載の撮像装置。
- 被写体の画像を撮影する撮像部を備えた撮像装置での撮像方法であって、
被写体となりうる実世界内の物体の外観を表す3次元データを、実世界内の位置と方位とに対応付けて記憶する記憶工程と、
上記実世界内の位置を任意に指定する位置指定工程と、
上記実世界内における装置本体の方位を検出する方位検出工程と、
上記位置指定工程で指定された位置を視点位置とするとともに上記方位検出工程で検出された方位を視線方向として、上記記憶工程で記憶される3次元データから実世界内の物体の仮想画像を生成する仮想画像生成工程と、
上記仮想画像生成工程による仮想画像の生成に用いた方位と同じ方位に装置本体を向けたときに上記撮像部で撮影された被写体の画像と、上記仮想画像生成工程で得た仮想画像とを透過的に重ね合わせた合成画像を作成する画像合成工程と、
を有したことを特徴とする撮像方法。 - 被写体の画像を撮影する撮像部を備えた撮像装置に内蔵されたコンピュータが実行するプログラムであって、
被写体となりうる実世界内の物体の外観を表す3次元データを、実世界内の位置と方位とに対応付けて記憶する記憶ステップと、
上記実世界内の位置を任意に指定する位置指定ステップと、
上記実世界内における装置本体の方位を検出する方位検出ステップと、
上記位置指定ステップで指定された位置を視点位置とするとともに上記方位検出ステップで検出された方位を視線方向として、上記記憶ステップで記憶される3次元データから実世界内の物体の仮想画像を生成する仮想画像生成ステップと、
上記仮想画像生成ステップによる仮想画像の生成に用いた方位と同じ方位に装置本体を向けたときに上記撮像部で撮影された被写体の画像と、上記仮想画像生成ステップで得た仮想画像とを透過的に重ね合わせた合成画像を作成する画像合成ステップと、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006254651A JP4775205B2 (ja) | 2006-09-20 | 2006-09-20 | 撮像装置、撮像方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006254651A JP4775205B2 (ja) | 2006-09-20 | 2006-09-20 | 撮像装置、撮像方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008078908A JP2008078908A (ja) | 2008-04-03 |
JP4775205B2 true JP4775205B2 (ja) | 2011-09-21 |
Family
ID=39350516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006254651A Active JP4775205B2 (ja) | 2006-09-20 | 2006-09-20 | 撮像装置、撮像方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4775205B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495878A (zh) * | 2011-12-05 | 2012-06-13 | 深圳市中钞科信金融科技有限公司 | 一种机器视觉检测结果的存储文件及方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5088220B2 (ja) * | 2008-04-24 | 2012-12-05 | カシオ計算機株式会社 | 画像生成装置、及びプログラム |
JP5189450B2 (ja) * | 2008-09-30 | 2013-04-24 | トッパン・フォームズ株式会社 | 画像生成方法 |
JP2011029839A (ja) * | 2009-07-23 | 2011-02-10 | Nikon Corp | 電子カメラ |
WO2011082650A1 (zh) | 2010-01-07 | 2011-07-14 | Dong futian | 空间数据处理方法及装置 |
US8941559B2 (en) * | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
WO2013136601A1 (ja) * | 2012-03-16 | 2013-09-19 | 富士フイルム株式会社 | 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法 |
JP6232948B2 (ja) * | 2013-11-07 | 2017-11-22 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
JP6412400B2 (ja) * | 2014-10-23 | 2018-10-24 | 日本放送協会 | 画像合成装置および画像合成プログラム |
JP5969062B2 (ja) * | 2015-01-07 | 2016-08-10 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
JP6447251B2 (ja) * | 2015-03-05 | 2019-01-09 | 富士通株式会社 | 情報処理装置、表示制御方法、及び表示制御プログラム |
JP6532370B2 (ja) * | 2015-10-02 | 2019-06-19 | 株式会社Nttドコモ | 撮像システム、構図設定装置、及び構図設定プログラム |
JP6914049B2 (ja) * | 2017-02-15 | 2021-08-04 | 清水建設株式会社 | 構造物可視化装置及び構造物可視化システム |
CN112560838A (zh) * | 2020-12-01 | 2021-03-26 | 北京字节跳动网络技术有限公司 | 图像采集装置的控制方法、装置、终端和存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06133221A (ja) * | 1992-10-14 | 1994-05-13 | Sony Corp | 撮像装置 |
JP2001014485A (ja) * | 1999-07-01 | 2001-01-19 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
-
2006
- 2006-09-20 JP JP2006254651A patent/JP4775205B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495878A (zh) * | 2011-12-05 | 2012-06-13 | 深圳市中钞科信金融科技有限公司 | 一种机器视觉检测结果的存储文件及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2008078908A (ja) | 2008-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4775205B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5034343B2 (ja) | 撮像装置及びプログラム | |
US10789671B2 (en) | Apparatus, system, and method of controlling display, and recording medium | |
US9497391B2 (en) | Apparatus and method for displaying images | |
US20130229546A1 (en) | Apparatus and method for generating images | |
US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
JP5075182B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
US20190340737A1 (en) | Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium | |
KR20090000186A (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
US8339477B2 (en) | Digital camera capable of detecting name of captured landmark and method thereof | |
US10855916B2 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
CN102647449A (zh) | 基于云服务的智能摄影方法、装置及移动终端 | |
JP2012065263A (ja) | 撮影機器 | |
KR20050078136A (ko) | 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템 | |
US20190289206A1 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
JP2006295827A (ja) | 携帯端末装置 | |
CN112261294B (zh) | 一种拍摄方法、装置和电子设备 | |
JP2019164782A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
US20240037856A1 (en) | Walkthrough view generation method, apparatus and device, and storage medium | |
CN114283243A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
JP6532370B2 (ja) | 撮像システム、構図設定装置、及び構図設定プログラム | |
JP2019164783A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
WO2022040868A1 (zh) | 全景拍摄方法、电子设备及存储介质 | |
JP2001005994A (ja) | 画像処理装置および画像処理方法 | |
JP5914714B2 (ja) | 撮影機器および撮影方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4775205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 3 |