JP5737961B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5737961B2 JP5737961B2 JP2011010047A JP2011010047A JP5737961B2 JP 5737961 B2 JP5737961 B2 JP 5737961B2 JP 2011010047 A JP2011010047 A JP 2011010047A JP 2011010047 A JP2011010047 A JP 2011010047A JP 5737961 B2 JP5737961 B2 JP 5737961B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- photographing
- information
- difference
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 16
- 238000012545 processing Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Landscapes
- Camera Bodies And Camera Details Or Accessories (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影装置に関し、特に、ユーザが目的の被写体を所望の構図で撮影することをアシストする機能に好ましく適用される技術に関するものである。 The present invention relates to a photographing apparatus, and more particularly to a technique preferably applied to a function for assisting a user to photograph a target subject with a desired composition.
近年、撮影が容易なデジタルカメラ、デジタルビデオカメラ等の撮影装置は急速に普及している。ほとんどのユーザは写真撮影にデジタルカメラを用いているが、最近ではデジタルビデオカメラで写真撮影を行うユーザも見受けられる。当該撮影装置は、フィルム等を必要とせず、フィルム代を気にせず何枚も撮影でき、撮影したその場で画像を確認できる等、気軽な写真撮影を可能にしている。 In recent years, photographing apparatuses such as digital cameras and digital video cameras that can be easily photographed have been rapidly spread. Most users use digital cameras for taking pictures, but recently there are users who take pictures with digital video cameras. The photographing apparatus does not require a film or the like, can take a number of pictures without worrying about the film cost, and can easily take a picture such as confirming an image on the spot.
しかし、写真撮影に関して重要な要素の1つである構図については、写真撮影の苦手なユーザには判断が難しく、ユーザが思うような写真を撮影するのはそれほど簡単なことではない。例えば、名所旧跡を観光する場合、その風景をどのような構図で撮影するとユーザが望む写真が得られるのか、写真撮影の苦手なユーザには判断が難しい。 However, it is difficult for a user who is not good at taking a picture of the composition, which is one of the important elements for taking a picture, and it is not so easy to take a picture that the user thinks. For example, when sightseeing a historic spot, it is difficult for a user who is not good at taking a picture to determine what kind of composition the scenery should be taken to obtain a photograph desired by the user.
これに対して、例えば特許文献1では、ユーザが撮影に不慣れな場合や、初めて撮影する場所であっても、より好適な構図で写真撮影を行うことを可能とする撮影装置が開示されている。当該撮影装置は、サーバから取得した参照画像(最終的に撮影したい構図の画像)に対応する撮影位置情報及び自己の現在位置に基づいて、ユーザを当該参照画像の撮影位置に誘導する。そして、当該撮影位置において、ユーザの撮影状態に基づいて、当該撮影状態に対応する構図が参照画像の構図となるようにユーザに教示する。
On the other hand, for example,
特許文献1で開示された発明は、所望の構図の写真を撮影するためにユーザをアシストするものといえる。しかし、特許文献1の発明では、参照画像に関する情報を保持するサーバと撮影装置との通信環境が必要となる。また、参照画像に関する情報を事前にサーバに格納しておく必要がある。さらに、参照画像に関する情報には撮影位置情報や方位情報等の構図情報が含まれるが、参照画像に関する情報をサーバに登録するユーザの撮影装置がGPS機能や方位センサ等を備えない場合、当該ユーザは構図情報を逐一入力しなければならない。
It can be said that the invention disclosed in
例えば、出先や旅先で見たポスターやパンフレットに掲載されている写真を、ユーザが自分のデジタルカメラでも撮ってみたいと突発的に思ったとき、上述したような事前準備を要する特許文献1の発明では対応できない。
For example, when the user suddenly thinks that he / she wants to take a picture of a poster or pamphlet viewed at a destination or travel destination with his / her digital camera, the invention of
そこで、本発明は、特段の通信環境や事前準備を要することなく、目的の被写体が出先や旅先で見つけたような場合でも、当該被写体について所望の構図で写真撮影できるようにすることを目的とする。 Therefore, the present invention has an object of enabling photography of a subject with a desired composition even when the target subject is found on the road or travel destination without requiring a special communication environment or advance preparation. To do.
本発明の撮影装置は、目的の被写体を撮影した第1撮影画像と前記目的の被写体を所望の構図で撮影するために参照される第2撮影画像との共通箇所の指定を複数受け付ける比較ポイント指定手段と、1の前記共通箇所を重ね合わせたときの他の前記共通箇所同士の差分をすべての共通箇所について求めた差分情報を用いて、前記第1撮影画像の撮影場所から前記第2撮影画像が撮影可能な撮影場所までの移動情報を求める制御手段と、を有することを特徴とする。 Imaging apparatus of the present invention, a plurality accepts comparison points to specify a common portion between the second captured image is referred to for the first captured image of a subject of the purpose of shooting at a desired composition obtained by photographing the purpose of the subject The second photographing from the photographing location of the first photographed image is performed using the difference information obtained for the common means with respect to the difference between the other common portions when the common portion is overlapped with the designation means. image is characterized by having a control means for determining the movement information to allow shooting location shooting.
本発明によれば、特段の通信環境や事前準備を要することなく、目的の被写体が出先や旅先で見つけたような場合でも、当該被写体について所望の構図で写真撮影することが可能となる。 According to the present invention, it is possible to take a photograph of a subject with a desired composition even when a target subject is found at a destination or travel destination without requiring a special communication environment or advance preparation.
以下、本発明の実施形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。本実施形態のデジタルカメラ1は、レンズ10、絞り11、赤外線カットフィルタ12、CCD(Charge-Coupled Device)13、アナログ信号処理部14、A/D(Analog to Digital)変換器15、レンズ駆動部16、絞り駆動部17、CCD駆動部18、CPU(Central Processing Unit)19、ROM20(Read Only Memory)、RAM21(Random Access Memory)、操作部22、メインメモリ24、メインメモリ制御部25、デジタル信号処理部26、圧縮伸張処理部27、積算部28、外部メモリ29、外部メモリ制御部30、タッチパネル31、タッチパネル制御部32、ディスプレイ33、ディスプレイ制御部34、スピーカ35、スピーカ制御部36,GPS(Global Positioning System)受信部37、制御バス38、データバス39を備えて構成される。
FIG. 1 is a block diagram showing a hardware configuration of a digital camera according to an embodiment of the present invention. The
各部はCPU19に制御されて動作し、CPU19は、タッチパネル制御部32を介したタッチパネル31や操作部22からの入力に基づいて、所定の制御プログラムを実行することにより、デジタルカメラ1の各部を制御する。また、CPU19は、デジタルカメラ1の制御に必要な各種制御値を算出するための演算処理手段として機能し、プログラムに従って各種演算処理を実行する。デジタルカメラ1の各部は、制御バス38を介してCPU19と接続されている。
Each unit operates under the control of the
ROM20は、CPU19が実行する制御プログラムのほか、制御に必要な各種データ等が格納されている。なお、ROM20が格納する制御プログラムに、本実施形態特有の撮影ナビゲーション処理や撮影情報設定処理を行わせるプログラムが含まれる。RAM21は、CPU19の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。また、表示用の画像データ専用の一時記憶領域としても利用される。CPU19は、ROM20に記録された制御プログラムをメインメモリ24に読み出し、逐次実行することにより、デジタルカメラ1の各部を制御する。
The
操作部22は、電源ボタン、シャッタレリーズボタン、撮影モード/再生モード切替スイッチ、メニューを表示させるメニュースイッチ、画面上で上下左右を指示する十字キー等(いずれも不図示)の各種のハードウェアスイッチで構成され、それぞれの操作に応じた信号をCPU19に出力する。
The
レンズ10は、図示しないズームレンズ、フォーカスレンズを含み、レンズ駆動部16に駆動されて、ズーミング及びフォーカシングを行う。
The
絞り11は、レンズ10を透過してCCD13の受光面に到達する被写体光の光量を調節するためのものであり、絞り駆動部17は、CPU19の指令に従って絞り11の開口量を制御し、露光量が適正露光量となるように調整する。
The aperture 11 is for adjusting the amount of subject light that passes through the
赤外線カットフィルタ12は、絞り11を通過した被写体光から特定波長域の赤外線をカットし、撮影画像の赤外光によるゴーストやかぶりを防止するためのものである。 The infrared cut filter 12 is for cutting infrared light in a specific wavelength region from subject light that has passed through the diaphragm 11 and preventing ghosts and fogging caused by infrared light in the captured image.
CCD13は、赤外線カットフィルタ12の後段に配置されており、レンズ10を透過した被写体光を受光する。
The
CCD13の受光面には図示しない多数の受光素子が2次元的に配列されており、各受光素子に対応して赤(R)、緑(G)、青(B)の原色カラーフィルタ(不図示)が所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換されて蓄積される。
A large number of light receiving elements (not shown) are two-dimensionally arranged on the light receiving surface of the
各受光素子に蓄積された電気信号は、図示しない垂直転送路に読み出される。垂直転送路は、この信号を、CCD駆動部18から供給されるクロックに同期して、1ラインずつ図示しない水平転送路に転送する。さらに、水平転送路は、垂直転送路から転送された1ライン分の信号を、CCD駆動部18から供給されるクロックに同期してアナログ信号処理部14へ出力する。
The electrical signal accumulated in each light receiving element is read out to a vertical transfer path (not shown). The vertical transfer path transfers this signal to a horizontal transfer path (not shown) line by line in synchronization with the clock supplied from the
なお、画像信号の出力は、デジタルカメラ1が撮影モードにセットされると開始される。すなわち、デジタルカメラ1が撮影モードにセットされると、ディスプレイ33にスルー画像を表示するために画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると一旦停止され、本撮影が終了すると再度開始される。本撮影終了時には、一定時間、ディスプレイ33に本撮影された撮影画像が表示され、ユーザは、当該画像を確認することにより、適切に撮影できたか否かを確認することができる。
The output of the image signal is started when the
アナログ信号処理部14は、図示しない相関二重サンプリング回路(CDS:Correlated Double Sampling)、クランプ処理回路、及び自動ゲインコントロール回路(AGC:Automatic Gain Control)を含んで構成される。
The analog
相関二重サンプリング回路は、画像信号に含まれているノイズの除去を行う。また、クランプ処理回路は、暗電流成分を除去する処理を行う。また、自動ゲインコントロール回路は、暗電流成分が除去された画像信号を、設定された撮影感度(ISO感度)に応じた所定のゲインで増幅する。 The correlated double sampling circuit removes noise contained in the image signal. In addition, the clamp processing circuit performs processing for removing dark current components. The automatic gain control circuit amplifies the image signal from which the dark current component has been removed with a predetermined gain corresponding to the set photographing sensitivity (ISO sensitivity).
このアナログ信号処理部14で所要の信号処理が施されたアナログの画像信号は、A/D変換器15において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるRAWデータであり、画素毎にR、G、Bの濃度を示す階調値を有している。このデジタルの画像信号は、データバス39、メモリ制御部25を介してメインメモリ24に格納される。
The analog image signal subjected to the required signal processing in the analog
制御バス38、データバス39には、上記メモリ制御部25のほか、デジタル信号処理部26、圧縮伸張処理部27、積算部28、外部メモリ制御部30、タッチパネル制御部32、ディスプレイ制御部34、スピーカ制御部36等が接続されており、これらは制御バス38の制御信号に基づいて、データバス39を介して互いに情報を送受信できるようにされている。
In addition to the
デジタル信号処理部26は、メインメモリ24に格納されたR、G、Bの各色の画像信号に対して所定の信号処理を施し、輝度信号Yと色差信号Cr、Cbとからなる画像信号(Y/C信号)を生成する。
The digital
圧縮伸張処理部27は、CPU19からの圧縮指令に従い、入力された輝度信号Yと色差信号Cr、Cbとからなる画像信号(Y/C信号)に所定形式(例えばJPEG(Joint Photographic Experts Group))の圧縮処理を施し、圧縮画像データを生成する。また、CPU19からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。
In accordance with a compression command from the
積算部28は、CPU19の指令に従い、メインメモリ24に格納されたR、G、Bの画像信号を取り込み、AE(Auto Exposure)制御に必要な積算値を算出する。CPU19は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びシャッタースピードを決定する。
The accumulating
外部メモリ制御部30は、CPU19からの指令に従い、外部メモリ29に対してデータの読み/書きを制御する。なお、外部メモリ29は、メモリカードのようにデジタルカメラ1の本体に対して着脱自在なものでもよいし、デジタルカメラ1の本体に内蔵されたものでもよい。着脱自在とする場合は、デジタルカメラ1の本体にカードスロットを設け、このカードスロットに装填して使用する。
The external
タッチパネル31は、透光性のある材料からなり、ユーザによるタッチ入力を検出する。タッチパネル31としては、公知の各種のタッチセンサを用いることができるが、携帯機器用としては、指と導電膜との間で発生する静電容量の変化を検出する静電容量方式のタッチセンサ、複数枚の抵抗膜を用いて電圧を検知する抵抗膜方式のタッチセンサ等、薄型のタッチセンサを用いる。また、指やペンでタッチして描いた軌跡を認識するため、多点検出のタッチセンサが好ましい。 The touch panel 31 is made of a translucent material and detects a touch input by the user. Various known touch sensors can be used as the touch panel 31, but for portable devices, a capacitive touch sensor that detects a change in capacitance generated between the finger and the conductive film, A thin touch sensor such as a resistive film type touch sensor that detects a voltage using a plurality of resistive films is used. A multipoint detection touch sensor is preferable in order to recognize a locus drawn by touching with a finger or a pen.
タッチパネル制御部32は、CPU19からの指令に従って、タッチパネル31のタッチ入力検出を制御する。本例では、タッチパネル31上で指やペンでタッチされた位置を示す位置情報を時系列でRAM21に格納する。
The touch
ディスプレイ33は画面表示を行う。ディスプレイ33としては、公知の各種の表示デバイスを用いることができるが、携帯機器用としては、一般に、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)表示デバイス等、薄型の表示デバイスが用いられる。このディスプレイ48は、再生モード時には記録済み画像を表示し、撮影モード時にはスルー画像として表示する。
The
ディスプレイ制御部34は、CPU19からの指令に従って、ディスプレイ33の表示を制御する。
The
また、デジタルカメラ1の各種設定は、タッチパネル31及びディスプレイ33を用いて行われるようにすることもできる。この場合、メニュースイッチ(不図示)が押下されると、デジタルカメラ1の各種設定を行うための設定画面がディスプレイ33に表示される。また、タッチパネル31上に特定の軌跡を描いたときに設定画面を表示させてもよい。ユーザは、ディスプレイ33の画面表示に従って、タッチパネル31からデジタルカメラ1の各種設定を行う。
Various settings of the
スピーカ35は音声出力を行う。スピーカ制御部36は、CPU19からの指令に従って、スピーカ35の音声出力を制御する。
The speaker 35 performs audio output. The speaker control unit 36 controls the sound output of the speaker 35 in accordance with a command from the
GPS(Global Positioning System)受信部37は、GPS衛星から発信される電波を受信して現在位置の位置情報(経度・緯度・高度)を取得する。
A GPS (Global Positioning System) receiving
図2は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。本実施形態のデジタルカメラ1は、CPU19がROM20に格納された本実施形態特有のプログラムを読み込んで、参照画像(理想の構図の写真画像を意味する、以下同じ)と現地撮影画像(参照画像に含まれる被写体を現地で撮影した写真画像を意味する、以下同じ)との差分に基づく撮影ナビゲーション処理や撮影情報設定処理を行うための機能部である制御部100を構成する。制御部100は、比較ポイント指定手段110、画像比較手段120、移動情報算出手段130、角度情報算出手段140、3Dモデリング手段150、画角絞り調整手段160を論理的に有する。なお、各手段は、上記のようにソフト的に実現するほか、回路等を用いてハード的に実現してもよい。
FIG. 2 is a block diagram showing a functional configuration of the digital camera according to the embodiment of the present invention. In the
比較ポイント指定手段110は、ユーザによるタッチパネル31への入力を受け付けて、参照画像と現地撮影画像における被写体等の共通箇所を比較ポイントとして指定する。
The comparison
画像比較手段120は、参照画像と現地撮影画像とを比較し、両画像の差分を求める。具体的には、参照画像と現地撮影画像との間で、1つの比較ポイントを共通にした場合の他の比較ポイントに関する差分を求める。 The image comparison unit 120 compares the reference image with the on-site photographed image and obtains a difference between the two images. Specifically, a difference regarding another comparison point when one comparison point is shared between the reference image and the field-captured image is obtained.
移動情報算出手段130は、画像比較手段120で求めた差分に基づいて、現地撮影画像の撮影ポイントから参照画像を撮影できる撮影ポイントまでの移動情報(移動方向、移動距離)を算出する。 The movement information calculation unit 130 calculates movement information (movement direction and movement distance) from the shooting point of the local shooting image to the shooting point where the reference image can be shot based on the difference obtained by the image comparison unit 120.
角度情報算出手段140は、参照画像と3Dモデリング手段150で3D化された現地撮影画像との比較結果に基づいて、3D化した画像の角度情報(方位、仰角)を算出する。
The angle
3Dモデリング手段150は、複数の現地撮影画像を用いて画像の3D化を行う。 The 3D modeling means 150 performs 3D image conversion using a plurality of field images.
画角絞り調整手段160は、画像比較手段120で求めた差分に基づいて、参照画像を撮影するための撮影情報(焦点距離、絞り値)を算出し、設定する。
The field angle
<実施例1>
本実施形態における第1の実施例として、参照画像と現地撮影画像との差分に基づいて、参照画像を撮影できる撮影ポイントまでナビゲートする処理について説明する。図3は、本実施例の撮影ナビゲーション処理の流れを示したフローチャートで、図4は、本実施例の撮影ナビゲーション処理を説明するための図である。
<Example 1>
As a first example of the present embodiment, a process for navigating to a shooting point at which a reference image can be shot based on the difference between the reference image and the on-site shot image will be described. FIG. 3 is a flowchart showing the flow of the shooting navigation process of this embodiment, and FIG. 4 is a diagram for explaining the shooting navigation process of this embodiment.
まず、CPU19は、ユーザにより撮影された理想の構図の写真A(参照画像、図4(a))の画像データを外部メモリ29に記憶する(ステップS101)。ここで想定している参照画像は、ポスター、雑誌等を見たユーザが撮影した写真画像であるが、インターネット等のネットワークを通じて取得したものでもよい。
First, the
そして、CPU19は、参照画像に含まれる被写体が存在する名所旧跡等でユーザにより撮影された写真B(現地撮影画像、図4(b))の画像データを外部メモリ20に記憶する(ステップS102)。また、写真Bの撮影場所の位置情報をGPS受信部37により取得する(ステップS103)。
Then, the
次いで、CPU19は、写真A(参照画像)と写真B(現地撮影画像)をディスプレイ33に重ね合わせて表示する(ステップS104)。ユーザは、タッチパネル31を介して、表示された両画像とも画面内を移動させることができ、被写体を重ね合わせた際に共通する部分を複数タッチする。例えば写真A(参照画像)か写真B(現地撮影画像)のどちらかを基準とし、もう一方を被写体が重なるように動かし、共通する部分を複数ポインティングする。そして、CPU19(比較ポイント指定手段110)は、ユーザによるタッチパネル31への入力を受け付けて、両画像の共通箇所を複数指定する(ステップS105)。
Next, the
続いて、CPU19(画像比較手段120)は、指定した共通箇所の1つを重ね合わせたときの他の共通箇所同士の差分を算出する。これを共通箇所全てについて行う(ステップS106)。図4(c)に示すように、ポインティング1を重ね合わせたときのポインティング2、3、・・・、n(図ではポインティング2までしか示していない)の差分を算出する。同様に、ポインティング2を重ね合わせたときのポインティング1、3、・・・、nの差分を算出する。これをポインティングnまで行い、各ポインティングの差分を求める。
Subsequently, the CPU 19 (image comparison unit 120) calculates a difference between other common parts when one of the designated common parts is superimposed. This is performed for all common locations (step S106). As shown in FIG. 4C, the difference between pointing 2, 3,..., N (only pointing 2 is shown in the figure) when pointing 1 is overlapped is calculated. Similarly, the difference between the pointing points 1, 3,..., N when the
そして、CPU19(移動情報算出手段130)は、求めた両画像の差分情報から、写真Bの撮影場所から理想の撮影ポイントまでの移動方向や移動距離といった移動情報を算出する(ステップS107)。ROM20は、同一被写体を異なる位置から撮影して生成された2つの画像データの相違量と当該2つの撮影位置の位置関係情報とを関連付けたテーブルデータを格納している。当該テーブルデータを用いることで、2つの画像データの共通箇所同士が座標上どの程度相違しているときに、撮影場所がどの方向にどの程度離れているかを求めることができる。すなわち、CPU19(移動情報算出手段130)は、参照画像と現地撮影画像の差分情報及びテーブルデータを用いて、写真Bの撮影場所からどの方向にどの程度移動すれば理想の撮影ポイントとなるかを求める。
Then, the CPU 19 (movement information calculation means 130) calculates movement information such as a movement direction and a movement distance from the shooting location of the photograph B to the ideal shooting point from the obtained difference information of both images (step S107). The
続いて、CPU19は、GPS受信部37により取得した位置情報、上記算出した移動情報を用いてディスプレイ33に地図表示し、ユーザに理想の撮影ポイントまでのナビゲーションを行う(ステップS108)。理想の撮影ポイントまでのナビゲーションは、地図表示のほか、スピーカ35を介して音声出力して行ってもよいし、移動情報をディスプレイ33に文字表示して行ってもよい。
Subsequently, the
<実施例2>
本実施形態における第2の実施例として、参照画像と現地撮影画像との差分に基づいて、参照画像を撮影できる撮影ポイントまでナビゲートする処理について説明する。実施例1との違いは、比較する画像の一方を3D化し、移動情報に加えて角度情報を求める点である。図5は、本実施例の撮影ナビゲーション処理の流れを示したフローチャートで、図6は、本実施例の撮影ナビゲーション処理を説明するための図である。
<Example 2>
As a second example of the present embodiment, a process for navigating to a shooting point where a reference image can be shot based on the difference between the reference image and the field shot image will be described. The difference from the first embodiment is that one of the images to be compared is converted into 3D and angle information is obtained in addition to the movement information. FIG. 5 is a flowchart showing the flow of the shooting navigation process of this embodiment, and FIG. 6 is a diagram for explaining the shooting navigation process of this embodiment.
まず、CPU19は、ユーザにより撮影された理想の構図の写真A(参照画像、図6(a))の画像データを外部メモリ29に記憶する(ステップS201)。また、CPU19は、参照画像に含まれる被写体が存在する名所旧跡等でユーザにより複数撮影された写真B(現地撮影画像、図6(b))の画像データを外部メモリ20に記憶する(ステップS202)。
First, the
そして、CPU19(3Dモデリング手段150)は、複数の画像データを用いて写真B(現地撮影画像)を3D化する(ステップS203)。また、写真Bの撮影場所の位置情報をGPS受信部37により取得する(ステップS204)。 Then, the CPU 19 (3D modeling means 150) converts the photograph B (local photographed image) into 3D using a plurality of image data (step S203). Further, the position information of the shooting location of the photo B is acquired by the GPS receiving unit 37 (step S204).
次いで、CPU19は、写真A(参照画像)と写真B(現地撮影画像)をディスプレイ33に重ね合わせて表示する(ステップS205)。ユーザは、例えば写真A(参照画像)か写真B(現地撮影画像)のどちらかを基準とし、もう一方を被写体が重なるように動かし、共通する部分を複数ポインティングする。そして、CPU19(比較ポイント指定手段110)は、ユーザによるタッチパネル31への入力を受け付けて、両画像の共通箇所を複数指定する(ステップS206)。
Next, the
続いて、CPU19(画像比較手段120)は、指定した共通箇所の1つを重ね合わせたときの他の共通箇所同士の差分を算出する。これを共通箇所全てについて行う(ステップS207)。 Subsequently, the CPU 19 (image comparison unit 120) calculates a difference between other common parts when one of the designated common parts is superimposed. This is performed for all common locations (step S207).
そして、CPU19(移動情報算出手段130)は、求めた両画像の差分情報から、写真Bの撮影場所(本実施例の場合、複数撮影したうち最後に撮影した場所)から理想の撮影ポイントまでの移動方向や移動距離といった移動情報を算出する。また、CPU19(角度情報算出手段140)は、求めた両画像の差分情報から、3D化した画像の角度情報(方位や仰角)を算出する(ステップS208)。 Then, the CPU 19 (movement information calculation means 130) determines from the obtained difference information of the two images from the shooting location of the photograph B (in the case of the present embodiment, the last shooting location among a plurality of shootings) to the ideal shooting point. Movement information such as a movement direction and a movement distance is calculated. Further, the CPU 19 (angle information calculation means 140) calculates angle information (azimuth and elevation angle) of the 3D image from the obtained difference information of both images (step S208).
次に、CPU19は、GPS受信部37により取得した位置情報、上記算出した移動情報や角度情報を用いてディスプレイ33に地図表示し、ユーザに理想の撮影ポイントまで及び被写体に対する撮影角度のナビゲーションを行う(ステップS209)。
Next, the
<実施例3>
本実施形態における第3の実施例として、参照画像と現地撮影画像との差分に基づいて、参照画像を撮影するための撮影情報を設定する処理について説明する。図7は、本実施例の撮影情報設定処理の流れを示したフローチャートで、図8から10は、本実施例の撮影情報設定処理を説明するための図である。
<Example 3>
As a third example of the present embodiment, a process for setting shooting information for shooting a reference image based on a difference between the reference image and the on-site shot image will be described. FIG. 7 is a flowchart showing the flow of the shooting information setting process of this embodiment, and FIGS. 8 to 10 are diagrams for explaining the shooting information setting process of this embodiment.
まず、CPU19は、ユーザにより撮影された理想の構図の写真A(参照画像、図8(a))の画像データを外部メモリ29に記憶する(ステップS301)。また、CPU19は、参照画像に含まれる被写体が存在する名所旧跡等でユーザにより撮影された写真B(現地撮影画像、図8(b))の画像データを外部メモリ20に記憶する(ステップS302)。また、写真Bの撮影場所の位置情報をGPS受信部37により取得する(ステップS303)。
First, the
次いで、CPU19は、写真A(参照画像)と写真B(現地撮影画像)をディスプレイ33に重ね合わせて表示する(ステップS304)。ユーザは、例えば写真A(参照画像)か写真B(現地撮影画像)のどちらかを基準とし、もう一方を被写体が重なるように動かし、共通する部分を複数ポインティングする(図8(c))。そして、CPU19(比較ポイント指定手段110)は、ユーザによるタッチパネル31への入力を受け付けて、両画像の共通箇所を複数指定する(ステップS305)。
Next, the
続いて、CPU19(画像比較手段120)は、指定した共通箇所の1つを重ね合わせたときの他の共通箇所同士の差分を算出する。これを共通箇所全てについて行う(ステップS306)。 Subsequently, the CPU 19 (image comparison unit 120) calculates a difference between other common parts when one of the designated common parts is superimposed. This is performed for all common locations (step S306).
求めた差分から移動情報の算出が不可能な場合(ステップS307/NO)、CPU19(画角絞り調整手段160)は、算出した差分から、理想の構図で撮影するための焦点距離や絞り値といった撮影情報を求め、設定を行う(ステップS308)。 If the movement information cannot be calculated from the obtained difference (step S307 / NO), the CPU 19 (view angle aperture adjusting means 160) uses the calculated difference to determine the focal length and aperture value for photographing with an ideal composition. Shooting information is obtained and set (step S308).
求めた差分から移動情報の算出が不可能な場合の例として、図9に示すような画角の違いに起因する画像の差分や、図10に示すような背景の違いに起因する画像の差分が挙げられる。ROM20は、同一被写体を異なる画角で撮影して生成された2つの画像データの相違量と当該2つの画像データの画角情報とを関連付けたテーブルデータ、また同一被写体を異なる絞り値で撮影して生成された2つの画像データの相違量と当該2つの画像データの絞り値情報とを関連付けたテーブルデータを格納している。当該テーブルデータを用いることで、2つの画像データの共通箇所同士が座標上どの程度違っていて被写体の大きさがどの程度異なるときに、焦点距離がどの程度相違しているのか、また、2つの画像データ中の背景となる被写体の画像がどの程度異なるときに、絞り値がどの程度相違しているのかを求めることができる。すなわち、CPU19(画角絞り調整手段160)は、参照画像と現地撮影画像の差分情報及びテーブルデータを用いて、焦点距離や絞り値をどの程度調整すれば写真Aに極力近い写真が撮影できるかを求め、設定を行う。
As an example of the case where movement information cannot be calculated from the obtained difference, an image difference due to a difference in angle of view as shown in FIG. 9 or an image difference due to a difference in background as shown in FIG. Is mentioned. The
なお、上記では求めた撮影情報を設定してユーザに再度撮影をさせるように構成しているが、このほかに、求めた撮影情報に基づいて写真Bに画像処理を加え写真Aに極力近い画像を生成するように構成してもよい。例えば、図10に示すように、写真Bのぼけポインティング2を基準にして段階的に画像処理を行い、その都度ディスプレイ33に表示させ、写真Aに近似したところでユーザに決定させることができる。
In the above, the obtained shooting information is set and the user is allowed to take another shot. In addition to this, an image that is as close as possible to the photo A is obtained by performing image processing on the photo B based on the obtained shooting information. May be configured to generate. For example, as shown in FIG. 10, image processing can be performed in stages based on the blur pointing 2 of the photo B, displayed on the
他方、求めた差分から移動情報の算出が可能な場合(ステップS307/YES)、CPU19(移動情報算出手段130)は、求めた両画像の差分情報から、写真Bの撮影場所から理想の撮影ポイントまでの移動方向や移動距離といった移動情報を算出する(ステップS309)。そして、CPU19は、GPS受信部37により取得した位置情報、上記算出した移動情報を用いてディスプレイ33に地図表示し、ユーザに理想の撮影ポイントまで及び被写体に対する撮影角度のナビゲーションを行う(ステップS310)。
On the other hand, when the movement information can be calculated from the obtained difference (step S307 / YES), the CPU 19 (movement information calculating means 130) determines the ideal shooting point from the shooting location of the photo B from the obtained difference information of both images. The movement information such as the movement direction and the movement distance up to is calculated (step S309). Then, the
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。例えば、撮影装置としては、実施形態として挙げたデジタルカメラのほか、デジタルビデオカメラであってもよい。 The above-described embodiment is a preferred embodiment of the present invention, and the scope of the present invention is not limited to the above-described embodiment alone, and various modifications are made without departing from the gist of the present invention. Implementation is possible. For example, the photographing apparatus may be a digital video camera in addition to the digital camera described as the embodiment.
また、本実施形態におけるデジタルカメラで実行されるプログラムは、先に述べた各手段(比較ポイント指定手段110、画像比較手段120、移動情報算出手段130、角度情報算出手段140、3Dモデリング手段150、画角絞り調整手段160)を含むモジュール構成となっており、実際のハードウェアを用いて具体的手段を実現する。すなわち、コンピュータ(CPU)が所定の記録媒体からプログラムを読み出して実行することにより上記各手段が主記憶装置上にロードされて生成される。
The program executed by the digital camera in the present embodiment includes the above-described means (comparison point specifying means 110, image comparing means 120, movement information calculating means 130, angle
本実施形態におけるクライアントPCで実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供あるいは配布するように構成してもよい。 The program executed on the client PC in the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program may be provided or distributed via a network such as the Internet.
また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ROM等にあらかじめ組み込んで提供するように構成してもよい。 The program is a file in an installable or executable format, such as a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD, nonvolatile memory card, or the like. It may be configured to be provided by being recorded on a computer-readable recording medium. Further, the program may be provided by being incorporated in advance in a ROM or the like.
この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。 In this case, the program code itself read from the recording medium or loaded and executed through the communication line realizes the functions of the above-described embodiments. And the recording medium which recorded the program code comprises this invention.
1 デジタルカメラ
10 レンズ
11 絞り
12 赤外線カットフィルタ
13 CCD
14 アナログ信号処理部
15 A/D変換器
16 レンズ駆動部
17 絞り駆動部
18 CCD駆動部
19 CPU
20 ROM
21 RAM
22 操作部
24 メインメモリ
25 メインメモリ制御部
26 デジタル信号処理部
27 圧縮伸張処理部
28 積算部
29 外部メモリ
30 外部メモリ制御部
31 タッチパネル
32 タッチパネル制御部
33 ディスプレイ
34 ディスプレイ制御部
35 スピーカ
36 スピーカ制御部
37 GPS受信部
38 制御バス
39 データバス
100 制御部
110 比較ポイント指定手段
120 画像比較手段
130 移動情報算出手段
140 角度情報算出手段
150 3Dモデリング手段
160 画角絞り調整手段
1
14 Analog signal processing unit 15 A /
20 ROM
21 RAM
DESCRIPTION OF
Claims (5)
1の前記共通箇所を重ね合わせたときの他の前記共通箇所同士の差分をすべての共通箇所について求めた差分情報を用いて、前記第1撮影画像の撮影場所から前記第2撮影画像が撮影可能な撮影場所までの移動情報を求める制御手段と、
を有することを特徴とする撮影装置。 A plurality accepting comparison point specifying means specifies the common point between the second captured image that is referenced to capture the first captured image obtained by photographing the purpose of the object of the subject of the object in a desired composition,
The second photographed image can be photographed from the photographing location of the first photographed image by using the difference information obtained for all the common portions with the difference between the other common portions when the one common portion is overlaid. Control means for obtaining movement information to a proper shooting location ;
A photographing apparatus comprising:
前記制御手段は、共通箇所同士の差分を求める際に、前記3Dモデリング手段による前記第1撮影画像の3Dモデルと、前記第2撮影画像の3Dモデルとを用いて求めることを特徴とする請求項1又は2に記載の撮影装置。 3D modeling means for converting to 3D based on image data of the same subject photographed from different photographing positions;
The control means, when obtaining a difference between common parts, obtains using a 3D model of the first photographed image and a 3D model of the second photographed image by the 3D modeling means. The imaging apparatus according to 1 or 2.
前記位置測定手段により測定された現在位置を用いて、前記制御手段により求められた前記第2撮影画像の撮影に必要な情報を地図表示する地図表示手段と、
を有することを特徴とする請求項1から3のいずれか1項に記載の撮影装置。 Position measuring means for receiving a radio wave from a GPS satellite and measuring a current position;
Map display means for displaying, on a map, information necessary for photographing the second photographed image obtained by the control means, using the current position measured by the position measuring means;
The imaging device according to any one of claims 1 to 3, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011010047A JP5737961B2 (en) | 2011-01-20 | 2011-01-20 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011010047A JP5737961B2 (en) | 2011-01-20 | 2011-01-20 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012151758A JP2012151758A (en) | 2012-08-09 |
JP5737961B2 true JP5737961B2 (en) | 2015-06-17 |
Family
ID=46793578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011010047A Active JP5737961B2 (en) | 2011-01-20 | 2011-01-20 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5737961B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11445121B2 (en) * | 2020-12-29 | 2022-09-13 | Industrial Technology Research Institute | Movable photographing system and photography composition control method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4178009B2 (en) * | 2002-08-16 | 2008-11-12 | 富士フイルム株式会社 | Shooting system |
JP2009212803A (en) * | 2008-03-04 | 2009-09-17 | Fujifilm Corp | Imaging apparatus with composition assisting function, and composition assisting method of the same imaging apparatus |
JP5200780B2 (en) * | 2008-09-08 | 2013-06-05 | ソニー株式会社 | Imaging apparatus and method, and program |
-
2011
- 2011-01-20 JP JP2011010047A patent/JP5737961B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012151758A (en) | 2012-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9204051B2 (en) | Image pickup apparatus, image pickup method, and non-transitory computer-readable medium | |
WO2017221659A1 (en) | Image capturing device, display device, and image capturing and displaying system | |
JP6053877B2 (en) | Imaging apparatus, imaging system, imaging method, and imaging program | |
JP5851766B2 (en) | Portable device | |
JP6071436B2 (en) | Imaging apparatus, imaging method, and program | |
JP2010193031A (en) | Photographic apparatus and method for controlling the same | |
JP2011249981A (en) | Photographing apparatus and its control method | |
WO2016002355A1 (en) | Image capturing device and image capturing method | |
JP2014146989A (en) | Image pickup device, image pickup method, and image pickup program | |
US8547454B2 (en) | Digital image photographing apparatuses and methods of controlling the same to provide location information | |
JP2006020111A (en) | Camera | |
JP2018007041A (en) | Imaging apparatus, display device, and imaging and display system | |
JP2011035752A (en) | Imaging apparatus | |
JP6300569B2 (en) | Imaging apparatus and control method thereof | |
JP5737961B2 (en) | Imaging device | |
JP2008113466A (en) | Electronic camera | |
JP2007195099A (en) | Photographing apparatus | |
JP5962974B2 (en) | Imaging apparatus, imaging method, and program | |
JP6704301B2 (en) | Imaging device and imaging display system | |
JP7024018B2 (en) | Imaging display method | |
JP2010183565A (en) | Image capturing apparatus, image retrieval device, and program | |
JP2004112549A (en) | Digital still camera apparatus | |
US20130258158A1 (en) | Electronic device | |
JP2022137136A (en) | Display unit | |
JP5687480B2 (en) | Imaging apparatus, imaging method, and imaging program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5737961 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |