JP4803155B2 - Panorama composition of multiple image data - Google Patents

Panorama composition of multiple image data Download PDF

Info

Publication number
JP4803155B2
JP4803155B2 JP2007267399A JP2007267399A JP4803155B2 JP 4803155 B2 JP4803155 B2 JP 4803155B2 JP 2007267399 A JP2007267399 A JP 2007267399A JP 2007267399 A JP2007267399 A JP 2007267399A JP 4803155 B2 JP4803155 B2 JP 4803155B2
Authority
JP
Japan
Prior art keywords
image
image file
shooting
image data
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007267399A
Other languages
Japanese (ja)
Other versions
JP2008104179A (en
Inventor
真 大内
育央 早石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007267399A priority Critical patent/JP4803155B2/en
Publication of JP2008104179A publication Critical patent/JP2008104179A/en
Application granted granted Critical
Publication of JP4803155B2 publication Critical patent/JP4803155B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、複数の画像データの中からその一部を選別する技術に関する。   The present invention relates to a technique for selecting a part of a plurality of image data.

近年、デジタルスチルカメラ(DSC)を用いて写真を撮影し、その写真を表す画像データをコンピュータ内に保存することが日常的に行われるようになってきた。また、複数の画像データを合成して連続する1つの画像を表す画像データを生成するパノラマ画像合成処理と呼ばれる処理も行われている。このようなパノラマ画像合成処理の内容は、たとえば特許文献1に開示されている。   In recent years, it has become common to take pictures using a digital still camera (DSC) and store image data representing the pictures in a computer. In addition, processing called panoramic image synthesis processing is also performed in which a plurality of image data is synthesized to generate image data representing one continuous image. The contents of such a panoramic image composition process are disclosed in, for example, Patent Document 1.

特開2002−170111号公報JP 2002-170111 A

しかし、従来は、パノラマ画像合成処理に利用する画像データをユーザが手動で選別する必要があった。この選別作業の負担は、デジタルスチルカメラが使用する記録媒体の容量の増加により、多くの画像データが格納できるようになるにつれて大きくなってきた。   Conventionally, however, the user has to manually select image data to be used for the panoramic image synthesis process. The burden of this sorting operation has increased as more image data can be stored due to an increase in the capacity of the recording medium used by the digital still camera.

この発明は、従来技術における上述の課題を解決するためになされたものであり、パノラマ画像の生成に利用可能な画像データを選別する際におけるユーザの負担を軽減する技術を提供することを目的とする。   The present invention has been made to solve the above-described problems in the prior art, and an object thereof is to provide a technique for reducing the burden on the user when selecting image data that can be used to generate a panoramic image. To do.

上述の課題の少なくとも一部を解決するため、本発明は、画像データと前記画像データの属性情報である画像属性情報とを含む複数の画像ファイルの中からパノラマ画像の生成に利用可能な画像ファイルを選別する画像ファイル選別装置であって、前記画像属性情報は、撮影時の地理的位置を表す位置情報を含み、前記画像ファイル選別装置は、前記位置情報を前記各画像ファイルから読み出す画像属性情報読み出し部と、前記読み出された位置情報に応じて、撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、前記パノラマ画像の生成に利用可能な画像ファイルとして選別する画像ファイル選別部とを備えることを特徴とする。   In order to solve at least a part of the above-described problems, the present invention provides an image file that can be used for generating a panoramic image from among a plurality of image files including image data and image attribute information that is attribute information of the image data. The image attribute information includes position information indicating a geographical position at the time of shooting, and the image file selection apparatus reads the position information from each image file. An image that can be used to generate a panoramic image using a reading unit and a plurality of image files whose geographical positions at the time of shooting are determined to be less than or equal to a predetermined distance according to the read position information And an image file sorting unit for sorting as a file.

本発明の画像ファイル選別装置によれば、撮影時の地理的位置が相互に所定の距離以下と決定された複数の画像ファイルがパノラマ画像の生成に利用可能な画像ファイルとして自動的に選別されるので、パノラマ画像の生成に利用可能な画像データを選別する際におけるユーザの負担を軽減することができる。   According to the image file selection device of the present invention, a plurality of image files whose geographical positions at the time of shooting are determined to be equal to or less than a predetermined distance from each other are automatically selected as image files that can be used for generating a panoramic image. Therefore, it is possible to reduce the burden on the user when selecting image data that can be used for generating a panoramic image.

上記画像ファイル選別装置において、前記画像属性情報は、さらに撮影時の画像の方向を表す画像方向情報を含み、前記画像属性情報読み出し部は、さらに前記画像方向情報を前記各画像ファイルから読み出し、前記画像ファイル選別部は、前記画像属性情報に応じて前記画像データに記録された領域である撮影領域の重複量を決定し、前記決定された重複量が所定の値以上の画像ファイルを前記パノラマ画像の生成に利用可能な画像ファイルであるか否かを判定する   In the image file sorting device, the image attribute information further includes image direction information indicating a direction of an image at the time of shooting, and the image attribute information reading unit further reads the image direction information from each image file, The image file selection unit determines an overlap amount of a shooting area that is an area recorded in the image data according to the image attribute information, and selects an image file in which the determined overlap amount is a predetermined value or more as the panorama image. Whether the image file can be used to generate

こうすれば、パノラマ画像の合成に利用できる可能性がより高い複数の画像ファイルを選別することができる。   In this way, it is possible to select a plurality of image files that are more likely to be used for synthesizing panoramic images.

上記画像ファイル選別装置において、前記画像ファイル選別部は、前記画像属性情報に応じて、前記複数の画像データの生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部と、前記決定された焦点距離に応じて、前記画像データの幅方向の画角を前記画像ファイル毎に算出する画角算出部と、前記画角と前記画像方向情報とに応じて、前記画像データに記録された領域である撮影領域を画像ファイル毎に算出する撮影領域算出部と、前記算出された複数の撮影領域に応じて、幅方向に相互に重複する撮影領域を所定の大きさ以上有する画像データを含む画像ファイルを、前記パノラマ画像の生成に利用可能な画像ファイルであると判定する合成可否判定部とを備えるようにすることが好ましい。   In the image file selection device, the image file selection unit determines a focal length of an optical system used for generating the plurality of image data for each of the image data according to the image attribute information. A view angle calculation unit that calculates a view angle in the width direction of the image data for each of the image files according to the determined focal length, and according to the view angle and the image direction information, A shooting area calculation unit that calculates a shooting area that is an area recorded in the image data for each image file, and shooting areas that overlap each other in the width direction according to the calculated plurality of shooting areas have a predetermined size. It is preferable that an image file including the above-described image data is provided with a composition availability determination unit that determines that the image file can be used for generating the panoramic image.

こうすれば、画像範囲が幅方向に相互に重複する領域を有する画像データを有する画像ファイルが選別されるので、パノラマ画像の合成に利用できる可能性が極めて高い複数の画像ファイルを選別することができる。   In this way, since image files having image data having areas where image ranges overlap in the width direction are selected, it is possible to select a plurality of image files that are very likely to be used for synthesizing panoramic images. it can.

上記画像ファイル選別装置において、前記画像属性情報は、さらに撮影レンズの実焦点距離を表すレンズ焦点距離と、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、前記画像属性情報読み出し部は、さらに前記レンズ焦点距離と前記焦点面解像度単位と前記焦点面の幅の解像度とを前記各画像ファイルから読み出し、前記焦点距離決定部は、前記レンズ焦点距離を前記焦点距離に決定し、前記画角算出部は、前記焦点面解像度単位を前記焦点面の幅の解像度で除した値に前記画像データの幅方向の画素数を乗ずることにより画像の幅方向の長さを算出し、前記算出された画像の幅方向の長さと前記レンズ焦点距離とに応じて前記画像データの幅方向の画角を前記画像ファイル毎に算出するようにしても良いし、
前記画像属性情報は、さらに35mmフィルムカメラに換算した焦点距離の値である35mm換算レンズ焦点距離を含んでおり、前記焦点距離決定部は、前記35mm換算レンズ焦点距離を前記焦点距離として決定し、前記画角算出部は、35mmフィルムサイズの画像の幅方向の長さと前記レンズ焦点距離とに応じて前記画像データの幅方向の画角を前記画像ファイル毎に算出するようにしても良い。
In the image file sorting device, the image attribute information further includes a lens focal length that represents an actual focal length of the photographing lens, a focal plane resolution unit that defines a unit of resolution in a focal plane of the optical system, and the focal plane resolution. A focal plane width resolution representing the number of pixels in the width direction of the image per unit, and the image attribute information readout unit further includes the lens focal length, the focal plane resolution unit, and the focal plane width. The resolution is read from each image file, the focal length determination unit determines the focal length of the lens as the focal length, and the angle of view calculation unit determines the focal plane resolution unit by the resolution of the focal plane width. The length in the width direction of the image is calculated by multiplying the divided value by the number of pixels in the width direction of the image data, and the calculated length in the width direction of the image and the lens focal length It the angle of the width direction of the image data may be calculated for each of the image file in accordance,
The image attribute information further includes a 35 mm converted lens focal length that is a value of a focal length converted to a 35 mm film camera, and the focal length determination unit determines the 35 mm converted lens focal length as the focal length, The angle-of-view calculating unit may calculate the angle of view of the image data in the width direction for each image file in accordance with the length in the width direction of the 35 mm film size image and the lens focal length.

上記画像ファイル選別装置において、前記画像ファイル選別部は、前記画像方向情報に応じて前記画像方向間の角度を算出し、前記算出された角度に応じて前記撮影領域の重複量を決定するようにすることが好ましい。   In the image file sorting device, the image file sorting unit calculates an angle between the image directions according to the image direction information, and determines an overlap amount of the imaging regions according to the calculated angle. It is preferable to do.

こうすれば、画像方向が取得できる場合において、簡易に本発明を適用することができる。   In this way, the present invention can be easily applied when the image direction can be acquired.

上記画像ファイル選別装置において、前記画像ファイル選別部は、前記前記撮影領域の重複量が所定の大きさ以上であり、かつ所定の大きさ以下である複数の画像ファイルを前記パノラマ画像の生成に利用可能な画像ファイルであると判定する   In the image file sorting device, the image file sorting unit uses a plurality of image files in which the overlapping amount of the shooting areas is equal to or larger than a predetermined size and equal to or smaller than a predetermined size for generating the panoramic image. Judge that it is a possible image file

こうすれば、パノラマ画像の撮影を意図していない画像データを有する画像ファイルの選別を排除することができる。すなわち、同一の被写体を何度も撮影するような場合があるが、このようにして撮影された画像データを選別の対象から排除することができる。   In this way, selection of image files having image data that is not intended for panoramic image shooting can be eliminated. In other words, the same subject may be photographed many times, but the image data thus photographed can be excluded from the selection target.

上記画像ファイル選別装置において、前記画像属性情報は、さらに撮影時の時間を表す時間情報を含み、前記画像属性情報読み出し部は、さらに前記時間情報を前記各画像ファイルから読み出し、前記画像ファイル選別部は、前記時間情報に応じて、相互に所定の時間以下であって、かつ所定の時間以上の間隔で撮影された複数の画像ファイルを選別するようにすることが好ましい。   In the image file sorting device, the image attribute information further includes time information indicating time at the time of shooting, and the image attribute information reading unit further reads the time information from each image file, and the image file sorting unit According to the time information, it is preferable to select a plurality of image files photographed at intervals of not more than a predetermined time and not less than a predetermined time.

パノラマ画像合成用の写真は短時間に連続して撮影される場合が多いので、こうすれば、パノラマ画像の合成に利用できる可能性がより高い複数の画像ファイルを選別することができる。   In many cases, panoramic image synthesis photographs are taken continuously in a short period of time, so that a plurality of image files that are more likely to be used for synthesizing panoramic images can be selected.

上記画像ファイル選別装置において、前記画像属性情報は、さらに撮影時に使用された露出プログラムのクラスを表す露出プログラム情報と、撮影時の露出時間を表す露出時間情報と、撮影時のシャッタースピードを表すシャッタースピード情報と、撮影時の絞り値を表す絞り値情報とを含み、前記画像属性情報読み出し部は、さらに前記露出プログラム情報と前記露出時間情報と前記シャッタースピード情報と前記絞り値情報とを前記各画像ファイルから読み出す機能を有し、前記画像ファイル選別部は、撮影時に使用された露出プログラムのクラスがマニュアルである場合には、前記露出時間、前記シャッタースピード、および前記絞り値のうちの読み出された情報のいずれもが同一である複数の画像ファイルを選別するようにすることが好ましい。   In the image file selection device, the image attribute information further includes exposure program information indicating a class of an exposure program used at the time of shooting, exposure time information indicating an exposure time at the time of shooting, and a shutter indicating a shutter speed at the time of shooting. Speed information and aperture value information indicating an aperture value at the time of shooting, and the image attribute information reading unit further includes the exposure program information, the exposure time information, the shutter speed information, and the aperture value information. A function of reading from an image file, and the image file selection unit reads out the exposure time, the shutter speed, and the aperture value when the class of the exposure program used at the time of shooting is manual. To select multiple image files that all have the same information Preferred.

パノラマ画像合成用の写真は露出プログラムをマニュアルに設定して同一の露出で撮影することが好ましいので、このような条件で撮影された画像はパノラマ画像の合成に利用する意図で撮影されたと推測できる。よって、こうすれば、より高い確率でパノラマ画像の合成に利用する意図で撮影された画像ファイルを選別することができる。   Since it is preferable to shoot panoramic images with the same exposure with the exposure program set to manual, it can be inferred that images shot under these conditions were taken with the intention of using them for panoramic image synthesis. . Therefore, by doing so, it is possible to select an image file shot with the intention of using it for synthesizing a panoramic image with higher probability.

なお、本発明は、種々の態様で実現することが可能であり、たとえば画像ファイル選別方法、その方法または画像ファイル選別装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。   The present invention can be realized in various modes, for example, an image file selection method, a computer program for realizing the function of the method or the image file selection device, a recording medium on which the computer program is recorded, It can be realized in a form such as a data signal including the computer program and embodied in a carrier wave.

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.画像処理システムの構成:
B.画像ファイルの構成:
C.画像ファイルの選別処理:
D.変形例:
Next, embodiments of the present invention will be described in the following order based on examples.
A. Image processing system configuration:
B. Image file structure:
C. Image file selection process:
D. Variations:

A.画像処理システムの構成:
図1は、本発明の一実施例としての画像処理システム10を示す説明図である。画像処理システム10は、画像ファイルを生成する入力装置としてのデジタルスチルカメラ12と、デジタルスチルカメラ12で生成された画像ファイルの表示制御を行う画像表示制御装置としてのパーソナルコンピュータPCと、画像を表示するディスプレイ14と、画像を媒体に出力する出力装置としてのカラープリンタ20とを備えている。
A. Image processing system configuration:
FIG. 1 is an explanatory diagram showing an image processing system 10 as an embodiment of the present invention. The image processing system 10 includes a digital still camera 12 as an input device that generates an image file, a personal computer PC as an image display control device that performs display control of the image file generated by the digital still camera 12, and an image display And a color printer 20 as an output device for outputting an image to a medium.

デジタルスチルカメラ12、パーソナルコンピュータPC、およびカラープリンタ20は、相互にケーブルCVで接続可能である。ケーブルCVにより接続されている場合には、デジタルスチルカメラ12等は、ケーブルCVを経由して画像ファイルを送受信することが可能である。ケーブルCVで接続されていない場合にも、デジタルスチルカメラ12等は、メモリカードMCを用いて画像ファイルのやりとりを行うことができる。   The digital still camera 12, the personal computer PC, and the color printer 20 can be connected to each other with a cable CV. When connected by the cable CV, the digital still camera 12 or the like can transmit and receive an image file via the cable CV. Even when not connected by the cable CV, the digital still camera 12 and the like can exchange image files using the memory card MC.

図2は、画像データを生成する入力装置としてのデジタルスチルカメラ12の構成の概略を示すブロック図である。デジタルスチルカメラ12は、光学レンズを通して電荷結合素子(CCD)上にイメージを結像することにより、電気的に静止画を記録するカメラである。   FIG. 2 is a block diagram showing an outline of the configuration of the digital still camera 12 as an input device for generating image data. The digital still camera 12 is a camera that electrically records a still image by forming an image on a charge coupled device (CCD) through an optical lens.

デジタルスチルカメラ12は、画像データを生成するための回路群と、測位のための回路群と、これらを制御する制御回路124とを備えている。画像データを生成するための回路群には、光学回路121や画像取得回路122、画像処理回路123といった各回路が含まれている。測位のための回路群には、GPS回路128やGPSアンテナ129、携帯電話インターフェース回路125とが含まれている。デジタルスチルカメラ12は、さらに、ユーザインターフェースとしての選択・決定ボタン126と、撮影画像のプレビューやユーザインターフェースとして用いられる液晶ディスプレイ127とを備えている。   The digital still camera 12 includes a circuit group for generating image data, a circuit group for positioning, and a control circuit 124 for controlling them. The circuit group for generating image data includes circuits such as the optical circuit 121, the image acquisition circuit 122, and the image processing circuit 123. The circuit group for positioning includes a GPS circuit 128, a GPS antenna 129, and a mobile phone interface circuit 125. The digital still camera 12 further includes a selection / determination button 126 as a user interface, and a liquid crystal display 127 used as a preview of a captured image and a user interface.

画像データを生成するための各回路は以下の機能を有している。光学回路121は、CCDを用いて光信号を電気信号に変換する。画像取得回路122は、光学回路121を制御することにより画像を取得して画像データを生成する。画像処理回路123は、このようにして生成された画像データの加工処理を行う。   Each circuit for generating image data has the following functions. The optical circuit 121 converts an optical signal into an electrical signal using a CCD. The image acquisition circuit 122 controls the optical circuit 121 to acquire an image and generate image data. The image processing circuit 123 performs processing on the image data generated in this way.

測位のための各回路等は以下の機能を有している。GPS(GLOBAL POSITIONING SYSTEM)アンテナ129は、GPS衛星からの電波を受信する。GPS回路128は、この電波を解析することによりデジタルスチルカメラ12の地理的位置を表す位置情報を取得する。近年では、GPS測位システムの能力が向上しているため、たとえばオフィスビルの窓から離れた中心部の部屋でも数メートルといった精度で位置情報を取得することができる。   Each circuit for positioning has the following functions. A GPS (GLOBAL POSITIONING SYSTEM) antenna 129 receives radio waves from GPS satellites. The GPS circuit 128 analyzes the radio wave to acquire position information representing the geographical position of the digital still camera 12. In recent years, since the capability of the GPS positioning system has improved, position information can be acquired with an accuracy of several meters even in a central room away from the window of an office building, for example.

携帯電話インターフェース回路125は、携帯電話が取得した位置情報をGPS回路に入力する。携帯電話による位置情報の取得は、基地局の電波を利用することにより行われるので、たとえば地下街のようなGPS電波の受信が極めて困難な場所でも位置情報の取得が可能である。このような測位方式には、たとえば米クアルコム社のgpsOne(商標)という方式がある。   The cellular phone interface circuit 125 inputs position information acquired by the cellular phone to the GPS circuit. Since location information is acquired by using a mobile phone by using a mobile phone, the location information can be acquired even in places where it is extremely difficult to receive GPS radio waves, such as an underground shopping street. As such a positioning method, for example, there is a method called gpsone (trademark) manufactured by Qualcomm.

デジタルスチルカメラ12による撮影処理(画像データの取得処理)は、(1)GPSデータの更新、(2)ユーザによる撮影モードの設定、(3)撮像(画像データの入力)、(4)画像処理、(5)画像ファイルの記録の順に行われる。   The shooting process (image data acquisition process) by the digital still camera 12 includes (1) update of GPS data, (2) setting of a shooting mode by the user, (3) imaging (input of image data), and (4) image processing. (5) The image files are recorded in this order.

GPSデータの更新は、液晶ディスプレイ127や選択・決定ボタン126といったユーザインターフェースを用いて行われる。ユーザにより更新の指示が行われると、GPS回路128が起動され、GPS衛星からの電波に応じて位置情報が生成される。位置情報が生成されると、画像取得回路122が有する図示しない不揮発性メモリにこの情報が格納されるとともに、液晶ディスプレイ127には「GPS_OK」の表示がなされる。   The GPS data is updated using a user interface such as the liquid crystal display 127 or the selection / determination button 126. When an update instruction is given by the user, the GPS circuit 128 is activated, and position information is generated according to radio waves from GPS satellites. When the position information is generated, this information is stored in a nonvolatile memory (not shown) included in the image acquisition circuit 122 and “GPS_OK” is displayed on the liquid crystal display 127.

このように、ユーザからの指示に応じて、位置情報を更新するようにしているのは、位置情報の取得に消費される電力を節約してデジタルスチルカメラ12が備えるバッテリーの電力消費を削減させるためである。ただし、位置情報を常時更新するようなモードを設けるようにすることがさらに好ましい。このような運用が望まれる場合も想定されるからである。   As described above, the position information is updated in accordance with an instruction from the user, so that the power consumed to acquire the position information is saved and the power consumption of the battery included in the digital still camera 12 is reduced. Because. However, it is more preferable to provide a mode in which position information is constantly updated. This is because such operation is also expected.

なお、位置情報を常時更新するようなモードにおいて、撮影時に位置情報が取得できなかった場合には、時間的に前後に撮影された画像ファイルGFの位置情報に基づいて撮影位置が推定されるようにすることが好ましい。   In the mode in which the position information is constantly updated, if the position information cannot be acquired at the time of shooting, the shooting position is estimated based on the position information of the image file GF shot before and after the time. It is preferable to make it.

携帯電話PPがデジタルスチルカメラ12に接続されている場合には、さらに携帯電話PPからの情報をも用いて位置情報が生成される。ただし、GPS衛星からの電波が受信されない場合には、携帯電話PPからの情報のみを用いて位置情報が生成される。   When the mobile phone PP is connected to the digital still camera 12, position information is also generated using information from the mobile phone PP. However, when radio waves from GPS satellites are not received, position information is generated using only information from the mobile phone PP.

撮像は、位置情報の取得と撮影モードの設定との後に、ユーザがシャッターを押すことにより行われる。シャッターが押されると、画像取得回路122は、光学回路121を制御して入力された光を電気信号に変換することにより元画像を生成する。元画像データが生成されると、この画像データに保存用の画像処理が施される。   Imaging is performed by the user pressing the shutter after obtaining the position information and setting the shooting mode. When the shutter is pressed, the image acquisition circuit 122 generates an original image by controlling the optical circuit 121 and converting the input light into an electrical signal. When the original image data is generated, image processing for storage is performed on the image data.

この画像処理は、メモリカードMCに保存するための前処理である。一般に、元画像データは写真画像の保存に適したJPEG形式に変換される。JPEG形式に変換された後、この変換された画像データに撮影情報PIが加えられて画像ファイルが生成される。   This image processing is a preprocessing for saving in the memory card MC. Generally, the original image data is converted into a JPEG format suitable for storing a photographic image. After conversion to the JPEG format, shooting information PI is added to the converted image data to generate an image file.

撮影情報PIとは、撮影条件を表す情報であり、撮影された位置を表す位置情報と、撮影された時間を表す時間情報とを含んでいる。位置情報は、前述のように画像取得回路122が有する不揮発性メモリに格納されている情報である。デジタルスチルカメラ12における撮影処理は、画像ファイルをメモリカードMCに記録することにより完了する。なお、画像ファイルの構成については後述する。   The shooting information PI is information indicating shooting conditions, and includes position information indicating a shooting position and time information indicating a shooting time. The position information is information stored in the nonvolatile memory included in the image acquisition circuit 122 as described above. The photographing process in the digital still camera 12 is completed by recording the image file on the memory card MC. The configuration of the image file will be described later.

図3は、画像データを出力する出力装置としてのコンピュータPCとカラープリンタ20の構成の概略を示すブロック図である。コンピュータPCは、メモリカードMCから画像ファイルを読み出すことが可能なスロット22と、カラープリンタ20に印刷を行わせるための印刷データを生成するための印刷データ生成回路23とを備えている。   FIG. 3 is a block diagram showing an outline of the configuration of the computer PC and the color printer 20 as output devices for outputting image data. The computer PC includes a slot 22 that can read an image file from the memory card MC, and a print data generation circuit 23 that generates print data for causing the color printer 20 to perform printing.

印刷データ生成回路23は、印刷データ生成のための演算処理を実行する演算処理装置(CPU)231と、CPU231において実行されるプログラムやCPU231における演算処理結果その他のデータを格納するハードディスク232と、これらのプログラムやデータを一時的に格納するランダムアクセスメモリ(RAM)233とを備えている。印刷データ生成回路23は、さらに印刷データの生成に先立って行われる画像処理や画像ファイルの分類を行う機能をも有する。   The print data generation circuit 23 includes an arithmetic processing unit (CPU) 231 that executes arithmetic processing for generating print data, a hard disk 232 that stores programs executed in the CPU 231, arithmetic processing results in the CPU 231, and other data. And a random access memory (RAM) 233 for temporarily storing the programs and data. The print data generation circuit 23 further has a function of performing image processing and image file classification performed prior to generation of print data.

コンピュータPCのハードディスク232には、各画像ファイルの管理に用いられる画像管理ファイルと、後述する地理情報データベースと、画像ファイルの整理とアルバムの生成が可能なパノラマ画像合成処理ソフトとが格納されている。これらの役割については後述する。   The hard disk 232 of the computer PC stores an image management file used for managing each image file, a geographic information database to be described later, and panoramic image composition processing software capable of organizing image files and generating albums. . These roles will be described later.

カラープリンタ20は、カラー画像の出力が可能なプリンタである。カラープリンタ20は、たとえば、シアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)の4色のインクを印刷媒体上に吐出してドットパターンを形成し、これにより印刷画像を形成するインクジェット方式のプリンタである。   The color printer 20 is a printer that can output a color image. The color printer 20 forms, for example, a dot pattern by ejecting four colors of ink of cyan (C), magenta (M), yellow (Y), and black (K) onto a print medium. An ink jet printer to be formed.

B.画像ファイルの構造:
図4は、本発明の各実施例における画像ファイルGFの構造の概略を示す説明図である。画像ファイルGFは、デジタルスチルカメラ用画像ファイルフォーマット規格(Exif)に従ったファイル構造を有している。この規格は、日本電子情報技術産業協会(JEITA)によって定められている。この規格では、画像データとして圧縮タイプのJPEGデータを格納するJPEG-Exifファイルを、Exifファイル(Exif規格のファイル)に含めることが規定されている。
B. Image file structure:
FIG. 4 is an explanatory diagram showing an outline of the structure of the image file GF in each embodiment of the present invention. The image file GF has a file structure in accordance with the digital still camera image file format standard (Exif). This standard is set by the Japan Electronics and Information Technology Industries Association (JEITA). This standard stipulates that a JPEG-Exif file that stores compressed JPEG data as image data is included in an Exif file (Exif standard file).

画像ファイルGFは、圧縮データの先頭を示すSOIマーカセグメント101と、Exifの付属情報を格納するAPP1マーカセグメント102と、Exif拡張データを格納するAPP2マーカセグメント103と、量子化テーブルを定義するDQTマーカセグメント104と、ハフマンテーブルを定義するDHTマーカセグメント105と、リスタートマーカの挿入間隔を定義するDRIマーカセグメント106と、フレームに関する各種パラメータを示すSOFマーカセグメント107と、スキャンに関する各種パラメータを示すSOSマーカセグメント108と、圧縮データの終了を示すEOIマーカセグメント109と、画像データ格納領域110とを含んでいる。   The image file GF includes an SOI marker segment 101 indicating the head of the compressed data, an APP1 marker segment 102 that stores Exif attached information, an APP2 marker segment 103 that stores Exif extension data, and a DQT marker that defines a quantization table. A segment 104, a DHT marker segment 105 that defines a Huffman table, a DRI marker segment 106 that defines a restart marker insertion interval, an SOF marker segment 107 that indicates various parameters related to a frame, and an SOS marker that indicates various parameters related to a scan A segment 108, an EOI marker segment 109 indicating the end of the compressed data, and an image data storage area 110 are included.

APP1マーカセグメント102は、APP1マーカ1021と、Exif識別コード1022と、TIFFヘッダその他の付属情報1023と、サムネイル画像1024とを格納している。この付属情報1023は、ファイルヘッダ(TIFFヘッダ)を含むTIFFの構造を取っており、Exif-JPEGでは、圧縮画像データに関する付属情報を格納する0th IFDと、撮影情報PIや音声情報を始めとするExif固有の付属情報を格納するExif IFDと、GPSの測定情報を格納を格納するGPS Info IFDと、サムネイル画像に関する付属情報を格納する1st IFDとを含んでいる。GPS Info IFDは、0th IFDに格納されているTIFFヘッダからのオフセットでポイントされる。GPS Info IFDでは、各情報を特定するためにタグが用いられており、各情報はタグ名によって呼ばれることがある。   The APP1 marker segment 102 stores an APP1 marker 1021, an Exif identification code 1022, a TIFF header and other attached information 1023, and a thumbnail image 1024. The attached information 1023 has a TIFF structure including a file header (TIFF header). In Exif-JPEG, the 0th IFD that stores attached information about compressed image data, shooting information PI, and audio information are included. It includes an Exif IFD that stores Exif-specific auxiliary information, a GPS Info IFD that stores GPS measurement information, and a 1st IFD that stores auxiliary information related to thumbnail images. The GPS Info IFD is pointed by an offset from the TIFF header stored in the 0th IFD. In GPS Info IFD, a tag is used to specify each piece of information, and each piece of information may be called by a tag name.

図5は、画像ファイルGFのExif IFDに格納される付属情報の一例を示す説明図である。付属情報には、バージョンに関するタグや撮影条件に関するタグを含む各種のタグが含まれている。撮影条件に関するタグには、露出時間やレンズF値、ISO感度、シャッタースピード、絞り値、露出プログラム、露出時間、レンズ焦点距離、輝度値、光源、測光方式その他の各パラメータ値が既定のオフセットに従って撮影情報PIとして格納されている。   FIG. 5 is an explanatory diagram showing an example of attached information stored in the Exif IFD of the image file GF. The attached information includes various tags including a tag relating to a version and a tag relating to shooting conditions. For tags related to shooting conditions, the exposure time, lens F value, ISO sensitivity, shutter speed, aperture value, exposure program, exposure time, lens focal length, brightness value, light source, photometric method, and other parameter values are in accordance with the default offset. Stored as shooting information PI.

図6は、画像ファイルGFのGPS Info IFDに格納される付属情報の構成を示す説明図である。この付属情報には、撮影時における緯度や経度といった地理的位置を表す位置情報(タグ番号:1〜4)に加えて、撮影した画像の方向(タグ番号:16〜17)や撮影時の速度、時間(Coordinated Universal Time:協定世界時)を表す情報をも含めることが可能である。これらの付属情報を含む撮影情報PIの記録は、前述のようにデジタルスチルカメラ12において撮影時に行われる。   FIG. 6 is an explanatory diagram showing a configuration of attached information stored in the GPS Info IFD of the image file GF. In the attached information, in addition to position information (tag numbers: 1 to 4) indicating a geographical position such as latitude and longitude at the time of shooting, the direction of the shot image (tag numbers: 16 to 17) and the speed at the time of shooting It is also possible to include information representing time (Coordinated Universal Time). The recording of the shooting information PI including the attached information is performed at the time of shooting in the digital still camera 12 as described above.

C.画像ファイルの選別処理:
図7は、コンピュータPCにおけるパノラマ画像の合成処理の処理ルーチンを示すフローチャートである。パノラマ画像の合成処理は、パノラマ画像の合成に利用可能な画像ファイルGFの選別する処理(ステップS110〜S160)と、選別された複数の画像ファイルGFがそれぞれ有する複数の画像データを合成して1つのパノラマ画像を生成する処理(ステップS170)とを含んでいる。
C. Image file selection process:
FIG. 7 is a flowchart showing a processing routine of panorama image synthesis processing in the computer PC. The panorama image combining process is a process of selecting an image file GF that can be used for combining panoramic images (steps S110 to S160) and combining a plurality of image data respectively included in the plurality of selected image files GF. And a process of generating two panoramic images (step S170).

ステップS110では、ユーザは、メモリカードMCからハードディスク232の所定の領域に各画像ファイルGFをコピーした後に、パノラマ画像合成処理ソフトを起動する。パノラマ画像合成処理が起動されると、パノラマ画像合成処理ソフトの起動ウィンドウW1(図8)が表示される。   In step S110, the user activates the panoramic image composition processing software after copying each image file GF from the memory card MC to a predetermined area of the hard disk 232. When the panorama image composition processing is activated, a start window W1 (FIG. 8) of the panorama image composition processing software is displayed.

ウィンドウW1には、ハードディスク232の所定の領域に複製された各画像ファイルGFのサムネイル画像が表示されている。サムネイル画像は、画像ファイルGFから読み出されたサムネイル画像データ1024(図4)を用いて表示されたものである。このウィンドウW1において、ユーザが画像選択メニューから「自動選択」を選択すると、これらの複数の画像ファイルGFの中からパノラマ画像合成処理に利用可能な画像ファイルGFを自動的に選択するための処理が開始される。   In the window W1, thumbnail images of the respective image files GF copied to a predetermined area of the hard disk 232 are displayed. The thumbnail image is displayed using the thumbnail image data 1024 (FIG. 4) read from the image file GF. In this window W1, when the user selects “automatic selection” from the image selection menu, a process for automatically selecting an image file GF that can be used for the panoramic image synthesis process from the plurality of image files GF is performed. Be started.

なお、画像選択メニューから「手動選択」を選択すると、ユーザが選択した複数の画像ファイルGFを用いてパノラマ画像合成処理が行われる。なお、図7では、図を分かりやすくするために「手動選択」がユーザによって選ばれた場合のルーチンは省略してある。   When “manual selection” is selected from the image selection menu, panorama image synthesis processing is performed using a plurality of image files GF selected by the user. In FIG. 7, the routine when “manual selection” is selected by the user is omitted for easy understanding of the drawing.

ステップS120では、CPU231は、各画像ファイルGFから撮影情報PIを読み出す。読み出される撮影情報PIには、各画像が撮影された地理的位置を表す情報やレンズ焦点距離、撮影した画像の方向といった情報が含まれる。地理的位置を表す情報は、撮影時における緯度や経度といった情報である。撮影した画像の方向は、撮影時におけるデジタルスチルカメラ12の方向を表す情報である。これらの情報は、いずれもGPS Info IFDに格納されていた情報である。レンズ焦点距離は、撮影レンズの実焦点距離としてExif IFDに格納されていた情報である。   In step S120, the CPU 231 reads shooting information PI from each image file GF. The read shooting information PI includes information indicating a geographical position where each image is shot, information such as a lens focal length, and a direction of the shot image. The information representing the geographical position is information such as latitude and longitude at the time of shooting. The direction of the captured image is information indicating the direction of the digital still camera 12 at the time of shooting. These pieces of information are all information stored in the GPS Info IFD. The lens focal length is information stored in the Exif IFD as the actual focal length of the photographing lens.

ステップS130では、CPU231は、各画像ファイルGFから読み出された地理的位置を表す情報に応じて位置関係決定処理を行う。位置関係決定処理とは、各画像ファイルGFの画像が撮影された時の地理的位置が相互に所定の距離以下である複数の画像ファイルを選別する処理である。   In step S <b> 130, the CPU 231 performs a positional relationship determination process according to information representing the geographical position read from each image file GF. The positional relationship determination process is a process of selecting a plurality of image files whose geographical positions when the images of the respective image files GF are taken are equal to or less than a predetermined distance from each other.

具体的には、たとえばCPU231が位置情報に応じて各撮影位置間の距離を算出し、算出された距離が10m以内である複数の画像ファイルGFを選別するように構成できる。この場合、選別された複数の画像ファイルGFの最大の距離は10mを超えるようにしても良い。たとえば2つの画像ファイルGF1、GF2の距離と2つの画像ファイルGF2、GF3の距離のいずれも9mであり、これらの画像ファイルのうち2つの画像ファイルGF1、GF3の距離が18mであるように選別するようにしても良い。   Specifically, for example, the CPU 231 can calculate the distance between the shooting positions in accordance with the position information, and can select a plurality of image files GF whose calculated distance is within 10 m. In this case, the maximum distance of the selected plurality of image files GF may exceed 10 m. For example, the distance between the two image files GF1 and GF2 and the distance between the two image files GF2 and GF3 are both 9 m, and the two image files GF1 and GF3 are selected so that the distance between them is 18 m. You may do it.

ステップS140では、CPU231は、各画像ファイルGFから読み出された撮影した画像の方向とレンズ焦点距離に応じて撮影領域計算処理を行う。撮影領域計算処理とは、撮影した画像の方向と、レンズ焦点距離を用いて算出された幅方向の画角とから、画像データに記録された撮影領域を計算する処理である。ここで幅方向の画角をレンズ焦点距離から算出する方法は以下のとおりである。   In step S140, the CPU 231 performs shooting area calculation processing according to the direction of the captured image read from each image file GF and the lens focal length. The shooting area calculation process is a process of calculating the shooting area recorded in the image data from the direction of the shot image and the angle of view in the width direction calculated using the lens focal length. Here, the method of calculating the angle of view in the width direction from the lens focal length is as follows.

図9は、撮影時のレンズ焦点距離が異なる2つの画像データの画角を示す説明図である。図9(a)は、レンズ焦点距離が比較的に短い場合の画角を示しており、図9(b)は、レンズ焦点距離が比較的に長い場合の画角を示している。これらの図は、デジタルスチルカメラ12の光学系と撮像素子との間の位置関係を示したものである。この光学系はレンズLとして示されている。撮像素子は、平面の受光面をするCCD(Charge−Coupled Device)として構成されている。   FIG. 9 is an explanatory diagram showing the angle of view of two image data with different lens focal lengths during shooting. FIG. 9A shows the angle of view when the lens focal length is relatively short, and FIG. 9B shows the angle of view when the lens focal length is relatively long. These drawings show the positional relationship between the optical system of the digital still camera 12 and the image sensor. This optical system is shown as a lens L. The image sensor is configured as a CCD (Charge-Coupled Device) having a planar light receiving surface.

レンズLは、デジタルスチルカメラ12の光学系が有する複数のレンズを、同一の効果を有する1枚のレンズに置き換えたものである。レンズLの中心は主点と呼ばれ、主点を通り光軸Laxisに垂直な面は主平面と呼ばれる。レンズLに関しては、さらに被写体からの光を結像する結像面が定義されている。結像面は、主平面から光軸方向に、レンズ焦点距離だけ離れた位置に定義されている。   The lens L is obtained by replacing a plurality of lenses included in the optical system of the digital still camera 12 with one lens having the same effect. The center of the lens L is called a principal point, and the surface passing through the principal point and perpendicular to the optical axis Laxis is called a principal plane. With respect to the lens L, an imaging plane for imaging light from the subject is further defined. The imaging plane is defined at a position away from the main plane by the lens focal length in the optical axis direction.

撮像素子は、この結像面に受光面を一致させるように配置されている。これにより物体面上の被写体からの光がレンズLを通って撮像素子の受光面上に結像されることになる。   The image sensor is arranged so that the light receiving surface coincides with the image plane. As a result, light from the subject on the object plane passes through the lens L and is imaged on the light receiving surface of the image sensor.

図9(a)(b)から分かるように、画角は、撮像素子の受光面のサイズとレンズ焦点距離とに応じて定まる。たとえば図9(a)(b)の例では、レンズ焦点距離が比較的に短い場合(図9(a))の画角は、レンズ焦点距離が比較的に長い場合よりも大きくなっている。   As can be seen from FIGS. 9A and 9B, the angle of view is determined according to the size of the light receiving surface of the image sensor and the lens focal length. For example, in the examples of FIGS. 9A and 9B, the angle of view when the lens focal length is relatively short (FIG. 9A) is larger than when the lens focal length is relatively long.

画角の算出は、レンズ焦点距離と撮像素子の受光面のサイズと用いて三角関数を用いて行うことができる。レンズ焦点距離は、Exif IFDから読み出された情報をそのまま用いることができる。受光面のサイズは、焦点面解像度単位や焦点面の幅の解像度と、画像データの幅方向の画素数といったExif IFDから読み出された情報を用いて算出することができる。画像データの幅方向の画素数は、画像データの幅方向の画素数を実際にカウントして求めても良いし、JPEGマーカとして画像ファイルGFに格納された画像の幅の長さを用いて求めても良い。   The angle of view can be calculated using a trigonometric function using the lens focal length and the size of the light receiving surface of the image sensor. As the lens focal length, the information read from the Exif IFD can be used as it is. The size of the light receiving surface can be calculated using information read from the Exif IFD such as the focal plane resolution unit, the resolution of the focal plane width, and the number of pixels in the width direction of the image data. The number of pixels in the width direction of the image data may be obtained by actually counting the number of pixels in the width direction of the image data, or obtained using the width of the image stored in the image file GF as a JPEG marker. May be.

受光面のサイズの算出は、具体的には、以下のようにして行うことができる。
(1)焦点面解像度単位を焦点面の幅の解像度で除する。これにより撮像素子の受光面における各画素のサイズが算出できる。
(2)撮像素子の受光面における各画素のサイズに画像データの幅方向の画素数を乗ずる。これにより撮像素子の受光面における幅方向の長さが算出できる。
Specifically, the size of the light receiving surface can be calculated as follows.
(1) Divide the focal plane resolution unit by the resolution of the focal plane width. Thereby, the size of each pixel on the light receiving surface of the image sensor can be calculated.
(2) Multiply the size of each pixel on the light receiving surface of the image sensor by the number of pixels in the width direction of the image data. Thereby, the length in the width direction on the light receiving surface of the image sensor can be calculated.

CPU231は、このようにして算出された画角と撮影した画像の方向とを用いて各画像ファイルGFが有する画像データの撮影時の撮影領域を計算することができる。   The CPU 231 can calculate the shooting area at the time of shooting the image data included in each image file GF using the angle of view calculated in this way and the direction of the shot image.

図10は、撮影時のレンズ焦点距離が異なる2つの画像データの撮影領域F1、F2を示す説明図である。図10(a)は、被写体Viewのうちの2つの画像データの撮影領域である撮影領域F1、F2を示している。なお、以下の説明において、撮影領域F1の画像データを有する画像ファイルを画像ファイルGF1とし、撮影領域F2の画像データを有する画像ファイルを画像ファイルGF2とする。   FIG. 10 is an explanatory diagram showing the imaging areas F1 and F2 of two image data with different lens focal lengths at the time of imaging. FIG. 10A shows shooting areas F1 and F2 which are shooting areas of two image data in the subject View. In the following description, an image file having image data in the shooting area F1 is referred to as an image file GF1, and an image file having image data in the shooting area F2 is referred to as an image file GF2.

図10(b)は、2つの撮影領域を情報から見た図を示している。N、E、W、およびSは、それぞれ北方向、東方向、南方向、および西方向を示している。画像ファイルGF1、GF2がそれぞれ有する画像データIM1、IM2の撮影時の画像の方向Laxis1、Laxis2は、GPS Info IFDから読み出された画像方向情報に応じて決定されたものである。2つの画像データIM1、IM2は、それぞれレンズ焦点距離R1、R2で撮影されて生成されたデータである。   FIG. 10B shows a view of the two shooting areas as seen from the information. N, E, W, and S indicate the north direction, the east direction, the south direction, and the west direction, respectively. The image directions Laxis1 and Laxis2 at the time of shooting of the image data IM1 and IM2 included in the image files GF1 and GF2 are determined according to the image direction information read from the GPS Info IFD. The two image data IM1 and IM2 are data generated by photographing at the lens focal lengths R1 and R2, respectively.

ステップS150では、CPU231は、算出された各画像データの撮影領域に応じて合成可否判定処理を行う。合成可否判定処理とは、各画像ファイルが合成可能な画像データを有しているか否かを判定する処理である。合成可能な画像データか否かの判定は、幅方向に相互に重複する撮影領域が所定のサイズであるか否かで行われる。たとえば図10(b)に示される例では、角度θが所定の角度(たとえば10度)以上であれば合成可能と判定される。閾値となる所定の角度は、後述するパノラマ画像合成処理(ステップS170)において望まれる重複部分の大きさに応じて決定することが好ましい。   In step S150, the CPU 231 performs a composition availability determination process according to the calculated shooting area of each image data. The compositability determination process is a process of determining whether each image file has image data that can be combined. The determination of whether or not the image data can be combined is made based on whether or not the shooting areas overlapping in the width direction have a predetermined size. For example, in the example shown in FIG. 10B, it is determined that the composition is possible if the angle θ is equal to or greater than a predetermined angle (for example, 10 degrees). The predetermined angle serving as the threshold is preferably determined according to the size of the overlapped portion desired in the panoramic image synthesis process (step S170) described later.

ステップS160では、CPU231は、選別された複数の画像ファイルGFが有する画像をディスプレイ14に表示する。ディスプレイ14に表示するのは、選別された複数の画像データを用いてパノラマ画像合成処理をするか否かの最終判断をユーザに許容するためである。   In step S160, the CPU 231 displays the images included in the selected plurality of image files GF on the display 14. The reason why it is displayed on the display 14 is to allow the user to make a final determination as to whether or not to perform panoramic image synthesis processing using a plurality of selected image data.

図11は、選別された複数の画像を表示するパノラマ画像合成処理ソフトのウィンドウW2を示す説明図である。候補1〜候補4は、パノラマ画像の生成に利用できる可能性がある複数の画像ファイルの各グループである。「候補」としているのは、パノラマ画像の生成に利用できるか否かの最終判断はユーザが行うからである。本図では、候補1として自動的に選別された複数の画像が示されている。   FIG. 11 is an explanatory diagram showing a window W2 of panorama image synthesis processing software for displaying a plurality of selected images. Candidate 1 to Candidate 4 are groups of a plurality of image files that may be used for generating a panoramic image. The reason for “candidate” is that the user makes a final determination as to whether or not it can be used to generate a panoramic image. In the figure, a plurality of images automatically selected as candidate 1 are shown.

候補1として示されている画像は、2つの画像ファイルGF1、GF2の各画像である。各画像のサイズは、被写体のサイズがほぼ同一となるように調整されている。このように各画像のサイズを調整したのは、これらの画像を用いてパノラマ画像合成処理が可能であるか否かの判断を容易とするためである。被写体のサイズを同一とするような画像のサイズの調整は、レンズ焦点距離を用いて行うことができる。   The images shown as candidate 1 are the images of the two image files GF1 and GF2. The size of each image is adjusted so that the size of the subject is substantially the same. The reason for adjusting the size of each image in this way is to make it easy to determine whether panoramic image composition processing is possible using these images. Adjustment of the image size so that the size of the subject is the same can be performed using the lens focal length.

ユーザは、パノラマ合成が可能と判断したら、「合成する」と表示されたボタンBTNを押すことにより、パノラマ画像合成処理をコンピュータPCに開始させることができる(ステップS170)。   When the user determines that panorama composition is possible, the user can cause the computer PC to start the panorama image composition process by pressing the button BTN displayed as “composite” (step S170).

図12は、2つの画像が合成されてパノラマ画像が生成される様子を示す説明図である。図12(a)は、被写体と各画像の撮影領域F1、F2とを示している。図12(b)は、パノラマ画像合成処理によって生成されたパノラマ画像PICTを示している。   FIG. 12 is an explanatory diagram showing how a panoramic image is generated by combining two images. FIG. 12A shows the subject and the shooting areas F1 and F2 of each image. FIG. 12B shows a panoramic image PICT generated by the panoramic image synthesis process.

2つの画像を合成してパノラマ画像を生成する方法については、特許文献1に開示されている方法その他の公知の方法を利用することができる。ただし、本実施例では、解像度調整処理とトリム処理とがパノラマ画像合成処理の前に行われる。   As a method for generating a panoramic image by combining two images, a method disclosed in Patent Document 1 or other known methods can be used. However, in this embodiment, the resolution adjustment process and the trim process are performed before the panoramic image synthesis process.

解像度調整処理とは、各画像における同一の被写体のサイズを等しくした状態で2つの画像の解像度を同一にする処理である。図から分かるように、撮影領域F1を有する画像データと撮影領域F2を有する画像データとは、画素数が同一であるが撮影領域の広さが異なる。   The resolution adjustment process is a process for making the resolutions of two images the same with the same subject size in each image being equal. As can be seen from the figure, the image data having the shooting area F1 and the image data having the shooting area F2 have the same number of pixels but different widths of the shooting area.

このため、被写体のサイズを等しくすると、解像度に相違が生ずることになる。具体的には、撮影領域F2を有する画像データの被写体のサイズが撮影領域F1を有する画像データのものと等しくなるように、たとえば一方を拡大すると、その画像の解像度が低下することになる。この低下した解像度を補間処理その他の処理によって高くする処理が解像度調整処理である。   For this reason, if the size of the subject is made equal, the resolution will be different. Specifically, for example, if one of the image data having the shooting area F2 is enlarged so that the size of the subject is equal to that of the image data having the shooting area F1, the resolution of the image is lowered. The resolution adjustment process is a process for increasing the lowered resolution by an interpolation process or other processes.

トリム処理とは、画像の形を矩形にするために画像の一部を削除する処理である。具体的には、撮影領域F2を有する画像データの上下の領域を削除して、撮影領域F1を有する画像データに高さ方向の長さに合わせて、パノラマ画像PICT(図12(b))を矩形としている。   The trim processing is processing for deleting a part of an image in order to make the shape of the image rectangular. Specifically, the upper and lower areas of the image data having the shooting area F2 are deleted, and the panoramic image PICT (FIG. 12B) is adjusted to the length of the height direction of the image data having the shooting area F1. It is a rectangle.

このように、本実施例では、各画像ファイルGFに含まれる位置情報やレンズ焦点距離、撮影した画像の方向といった情報に応じて、パノラマ画像合成処理に利用可能である可能性が極めて高い画像ファイルGFが自動的に選別されるので、パノラマ画像の生成に利用可能な画像データを選別する際におけるユーザの負担を軽減することができる。   As described above, in the present embodiment, an image file that is very likely to be usable for the panoramic image synthesis process according to information such as position information, lens focal length, and direction of the captured image included in each image file GF. Since GF is automatically selected, it is possible to reduce the burden on the user when selecting image data that can be used to generate a panoramic image.

F.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
F. Variations:
The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.

F−1.上記実施例では、画像ファイルの分類に利用される地理的位置を表す位置情報は、米国が運用しているGPS衛星からの電波や携帯電話の基地局の電波を利用して生成されているが、たとえば欧州が開発予定のGPSシステム(ガリレオ)を利用して生成するようにしても良い。一般に、本発明で画像ファイルの選択に利用される位置情報は、撮影時における地球上の絶対的な位置を表すものであれば良い。 F-1. In the above embodiment, the position information indicating the geographical position used for the classification of the image file is generated using the radio wave from the GPS satellite operated in the United States or the radio wave of the mobile phone base station. For example, it may be generated using a GPS system (Galileo) planned to be developed by Europe. In general, the position information used for selecting an image file in the present invention may be any information that represents an absolute position on the earth at the time of shooting.

F−2.上記実施例では、画像データの幅方向の画素数を実際にカウントして求められた画素数、あるいはJPEGマーカとして画像ファイルGFに格納された画像数と、レンズ焦点距離と各画素の大きさとに応じて、画像データの幅方向の画角が算出されているが、たとえば35mmフィルムサイズの幅方向の長さと、各画像ファイルGFのEXIF IFDに格納された35mm換算レンズ焦点距離とに応じて、画像の幅方向の画角を算出するようにしても良い。 F-2. In the above embodiment, the number of pixels actually obtained by counting the number of pixels in the width direction of the image data, or the number of images stored in the image file GF as a JPEG marker, the lens focal length, and the size of each pixel Accordingly, the angle of view in the width direction of the image data is calculated. For example, according to the length in the width direction of the 35 mm film size and the 35 mm equivalent lens focal length stored in the EXIF IFD of each image file GF, The angle of view in the width direction of the image may be calculated.

F−3.上記実施例では、撮影時の位置情報と画像の方向とレンズ焦点距離とに応じて、パノラマ画像合成処理に利用できるか否かを判断しているが、たとえばレンズ焦点距離の情報が得られない場合には、画像方向が相互に所定の角度以下である複数の画像ファイルを選別するようにしても良い。 F-3. In the above-described embodiment, it is determined whether or not it can be used for the panoramic image synthesis process according to the position information at the time of shooting, the image direction, and the lens focal length. For example, information on the lens focal length cannot be obtained. In this case, a plurality of image files whose image directions are not more than a predetermined angle with each other may be selected.

また、画像方向が相互に所定の角度以下であるというだけでなく、さらに所定の角度以上である複数の画像ファイルを選別するようにすることが好ましい。こうすれば、パノラマ画像の撮影を意図していない画像データを有する画像ファイルの選別を排除することができる。すなわち、同一の被写体を何度も撮影するような場合があるが、このようにして撮影された画像データを選別の対象から排除することができる。   It is also preferable to select a plurality of image files whose image directions are not more than a predetermined angle with respect to each other but also have a predetermined angle or more. In this way, selection of image files having image data that is not intended for panoramic image shooting can be eliminated. In other words, the same subject may be photographed many times, but the image data thus photographed can be excluded from the selection target.

F−4.上記変形例では、撮影時の位置情報と画像の方向とに応じて、パノラマ画像合成処理に利用できるか否かを判断しているが、画像の方向の情報が得られない場合には、各画像データの撮影位置間の距離が所定の距離以下である複数の画像ファイルを選別するようにしても良い。 F-4. In the above modification, it is determined whether or not it can be used for panoramic image composition processing according to the position information at the time of shooting and the direction of the image. A plurality of image files in which the distance between image data shooting positions is a predetermined distance or less may be selected.

F−5.上記実施例では、各画像データの撮影位置間の距離を算出し、その距離に応じて画像ファイルを選別しているが、たとえば緯度と経度とが所定の差(たとえば緯度と経度の差が1秒)である画像ファイルGFを選別するようにしても良い。本発明に使用する画像ファイル選別部は、一般に、撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、パノラマ画像の生成に利用可能な画像ファイルとして選別できるものであれば良い。 F-5. In the above embodiment, the distance between the shooting positions of each image data is calculated and the image file is selected according to the distance. For example, the latitude and longitude are different from each other (for example, the difference between latitude and longitude is 1). Second)) may be selected. In general, the image file sorting unit used in the present invention sorts a plurality of image files whose geographical positions at the time of shooting are determined to be within a predetermined distance from each other as image files that can be used to generate a panoramic image. Anything is possible.

F−6.上記実施例や変形例において、画像ファイルの選別は、撮影時に使用された露出プログラムのクラスがマニュアルである場合には、撮影時の露出時間、シャッタースピード、および絞り値のうち画像ファイルから読み出された情報のいずれもが同一である複数の画像ファイルを選別するようにすることが好ましい。 F-6. In the above embodiments and modifications, the image file is selected from the image file among the exposure time, shutter speed, and aperture value at the time of shooting when the exposure program class used at the time of shooting is manual. It is preferable to select a plurality of image files that all have the same information.

パノラマ画像合成用の写真の撮影は露出プログラムをマニュアルに設定して同一の露出で撮影することが好ましいので、このような条件で撮影された画像はパノラマ画像の合成に利用する意図で撮影されたと推測できる。よって、こうすれば、より高い確率でパノラマ画像の合成に利用する意図で撮影された画像ファイルを選別することができる。   It is preferable to take a photo for panoramic image composition with the exposure program set to manual and the same exposure, so images taken under these conditions were taken with the intention of being used for composition of panoramic images. I can guess. Therefore, by doing so, it is possible to select an image file shot with the intention of using it for synthesizing a panoramic image with higher probability.

ここで、撮影時に使用された露出プログラムのクラス、撮影時の露出時間、シャッタースピード、および絞り値は、いずれもEXIF IFDに格納されている画像属性情報である。   Here, the class of the exposure program used at the time of shooting, the exposure time at the time of shooting, the shutter speed, and the aperture value are all image attribute information stored in the EXIF IFD.

F−7.上記実施例や変形例において、さらに相互に所定の時間以下であって、かつ所定の時間以上の間隔で撮影された複数の画像ファイルを選別するようにすることが好ましい。 F-7. In the above-described embodiments and modifications, it is preferable to select a plurality of image files that are taken at intervals of not more than a predetermined time and not less than a predetermined time.

パノラマ画像合成用の写真は一定の時間に連続して撮影される場合が多いので、こうすれば、パノラマ画像の合成に利用できる可能性がより高い複数の画像ファイルを選別することができる。また、所定の時間以上の間隔とすることにより連続して同一の被写体を撮影した画像ファイルGFを選別の対象から排除することができる。   Since panorama image composition photographs are often taken continuously at a certain time, in this way, it is possible to select a plurality of image files that are more likely to be used for composition of panorama images. In addition, the image file GF in which the same subject is continuously photographed can be excluded from the selection target by setting the interval more than the predetermined time.

F−8.上記実施例では、パノラマ合成に利用可能である可能性が高い画像ファイルGFを自動的に選択し、パノラマ画像合成処理を実際に行うか否かの最終判断はユーザに委ねているが、パノラマ画像合成処理まで自動的に行うようにしても良い。また、前者と後者の選択をユーザに委ねることがより好ましい。 F-8. In the above embodiment, the image file GF that is highly likely to be used for panorama synthesis is automatically selected, and the final determination as to whether or not to actually perform the panorama image synthesis processing is left to the user. You may make it perform automatically to a synthetic | combination process. It is more preferable to leave the selection of the former and the latter to the user.

F−9.上記各実施例では、パーソナルコンピュータが画像ファイル選別装置として機能しているが、たとえばカラープリンタやデジタルカメラが画像ファイル選別装置の機能を有するようにしても良い。 F-9. In each of the above embodiments, the personal computer functions as an image file sorting device. However, for example, a color printer or a digital camera may have the function of the image file sorting device.

本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。   When some or all of the functions of the present invention are realized by software, the software (computer program) can be provided in a form stored in a computer-readable recording medium. In the present invention, the “computer-readable recording medium” is not limited to a portable recording medium such as a flexible disk or a CD-ROM, but an internal storage device in a computer such as various RAMs and ROMs, a hard disk, and the like. An external storage device fixed to the computer is also included.

本発明の一実施例としての画像処理システムを示す説明図。1 is an explanatory diagram showing an image processing system as one embodiment of the present invention. 画像データを生成する入力装置としてのデジタルスチルカメラの構成の概略を示すブロック図。The block diagram which shows the outline of a structure of the digital still camera as an input device which produces | generates image data. 画像データを出力する出力装置としてのコンピュータPCとカラープリンタの構成の概略を示すブロック図。FIG. 2 is a block diagram showing an outline of the configuration of a computer PC and a color printer as output devices that output image data. 本発明の実施例における画像ファイルGFの構造の概略示す説明図。Explanatory drawing which shows schematically the structure of the image file GF in the Example of this invention. 画像ファイルGFのExif IFDに格納される付属情報の一例を示す説明図。Explanatory drawing which shows an example of the attached information stored in Exif IFD of the image file GF. 画像ファイルGFのGPS Info IFDに格納される付属情報の構成を示す説明図。Explanatory drawing which shows the structure of the attached information stored in GPS Info IFD of the image file GF. コンピュータPCにおけるパノラマ画像の合成処理の処理ルーチンを示すフローチャート。The flowchart which shows the processing routine of the synthesis process of the panoramic image in computer PC. 本発明の実施例におけるパノラマ画像合成処理ソフトの起動時のウィンドウW1を示す説明図。Explanatory drawing which shows window W1 at the time of starting of the panoramic image composition processing software in the embodiment of the present invention. 撮影時のレンズ焦点距離が異なる2つの画像データの画角を示す説明図。Explanatory drawing which shows the field angle of two image data from which the lens focal distance differs at the time of imaging | photography. 撮影時のレンズ焦点距離が異なる2つの画像データの撮影領域F1、F2を示す説明図。Explanatory drawing which shows the imaging area | regions F1 and F2 of two image data from which the lens focal distance differs at the time of imaging | photography. 選別された複数の画像を表示するパノラマ画像合成処理ソフトのウィンドウW2を示す説明図。Explanatory drawing which shows the window W2 of the panorama image synthetic | combination processing software which displays the some image selected. 2つの画像が合成されてパノラマ画像が生成される様子を示す説明図。Explanatory drawing which shows a mode that two images are synthesize | combined and a panoramic image is produced | generated.

符号の説明Explanation of symbols

10...画像処理システム
12...デジタルスチルカメラ
14...ディスプレイ
20...カラープリンタ
22...スロット
23...印刷データ生成回路
110...画像データ格納領域
121...光学回路
122...画像取得回路
123...画像処理回路
124...制御回路
125...携帯電話インターフェース回路
126...決定ボタン
127...液晶ディスプレイ
128...GPS回路
129...GPSアンテナ
129...アンテナ
231...CPU
232...ハードディスク
DESCRIPTION OF SYMBOLS 10 ... Image processing system 12 ... Digital still camera 14 ... Display 20 ... Color printer 22 ... Slot 23 ... Print data generation circuit 110 ... Image data storage area 121 ... Optical circuit 122 ... Image acquisition circuit 123 ... Image processing circuit 124 ... Control circuit 125 ... Mobile phone interface circuit 126 ... Decision button 127 ... Liquid crystal display 128 ... GPS circuit 129. ..GPS antenna 129 ... antenna 231 ... CPU
232 ... Hard disk

Claims (3)

画像データと前記画像データの属性情報である画像属性情報とを含む複数の画像ファイルから所定の画像ファイルを選別する、パノラマ画像生成のための画像ファイル選別装置であって、
前記画像属性情報は、撮影時の地理的位置を表す位置情報を含み、
前記画像ファイル選別装置は、
前記画像データの表す画像を表示可能な表示部と、
前記位置情報を前記各画像ファイルから読み出す画像属性情報読み出し部と、
前記読み出された位置情報に基づいて、撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、前記所定の画像ファイルとして選別し、該選別された複数の画像ファイルの表す複数の画像を前記表示部に表示する制御部と、
前記表示された複数の画像を用いてパノラマ画像を生成するか否かの指示を受け付ける受付手段と、
を備え、
前記受付手段が前記表示された複数の画像を用いてパノラマ合成を行う旨の指示を受け付けた場合、前記表示された複数の画像を用いて作成したパノラマ画像を前記表示部に表すことを特徴とする画像ファイル選別装置。
An image file selection device for generating a panoramic image that selects a predetermined image file from a plurality of image files including image data and image attribute information that is attribute information of the image data,
The image attribute information includes position information representing a geographical position at the time of shooting,
The image file sorting device includes:
A display unit capable of displaying an image represented by the image data;
An image attribute information reading unit for reading the position information from each image file;
Based on the read position information, a plurality of image files whose geographical positions at the time of shooting are determined to be equal to or less than a predetermined distance are selected as the predetermined image files, and the selected plurality of image files are selected. A control unit that displays a plurality of images represented by the image file on the display unit;
Receiving means for receiving an instruction as to whether to generate a panoramic image using the displayed plurality of images;
With
When the reception unit receives an instruction to perform panorama synthesis using the displayed plurality of images, the display unit displays a panoramic image created using the displayed plurality of images. Image file sorting device.
前記制御部は、前記複数の画像における被写体のサイズが同一となるように各画像のサイズを調整し前記表示部に表示することを特徴とする請求項1に記載の画像ファイル選別装置。   The image file selection device according to claim 1, wherein the control unit adjusts the size of each image so that the size of a subject in the plurality of images is the same, and displays the image on the display unit. 画像データと前記画像データの属性情報である画像属性情報とを含む複数の画像ファイルから所定の画像ファイルを選別する、パノラマ画像生成のための画像ファイル選別方法であって、
前記画像属性情報は、撮影時の地理的位置を表す位置情報を含み、
前記画像ファイル選別方法は、
前記画像データの表す画像を表示する工程と、
前記位置情報を前記各画像ファイルから読み出す工程と、
前記読み出された位置情報に基づいて、撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、前記所定の画像ファイルとして選別し、該選別された複数の画像ファイルの表す複数の画像を表示する工程と、
前記表示された複数の画像を用いてパノラマ画像を生成するか否かの指示を受け付ける工程と、
前記表示された複数の画像を用いてパノラマ合成を行う旨の指示を受け付けた場合、前記表示された複数の画像を用いて作成したパノラマ画像を表示する工程と、
を備えることを特徴とする画像ファイル選別方法。
An image file selection method for generating a panoramic image, wherein a predetermined image file is selected from a plurality of image files including image data and image attribute information that is attribute information of the image data,
The image attribute information includes position information representing a geographical position at the time of shooting,
The image file selection method includes:
Displaying an image represented by the image data;
Reading the position information from each image file;
Based on the read position information, a plurality of image files whose geographical positions at the time of shooting are determined to be equal to or less than a predetermined distance are selected as the predetermined image files, and the selected plurality of image files are selected. and table Shimesuru process a plurality of images represented by the image file,
Receiving an instruction as to whether to generate a panoramic image using the displayed plurality of images;
A step of displaying a panoramic image created using the displayed plurality of images when receiving an instruction to perform panoramic composition using the displayed plurality of images;
An image file selection method comprising:
JP2007267399A 2007-10-15 2007-10-15 Panorama composition of multiple image data Expired - Fee Related JP4803155B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007267399A JP4803155B2 (en) 2007-10-15 2007-10-15 Panorama composition of multiple image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007267399A JP4803155B2 (en) 2007-10-15 2007-10-15 Panorama composition of multiple image data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002300031A Division JP4048907B2 (en) 2002-10-15 2002-10-15 Panorama composition of multiple image data

Publications (2)

Publication Number Publication Date
JP2008104179A JP2008104179A (en) 2008-05-01
JP4803155B2 true JP4803155B2 (en) 2011-10-26

Family

ID=39438107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007267399A Expired - Fee Related JP4803155B2 (en) 2007-10-15 2007-10-15 Panorama composition of multiple image data

Country Status (1)

Country Link
JP (1) JP4803155B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142020A1 (en) 2013-03-13 2014-09-18 国立大学法人東京大学 Nucleic acid linker

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177404B2 (en) * 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
JP2014116790A (en) * 2012-12-10 2014-06-26 Samsung R&D Institute Japan Co Ltd Imaging apparatus
KR102294319B1 (en) * 2017-04-17 2021-08-26 엘지이노텍 주식회사 Image acquisition method of camera module

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169288A (en) * 1997-08-11 1999-03-09 Nikon Corp Image processor
JP4804604B2 (en) * 1998-07-09 2011-11-02 ソニー株式会社 Reproducing apparatus and recording / reproducing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142020A1 (en) 2013-03-13 2014-09-18 国立大学法人東京大学 Nucleic acid linker

Also Published As

Publication number Publication date
JP2008104179A (en) 2008-05-01

Similar Documents

Publication Publication Date Title
JP4048907B2 (en) Panorama composition of multiple image data
US7593035B2 (en) Image data transmitting device and method
JP4178009B2 (en) Shooting system
JP2005312085A (en) Digital still camera
US8412031B2 (en) Camera with a function of automatically setting shooting conditions and shooting method
KR20100085110A (en) Map display device, map display method, and imaging device
JP4803155B2 (en) Panorama composition of multiple image data
JP2005151375A (en) Camera apparatus and its photographic condition setting method
JP5035050B2 (en) Imaging device, image file generation method, and image file creation program
JP4468794B2 (en) Display control apparatus, camera, and display control method
US20120249840A1 (en) Electronic camera
JP2013229056A (en) Display of image file
JP4462278B2 (en) Image file classification
JP4341219B2 (en) Display image files
JP2011119832A (en) Image display device and image display method
US20110205396A1 (en) Apparatus and method, and computer readable recording medium for processing, reproducing, or storing image file including map data
JP4304200B2 (en) Mobile device with camera and image display program for mobile device with camera
JP3912213B2 (en) Selecting frame images to be combined
JP2012113578A (en) Retrieval apparatus, retrieval method, retrieval program, camera device employing the same and retrieval system
JP4469246B2 (en) Electronic camera
JP2004072383A (en) Classification of image file
JP3800203B2 (en) Select the frame image to be combined
JP2006011580A (en) Photographic information processor
JP5532035B2 (en) Image display control apparatus, image display control method, and computer program
JP2009009594A (en) Display of image file

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110725

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees