JP4588627B2 - Image processing apparatus and image processing program - Google Patents

Image processing apparatus and image processing program Download PDF

Info

Publication number
JP4588627B2
JP4588627B2 JP2005373959A JP2005373959A JP4588627B2 JP 4588627 B2 JP4588627 B2 JP 4588627B2 JP 2005373959 A JP2005373959 A JP 2005373959A JP 2005373959 A JP2005373959 A JP 2005373959A JP 4588627 B2 JP4588627 B2 JP 4588627B2
Authority
JP
Japan
Prior art keywords
image
face
layout
main subject
central
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005373959A
Other languages
Japanese (ja)
Other versions
JP2007180651A (en
Inventor
公英 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005373959A priority Critical patent/JP4588627B2/en
Publication of JP2007180651A publication Critical patent/JP2007180651A/en
Application granted granted Critical
Publication of JP4588627B2 publication Critical patent/JP4588627B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

本発明は、複数の画像を配置したレイアウト画像を作成する機能を有する画像処理装置および画像処理プログラムに関する。   The present invention relates to an image processing apparatus and an image processing program having a function of creating a layout image in which a plurality of images are arranged.

近年、デジタルカメラなどの電子撮像装置が普及している。また、デジタルカメラなどで取得した多数の画像ファイルをパソコンのモニタ上で閲覧して鑑賞するための画像ビューアが販売されている。画像ビューアとは、パソコンに組み込まれたソフトウェアであり、画像ファイルの一覧表示、選択表示、複写、削除、画像の切り抜き、回転、サイズ変更などの各種処理を統合的に操作可能とするものである。   In recent years, electronic imaging devices such as digital cameras have become widespread. In addition, image viewers for viewing and viewing a large number of image files obtained with a digital camera on a personal computer monitor are on the market. An image viewer is software built into a personal computer that enables integrated operations such as image file list display, selection display, copying, deletion, image cropping, rotation, and resizing. .

上述したような画像ビューアと称されるソフトウェアでは、複数の画像データに基づいて画像を配置したレイアウト画像を作成する機能を有するものがある。このレイアウト画像作成機能では、例えば特許文献1に記載されているように、複数の画像データの中に含まれる人物画像を抽出し、この人物画像の顔面積がほぼ等しくなるように人物画像の大きさを調整してレイアウト画像を作成するものが知られている。
特開2002−042116号公報
Some software referred to as an image viewer as described above has a function of creating a layout image in which images are arranged based on a plurality of image data. In this layout image creation function, for example, as described in Patent Document 1, a person image included in a plurality of image data is extracted, and the size of the person image is set so that the face areas of the person images are substantially equal. One that adjusts the height and creates a layout image is known.
JP 2002-042116 A

上記特許文献1に記載されているようなレイアウト機能では、人物画像が並んだ名簿画像のようなものを作成するときには適している。しかしながら、レイアウト画像として求められるものは名簿画像のようなものだけではなく、例えば卒業アルバムの組写真のようなレイアウト画像を作成する場合、すなわち運動会や入学式、修学旅行などの行事を象徴するような画像を中央付近に大きく配置し、その周囲に各競技や、代表的人物、旅行先などの写真を複数配置するようなレイアウト画像を作成する際には、上記特許文献1記載のようなレイアウト機能を使用することができない。よって、マニュアル入力で画像を拡大縮小するとともに位置を調整して配置をしなければならないため、非常に手間と時間が掛かってしまう。   The layout function as described in Patent Document 1 is suitable for creating a name list image in which person images are arranged. However, what is required as a layout image is not only a name book image, but when creating a layout image such as a group photo of a graduation album, for example, an event such as an athletic meet, entrance ceremony, school excursion, etc. When creating a layout image in which a large image is arranged near the center and a plurality of photographs of each competition, representative person, travel destination, etc. are arranged around the image, the layout as described in Patent Document 1 above The function cannot be used. Therefore, since it is necessary to enlarge and reduce the image by manual input and to arrange the image by adjusting the position, it takes much time and effort.

本発明は、上記事情を考慮してなされたものであり、複数の画像に対してサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成することが可能な画像処理装置及び画像処理プログラムを提供することを目的とする。   The present invention has been made in consideration of the above circumstances, and provides an image processing apparatus and an image processing program capable of adjusting the size of a plurality of images and creating a layout image by appropriately arranging the images. The purpose is to provide.

上記目的を達成するために本発明の画像処理装置では、複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔面積が最小または最大の主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする。但し、前記顔情報検出手段では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔面積が0であることを前記顔情報に含めるようにすることが好ましい。また、前記顔情報検出手段では、主要被写体の顔面積を求めているが、この顔面積は、顔領域の横幅及び縦長さより求めた概略値でもよい。   To achieve the above object, in the image processing apparatus of the present invention, an image is selected from a plurality of image data, and the selected image is arranged to create a layout image. A face information detecting unit that extracts a face area of the main subject and detects face information including at least the face area of the main subject from the face area; and a face area of the main subject of each selected image based on the face information. Based on the main subject comparison means to be compared and the comparison result by the main subject comparison means, the selected image including the main subject having the smallest or largest face area is set as a central image, and the selected image excluding the central image is set as a peripheral image. And an image layout means for creating the layout image by adjusting the central image and the peripheral image to different sizes. And features. However, it is preferable that the face information detecting means includes that the face area of the selected image is 0 when the face area is not extracted from the image data of the selected image. In the face information detecting means, the face area of the main subject is obtained, but this face area may be an approximate value obtained from the width and length of the face area.

請求項2記載の画像処理装置では、複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔面積の総和を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像の顔面積総和を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔面積総和が最小または最大の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする。但し、前記顔情報検出手段では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔面積総和が0であることを前記顔情報に含めるようにすることが好ましい。   The image processing apparatus according to claim 2, wherein an image is selected from a plurality of image data, and a layout area is created by arranging the selected images to generate a face area of a main subject from the image data of the selected image. A face information detecting means for detecting face information including at least a total face area of main subjects in the selected image from the face area, and comparing the total face area of each selected image based on the face information Main subject comparison means, and based on the comparison result by the main subject comparison means, the selected image having the smallest or largest face area sum as a central image, and the selected image excluding the central image is determined as a peripheral image, Image layout means for adjusting the center image and the peripheral image to different sizes to create the layout image is provided. However, it is preferable that the face information detection means includes that the face area total is 0 in the selected image when the face area is not extracted from the image data of the selected image.

複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔の個数を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像内における主要被写体の顔の個数を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする。但し、前記顔情報検出手段では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔の個数が0であることを前記顔情報に含めるようにすることが好ましい。   In an image processing apparatus that selects an image from a plurality of image data and arranges the selected images to create a layout image, the face area of a main subject is extracted from the image data of the selected image, and the selection is performed from the face area Face information detecting means for detecting face information including at least the number of faces of the main subject in the image, and main subject comparing means for comparing the number of faces of the main subject in each of the selected images based on the face information; Based on the comparison result by the main subject comparison means, the selected image having the largest or smallest number of faces is set as a central image, the selected image excluding the central image is determined as a peripheral image, and the central image and the peripheral image are determined. And image layout means for creating the layout image by adjusting the size to different sizes. However, it is preferable that the face information detection means include in the face information that the number of faces in the selected image is 0 when no face area is extracted from the image data of the selected image.

なお、前記顔情報検出手段は、前記各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含んでおり、前記画像レイアウト手段は、前記顔位置情報に基づいて、主要被写体の顔の位置が重ならないように前記選択画像を配置して前記レイアウト画像を作成することが好ましい。   The face information detecting means includes face position information in which the position of the face of the main subject in each selected image is detected in the face information, and the image layout means is based on the face position information, The layout image is preferably created by arranging the selected images so that the positions of the faces of the main subjects do not overlap.

また、前記顔情報検出手段は、前記各選択画像内における主要被写体の顔領域の面積中心を、顔重心位置情報として前記顔情報に含んでおり、前記画像レイアウト手段は、前記顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成することが好ましい。 Further, the face information detecting means includes the area center of the face area of the main subject in each selected image in the face information as face centroid position information , and the image layout means includes the face centroid position information. Based on this, it is preferable to create the layout image by arranging the images so that the distances between the positions of the center of gravity of each selected image are substantially equal.

さらにまた、前記画像レイアウト手段は、前記中心画像を大きく、前記周辺画像を前記中心画像よりも小さくサイズ調整することや、前記画像レイアウト手段は、前記中心画像を小さく、前記周辺画像を前記中心画像よりも大きくサイズ調整することなども本発明では効果的である。   Furthermore, the image layout means enlarges the central image and adjusts the size of the peripheral image to be smaller than the central image, or the image layout means reduces the central image and the peripheral image as the central image. It is also effective in the present invention to adjust the size larger.

また、請求項8記載の画像処理プログラムでは、複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔面積が最小または最大の主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする。但し、前記顔情報検出処理では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔面積が0であることを前記顔情報に含めるようにすることが好ましい。   The image processing program according to claim 8 is an image processing program for selecting an image from a plurality of image data and causing a computer to create a layout image in which the selected images are arranged. A face information detection process for extracting a face area of the main subject from the data and detecting face information including at least the face area of the main subject from the face area; and a face of the main subject of each selected image based on the face information Based on the main subject comparison process for comparing the area and the comparison result by the main subject comparison process, the selected image including the main subject having the smallest or largest face area is set as a central image, and the selected image excluding the central image is used as the selected image. The layout image is determined as a peripheral image, and the central image and the peripheral image are adjusted to different sizes to create the layout image. An out image generating process is characterized by causing the computer to perform. However, in the face information detection process, when the face area is not extracted from the image data of the selected image, it is preferable that the face information includes that the face area is 0 in the selected image.

複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積の総和を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の顔面積総和を比較する主要被写体比較処理と、この主要被写体比較手段による比較結果に基づいて、顔面積総和が最小または最大の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする。但し、前記顔情報検出処理では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔面積総和が0であることを前記顔情報に含めるようにすることが好ましい。   In an image processing program for selecting an image from a plurality of image data and causing a computer to create a layout image in which these selected images are arranged, the face area of the main subject is extracted from the image data of the selected image, and Face information detection processing for detecting face information including at least the total face area of the main subject from the face area, main subject comparison processing for comparing the face area sum of the selected images based on the face information, Based on the comparison result by the subject comparison means, the selected image having the smallest or largest face area total is set as a central image, the selected image excluding the central image is determined as a peripheral image, and the central image and the peripheral image are determined. And causing the computer to execute layout image creation processing for creating the layout image by adjusting to a different size. To. However, in the face information detection process, when a face area is not extracted from the image data of the selected image, it is preferable that the face information includes that the face area total is 0 in the selected image.

複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔の個数を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像内における主要被写体の顔の個数を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする。但し、前記顔情報検出処理では、前記選択画像の画像データから顔領域が抽出されない場合、その選択画像では顔個数が0であることを前記顔情報に含めるようにすることが好ましい。   In an image processing program for selecting an image from a plurality of image data and causing a computer to create a layout image in which these selected images are arranged, the face area of the main subject is extracted from the image data of the selected image, and A face information detection process for detecting face information including at least the number of faces of the main subject in the selected image from a face area, and a main information for comparing the number of faces of the main subject in the selected images based on the face information. Based on the comparison result of the subject comparison process and the main subject comparison process, the selected image having the largest or smallest number of faces is set as a central image, the selected image excluding the central image is determined as a peripheral image, and the center image is determined. Layout image creation processing for creating the layout image by adjusting the image and the peripheral image to different sizes. Characterized in that to execute the computer. However, in the face information detection process, when the face area is not extracted from the image data of the selected image, it is preferable that the face information includes that the number of faces is 0 in the selected image.

なお、前記顔情報検出処理では、前記各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含んでおり、前記レイアウト画像作成処理では、前記顔位置情報に基づいて、主要被写体の顔の位置が重ならないように前記選択画像を配置して前記レイアウト画像を作成することが好ましい。   In the face information detection process, the face information includes face position information obtained by detecting the position of the face of the main subject in each selected image. In the layout image creation process, based on the face position information. The layout image is preferably created by arranging the selected images so that the positions of the faces of the main subjects do not overlap.

また、前記顔情報検出処理では、前記各選択画像内における主要被写体の顔領域の面積中心を、顔重心位置情報として前記顔情報に含んでおり、前記レイアウト画像作成処理では、前記顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成することが好ましい。 Further, in the face information detection process, an area center of the face area of the main subject in each selected image is included in the face information as face centroid position information. In the layout image creation process, the face centroid position information Based on the above, it is preferable to create the layout image by arranging the images so that the distances between the center of gravity positions of the faces of the selected images are substantially equal.

さらにまた、前記レイアウト画像作成処理では、前記中心画像を大きく、前記周辺画像を前記中心画像よりも小さくサイズ調整することや、前記レイアウト画像作成処理では、前記中心画像を小さく、前記周辺画像を前記中心画像よりも大きくサイズ調整することなども効果的である。   Furthermore, in the layout image creation process, the center image is enlarged and the size of the peripheral image is adjusted to be smaller than the center image. In the layout image creation process, the center image is reduced and the peripheral image It is also effective to adjust the size larger than the central image.

本発明の画像処理プログラムおよび画像処理装置によれば、選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔面積が最も小さい主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを行っているので、複数の画像のサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成することができる。   According to the image processing program and the image processing apparatus of the present invention, face information detection is performed for extracting a face area of a main subject from image data of a selected image and detecting face information including at least the face area of the main subject from the face area. The main subject comparison process for comparing the face area of the main subject of each selected image based on the processing and the face information, and the main subject having the smallest face area based on the comparison result by the main subject comparison process A layout image creation process is performed in which the selected image is a central image, the selected image excluding the central image is determined as a peripheral image, and the central image and the peripheral image are adjusted to different sizes to generate the layout image. Therefore, a layout image can be created by adjusting the size of a plurality of images and appropriately arranging them.

請求項2記載の画像処理装置及び請求項9記載の画像処理プログラムでは、各選択画像の顔面積総和を比較して、顔面積総和が最も小さい前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成しているので、複数の画像のサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成することができる。   In the image processing device according to claim 2 and the image processing program according to claim 9, the face area sum of each selected image is compared, and the selected image having the smallest face area sum is used as a center image, and the center image is excluded. The selected image is determined as a peripheral image, and the layout image is created by adjusting the central image and the peripheral image to different sizes. Therefore, the plurality of images are adjusted in size and appropriately arranged. A layout image can be created.

請求項3記載の画像処理装置及び請求項10記載の画像処理プログラムでは、各選択画像内における主要被写体の顔の個数を比較して、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成しているので、複数の画像のサイズ調整を行うとともに適正な配置を行ってレイアウト画像を作成することができる。   In the image processing device according to claim 3 and the image processing program according to claim 10, the number of faces of the main subject in each selected image is compared, and the selected image having the largest or smallest number of faces is used as a central image. Since the selected image excluding the central image is determined as a peripheral image and the central image and the peripheral image are adjusted to different sizes to create the layout image, a plurality of images are adjusted in size. A layout image can be created by performing an appropriate arrangement.

また、各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含み、顔位置情報に基づいて、主要被写体の顔の位置が重ならないように選択画像を配置して前記レイアウト画像を作成しているので、より適正な位置に画像が配置されたレイアウト画像を得ることができる。   The face information includes face position information obtained by detecting the face position of the main subject in each selected image, and the selected image is arranged so that the face positions of the main subject do not overlap based on the face position information. Since the layout image is created, a layout image in which an image is arranged at a more appropriate position can be obtained.

さらにまた、各選択画像内における主要被写体の顔領域の面積中心を、顔重心位置情報として顔情報に含み、顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成しているので、より適正な位置に画像が配置されたレイアウト画像を得ることができる。 Furthermore, the center of the face area of the main subject in each selected image is included in the face information as face centroid position information, and based on the face centroid position information, the distance between the face centroid positions of each selected image is approximately Since the layout images are created by arranging images so as to be equal, it is possible to obtain a layout image in which images are arranged at more appropriate positions.

図1において、本発明を適用した画像処理装置としてのパーソナルコンピュータ(以下PCと称する)2は、CPU10により全体を統括的に制御される。CPU10には、メモリ11、モニタ12、操作部13、および通信I/F15が接続されている。   In FIG. 1, a personal computer (hereinafter referred to as a PC) 2 as an image processing apparatus to which the present invention is applied is entirely controlled by a CPU 10. A memory 11, a monitor 12, an operation unit 13, and a communication I / F 15 are connected to the CPU 10.

メモリ11は、半導体メモリや磁気ディスクなどからなり、PC2の起動時に必要な各種プログラムやデータをはじめ、画像処理プログラム16などが記憶されている。また、メモリ11には、デジタルカメラ17から通信I/F15を介して送信される画像データ(静止画データおよび動画データ)が記憶される。   The memory 11 is composed of a semiconductor memory, a magnetic disk, or the like, and stores various programs and data necessary for starting up the PC 2, as well as an image processing program 16. The memory 11 also stores image data (still image data and moving image data) transmitted from the digital camera 17 via the communication I / F 15.

モニタ12は、LCDやCRTなどからなり、前述の画像データや各種の情報を表示する。操作部13は、キーボード14aやマウス14bなどからなる。CPU10は、この操作部13の操作に応答して、PC2の各部の動作を制御する。通信I/F15は、デジタルカメラ17などの外部機器と、USBケーブルなどを介してデータの送受信を行う。   The monitor 12 includes an LCD, a CRT, and the like, and displays the above-described image data and various information. The operation unit 13 includes a keyboard 14a and a mouse 14b. In response to the operation of the operation unit 13, the CPU 10 controls the operation of each unit of the PC 2. The communication I / F 15 transmits / receives data to / from an external device such as the digital camera 17 via a USB cable or the like.

操作部13の操作により画像処理プログラム16を起動すると、CPU10には、ブラウザ制御部19の他、顔情報検出部21、主要被写体比較部22、画像レイアウト部23などの処理機能が生成される。ブラウザ制御部19は、図2に示すようなGUI(Graphical User Interface)としての画像表示ブラウザ30をモニタ12の画面上に表示する。   When the image processing program 16 is activated by the operation of the operation unit 13, processing functions such as a face information detection unit 21, a main subject comparison unit 22, and an image layout unit 23 are generated in the CPU 10 in addition to the browser control unit 19. The browser control unit 19 displays an image display browser 30 as a GUI (Graphical User Interface) as illustrated in FIG. 2 on the screen of the monitor 12.

画像表示ブラウザ30には、フォルダ31の検索を補助するエクスプローラウィンドウ32aと、フォルダ31内の画像ファイルのサムネイル画像33が表示されるサムネイルウィンドウ32bと、選択画像34が表示される選択画像ウィンドウ32cと、後述するレイアウト画像作成処理で作成されたレイアウト画像35が表示されるレイアウトウィンドウ32dとが設けられている。選択画像34は、サムネイル画像33にカーソル36を合わせ、マウス14bのクリックボタンをクリックすることで選択画像ウィンドウ32cに表示される。選択画像34は、サムネイル画像よりも大きく表示され、画像の内容が認識し易くなっている。また、カーソル36は、マウス14bの動きに連動して動くポインタである。   The image display browser 30 includes an explorer window 32a that assists in searching the folder 31, a thumbnail window 32b that displays thumbnail images 33 of image files in the folder 31, and a selected image window 32c that displays a selected image 34. A layout window 32d for displaying a layout image 35 created by a layout image creation process to be described later is provided. The selected image 34 is displayed in the selected image window 32c by moving the cursor 36 to the thumbnail image 33 and clicking the click button of the mouse 14b. The selected image 34 is displayed larger than the thumbnail image so that the contents of the image can be easily recognized. The cursor 36 is a pointer that moves in conjunction with the movement of the mouse 14b.

顔情報検出部21は、選択画像34内における人物(主要被写体)の顔領域を抽出し、この顔領域から顔情報を検出する顔情報検出処理を行う。この顔情報検出部21では、例えば、図3に示すように、選択画像34内における人物38の両目38aを、予め設定した標準的人物の両目画像データとのマッチングを行うことで検出し、さらにこのマッチングで検出された両目38aの間隔Sから顔の横幅W、顔の縦長さTを検出して、この横幅W、縦長さTからなる顔領域39(点線で囲まれた範囲)を抽出する。   The face information detection unit 21 extracts a face area of a person (main subject) in the selected image 34 and performs face information detection processing for detecting face information from the face area. For example, as shown in FIG. 3, the face information detection unit 21 detects both eyes 38a of the person 38 in the selected image 34 by matching with both eyes image data of a standard person set in advance. The face width W and the face length T are detected from the interval S between the eyes 38a detected by this matching, and a face region 39 (range surrounded by a dotted line) having the width W and the length T is extracted. .

選択画像34から顔の幅Wを検出するときは、例えば、標準的な人物の両目間隔S及び顔の横幅Wを予め設定しておく。これによって、顔の横幅Wは、両目間隔S(上述のマッチングによって検出した両目間隔)との比率から、W=(S/S)×Wによって求められる。また、顔の縦長さTについても同様に、標準的な人物の両目間隔S及び顔の縦長さTを設定しておくことで両目間隔Sとの比率から求めることが可能であり、さらにこれら顔の幅W及び縦長さTから人物38の顔面積の概略値を顔情報として求めることができる。また顔情報としては他に、人物38の位置が、例えば画像の左上隅の位置を原点O(0,0)として、両目38aの中心位置38bの座標(x、y)を求めることで検出される。なお、顔領域は、上述した両目画像データのマッチングによる抽出に限定するものではなく、例えば目及び口の位置関係などから顔画像を検出してもよいし、顔の輪郭を検出すること、または、顔の肌に相当する色情報を検出することによって顔領域を特定するようにしてもよい。また、選択画像34から顔情報が抽出されない場合、顔面積が0である旨を顔情報に含んで主要被写体比較部21へ送信する。 When the selected image 34 to detect the width W of the face, for example, setting the width W A of the eye separation S A and the face of a standard person in advance. Accordingly, the width W of the face is obtained by W = (S / S A ) × W A from the ratio with the distance between both eyes S (the distance between both eyes detected by the above matching). Similarly, the vertical length T of the face can be obtained from the ratio between the standard eye distance S A and the vertical length T A of the face by setting the vertical distance T A between the eyes. An approximate value of the face area of the person 38 can be obtained as face information from the face width W and the vertical length T. In addition, as the face information, the position of the person 38 is detected by obtaining the coordinates (x, y) of the center position 38b of both eyes 38a with the position of the upper left corner of the image as the origin O (0, 0), for example. The Note that the face region is not limited to extraction by matching the above-described binocular image data, and for example, a face image may be detected from the positional relationship between eyes and mouth, or the face outline may be detected, or Alternatively, the face area may be specified by detecting color information corresponding to the skin of the face. When face information is not extracted from the selected image 34, the fact that the face area is 0 is included in the face information and transmitted to the main subject comparison unit 21.

主要被写体比較部21は、顔情報検出部21で検出された顔情報に基づいて、各選択画像34の主要被写体の顔面積を比較し、顔面積が最小の選択画像34を判定する主要被写体比較処理を行う。なお、本実施形態では、選択画像34から顔領域が抽出されない場合、顔面積が0、すなわち顔面積が最小であると判定するようにしている。   The main subject comparison unit 21 compares the face areas of the main subjects of the selection images 34 based on the face information detected by the face information detection unit 21 and determines the selection image 34 having the smallest face area. Process. In this embodiment, when a face area is not extracted from the selected image 34, it is determined that the face area is 0, that is, the face area is the smallest.

画像レイアウト部23では、各選択画像34のうち、顔面積が最小の主要被写体を含む選択画像34を中心画像41(図5参照)とし、この中心画像41を除く選択画像34を周辺画像42(図5参照)としてレイアウト画像35を作成する。作成されたレイアウト画像35が、レイアウトウィンドウ32dに表示されるとともに、その画像データがメモリ11に一時記憶される。   In the image layout unit 23, among the selected images 34, the selected image 34 including the main subject having the smallest face area is set as the central image 41 (see FIG. 5), and the selected image 34 excluding the central image 41 is the peripheral image 42 ( As shown in FIG. 5, a layout image 35 is created. The created layout image 35 is displayed in the layout window 32 d and the image data is temporarily stored in the memory 11.

レイアウトウィンドウ32dに、画像レイアウト部23によって作成されたレイアウト画像35が表示されたとき、操作部13によって、保存か削除かの選択が行われ、画像の保存が選択されたときには、そのレイアウト画像に基づくレイアウト画像データをメモリ11に格納し、削除が選択されたときには、そのレイアウト画像データを削除して、画像のレイアウト操作をやり直しすることとなる。   When the layout image 35 created by the image layout unit 23 is displayed in the layout window 32d, the operation unit 13 selects whether to save or delete. When the image is selected to be saved, the layout image is added to the layout image. The layout image data based on this is stored in the memory 11, and when deletion is selected, the layout image data is deleted and the image layout operation is performed again.

次に上記構成を有する画像処理プログラム16によるレイアウト画像作成の処理手順を図4のフローチャートに沿って説明する。先ずユーザーが操作部13を操作して画像処理プログラム16が起動されると、CPU10にブラウザ制御部19、顔情報検出部21、主要被写体比較部22、画像レイアウト部23などが生成され、ブラウザ制御部19により、図2に示した画像表示ブラウザ30が、モニタ12の画面上に表示される。さらに操作部13による選択操作で、サムネイルウィンドウ32bに多数表示されたサムネイル画像33の一覧の中からユーザーが所望する複数のサムネイル画像33が選択されると、選択画像ウィンドウ32cには選択されたサムネイル画像33に対応する選択画像34が表示される。   Next, a processing procedure for creating a layout image by the image processing program 16 having the above configuration will be described with reference to the flowchart of FIG. First, when the user operates the operation unit 13 and the image processing program 16 is activated, a browser control unit 19, a face information detection unit 21, a main subject comparison unit 22, an image layout unit 23, and the like are generated in the CPU 10, and browser control is performed. The image display browser 30 shown in FIG. 2 is displayed on the screen of the monitor 12 by the unit 19. Further, when a plurality of thumbnail images 33 desired by the user are selected from a list of thumbnail images 33 displayed in large numbers in the thumbnail window 32b by a selection operation by the operation unit 13, the selected thumbnails are displayed in the selected image window 32c. A selection image 34 corresponding to the image 33 is displayed.

ユーザーは、選択画像ウィンドウ32cに表示された複数の選択画像34を見て自身が所望する画像であることを確認し、選択操作を完了すると、これらの選択画像34に基づいてレイアウト画像35の作成を開始する操作を行う。レイアウト画像35の作成が指示されると、先ず、顔情報検出部21が、各選択画像34について顔情報の検出処理を行う。次に、主要被写体比較部22では、顔情報検出部21で検出された顔情報に基づいて、選択画像34の主要被写体の顔面積比較を行う。そして、主要被写体比較部22で行った比較結果から顔面積が最も小さい選択画像34が1つだけのときには、その比較結果を画像レイアウト部23に出力する。また、主要被写体比較部22で行った比較結果で、顔面積が最も小さい選択画像34が2つ以上あると判定されたときには、これらの中から1つの中心画像を選択するようにユーザーに選択入力を求める。この場合、例えば、図5(A)に示すように、顔面積が最も小さい複数の選択画像34a,34bをレイアウトウィンドウ32d内に表示するとともに、選択入力を促す文章を表示する。そして、操作部13による選択操作で1つの中心画像が選択されると、この選択結果を画像レイアウト部23に出力する。なお、図5(A)に示す例では、顔領域が抽出されない場合、すなわち顔面積が0の選択画像34a,34bが、顔面積が最小のものとして判定された場合を示している。   The user sees the plurality of selection images 34 displayed in the selection image window 32c and confirms that the image is desired, and when the selection operation is completed, a layout image 35 is created based on these selection images 34. Perform the operation to start. When the creation of the layout image 35 is instructed, first, the face information detection unit 21 performs face information detection processing for each selected image 34. Next, the main subject comparison unit 22 compares the face area of the main subject of the selected image 34 based on the face information detected by the face information detection unit 21. When there is only one selected image 34 having the smallest face area based on the comparison result performed by the main subject comparison unit 22, the comparison result is output to the image layout unit 23. Further, when it is determined that there are two or more selection images 34 having the smallest face area based on the comparison result performed by the main subject comparison unit 22, the user selects and inputs one central image from these. Ask for. In this case, for example, as shown in FIG. 5A, a plurality of selection images 34a and 34b having the smallest face area are displayed in the layout window 32d, and a text prompting selection input is displayed. When one central image is selected by the selection operation by the operation unit 13, the selection result is output to the image layout unit 23. In the example shown in FIG. 5A, a case where no face area is extracted, that is, selection images 34a and 34b having a face area of 0 is determined to have the smallest face area.

画像レイアウト部23では、主要被写体比較部22で行われた比較結果、又は比較結果に基づくユーザーの選択結果から、図5(B)に示すように、選択画像34の中で顔面積が最も小さい画像を中心画像41、及び選択画像34の中で中心画像41を除く画像を周辺画像42として決定し、中心画像41を大きく、周辺画像42を中心画像41よりも小さくなるように画像サイズを調整して、中心画像41を全体の中心位置に、周辺画像42をその周囲に配置してレイアウト画像35を作成する。なお、本実施形態においては、レイアウト画像35を作成する際に、中心画像41及び周辺画像42の間に適度なスペースを有して画像同士が重ならないようにする。   The image layout unit 23 has the smallest face area in the selected image 34 as shown in FIG. 5B from the comparison result performed by the main subject comparison unit 22 or the user's selection result based on the comparison result. The image other than the center image 41 is determined as the peripheral image 42 in the central image 41 and the selected image 34, and the image size is adjusted so that the central image 41 is large and the peripheral image 42 is smaller than the central image 41. Then, the layout image 35 is created by arranging the central image 41 at the center position of the whole and the peripheral image 42 around it. In the present embodiment, when the layout image 35 is created, an appropriate space is provided between the central image 41 and the peripheral image 42 so that the images do not overlap each other.

このようにしてレイアウト画像35を作成することができるので、例えば、卒業アルバムの組写真のようなレイアウト画像を作成する場合に、行事を象徴するような画像が中心画像41として大きく、その他の画像が周辺画像42として小さく配置されるので、画像の大きさが自動的に調整され、且つ適正な位置な配置されたレイアウト画像を容易に作成することが可能となり、また手間や時間を掛けることなくレイアウト画像を作成することができるので、ユーザーの負担を軽減することができる。   Since the layout image 35 can be created in this way, for example, when creating a layout image such as a group photo of a graduation album, an image that symbolizes an event is large as the central image 41, and other images Is arranged as a small peripheral image 42, the size of the image is automatically adjusted, and it is possible to easily create a layout image arranged at an appropriate position, and without time and effort. Since a layout image can be created, the burden on the user can be reduced.

上記第1実施形態においては、検出された顔面積が最小の選択画像を中心画像とし、それ以外の選択画像を周辺画像としているが、これに限らず、顔面積が最大の選択画像を中心画像とし、それ以外を周辺画像に決定してレイアウトを行うようにしてもよい。あるいは、顔面積が最大と最小の中間値に最も近似する選択画像を中心画像としてもよい。   In the first embodiment, the selected image with the smallest detected face area is used as the central image, and the other selected images are used as the peripheral images. However, the present invention is not limited to this, and the selected image with the largest face area is used as the central image. Other than that, the surrounding image may be determined and layout may be performed. Alternatively, a selected image that most closely approximates the intermediate value having the largest and smallest face area may be used as the central image.

なお、上記第1実施形態においては、選択画像34から検出する顔情報として1人の主要被写体の顔面積を検出しているが、本発明はこれに限るものではなく、例えば、図6に示すように、選択画像50内に複数の主要被写体51,52が配されているときには、顔情報検出部21は、これらの主要被写体51,52から顔領域51a,51bをそれぞれ抽出して顔面積を検出し、顔面積の総和(主要被写体51a,51bの顔面積の合計)を算出した顔面積総和情報を顔情報に含めるようにする。なお、図6においては、主要被写体の数が2つ図示されているがこれに限らず、3つ以上の場合でも同様に顔面積の総和を検出すればよい。また、顔領域が抽出されない場合には、上記実施形態と同様に、顔面積の総和が0である旨を顔情報に含める。そして、主要被写体比較部22では、この顔面積総和情報に基づいて、各選択画像34の顔面積総和を比較して顔面積が最小の選択画像34を判定し、画像レイアウト部23では、この顔面積総和の比較結果に基づいて中心画像及び周辺画像を決定する。中心画像及び周辺画像を決定した後は、上記実施形態と同様にしてレイアウト画像35を作成することができる。なお、このように顔面積総和の比較結果に基づいて中心画像、周辺画像を決定する場合、顔面積総和が最大の選択画像を中心画像とし、それ以外を周辺画像としてレイアウト画像を作成するようにしてもよいし、あるいは、顔面積総和が最大と最小の中間値に最も近似する選択画像を中心画像に決定してもよい。   In the first embodiment, the face area of one main subject is detected as face information detected from the selected image 34. However, the present invention is not limited to this, and for example, as shown in FIG. As described above, when a plurality of main subjects 51 and 52 are arranged in the selected image 50, the face information detection unit 21 extracts the face areas 51a and 51b from these main subjects 51 and 52, respectively, and calculates the face area. The face area total information obtained by detecting and calculating the sum of the face areas (the sum of the face areas of the main subjects 51a and 51b) is included in the face information. In FIG. 6, the number of main subjects is two, but the present invention is not limited to this, and the total face area may be detected in the same manner even when there are three or more. If no face area is extracted, the fact that the sum of the face areas is 0 is included in the face information as in the above embodiment. The main subject comparison unit 22 determines the selected image 34 having the smallest face area by comparing the face area sums of the selected images 34 based on the face area total information, and the image layout unit 23 determines the face. A central image and a peripheral image are determined based on the comparison result of the total area. After determining the center image and the peripheral image, the layout image 35 can be created in the same manner as in the above embodiment. When determining the central image and the peripheral image based on the comparison result of the face area sum in this way, the layout image is created with the selected image having the maximum face area sum as the central image and the other images as the peripheral images. Alternatively, the selected image that approximates the maximum intermediate value between the maximum and minimum face area may be determined as the central image.

なお、上記第1実施形態においては、顔情報として主要被写体の顔面積を検出し、この顔面積の比較結果に基づいて画像のレイアウトを行っているが、本発明はこれに限るものではなく、以下で説明する本発明の第2実施形態では、顔情報として顔の個数を検出し、この顔個数情報に基づいて画像のレイアウトを行うようにしている。なお、この第2実施形態を適用した画像処理装置の構成は上記第1の実施形態と同様であり、本実施形態を適用した画像処理プログラムを図7に示すフローチャートに沿って説明すると、先ず、上記実施形態と同様にプログラム起動後、画像の一覧表示からユーザーが所望する画像を選択する。なお、レイアウト前の選択画像61〜65の一例を図8(A)に示す。そして、顔情報検出部21では、選択画像61〜65内のおける顔領域61a,62a,63a〜63c,64a,65a,65bをそれぞれ検出し、選択画像61〜65内における顔画像の個数をそれぞれカウントした顔個数情報を顔情報の中に含めて主要被写体比較部22に送る。主要被写体比較部22では、顔の個数を比較し、画像レイアウト部23では、この比較結果に基づき、顔の個数が最も多い画像(図8(A)に示す例では選択画像63)を中心画像66とし、この中心画像66以外の画像を周辺画像67として決定し、レイアウト画像68を作成する。   In the first embodiment, the face area of the main subject is detected as the face information, and the image layout is performed based on the comparison result of the face area. However, the present invention is not limited to this. In the second embodiment of the present invention described below, the number of faces is detected as face information, and an image is laid out based on the face number information. The configuration of the image processing apparatus to which the second embodiment is applied is the same as that of the first embodiment, and the image processing program to which the present embodiment is applied will be described with reference to the flowchart shown in FIG. As in the above embodiment, after starting the program, the user selects an image desired by the user from a list display of images. An example of the selection images 61 to 65 before layout is shown in FIG. Then, the face information detection unit 21 detects face regions 61a, 62a, 63a-63c, 64a, 65a, 65b in the selected images 61-65, respectively, and determines the number of face images in the selected images 61-65, respectively. The counted face number information is included in the face information and sent to the main subject comparison unit 22. The main subject comparison unit 22 compares the number of faces, and the image layout unit 23 selects the image with the largest number of faces (selected image 63 in the example shown in FIG. 8A) based on the comparison result as the central image. 66, an image other than the central image 66 is determined as the peripheral image 67, and a layout image 68 is created.

このようにして、顔個数が多い画像は中心に大きく配置され、顔個数が少ない画像は小さくサイズ調整して周辺に配置されるようになる。よって、家族写真のようなレイアウト画像を作成するときには、家族の集合画像などが中心に配置され、その周囲に家族の個々の画像などが配置されるようになるので、適正な位置にレイアウトされたレイアウト画像を得ることができる。なお、顔個数が同数の選択画像がある場合には、上記第1の実施形態と同様に、ユーザーが選択入力を行っていずれか一方の選択画像を中心画像に決定するようにしてもよい。また、顔個数情報に基づいて中心画像、及び周辺画像を決定する際には、上述したように顔個数が最多の選択画像に限らず、顔個数が最少の選択画像を中心画像とし、それ以外の選択画像を周辺画像に決定するようにしてもよく、さらにまた、顔個数が最多と最少の中間値に最も近似する選択画像を中心画像にしてもよい。   In this way, an image with a large number of faces is arranged large at the center, and an image with a small number of faces is arranged in the periphery with a small size adjustment. Therefore, when creating a layout image such as a family photo, the group image of the family is placed at the center, and individual images of the family are placed around it. A layout image can be obtained. If there are selection images having the same number of faces, the user may perform selection input and determine one of the selection images as the central image, as in the first embodiment. Further, when determining the central image and the peripheral image based on the face number information, as described above, the selected image with the smallest number of faces is not limited to the selected image with the largest number of faces. The selected image may be determined as the peripheral image, and the selected image that most closely approximates the intermediate value having the largest and smallest number of faces may be used as the central image.

上記第1及び第2実施形態においては、画像同士が重ならないように画像サイズを調整してレイアウトしているが、本発明はこれに限るものではなく、選択画像を重ねて配置し、個々の画像サイズをより大きくするとともに画像同士の隙間を少なくしてレイアウトするようにした本発明の第3実施形態を以下に説明する。なお、この第3実施形態を適用した画像処理装置の構成は上記第1の実施形態と同様であり、本実施形態を適用した画像処理プログラムを図9に示すフローチャートに沿って説明すると、先ず、上記第1実施形態と同様に、プログラム起動後、画像の一覧表示からユーザーが所望の画像を選択し、これらの選択画像から顔情報検出部21が顔情報を検出し、この顔情報に基づき中心画像及び周辺画像を決定してレイアウトを開始する。なお、レイアウト前の選択画像の一例を図10(A)に示す。なお、本実施形態で示す例では、選択画像71〜74が選択されており、これらの選択画像71〜74を、符号75で示す大きさのレイアウト枠の中に配置するが、選択画像71〜74をそのままレイアウト枠75の中に並べただけでは、選択画像71〜74が全て入りきらないことになる。画像レイアウト部23では、顔情報検出部21で検出した顔の位置情報に基づいて、各選択画像71〜74の主要被写体の顔領域71a,72a,73a,74aが重ならないようにレイアウト枠75の中に配置して図10(B)に示すレイアウト画像76を作成する。なお、このレイアウト画像76を作成するとき顔領域71a,72a,73a,74a以外の部分は重なって配置してもよい。これによって、レイアウト枠75の中に配置する個々の選択画像71〜74のサイズをより大きくすることが可能となり、且つ適正な位置に選択画像を配置したレイアウト画像76を作成することが可能となる。   In the first and second embodiments, the image size is adjusted and laid out so that the images do not overlap with each other. However, the present invention is not limited to this, and the selected images are arranged to overlap each other. A third embodiment of the present invention in which the image size is further increased and the gap between the images is reduced will be described below. The configuration of the image processing apparatus to which the third embodiment is applied is the same as that of the first embodiment, and the image processing program to which the present embodiment is applied will be described with reference to the flowchart shown in FIG. As in the first embodiment, after starting the program, the user selects a desired image from the image list display, and the face information detection unit 21 detects the face information from these selected images, and the center is based on the face information. The image and the surrounding image are determined and the layout is started. An example of the selected image before layout is shown in FIG. In the example shown in the present embodiment, the selection images 71 to 74 are selected, and these selection images 71 to 74 are arranged in a layout frame having a size indicated by reference numeral 75. Simply arranging 74 in the layout frame 75 does not allow all the selected images 71 to 74 to enter. In the image layout unit 23, based on the face position information detected by the face information detection unit 21, the layout frame 75 is arranged so that the face areas 71 a, 72 a, 73 a, 74 a of the main subjects of the selected images 71 to 74 do not overlap. A layout image 76 shown in FIG. When the layout image 76 is created, portions other than the face areas 71a, 72a, 73a, and 74a may be arranged so as to overlap each other. This makes it possible to increase the size of the individual selection images 71 to 74 arranged in the layout frame 75 and to create a layout image 76 in which the selection images are arranged at appropriate positions. .

さらにまた、上記第1〜第3実施形態においては、主要被写体同士の互いの相対位置には関係なく、各選択画像を配置しているが、本発明はこれに限らず、以下で説明する本発明の第4実施形態では、主要被写体同士の相対位置を考慮してバランスよく画像を配置している。なお、この第4実施形態を適用した画像処理装置の構成は上記第1の実施形態と同様であり、本実施形態を適用した画像処理プログラムを図11に示すフローチャートに沿って説明すると、先ず、上記実施形態と同様にプログラム起動後、画像の一覧表示からユーザーが所望の画像を選択する。そして、顔情報検出部21では、上述した顔面積などの情報とともに、選択画像内における主要被写体の顔の重心位置(顔重心位置情報)を顔情報に含めて検出し、主要被写体比較部22及び画像レイアウト部23に顔情報を送る。なお、図12(A)にレイアウト前の選択画像81〜83を示す。なお、本実施形態において重心位置を求めるときは、例えば、各選択画像81〜83の顔領域81a,82a〜82c,83aの面積中心を算出する。そして、主要被写体が1つだけの選択画像81,83については、顔領域81a,83aの面積中心がそれぞれの重心位置G,Gとなり、また複数の主要被写体を有する選択画像82については、顔領域82a〜82cのそれぞれの面積中心からさらにそれらの中心値を算出したものが重心位置Gとなる。これら顔重心位置情報を含む顔情報が送られた主要被写体比較部22では、顔情報に基づいて比較を行い、その比較結果から画像レイアウト部23では、上述した顔重心位置情報に基づいて主要被写体同士の相対位置を決定する。すなわち、画像レイアウト部23では、選択画像81〜83間における主要被写体の互いの顔重心位置G,G,G間の距離Lがほぼ等しくなるように配置してレイアウト画像85を作成する(図12(B)参照)。これによって、主要被写体間のバランスのとれたレイアウト画像85を得ることができる。 Furthermore, in the first to third embodiments, the selected images are arranged regardless of the relative positions of the main subjects. However, the present invention is not limited to this, and the book described below. In the fourth embodiment of the invention, images are arranged with good balance in consideration of the relative positions of main subjects. The configuration of the image processing apparatus to which the fourth embodiment is applied is the same as that of the first embodiment. An image processing program to which the present embodiment is applied will be described with reference to the flowchart shown in FIG. As in the above embodiment, after starting the program, the user selects a desired image from the image list display. Then, the face information detection unit 21 detects the center of gravity of the face of the main subject (face center of gravity position information) in the selected image together with the information such as the face area described above, and detects the main subject comparison unit 22 and Face information is sent to the image layout unit 23. FIG. 12A shows selection images 81 to 83 before layout. In addition, when calculating | requiring a gravity center position in this embodiment, the area center of face area 81a, 82a-82c, 83a of each selection image 81-83 is calculated, for example. For the selected images 81 and 83 having only one main subject, the area centers of the face regions 81a and 83a are the center-of-gravity positions G 1 and G 3 , and for the selected image 82 having a plurality of main subjects, and further calculated their center value from each of the centroid of the face area 82a~82c is gravity center position G 2. The main subject comparison unit 22 to which the face information including the face centroid position information is sent performs comparison based on the face information, and based on the comparison result, the image layout unit 23 determines the main subject based on the face centroid position information. Determine the relative position of each other. That is, in the image layout unit 23, the layout image 85 is created by arranging so that the distance L between the face centroid positions G 1 , G 2 , G 3 of the main subject between the selected images 81 to 83 is substantially equal. (See FIG. 12B). Thereby, it is possible to obtain a layout image 85 in which the main subjects are balanced.

なお、上記実施形態では、選択画像を選択画像ウィンドウ32cに表示し、レイアウト画像をレイアウトウィンドウ32dに表示するようにしているが、本発明はこれに限るものではなく、例えば、複数の選択画像を1つのウィンドウ内に表示し、その後、レイアウト画像35を作成が終了したとき、このレイアウト画像35に表示を切り換えるようにしてもよい。   In the above embodiment, the selected image is displayed in the selected image window 32c, and the layout image is displayed in the layout window 32d. However, the present invention is not limited to this. For example, a plurality of selected images are displayed. It is also possible to display in one window and then switch the display to this layout image 35 when the creation of the layout image 35 is completed.

また、上記実施形態では、マウス14bによってカーソル36を移動させて選択設定を行うようにしたが、本発明はこれに限定されず、マウス14bの代わりに、キーボード14aのカーソルキーや、不図示のタブレットなどの入力装置を用いることが可能である。   In the above embodiment, the cursor 36 is moved by the mouse 14b to perform the selection setting. However, the present invention is not limited to this, and instead of the mouse 14b, a cursor key of the keyboard 14a or an unillustrated An input device such as a tablet can be used.

また、上記実施形態では、本発明をパーソナルコンピュータに適用したが、本発明はこれに限定されず、デジタルスチルカメラ、デジタルビデオカメラ、フォトストレージ、PDA、携帯電話機など、画像を取得して画像処理を行う画像処理装置を備えた各種電子機器に本発明を適用することができる。   In the above-described embodiment, the present invention is applied to a personal computer. However, the present invention is not limited to this, and a digital still camera, a digital video camera, a photo storage, a PDA, a mobile phone, and the like can acquire images and perform image processing. The present invention can be applied to various electronic devices including an image processing apparatus that performs the above.

本発明を適用したパーソナルコンピュータの構成を示すブロック図である。It is a block diagram which shows the structure of the personal computer to which this invention is applied. モニタの画面上に表示された画像表示ブラウザを示す図である。It is a figure which shows the image display browser displayed on the screen of a monitor. 顔領域が抽出された画像の一例を示す図である。It is a figure which shows an example of the image from which the face area | region was extracted. 画像処理プログラムの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of an image processing program. レイアウト画像が作成されるときの画面表示の一例を示す図である。It is a figure which shows an example of the screen display when a layout image is produced. 顔領域が複数抽出された画像の一例を示す図である。It is a figure which shows an example of the image from which multiple face area | regions were extracted. 本発明の第2実施形態における画像処理プログラムの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the image processing program in 2nd Embodiment of this invention. 本発明の第2実施形態におけるレイアウト前の選択画像及びレイアウト画像を示す説明図である。It is explanatory drawing which shows the selection image and layout image before a layout in 2nd Embodiment of this invention. 本発明の第3実施形態における画像処理プログラムの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the image processing program in 3rd Embodiment of this invention. 本発明の第3実施形態におけるレイアウト前の選択画像及びレイアウト画像を示す説明図である。It is explanatory drawing which shows the selection image and layout image before a layout in 3rd Embodiment of this invention. 本発明の第3実施形態における画像処理プログラムの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the image processing program in 3rd Embodiment of this invention. 本発明の第3実施形態におけるレイアウト前の選択画像及びレイアウト画像を示す説明図である。It is explanatory drawing which shows the selection image and layout image before a layout in 3rd Embodiment of this invention.

符号の説明Explanation of symbols

2 パーソナルコンピュータ
10 CPU
12 モニタ
13 操作部
14a キーボード
14b マウス
16 画像処理プログラム
21 顔情報検出部
22 主要被写体比較部
23 画像レイアウト部
2 Personal computer 10 CPU
DESCRIPTION OF SYMBOLS 12 Monitor 13 Operation part 14a Keyboard 14b Mouse 16 Image processing program 21 Face information detection part 22 Main subject comparison part 23 Image layout part

Claims (14)

複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔面積が最小または最大の主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする画像処理装置。
In an image processing apparatus that selects an image from a plurality of image data and arranges these selected images to create a layout image,
Face information detection means for extracting a face area of the main subject from the image data of the selected image and detecting face information including at least the face area of the main subject from the face area; and each selected image based on the face information Based on the comparison result of the main subject comparing means and the main subject comparing means, the selected image including the main subject having the smallest or largest face area is set as a central image, and the central image is defined as a central image. An image processing apparatus comprising: an image layout unit that determines the selected image to be excluded as a peripheral image, adjusts the central image and the peripheral image to different sizes, and creates the layout image.
複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔面積の総和を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像の顔面積総和を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔面積総和が最小または最大の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする画像処理装置。
In an image processing apparatus that selects an image from a plurality of image data and arranges these selected images to create a layout image,
A face information detecting unit that extracts a face area of a main subject from the image data of the selected image and detects face information including at least a total sum of face areas of the main subject in the selected image from the face area; Based on the comparison result by the main subject comparison means for comparing the face area sum of each selected image based on the selected subject image, the selected image having the minimum or maximum face area sum as a central image, and this central image An image processing apparatus comprising: an image layout unit that determines the selected image as a peripheral image, adjusts the central image and the peripheral image to different sizes, and creates the layout image.
複数の画像データから画像を選択し、これらの選択画像を配置してレイアウト画像を作成する画像処理装置において、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔の個数を少なくとも含む顔情報を検出する顔情報検出手段と、前記顔情報に基づいて前記各選択画像内における主要被写体の顔の個数を比較する主要被写体比較手段と、この主要被写体比較手段による比較結果に基づいて、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成する画像レイアウト手段とを備えたことを特徴とする画像処理装置。
In an image processing apparatus that selects an image from a plurality of image data and arranges these selected images to create a layout image,
Based on the face information, face information detection means for extracting face information of the main subject from the image data of the selected image and detecting face information including at least the number of faces of the main subject in the selected image from the face region. Based on the comparison result by the main subject comparison means, the main subject comparison means for comparing the number of faces of the main subject in each selected image, the selected image having the largest or smallest number of faces is used as a central image, Image processing comprising: an image layout unit that determines the selected image excluding the central image as a peripheral image, adjusts the central image and the peripheral image to different sizes, and creates the layout image apparatus.
前記顔情報検出手段は、前記各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含んでおり、前記画像レイアウト手段は、前記顔位置情報に基づいて、主要被写体の顔の位置が重ならないように前記選択画像を配置して前記レイアウト画像を作成することを特徴とする請求項1ないし3いずれか記載の画像処理装置。   The face information detecting means includes face position information in which the position of the face of the main subject in each selected image is detected in the face information, and the image layout means is based on the face position information. 4. The image processing apparatus according to claim 1, wherein the layout image is created by arranging the selected images so that the positions of the faces of the two do not overlap. 前記顔情報検出手段は、前記各選択画像内における主要被写体の顔領域の面積中心を、顔重心位置情報として前記顔情報に含んでおり、前記画像レイアウト手段は、前記顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成することを特徴とする請求項1ないし4いずれか記載の画像処理装置。 The face information detecting means includes the area center of the face area of the main subject in each selected image as face centroid position information , and the image layout means is based on the face centroid position information. 5. The image processing apparatus according to claim 1, wherein the layout image is created by arranging images so that distances between positions of the center of gravity of each selected image are substantially equal. 前記画像レイアウト手段は、前記中心画像を大きく、前記周辺画像を前記中心画像よりも小さくサイズ調整することを特徴とする請求項1ないし5いずれか記載の画像処理装置。   6. The image processing apparatus according to claim 1, wherein the image layout unit adjusts the size of the central image to be smaller and the peripheral image to be smaller than the central image. 前記画像レイアウト手段は、前記中心画像を小さく、前記周辺画像を前記中心画像よりも大きくサイズ調整することを特徴とする請求項1ないし5いずれか記載の画像処理装置。   6. The image processing apparatus according to claim 1, wherein the image layout unit adjusts the size of the peripheral image to be smaller and the peripheral image to be larger than the central image. 複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の主要被写体の顔面積を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔面積が最小または最大の主要被写体を含む前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする画像処理プログラム。
In an image processing program for selecting an image from a plurality of image data and causing a computer to create a layout image in which these selected images are arranged,
A face information detection process for extracting a face area of the main subject from the image data of the selected image and detecting face information including at least a face area of the main subject from the face area; and each selected image based on the face information Based on the main subject comparison process for comparing the face area of the main subject and the comparison result of the main subject comparison process, the selected image including the main subject with the smallest or largest face area is set as a central image, and the central image is Image processing characterized in that the selected image to be excluded is determined as a peripheral image, and the computer executes layout image generation processing for adjusting the central image and the peripheral image to different sizes to generate the layout image program.
複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記主要被写体の顔面積の総和を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像の顔面積総和を比較する主要被写体比較処理と、この主要被写体比較手段による比較結果に基づいて、顔面積総和が最小または最大の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする画像処理プログラム。
In an image processing program for selecting an image from a plurality of image data and causing a computer to create a layout image in which these selected images are arranged,
A face information detection process for extracting a face area of a main subject from image data of the selected image and detecting face information including at least a total face area of the main subject from the face area; Based on the main subject comparison process for comparing the face area sum of the selected image and the comparison result by the main subject comparing means, the selected image having the smallest or largest face area sum as a central image, and the selection excluding the central image An image processing program for determining an image as a peripheral image and causing the computer to execute a layout image generation process for generating the layout image by adjusting the central image and the peripheral image to different sizes.
複数の画像データから画像を選択し、これらの選択画像を配置したレイアウト画像の作成をコンピュータに実行させるための画像処理プログラムにおいて、
前記選択画像の画像データから主要被写体の顔領域を抽出し、前記顔領域から前記選択画像内における主要被写体の顔の個数を少なくとも含む顔情報を検出する顔情報検出処理と、前記顔情報に基づいて前記各選択画像内における主要被写体の顔の個数を比較する主要被写体比較処理と、この主要被写体比較処理による比較結果に基づいて、顔の個数が最多または最少の前記選択画像を中心画像とし、この中心画像を除く前記選択画像を周辺画像として決定し、前記中心画像と前記周辺画像とを異なるサイズに調整して前記レイアウト画像を作成するレイアウト画像作成処理とを前記コンピュータに実行させることを特徴とする画像処理プログラム。
In an image processing program for selecting an image from a plurality of image data and causing a computer to create a layout image in which these selected images are arranged,
Based on the face information, face information detection processing for extracting face information of the main subject from the image data of the selected image and detecting face information including at least the number of faces of the main subject in the selected image from the face region. Based on the main subject comparison process for comparing the number of faces of the main subject in each selected image and the comparison result by the main subject comparison process, the selected image having the largest or smallest number of faces is used as a central image, The selected image excluding the center image is determined as a peripheral image, and the computer is caused to execute layout image generation processing for generating the layout image by adjusting the central image and the peripheral image to different sizes. An image processing program.
前記顔情報検出処理では、前記各選択画像内における主要被写体の顔の位置を検出した顔位置情報を前記顔情報に含んでおり、前記レイアウト画像作成処理では、前記顔位置情報に基づいて、主要被写体の顔の位置が重ならないように前記選択画像を配置して前記レイアウト画像を作成することを特徴とする請求項8ないし10いずれか記載の画像処理プログラム。   In the face information detection process, face position information that detects the position of the face of the main subject in each selected image is included in the face information, and in the layout image creation process, based on the face position information 11. The image processing program according to claim 8, wherein the layout image is created by arranging the selected images so that the positions of the faces of the subject do not overlap. 前記顔情報検出処理では、前記各選択画像内における主要被写体の顔領域の面積中心を、顔重心位置情報として前記顔情報に含んでおり、前記レイアウト画像作成処理では、前記顔重心位置情報に基づいて、各選択画像の互いの顔重心位置間の距離がほぼ等しくなるように画像を配置して前記レイアウト画像を作成することを特徴とする請求項8ないし11いずれか記載の画像処理プログラム。 In the face information detection process, the area center of the face area of the main subject in each selected image is included in the face information as face centroid position information , and in the layout image creation process, based on the face centroid position information The image processing program according to any one of claims 8 to 11, wherein the layout image is created by arranging images so that the distances between the positions of the center of gravity of each selected image are substantially equal. 前記レイアウト画像作成処理では、前記中心画像を大きく、前記周辺画像を前記中心画像よりも小さくサイズ調整することを特徴とする請求項8ないし12いずれか記載の画像処理プログラム。   The image processing program according to any one of claims 8 to 12, wherein, in the layout image creation processing, the center image is enlarged and a size of the peripheral image is adjusted to be smaller than the center image. 前記レイアウト画像作成処理では、前記中心画像を小さく、前記周辺画像を前記中心画像よりも大きくサイズ調整することを特徴とする請求項8ないし12いずれか記載の画像処理プログラム。   The image processing program according to any one of claims 8 to 12, wherein, in the layout image creation processing, the center image is made smaller and the size of the peripheral image is made larger than the center image.
JP2005373959A 2005-12-27 2005-12-27 Image processing apparatus and image processing program Expired - Fee Related JP4588627B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005373959A JP4588627B2 (en) 2005-12-27 2005-12-27 Image processing apparatus and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005373959A JP4588627B2 (en) 2005-12-27 2005-12-27 Image processing apparatus and image processing program

Publications (2)

Publication Number Publication Date
JP2007180651A JP2007180651A (en) 2007-07-12
JP4588627B2 true JP4588627B2 (en) 2010-12-01

Family

ID=38305420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005373959A Expired - Fee Related JP4588627B2 (en) 2005-12-27 2005-12-27 Image processing apparatus and image processing program

Country Status (1)

Country Link
JP (1) JP4588627B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5084682B2 (en) * 2008-09-25 2012-11-28 キヤノン株式会社 Image processing apparatus, control method, program, and recording medium
JP5253069B2 (en) 2008-09-29 2013-07-31 キヤノン株式会社 Image processing method and image processing apparatus
JP4626703B2 (en) 2008-10-28 2011-02-09 ソニー株式会社 Information processing apparatus, information processing method, and information processing program
JP5423131B2 (en) * 2009-04-30 2014-02-19 カシオ計算機株式会社 Captured image processing apparatus, captured image processing program, and captured image processing method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190401A (en) * 2003-12-26 2005-07-14 Seiko Epson Corp Face image layout method, system, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190401A (en) * 2003-12-26 2005-07-14 Seiko Epson Corp Face image layout method, system, and program

Also Published As

Publication number Publication date
JP2007180651A (en) 2007-07-12

Similar Documents

Publication Publication Date Title
US20220303454A1 (en) Method and apparatus for supporting image processing, and computer-readable recording medium for executing the method
JP7033152B2 (en) User interface camera effect
US20230319394A1 (en) User interfaces for capturing and managing visual media
JP4446983B2 (en) Image processing apparatus and image processing program
US9465437B2 (en) Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
KR101660576B1 (en) Facilitating image capture and image review by visually impaired users
EP2091240A2 (en) Image display apparatus, image display method, program, and record medium
JP5854280B2 (en) Information processing apparatus, information processing method, and program
KR20100028344A (en) Method and apparatus for editing image of portable terminal
JP2003271665A (en) Graphical user interface for retrieval
WO2017002505A1 (en) Information processing device, information processing method and program
JP2008250948A (en) Information processing device, information processing method, information processing program, storage medium recording information processing program, and information display device
WO2023284632A1 (en) Image display method and apparatus, and electronic device
JP4588627B2 (en) Image processing apparatus and image processing program
CN112825040A (en) User interface display method, device, equipment and storage medium
CN111699466A (en) Electronic album device, method and program for operating the same
JP2004336466A (en) Method for registering metadata
KR101825598B1 (en) Apparatus and method for providing contents, and computer program recorded on computer readable recording medium for executing the method
JP2006178222A (en) Image display program and image display device
JP2011065278A (en) Electronic equipment, image retrieval method, and content reproduction program
KR101720607B1 (en) Image photographing apparuatus and operating method thereof
JP2008301274A (en) Information processing apparatus and method, and program
JP2005284562A (en) Image selection support program
JP2002152668A (en) Multi-display device, multi-display display method, photographing system and photographing method
JP5414842B2 (en) Electronic device, image display method, and content reproduction program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100908

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees