JP4375289B2 - Comment layout device - Google Patents

Comment layout device Download PDF

Info

Publication number
JP4375289B2
JP4375289B2 JP2005186548A JP2005186548A JP4375289B2 JP 4375289 B2 JP4375289 B2 JP 4375289B2 JP 2005186548 A JP2005186548 A JP 2005186548A JP 2005186548 A JP2005186548 A JP 2005186548A JP 4375289 B2 JP4375289 B2 JP 4375289B2
Authority
JP
Japan
Prior art keywords
image
comment
face
area
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005186548A
Other languages
Japanese (ja)
Other versions
JP2007004677A (en
Inventor
庸雄 河西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2005186548A priority Critical patent/JP4375289B2/en
Publication of JP2007004677A publication Critical patent/JP2007004677A/en
Application granted granted Critical
Publication of JP4375289B2 publication Critical patent/JP4375289B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

本発明は、テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置、および、コメントレイアウト装置を備えたアルバム作成装置に関する。   The present invention relates to a comment layout device that arranges a comment input area for inputting a comment in a text format in one target image, and an album creating device including the comment layout device.

従来から、デジタルスチルカメラなどの撮像機器で撮影した複数の画像を、パーソナルコンピュータ上で編集し、アルバムを製作するソフトウェアやウェブサイトなどがある。こうしたソフトウェア等では、ユーザが選択した撮影画像を、所定のレイアウトに配置し、画像毎にコメントを付したり、所定の表示を付けたりすることができる。例えば、下記特許文献1には、撮影画像毎に表示するコメントとして、画像の撮影日や場所情報などを付したアルバムを作成する技術が開示されている。かかるアルバム作成技術によれば、ユーザが手間をかけずにアルバムを作成することができるとされている。   2. Description of the Related Art Conventionally, there are software, websites, and the like that edit a plurality of images taken with an imaging device such as a digital still camera on a personal computer to produce an album. With such software, the photographed image selected by the user can be arranged in a predetermined layout, and a comment can be attached to each image or a predetermined display can be given. For example, Patent Literature 1 below discloses a technique for creating an album with image shooting dates, location information, and the like as comments to be displayed for each captured image. According to such an album creation technique, it is said that the user can create an album without taking time and effort.

特開2003−85265号公報JP 2003-85265 A

こうしたアルバムの作成技術を用いても、ユーザにとって煩雑な編集作業が必要となる場合があった。例えば、人物を撮影した画像等においては、撮影時の会話の内容や、画像から想像される複数の人物の間でのやり取りなど、所定文書等をコメントとして画像に配置してアルバムを演出したい場合がある。このような場合には、画像内の人物が発言しているように見せる「吹き出し」を利用するが、「吹き出し」の配置はユーザが指定する必要があった。こうした吹き出し位置の決定や調整の作業を、アルバムにレイアウトする画像毎に行なわなければならず、ユーザにとっては手間となる作業であった。   Even if such an album creation technique is used, a complicated editing operation may be required for the user. For example, in the case of an image of a person, if you want to produce an album by placing a predetermined document or the like as a comment on the image, such as the content of a conversation at the time of shooting or the exchange between multiple people imagined from the image There is. In such a case, a “speech balloon” that makes it appear as if a person in the image is speaking is used, but the arrangement of the “speech balloon” needs to be specified by the user. Such work of determining and adjusting the balloon position has to be performed for each image laid out in the album, which is troublesome for the user.

本発明は、こうした煩雑な作業を伴うといった問題を踏まえ、コメントの配置を簡易なものとするコメントレイアウト装置、および、コメントレイアウト装置を備えたアルバム作成装置を提供することを目的とする。   An object of the present invention is to provide a comment layout device that simplifies the arrangement of comments, and an album creation device that includes the comment layout device, in view of the problem of such complicated work.

本発明のコメントレイアウト装置は、上記課題に鑑み、以下の手法を採った。すなわち、テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置であって、前記対象画像の画像データを読み出し、該画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する画像情報検出手段と、前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置するコメント配置手段と、前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する記憶手段とを備え、前記コメント配置手段は、前記画像内に認識される人物の顔の画像領域が所定人数より多い場合には、該顔の画像領域に対応付けた前記コメント入力領域の配置に代えて、当該画像の全体に対して、一の該コメント入力領域を配置することを要旨としている。 In view of the above problems, the comment layout apparatus of the present invention employs the following method. That is, a comment layout device that arranges a comment input area for inputting a comment in a text format in one target image, reads image data of the target image, and stores information in the image from pixel information of the image data Recognizing an image area of a person's face and detecting information on a predetermined reference position in the recognized face image area; and, based on the detected information on the reference position, the comment input area, Comment placement means arranged in association with the face image area; storage means for storing information relating to the arranged comment input area in association with image data of the target image ; If the image area of the face of the person recognized in the image is larger than the predetermined number, the comment input area associated with the image area of the face Instead of the arrangement, for the entire of the image, it is summarized as placing one of the comment input area.

本発明のコメントレイアウト装置によれば、対象画像内の顔の画像領域における基準位置情報を検出し、これに基づいてコメント入力領域を配置する。したがって、コメント入力領域の配置操作、位置の調整操作など、煩わしい作業を軽減することができ、コメント入力領域の配置作業を容易なものとすることができる。また、顔の画像領域が多数認識され、所定数以上である場合には、単一のコメント入力領域を配置する。つまり、認識された顔画像領域分のコメント入力領域の配置は行なわない。したがって、コメント入力領域が過多となることを防ぎ、適切な数のコメントの入力領域を配置することができる。 According to the comment layout apparatus of the present invention, the reference position information in the face image area in the target image is detected, and the comment input area is arranged based on the reference position information. Accordingly, it is possible to reduce troublesome work such as the comment input area placement operation and the position adjustment operation, and the comment input area placement work can be facilitated. If a large number of face image areas are recognized and the number is larger than a predetermined number, a single comment input area is arranged. That is, the comment input areas corresponding to the recognized face image areas are not arranged. Therefore, an excessive number of comment input areas can be prevented, and an appropriate number of comment input areas can be arranged.

本発明のコメントレイアウト装置は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク,CD−ROM,DVD−ROM/RAM,光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。   The comment layout apparatus of the present invention can also be implemented as a computer program and a medium recording the computer program. As the recording medium, various computer-readable media such as a flexible disk, a CD-ROM, a DVD-ROM / RAM, a magneto-optical disk, a memory card, and a hard disk can be used.

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
A.アルバム作成装置:
B.アルバム作成システムの構成:
C.アルバム作成処理:
D.コメントレイアウト処理:
E.変形例:
Hereinafter, embodiments of the present invention will be described in the following order based on examples.
A. Album creation device:
B. Composition of album creation system:
C. Album creation process:
D. Comment layout processing:
E. Variations:

A.アルバム作成装置:
図1は、本発明の一実施形態としてのコメントレイアウト装置を含むアルバム作成装置を示す説明図である。アルバム作成装置は、デジタルスチルカメラなどの撮像機器で撮影された画像を対象とし、これらの画像を所定レイアウトに配置してアルバムを作成する装置である。このアルバム作成装置は、アルバム上に配置する一の画像に付する所定コメントの配置を、自動的に実行するコメントレイアウト装置を備えている。
A. Album creation device:
FIG. 1 is an explanatory diagram showing an album creating apparatus including a comment layout apparatus as an embodiment of the present invention. The album creating apparatus is an apparatus for creating an album by targeting images taken by an imaging device such as a digital still camera and arranging these images in a predetermined layout. This album creating apparatus includes a comment layout apparatus that automatically executes the arrangement of a predetermined comment attached to one image arranged on the album.

図示するように、アルバム作成装置10は、主に、画像データを記憶する写真画像データベース20,写真画像データベース20と接続する関連情報取得部25,アルバム用の画像データを選択する写真選択部30,選択された画像データにおける人物画像の顔を検出する顔検出部40,選択された画像データのレイアウトを設定するアルバムレイアウト部50,アルバムのプレビューを生成するアルバム表示部60,印刷用のデータを生成するアルバム印刷部65などから構成されている。   As shown in the figure, the album creating apparatus 10 mainly includes a photo image database 20 for storing image data, a related information acquisition unit 25 connected to the photo image database 20, a photo selection unit 30 for selecting image data for an album, A face detection unit 40 for detecting the face of a person image in the selected image data, an album layout unit 50 for setting the layout of the selected image data, an album display unit 60 for generating an album preview, and generating data for printing The album printing unit 65 and the like are configured.

写真画像データベース20は、デジタルスチルカメラなどの撮像機器で撮影した複数の画像データを記憶したデータベースである。写真画像データベース20が記憶する画像データは、Exif形式で構成されており、JPEG形式に圧縮された画像データ本体の他、画像を撮影した日時、場所の情報、あるいは、コメント情報など、画像に関連した情報を備えている。例えば、撮像機器がGPS機能を備えている場合には、経度、緯度で表わされる場所情報が付加され、また、携帯電話であれば、基地局の情報として地名などのテキスト形式のコメント情報が付加されている。写真画像データベース20は、画像データ本体のみならず、こうした付加的な関連情報も記憶している。   The photographic image database 20 is a database that stores a plurality of image data taken by an imaging device such as a digital still camera. The image data stored in the photographic image database 20 is configured in the Exif format. In addition to the image data itself compressed in the JPEG format, the image data is related to the image, such as the date and time of shooting, location information, or comment information. Information. For example, if the imaging device has a GPS function, location information represented by longitude and latitude is added, and if it is a mobile phone, comment information in a text format such as a place name is added as base station information. Has been. The photographic image database 20 stores not only the image data main body but also such additional related information.

関連情報取得部25は、写真画像データベース20と接続し、写真画像データベース20に記憶された画像データの関連情報を取得する。取得された関連情報は、写真選択部30による画像データの選択に利用される。   The related information acquisition unit 25 is connected to the photo image database 20 and acquires related information of the image data stored in the photo image database 20. The acquired related information is used for selection of image data by the photo selection unit 30.

写真選択部30は、外部機器である入力装置80や、関連情報取得部25を介した写真画像データベース20と接続しており、アルバム作成に使用する画像データを選択する。画像データの選択は、入力装置80を介したユーザ指示により行なわれる。具体的には、ユーザがアルバムとして編集したい画像データを指示し、あるいは、アルバムとして編集したい画像データの条件として、撮影日時,位置情報,コメント情報などを指示することで、写真選択部30は所定の画像データを選択している。   The photo selection unit 30 is connected to the input device 80 which is an external device and the photo image database 20 via the related information acquisition unit 25, and selects image data used for album creation. The selection of the image data is performed by a user instruction via the input device 80. Specifically, the user selects the image data to be edited as an album, or the photo selection unit 30 specifies the shooting date / time, position information, comment information, etc. as the conditions of the image data to be edited as an album. Selected image data.

顔検出部40は、写真画像データベース20および写真選択部30と接続しており、写真選択部30により選択された画像データを、写真画像データベース20から取得し、これを解析する。顔検出部40は、取得した画像データ内に存在する人物の顔の画像部分を認識する。画像内に人物が存在する場合には、人物の顔の画像部分の重心(画像全体に対する重心の座標)などの位置情報や、顔の画像部分の面積等を検出する。この顔の画像認識は、後述するように種々の周知の画像処理技術を用いることができる。この顔検出部40は、特許請求の範囲のコメントレイアウト装置における「画像情報検出手段」に相当する。   The face detection unit 40 is connected to the photo image database 20 and the photo selection unit 30, acquires the image data selected by the photo selection unit 30 from the photo image database 20, and analyzes it. The face detection unit 40 recognizes an image portion of a human face existing in the acquired image data. When a person is present in the image, position information such as the center of gravity of the image portion of the person's face (coordinate of the center of gravity with respect to the entire image), the area of the image portion of the face, and the like are detected. For the face image recognition, various well-known image processing techniques can be used as will be described later. The face detection unit 40 corresponds to “image information detection means” in the comment layout device of the claims.

アルバムレイアウト部50は、写真レイアウト部52と、コメントレイアウト部55を備え、写真選択部30,写真画像データベース20,顔検出部40の他、アルバム表示部60,アルバム印刷部65と接続し、アルバム作成における画像データやコメントなど、種々の要素のレイアウトを決定する。写真レイアウト部52は、アルバム用の画像配置を表わした数種類のレイアウトの雛形を備えており、写真選択部30により選択された画像データを取得し、これを所定のレイアウトに配置する。   The album layout unit 50 includes a photo layout unit 52 and a comment layout unit 55. The album layout unit 50 is connected to the album display unit 60 and the album printing unit 65 in addition to the photo selection unit 30, the photo image database 20, and the face detection unit 40. The layout of various elements such as image data and comments in creation is determined. The photo layout unit 52 is provided with several types of layout templates representing the image arrangement for the album, acquires the image data selected by the photo selection unit 30, and arranges it in a predetermined layout.

コメントレイアウト部55は、顔検出部40から、選択された画像データ内における顔の画像の有無の情報や、顔の画像がある場合には、その位置情報、面積等の情報を入力し、これらの情報を利用して顔の画像に対応した位置に、コメントを入力するコメント入力領域を配置する。すなわち、画像データの内容に応じて、コメント入力領域の配置を自動的に調整している。こうして配置したコメント入力領域に関する情報、例えば、コメント入力領域の相対的な位置、大きさ、形状などは、画像データと関連付けて、写真画像データベース20に記憶される。このコメントレイアウト部55は、特許請求の範囲のコメントレイアウト装置における「コメント配置手段」に相当し、写真画像データベース20は「記憶手段」に相当する。つまり、上述の顔検出部40と、コメントレイアウト部55,写真画像データベース20とから、コメントレイアウト装置は形成されている。   The comment layout unit 55 inputs information on the presence / absence of a face image in the selected image data from the face detection unit 40, and information on the position information, area, etc., if there is a face image. Using this information, a comment input area for inputting a comment is arranged at a position corresponding to the face image. That is, the arrangement of the comment input area is automatically adjusted according to the contents of the image data. Information on the comment input area thus arranged, for example, the relative position, size, shape, etc. of the comment input area is stored in the photographic image database 20 in association with the image data. The comment layout section 55 corresponds to “comment placement means” in the comment layout apparatus of the claims, and the photo image database 20 corresponds to “storage means”. That is, the comment layout device is formed from the face detection unit 40, the comment layout unit 55, and the photographic image database 20.

アルバムレイアウト部50は、画像データやコメント入力領域などを所定形式に配置した後、これをアルバム表示部60に出力する。アルバム表示部60は、アルバムレイアウト部50からの出力を受けてプレビュー画面を作成し、これを表示装置90に表示する。また、ユーザが入力装置80を介して、アルバムの印刷を指示した場合には、アルバムレイアウト部50は、アルバムのデータをアルバム印刷部65に出力する。アルバム印刷部65は、アルバムレイアウト部50からの出力を受けて印刷データを生成し、これをプリンタ100に出力する。こうして所望のアルバムが、プリンタ100から出力される。   The album layout unit 50 arranges image data, comment input areas, and the like in a predetermined format, and then outputs them to the album display unit 60. The album display unit 60 generates a preview screen in response to the output from the album layout unit 50 and displays it on the display device 90. When the user instructs printing of the album via the input device 80, the album layout unit 50 outputs the album data to the album printing unit 65. The album printing unit 65 receives the output from the album layout unit 50, generates print data, and outputs it to the printer 100. In this way, a desired album is output from the printer 100.

こうしたコメントレイアウト装置を含むアルバム作成装置10は、各処理機能部をソフトウェアで形成し、汎用的な計算機にインストールすることで実現することができる。以下、汎用的な計算機であるパーソナルコンピュータを用いた実施の態様について説明する。   The album creating apparatus 10 including such a comment layout apparatus can be realized by forming each processing function unit with software and installing it in a general-purpose computer. Hereinafter, embodiments using a personal computer which is a general-purpose computer will be described.

B.アルバム作成システムの構成:
図2は、本発明の一実施例としてのアルバム作成システム200の概略構成を示す説明図である。図示するように、このアルバム作成システム200は、処理対象となる画像を記憶したデジタルスチルカメラ110、デジタルスチルカメラ110に記憶された画像を入力して所定のアルバムを作成するアルバム作成装置10としてのパーソナルコンピュータ(以下、PC10と記す)、PC10により処理される画像の表示等を行なう表示装置90の一つとしてのディスプレイ90a、入力装置80としてのキーボード80aやマウス80b、PC10で処理されたアルバムを出力するプリンタ100等から構成されている。
B. Composition of album creation system:
FIG. 2 is an explanatory diagram showing a schematic configuration of an album creating system 200 as an embodiment of the present invention. As shown in the figure, this album creating system 200 is a digital still camera 110 that stores images to be processed, and an album creating apparatus 10 that creates a predetermined album by inputting images stored in the digital still camera 110. A personal computer (hereinafter referred to as PC 10), a display 90a as one of display devices 90 for displaying images processed by the PC 10, a keyboard 80a or mouse 80b as an input device 80, and an album processed by the PC 10. The printer 100 is configured to output.

デジタルスチルカメラ110は、PC10と所定のケーブルで接続する接続ポートを備えており、デジタルスチルカメラ110内に記憶された画像データは、PC10内(後述するハードディスク74内)に取り込まれる。ユーザの指令の元に所定のアルバムが作成される。なお、デジタルスチルカメラ110からの直接的な画像データの取得に代えて、メモリカード112,DVD−ROM/RAM113,ハードディスク114,図示しないデジタルビデオカメラやカメラ付きの携帯電話など、撮影した画像データを記録した記録媒体や撮像機器と、PC10とを接続し、記録媒体から画像データを取得するものであっても良い。   The digital still camera 110 includes a connection port that is connected to the PC 10 with a predetermined cable, and image data stored in the digital still camera 110 is taken into the PC 10 (into a hard disk 74 described later). A predetermined album is created under the user's command. Instead of directly acquiring image data from the digital still camera 110, captured image data such as a memory card 112, a DVD-ROM / RAM 113, a hard disk 114, a digital video camera (not shown) or a mobile phone with a camera is used. The recorded recording medium or imaging device may be connected to the PC 10 to acquire image data from the recording medium.

PC10は、内部にCPU71,ROM72,RAM73,ハードディスク74,I/F回路部75等を有し、各機器はそれぞれ内部バスにより接続されている。I/F回路部75は、デジタルスチルカメラ110,ディスプレイ90a,キーボード80a,マウス80b,プリンタ100と接続しており、こうした外部の機器とPC10とのインターフェイスとして機能している。   The PC 10 includes a CPU 71, a ROM 72, a RAM 73, a hard disk 74, an I / F circuit unit 75, and the like, and each device is connected by an internal bus. The I / F circuit unit 75 is connected to the digital still camera 110, the display 90a, the keyboard 80a, the mouse 80b, and the printer 100, and functions as an interface between the external device and the PC 10.

ROM72内およびハードディスク74内には、所定のオペレーティングシステムが記憶されており、PC10の電源投入と共に、CPU71はROM72内およびハードディスク74内のオペレーティングシステムOSを読み込み、起動する。   A predetermined operating system is stored in the ROM 72 and the hard disk 74, and when the PC 10 is turned on, the CPU 71 reads and starts the operating system OS in the ROM 72 and the hard disk 74.

ハードディスク74には、デジタルスチルカメラ110から取り込んだ画像データが記憶されていると共に、印刷用の処理プログラムや、後述するアルバム作成処理のプログラムなど、オペレーティングシステム上で動作する種々のアプリケーションプログラムがインストールされている。CPU71は、キーボード80aやマウス80bを介したユーザ操作の指示を受け、こうしたプログラムを読み出し、RAM73上に展開して実行する。   The hard disk 74 stores image data captured from the digital still camera 110 and is installed with various application programs that operate on the operating system, such as a printing processing program and an album creation processing program to be described later. ing. The CPU 71 receives a user operation instruction via the keyboard 80 a and the mouse 80 b, reads such a program, develops it on the RAM 73, and executes it.

プリンタ100は、C(シアン)、M(マゼンタ)、Y(イエロ)、K(ブラック)の4色のドットにより、カラー画像の印刷が可能なインクジェット方式のプリンタである。このプリンタ100は、4色のインクを吐出する複数のノズルを搭載したキャリッジ(図示せず)を備え、キャリッジを往復運動(主走査)させつつ、用紙を主走査方向と直交する方向へ送る(副走査)過程で、用紙上にインクドットを形成する。インクの吐出には、圧電素子であるピエゾ素子を用いており、主走査,副走査と共に、圧電素子への電圧を制御することで、印刷対象の画像を精度良く再現した印刷画像を出力することができる。勿論、他のインクジェット方式のプリンタ(例えばバブルジェット(登録商標))や複合機など種々の方式のプリンタを用いるものとしても良い。   The printer 100 is an ink jet printer that can print a color image with four color dots of C (cyan), M (magenta), Y (yellow), and K (black). The printer 100 includes a carriage (not shown) on which a plurality of nozzles that eject four colors of ink are mounted, and feeds the paper in a direction perpendicular to the main scanning direction while reciprocating the carriage (main scanning) ( In the sub-scanning process, ink dots are formed on the paper. Piezoelectric elements, which are piezoelectric elements, are used for ink ejection, and a print image that accurately reproduces the image to be printed is output by controlling the voltage to the piezoelectric element as well as main scanning and sub-scanning. Can do. Of course, various types of printers such as other inkjet printers (for example, Bubble Jet (registered trademark)) and multifunction peripherals may be used.

以上のハード構成を有するアルバム作成システム200において、ユーザが所定画像のアルバム作成を所望する場合には、キーボード80aやマウス80bを介して、アルバム作成処理プログラムを起動する。   In the album creation system 200 having the above hardware configuration, when the user desires to create an album of a predetermined image, the album creation processing program is activated via the keyboard 80a and the mouse 80b.

C.アルバム作成処理:
図3は、アルバム作成処理のフローチャートである。ユーザ指示によりアルバム作成処理を開始すると、CPU71は、ハードディスク74から処理プログラムを読み出し、RAM73上に展開して、各種処理を実行する。
C. Album creation process:
FIG. 3 is a flowchart of the album creation process. When the album creation process is started by a user instruction, the CPU 71 reads a processing program from the hard disk 74, develops it on the RAM 73, and executes various processes.

処理を開始すると、CPU71は、ユーザの指示を受けて、アルバム作成において対象となる画像データを選定し、これを取り込む(ステップS300)。ユーザの指示に先立って、CPU71は、ディスプレイ90a上にアルバムの対象となる画像の選択を促す画面を表示している。ユーザは、キーボード80a,マウス80bを用いて、アルバムとして編集を望む画像を選択する。CPU71は、これを受け、ハードディスク74から所定の画像データを取り込んでいる。   When the processing is started, the CPU 71 receives an instruction from the user, selects image data to be used in album creation, and takes in the image data (step S300). Prior to the user's instruction, the CPU 71 displays a screen prompting the user to select an image to be an album target on the display 90a. The user selects an image desired to be edited as an album using the keyboard 80a and the mouse 80b. In response to this, the CPU 71 fetches predetermined image data from the hard disk 74.

なお、画像データの選定は、所定の条件に合致するものを選定する手法であっても良い。例えば、アルバムを作成したい画像の選定条件として、撮影日時,位置情報,コメント情報などを、ユーザがキーボード80a等によって指示する。撮影日時が指示された場合には、CPU71は、その撮影日時が付された画像データを選定する。こうすることで、所望の画像データを簡単に選定することができる。   The selection of image data may be a method of selecting an image that matches a predetermined condition. For example, the user designates shooting date / time, position information, comment information, and the like as selection conditions for an image for which an album is to be created using the keyboard 80a or the like. When the photographing date / time is instructed, the CPU 71 selects image data to which the photographing date / time is attached. In this way, desired image data can be easily selected.

続いて、CPU71は、選定した画像データをアルバムとして配置する画像レイアウトを選定する(ステップS310)。具体的には、CPU71は、アルバムの一ページにおける画像データの配置を示す数種類のレイアウトの雛形を、ディスプレイ90a上に表示し、ユーザが一の雛形を選択することで、画像レイアウトを選定している。なお、予めデフォルトの雛形を設定し、ユーザからの指示がない場合には、この雛形を画像レイアウトとして選定するものとしても良い。   Subsequently, the CPU 71 selects an image layout in which the selected image data is arranged as an album (step S310). Specifically, the CPU 71 displays several types of layout templates indicating the arrangement of image data on one page of the album on the display 90a, and the user selects one template to select an image layout. Yes. Note that a default template may be set in advance, and when there is no instruction from the user, this template may be selected as the image layout.

CPU71は、こうして選定した画像レイアウトに画像データを配置した後、コメントレイアウト処理を実行する(ステップS320)。コメントレイアウト処理では、画像レイアウト(アルバム上)に配置された一の画像データに対して人物の顔の画像の有無を判断し、顔の画像が有る場合には、顔の画像に対応した位置に、コメントを入力するコメント入力領域として「吹き出し」を配置する処理である。このコメントレイアウト処理は、アルバム上の各画像データに対して、繰り返し実行される。   The CPU 71 executes the comment layout process after arranging the image data on the image layout thus selected (step S320). In the comment layout process, the presence / absence of a human face image is determined for one piece of image data arranged on the image layout (on the album), and if there is a face image, the position corresponding to the face image is determined. In this process, a “speech balloon” is arranged as a comment input area for inputting a comment. This comment layout process is repeatedly executed for each image data on the album.

「吹き出し」とは、ユーザが入力装置80を介して入力したテキスト形式のコメント(例えば、画像データから想像される会話、文章など)を、画像内の人物が発言したように見せるコメント入力領域の形状の一態様である。   The “speech balloon” is a comment input area in which a comment in a text format (for example, a conversation or a sentence imagined from image data) input by the user via the input device 80 is displayed as if a person in the image has spoken. It is an aspect of the shape.

図4は、コメント入力領域としての「吹き出し」の説明図である。図示するように、「吹き出し」の形状Kは、点Eを中心とする楕円形状で形成されたコメントを入力する境界の領域Ka(コメント境界領域Kaと呼ぶ)と、楕円形状の領域から鋭角に突出した引き出し部分Kbとを備えた形状である。引き出し部分Kbは、顔の画像の周囲の始点Sから楕円形状の中心点E(以後、これを終点Eと呼ぶ)へ向かって拡開して形成される。コメントレイアウト処理では、図4(a),(b)に示すように、画像P内の人物の顔の位置に応じて、コメント境界領域Ka,引き出し部分Kbを調整し、自動的に、所定の大きさの「吹き出し」形状Kを配置している。なお、コメントレイアウト処理については、後に詳しく説明する。   FIG. 4 is an explanatory diagram of “speech balloon” as a comment input area. As shown in the figure, the shape K of the “balloon” has an acute angle from the boundary area Ka (referred to as the comment boundary area Ka) for inputting a comment formed in an elliptical shape centered on the point E and the elliptical area. It has a shape including a protruding lead portion Kb. The lead-out portion Kb is formed so as to expand from a starting point S around the face image toward an elliptical center point E (hereinafter referred to as an end point E). In the comment layout process, as shown in FIGS. 4A and 4B, the comment boundary region Ka and the lead-out portion Kb are adjusted according to the position of the person's face in the image P, and automatically set to a predetermined value. A “balloon” shape K having a size is arranged. The comment layout process will be described in detail later.

続いて、CPU71は、ユーザが入力するコメントを「吹き出し」内に配置して完成したアルバムをディスプレイ90a上に表示する(ステップS330)。こうして、所定の画像レイウトに、コメント入りの「吹き出し」を付けた画像が配置され、所望のアルバムが完成する。   Subsequently, the CPU 71 arranges the comment input by the user in the “balloon” and displays the completed album on the display 90a (step S330). In this way, an image with a comment “speech balloon” is placed in a predetermined image layout, and a desired album is completed.

アルバムを表示したCPU71は、ユーザの指示に応じて、出力処理を実行し(ステップS350)、一連のアルバム作成処理を終了する。ディスプレイ90a上に表示されたアルバムを見たユーザは、これを印刷する指示、再度編集する指示、あるいは、保存する指示など、種々の出力処理を指令する。例えば、印刷する指示がなされた場合には、CPU71は、印刷データを生成してプリンタ100に出力する。こうして所望のアルバムが用紙に印刷される。なお、保存する指示がなされた場合には、選定された画像データ,画像レイアウト,「吹き出し」の配置(位置や形状),入力したコメントなど、アルバムに関連する種々のデータを、ハードディスク74に保存する。保存された種々のデータを利用することで、後日、作成済みのアルバムをディスプレイ90a上に表示することができる。   The CPU 71 displaying the album executes an output process in accordance with a user instruction (step S350), and ends a series of album creation processes. The user who has seen the album displayed on the display 90a instructs various output processes such as an instruction to print it, an instruction to edit it again, or an instruction to save it. For example, when an instruction to print is given, the CPU 71 generates print data and outputs it to the printer 100. Thus, a desired album is printed on the paper. When an instruction to save is given, various data related to the album, such as the selected image data, image layout, arrangement (position and shape) of “speech balloons”, and input comments, are stored in the hard disk 74. To do. By using various stored data, the created album can be displayed on the display 90a at a later date.

以上のアルバム作成処理によれば、選定した画像に応じて、自動的に「吹き出し」を配置する。したがって、アルバムの作成、特に、コメント入力用の「吹き出し」配置の設定操作を容易なものとすることができる。以下、コメントレイアウト処理について説明する。   According to the above album creation processing, “speech balloons” are automatically arranged according to the selected image. Accordingly, it is possible to facilitate the creation of an album, especially the setting operation of the “balloon” arrangement for comment input. The comment layout process will be described below.

D.コメントレイアウト処理:
図5は、コメントレイアウト処理のフローチャートである。この処理は、上述のアルバム作成処理のサブルーチンとして構成され、アルバム作成用に選定された一の画像データに対して、「吹き出し」を配置する処理である。
D. Comment layout processing:
FIG. 5 is a flowchart of the comment layout process. This process is configured as a subroutine for the album creation process described above, and is a process for arranging “speech balloons” for one image data selected for album creation.

処理が開始されると、CPU71は、対象となる画像データ内における人物の顔の画像(以下、顔画像と呼ぶ)の位置、面積を検出する処理を行なう(ステップS500)。具体的には、図6に示すように、画像データP内における人物の顔画像F1を認識し、顔画像F1の重心G1および面積A1を検出する。なお、顔画像F1の認識は、周知の画像処理技術を用いている。例えば、RGBで表現される画像データを、輝度成分Y、色差成分Cb,Crで表現されるYCbCrの色空間に変換し、所定の閾値内の色差成分を持つ画素を肌色領域として抽出し、抽出した肌色領域に基づいて顔画像を認識する。認識した顔画像について、重心位置、面積を算出することができる。また、ニューラルネットワークを用いたマッチングにより、顔認識等を行なうものであっても良い。   When the process is started, the CPU 71 performs a process of detecting the position and area of a human face image (hereinafter referred to as a face image) in the target image data (step S500). Specifically, as shown in FIG. 6, a human face image F1 in the image data P is recognized, and the center of gravity G1 and the area A1 of the face image F1 are detected. The face image F1 is recognized using a known image processing technique. For example, image data expressed in RGB is converted into a YCbCr color space expressed by a luminance component Y and color difference components Cb and Cr, and pixels having color difference components within a predetermined threshold are extracted as skin color regions and extracted. The face image is recognized based on the skin color area. The center of gravity position and area can be calculated for the recognized face image. Further, face recognition or the like may be performed by matching using a neural network.

続いて、CPU71は、対象となる画像データ内に、顔画像があるか否かを判断する(ステップS510)。具体的には、ステップS500の処理で、重心G1,面積A1の出力がない場合には顔画像がないと判断し、出力がある場合には顔画像があると判断している。   Subsequently, the CPU 71 determines whether or not there is a face image in the target image data (step S510). Specifically, in the process of step S500, if there is no output of the center of gravity G1 and the area A1, it is determined that there is no face image, and if there is an output, it is determined that there is a face image.

ステップS510で、顔画像がないと判断した場合(No)には、ENDに抜け、コメントレイアウト処理を終了し、図3のステップS330へ戻る。例えば、対象となる画像データが風景画像であるような場合には、「吹き出し」を配置することなく、処理を終了する。   If it is determined in step S510 that there is no face image (No), the process exits END, ends the comment layout process, and returns to step S330 in FIG. For example, if the target image data is a landscape image, the process ends without placing a “speech balloon”.

他方、ステップS510で、顔画像があると判断した場合(Yes)には、顔画像がいくつあるか判断し、複数の顔画像がある場合に面積比率が所定値以下である顔画像を対象から除外する(ステップS520)。すなわち、このステップでは、「吹き出し」を配置する主な被写体(顔画像)を判別している。   On the other hand, if it is determined in step S510 that there is a face image (Yes), it is determined how many face images are present, and if there are a plurality of face images, face images whose area ratio is equal to or less than a predetermined value are selected from the target. Exclude (step S520). That is, in this step, the main subject (face image) where the “speech balloon” is placed is determined.

具体的には、検出された複数の顔画像の中から面積が最大の顔画像を選定し、これに対して、各顔画像の面積比率を算出する。この比率が所定閾値よりも小さい場合(本実施例では、30%よりも小さい場合)には、コメントレイアウト処理の対象となる顔画像とは認定しない。   Specifically, the face image having the maximum area is selected from the detected plurality of face images, and the area ratio of each face image is calculated for the face image. When this ratio is smaller than a predetermined threshold (in this embodiment, smaller than 30%), it is not recognized as a face image to be subjected to comment layout processing.

図7は、一の画像データ内に、複数の顔画像が検出された場合の一例を示す説明図である。図示するように、画像データPに対して、6つの顔画像が検出されたとする。この中で最も面積が大きい顔画像F1(重心G1,面積A1)を選定し、他のすべての顔画像F2,F3,・・について、面積比率を求める。例えば、顔画像F2であれば、A2/A1×100(%)の面積比率となる。この例に示すように、算出した顔画像の面積比率が30%よりも小さい顔画像F2,F3・・については、対象から除外する。図7の例では、顔画像F1のみが、コメントレイアウト処理の対象となる。こうした相対的な面積比率の評価を行なうことで、例えば、市街地などの雑踏で撮影した画像における背景の通行人を、対象から除外することができる。   FIG. 7 is an explanatory diagram showing an example when a plurality of face images are detected in one image data. As shown in the figure, it is assumed that six face images are detected for the image data P. Among them, the face image F1 having the largest area (center of gravity G1, area A1) is selected, and the area ratio is obtained for all other face images F2, F3,. For example, in the case of the face image F2, the area ratio is A2 / A1 × 100 (%). As shown in this example, face images F2, F3,... Where the calculated face image area ratio is smaller than 30% are excluded from the target. In the example of FIG. 7, only the face image F1 is the target of the comment layout process. By performing such relative area ratio evaluation, for example, a passerby in the background in an image taken in a crowd such as an urban area can be excluded from the target.

続いて、CPU71は、主な被写体として絞り込まれた顔画像の個数が所定閾値以下であるか否かを判断する(ステップS530)。つまり、コメントレイアウト処理の対象として認定された顔画像がいくつあるかを判断している。なお、ここでは所定の閾値を4個に設定している。   Subsequently, the CPU 71 determines whether or not the number of face images narrowed down as a main subject is equal to or smaller than a predetermined threshold (step S530). That is, it is determined how many face images are recognized as the target of the comment layout process. Here, the predetermined threshold value is set to four.

ステップS530で、顔画像の個数が4個以上であると判断した場合(No)には、画像データの全体から出る「吹き出し」を配置し(ステップS550)、一連のコメントレイアウト処理を終了して、図3のステップS330へ戻る。つまり、個々の顔画像に対応した「吹き出し」を配置するのではなく、画像データ全体に対応した「吹き出し」を配置する。   If it is determined in step S530 that the number of face images is four or more (No), a “speech balloon” is placed from the entire image data (step S550), and a series of comment layout processing is completed. Returning to step S330 of FIG. That is, instead of arranging “balloons” corresponding to individual face images, “balloons” corresponding to the entire image data are arranged.

図8は、一の画像データ内に、複数の顔画像が、主な被写体として認定された場合の一例を示す説明図である。図示するように、画像データP内には5つの顔画像F1〜F5が検出され、最も面積が大きい顔画像F1に対する各顔画像F2〜F5の面積比率は30%以上であり、5つの顔画像F1〜F5のすべてが主な被写体として認定される。この場合には、顔画像の個数が4個以上となるため、画像データPの全体から、一つの「吹き出し」形状Kを配置する。つまり、各顔画像に対応して、5つの「吹き出し」を配置すると、配置が複雑となると共に、全体として煩雑な印象を受ける。こうした場合に、単一の「吹き出し」を配置することで、適切なコメントの入力領域を確保することができる。   FIG. 8 is an explanatory diagram showing an example when a plurality of face images are recognized as main subjects in one image data. As shown in the figure, five face images F1 to F5 are detected in the image data P, and the area ratio of each of the face images F2 to F5 with respect to the face image F1 having the largest area is 30% or more. All of F1 to F5 are recognized as main subjects. In this case, since the number of face images is four or more, one “balloon” shape K is arranged from the entire image data P. That is, if five “speech balloons” are arranged corresponding to each face image, the arrangement becomes complicated and a complicated impression is received as a whole. In such a case, an appropriate comment input area can be secured by arranging a single “balloon”.

なお、本実施例では、図8に示すように、画像データPの上側(画像データPの領域外)で、かつ、右よりの位置に、コメント境界領域Kaを配置し、画像データPの上側で、かつ、左右方向の略中央の位置を始点Sとして引き出し部分Kbが形成されることで、所定の「吹き出し」形状Kが配置される。こうした「吹き出し」の形状、および、配置は、予めデフォルト値として設定されている。   In this embodiment, as shown in FIG. 8, a comment boundary area Ka is arranged above the image data P (outside the area of the image data P) and at a position from the right, and above the image data P. In addition, the lead-out portion Kb is formed with the substantially central position in the left-right direction as the starting point S, whereby a predetermined “balloon” shape K is arranged. The shape and arrangement of such “speech balloons” are preset as default values.

他方、ステップS530で、顔画像の個数が4個よりも少ない、つまり、1個〜3個であると判断した場合(Yes)には、各顔画像に対応して「吹き出し」を配置し(ステップS540)、一連のコメントレイアウト処理を終了する。   On the other hand, if it is determined in step S530 that the number of face images is less than 4, that is, 1 to 3 (Yes), “speech balloons” are arranged corresponding to each face image ( Step S540), a series of comment layout processing is terminated.

図9は、一の画像データ内に、複数の顔画像が、主な被写体として認定された場合の一例を示す説明図である。図示するように、画像データP内には2つの顔画像F1,F2が検出され、最も面積が大きい顔画像F1に対する顔画像F2の面積比率が30%以上であり、2つの顔画像F1,F2が主な被写体として認定される。ここで、顔画像の個数が4個よりも少ないため、各顔画像F1,F2のそれぞれに対して「吹き出し」を配置する。   FIG. 9 is an explanatory diagram showing an example when a plurality of face images are recognized as main subjects in one image data. As shown in the figure, two face images F1 and F2 are detected in the image data P, and the area ratio of the face image F2 to the face image F1 having the largest area is 30% or more, and the two face images F1 and F2 are detected. Is recognized as the main subject. Here, since the number of face images is less than 4, “speech balloons” are arranged for each of the face images F1 and F2.

「吹き出し」が2つ必要となる場合、まず、最も面積が大きい顔画像F1に対して「吹き出し」を配置する。具体的には、検出された顔画像F1の重心G1から上方で、画像データP外の位置に、終点E1を設定し、これを楕円中心としてコメント境界領域K1aを配置する。そして、顔画像F1の重心G1から上方へ、顔画像の面積A1を考慮した分移動した位置に始点S1を取り、始点S1から終点E1に向かって、拡開する形状の引き出し部分K1bを形成することで、「吹き出し」形状K1の配置を完了する。この処理は、主な被写体として認定された顔画像が1つである場合と同様である。   When two “speech balloons” are required, first, “speech balloons” are arranged for the face image F1 having the largest area. Specifically, the end point E1 is set at a position outside the image data P above the center of gravity G1 of the detected face image F1, and the comment boundary region K1a is arranged with this as the center of the ellipse. Then, a starting point S1 is taken at a position shifted from the center of gravity G1 of the face image F1 in consideration of the area A1 of the face image, and a lead-out portion K1b having a shape expanding from the starting point S1 toward the end point E1 is formed. This completes the arrangement of the “balloon” shape K1. This process is the same as when one face image is recognized as the main subject.

続いて、もう一つの顔画像F2に対して「吹き出し」を配置する。基本的には、2つ目の「吹き出し」も1つ目の「吹き出し」と同様、検出された顔画像F2の重心G2から上方で、画像データP外の位置に配置するが、検出された2つの顔画像F1,F2が左右方向で所定距離よりも接近している場合には、2つのコメント境界領域K1a,K2aが重なり合う。この場合には、1つ目の「吹き出し」の終点E1から所定距離だけ離れた位置に終点E2を設定し、これを楕円中心としてコメント境界領域K2aを配置する。そして、顔画像F2の重心G2から上方へ、顔画像の面積A2を考慮した分移動した位置に始点S2を取り、始点S2から終点E2に向かって、拡開する形状の引き出し部分K2bを形成することで、「吹き出し」形状K2の配置を完了する。なお、「吹き出し」が3つ必要な場合であっても、同様に処理される。こうすることで、コメント境界領域が重なり合うことなく、複数の顔画像の位置に対応した「吹き出し」を配置することができる。   Subsequently, a “speech balloon” is arranged for another face image F2. Basically, the second “speech balloon” is arranged at a position outside the image data P above the center of gravity G2 of the detected face image F2, similarly to the first “speech balloon”. When the two face images F1, F2 are closer than a predetermined distance in the left-right direction, the two comment boundary regions K1a, K2a overlap each other. In this case, the end point E2 is set at a position away from the end point E1 of the first “balloon” by a predetermined distance, and the comment boundary region K2a is arranged with this as the center of the ellipse. Then, a starting point S2 is taken at a position shifted from the center of gravity G2 of the face image F2 in consideration of the area A2 of the face image, and a lead-out portion K2b having a shape expanding from the starting point S2 toward the end point E2 is formed. This completes the arrangement of the “balloon” shape K2. Even when three “balloons” are required, the same processing is performed. By so doing, it is possible to arrange “balloons” corresponding to the positions of a plurality of face images without overlapping the comment boundary regions.

「吹き出し」の配置は、上述した手法に限るものではない。例えば、重心Gから少し傾いた軸上に終点Eを設けても良い。また、顔画像の右、左、下など、どのような位置から「吹き出し」を出すように設定しても良い。   The arrangement of “speech balloons” is not limited to the method described above. For example, the end point E may be provided on an axis slightly inclined from the center of gravity G. Further, the “balloon” may be set to be output from any position such as right, left, and bottom of the face image.

さらに、「吹き出し」が複数必要となる場合には、デフォルト位置として予め設定されている位置に各コメント境界領域を配置し、各顔画像の重心から上方へ、面積を考慮した分移動した位置から拡開する形状の引き出し部分を形成し、「吹き出し」の配置を完了するものとしても良い。予めコメント境界領域の配置を固定しておくことで、複数のコメント境界領域を確保することができ、バランス良く配置することができる。   Furthermore, when a plurality of “speech balloons” are required, each comment boundary region is arranged at a position set in advance as a default position, and from the position moved in consideration of the area from the center of gravity of each face image. A drawer portion having a shape that expands may be formed to complete the arrangement of the “balloon”. By fixing the arrangement of the comment boundary areas in advance, a plurality of comment boundary areas can be secured and arranged in a balanced manner.

以上のコメントレイアウト処理によれば、撮影した画像データ内の顔画像の位置に応じて、自動的に「吹き出し」を配置することができる。したがって、煩雑な操作を必要とすることなく、ユーザは画像データにコメントを付すことができる。また、顔画像に対応付けて「吹き出し」が配置されるため、画像データ内の被写体が発言するように演出することができる。   According to the above comment layout processing, “speech balloons” can be automatically arranged according to the position of the face image in the captured image data. Therefore, the user can add a comment to the image data without requiring a complicated operation. Also, since “speech balloons” are arranged in association with face images, it is possible to produce an effect so that the subject in the image data speaks.

また、検出した顔画像が複数ある場合には、面積比率を求めて主な被写体を判断して「吹き出し」を配置し、所定数以上の主な被写体を検出した場合には、画像データ全体から「吹き出し」を配置する。したがって、画像データの内容に応じて、適切に「吹き出し」を配置することができる。   When there are a plurality of detected face images, the main subject is determined by determining the area ratio and a “speech balloon” is arranged. When a predetermined number or more of main subjects are detected, the entire image data is Place a "speech balloon". Therefore, “speech balloons” can be appropriately arranged according to the contents of the image data.

本実施例では、認識した顔画像の位置と面積とから「吹き出し」の配置を行なっている。したがって、主な被写体として認識された顔画像に対して適切な位置(例えば、引き出し部分が顔画像に重ならない位置)に、「吹き出し」を配置することができる。なお、認識された顔画像の位置に対する引き出し部分の始点Sの位置を、予めデフォルト値として設定しておき、顔画像の面積を用いることなく、「吹き出し」を配置するものとしても良い。かかる手法であっても、ほとんどのスナップ写真に対して適切に「吹き出し」を配置することができると共に、「吹き出し」の配置が容易となる。また、検出する顔画像の位置は、重心に限らず、肌色領域内の所定点であっても良い。   In the present embodiment, “speech balloons” are arranged based on the position and area of the recognized face image. Therefore, the “speech balloon” can be arranged at an appropriate position (for example, a position where the drawer portion does not overlap the face image) with respect to the face image recognized as the main subject. Note that the position of the start point S of the extracted portion with respect to the position of the recognized face image may be set as a default value in advance, and “speech balloons” may be arranged without using the area of the face image. Even with such a technique, it is possible to appropriately arrange “speech balloons” for most snapshots, and to facilitate the placement of “speech balloons”. Further, the position of the face image to be detected is not limited to the center of gravity, and may be a predetermined point in the skin color area.

E.変形例:
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんである。本実施例では、顔認識により、画像内における顔の画像に対応して「吹き出し」を配置するものとしたが、顔の画像に限らず、顔認識から判別できる人物の画像全体から「吹き出し」を出すものであっても良い。
E. Variations:
The embodiments of the present invention have been described above. However, the present invention is not limited to these embodiments, and can of course be implemented in various forms without departing from the spirit of the present invention. is there. In the present embodiment, the “balloon” is arranged corresponding to the face image in the image by face recognition. May be used.

本実施例では、アルバム作成における「吹き出し」の配置を例としているため、アルバムの1ページ(台紙)における画像データの領域外にコメントを配置するものとしたが、L版などの写真用紙に印刷する場合に、コメントレイアウト処理を用いることもできる。   In this embodiment, since “balloons” are arranged in the album creation as an example, the comment is arranged outside the image data area on one page (mounting paper) of the album. In this case, comment layout processing can also be used.

この場合、顔画像の位置、面積を検出し、顔画像に重ならない画像データ内の領域にコメント境界領域を配置するものとすれば良い。例えば、図10に示すように、画像データ内の左上の位置に顔画像を検出した場合には、右上の所定位置にコメント境界領域を配置し、顔画像の重心位置に基づいて引き出し部分を形成して、「吹き出し」(形状K)を配置するものとすれば良い。勿論、他の顔画像の有無などを考慮して、コメント境界領域を配置するものとして良い。こうすることで、写真用紙などに印刷する場合であっても、適切な位置に「吹き出し」を配置することができる。   In this case, the position and area of the face image may be detected, and the comment boundary area may be arranged in an area in the image data that does not overlap the face image. For example, as shown in FIG. 10, when a face image is detected at the upper left position in the image data, a comment boundary area is arranged at a predetermined position on the upper right, and a drawing portion is formed based on the center of gravity position of the face image. Then, the “speech balloon” (shape K) may be arranged. Of course, the comment boundary region may be arranged in consideration of the presence or absence of other face images. In this way, even when printing on photographic paper or the like, “speech balloons” can be placed at appropriate positions.

本実施例では、コメントレイアウト装置はアルバム作成装置10に含まれるものとして説明したが、コメントレイアウト処理のプログラムをパーソナルコンピュータや、スタンドアロン,複合機等のプリンタなど、種々の機器にインストールし、あるいは、ハードウェアとして備えることで、コメントレイアウト装置を構成するものとしても良い。この場合のコメントレイアウト装置は、所定の画像データを取得すると共に、画像データ内の顔の画像を認識し、顔の位置に応じて所定の「吹き出し」を配置する処理までを実行する。   In the present embodiment, the comment layout apparatus is described as being included in the album creating apparatus 10; however, the comment layout processing program is installed in various devices such as a personal computer, a printer such as a stand-alone or a multifunction peripheral, or By providing as hardware, a comment layout apparatus may be configured. In this case, the comment layout apparatus acquires predetermined image data, recognizes a face image in the image data, and executes a process of arranging a predetermined “balloon” according to the position of the face.

例えば、スキャナ機能を備えた複合機のプリンタをコメントレイアウト装置とする場合には、所定の画像データに「吹き出し」を配置して、プリントアウトした後、その「吹き出し」内にユーザがコメントを自筆で書き込むことができる。さらには、コメントを書き込んだ印刷物を、再度、スキャナで読み込み、アルバム作成などの種々の処理に利用することもできる。   For example, when a multifunction printer having a scanner function is used as a comment layout device, a “speech balloon” is placed in predetermined image data, printed out, and then the user writes a comment in the “speech balloon”. You can write in. Furthermore, the printed matter in which the comment is written can be read again by the scanner and used for various processes such as album creation.

また、本実施例では、パーソナルコンピュータに各処理プログラムをインストールすることで、コメントレイアウト装置、アルバム作成装置を構成するものとしたが、ネットワーク上の所定のサーバに、コメントレイアウト装置およびアルバム作成装置を配置することができる。   In this embodiment, the comment layout device and the album creating device are configured by installing each processing program in the personal computer. However, the comment layout device and the album creating device are installed on a predetermined server on the network. Can be arranged.

例えば、図11に示すように、アルバム作成装置10と、ネットワーク140と接続するネットワーク接続部130とを、所定のサーバ上に設けておく。ユーザ側の端末であるパーソナルコンピュータ150は、ネットワーク140に接続可能に構成されている。ユーザは、ネットワーク140を介して、所定のサーバにアクセスすることで、アルバム作成装置10によるアルバム作成処理を実行する。作成されたアルバムは、例えば、パーソナルコンピュータ150に接続されたプリンタ155から出力される。こうしたサーバを利用することで、例えば、アルバム編集の対象となる大量の画像データ、作成したアルバム自体を、ネットワーク上に保存することができる。   For example, as illustrated in FIG. 11, the album creating apparatus 10 and a network connection unit 130 connected to the network 140 are provided on a predetermined server. The personal computer 150 that is a user terminal is configured to be connectable to the network 140. The user accesses a predetermined server via the network 140 to execute album creation processing by the album creating apparatus 10. The created album is output from a printer 155 connected to the personal computer 150, for example. By using such a server, for example, a large amount of image data subject to album editing and the created album itself can be stored on the network.

本実施例では、コメント入力領域として、代表的な形状の「吹き出し」を例に説明したが、「吹き出し」の形状はこれに限るものでない。例えば、図12に示すように、様々な種類の「吹き出し」によりコメント入力領域の境界を形成することができる。図示する「吹き出し」形状のコメント境界領域Ka,引き出し部分Kbを、本実施例で説明した手法により配置することで、効果的な演出を施したコメント付きの画像を得ることができる。   In this embodiment, the “balloon” having a typical shape has been described as an example of the comment input area, but the shape of the “balloon” is not limited to this. For example, as shown in FIG. 12, the boundary of the comment input area can be formed by various types of “balloons”. By arranging the illustrated “balloon” -shaped comment boundary region Ka and lead-out portion Kb by the method described in the present embodiment, an image with a comment with an effective presentation can be obtained.

本発明のコメントレイアウト装置を含むアルバム作成装置の説明図である。It is explanatory drawing of the album production apparatus containing the comment layout apparatus of this invention. 実施例としてのアルバム作成システムの概略構成を示す説明図である。It is explanatory drawing which shows schematic structure of the album production system as an Example. アルバム作成処理のフローチャートである。It is a flowchart of an album creation process. コメント入力領域としての「吹き出し」の説明図である。It is explanatory drawing of the "balloon" as a comment input area. コメントレイアウト処理のフローチャートである。It is a flowchart of comment layout processing. 顔画像の位置、面積の検出例を示す説明図である。It is explanatory drawing which shows the example of a detection of the position and area of a face image. 複数の顔画像が検出された場合の一例を示す説明図である。It is explanatory drawing which shows an example when a some face image is detected. 複数の顔画像が主な被写体として認定された場合の一例を示す説明図である。It is explanatory drawing which shows an example when a some face image is recognized as a main subject. 複数の顔画像が主な被写体として認定された場合の一例を示す説明図である。It is explanatory drawing which shows an example when a some face image is recognized as a main subject. 画像データ内に「吹き出し」を配置する説明図である。It is explanatory drawing which arrange | positions "speech balloon" in image data. ネットワーク上に配置したアルバム作成装置の構成図である。It is a block diagram of the album production apparatus arrange | positioned on the network. 「吹き出し」形状の例を示す説明図である。It is explanatory drawing which shows the example of a "balloon" shape.

符号の説明Explanation of symbols

10...アルバム作成装置
20...写真画像データベース
25...関連情報取得部
30...写真選択部
40...顔検出部
50...アルバムレイアウト部
52...写真レイアウト部
55...コメントレイアウト部
60...アルバム表示部
65...アルバム印刷部
74...ハードディスク
80...入力装置
80a...キーボード
80b...マウス
90...表示装置
90a...ディスプレイ
100...プリンタ
110...デジタルスチルカメラ
130...ネットワーク接続部
140...ネットワーク
150...パーソナルコンピュータ
155...プリンタ
200...アルバム作成システム
F...顔画像
A...面積
G...重心
K...「吹き出し」の形状
Ka...コメント境界領域
Kb...引き出し部分
OS...オペレーティングシステム
P...画像データ
DESCRIPTION OF SYMBOLS 10 ... Album creation apparatus 20 ... Photo image database 25 ... Related information acquisition part 30 ... Photo selection part 40 ... Face detection part 50 ... Album layout part 52 ... Photo layout part 55 ... Comment layout part 60 ... Album display part 65 ... Album printing part 74 ... Hard disk 80 ... Input device 80a ... Keyboard 80b ... Mouse 90 ... Display device 90a. Display 100 ... Printer 110 ... Digital still camera 130 ... Network connection 140 ... Network 150 ... Personal computer 155 ... Printer 200 ... Album creation system F ... Face Image A ... Area G ... Center of Gravity K ... Shape of "Balloon" Ka ... Comment boundary area Kb ... Drawer part OS ... Operating system P ... Image data

Claims (3)

テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置であって、
前記対象画像の画像データを読み出し、該画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する画像情報検出手段と、
前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置するコメント配置手段と、
前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する記憶手段と
を備え
前記コメント配置手段は、前記画像内に認識される人物の顔の画像領域が所定人数より多い場合には、該顔の画像領域に対応付けた前記コメント入力領域の配置に代えて、当該画像の全体に対して、一の該コメント入力領域を配置するコメントレイアウト装置。
A comment layout device that arranges a comment input area for inputting a text comment in one target image,
An image that reads image data of the target image, recognizes an image area of a person's face in the image from pixel information of the image data, and detects information on a predetermined reference position in the image area of the recognized face Information detection means;
Comment placement means for placing the comment input area in association with the face image area based on the detected reference position information;
Storage means for storing information relating to the arranged comment input area in association with image data of the target image , and
If the image area of the face of the person recognized in the image is larger than a predetermined number of people, the comment arrangement means replaces the arrangement of the comment input area associated with the image area of the face, for the whole, to place one of the comment input area, comments layout apparatus.
テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置を制御するコンピュータプログラムであって、
前記対象画像の画像データを読み出し、該画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する機能と、
前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置する機能であって、前記画像内に認識される人物の顔の画像領域が所定人数より多い場合には、該顔の画像領域に対応付けた前記コメント入力領域の配置に代えて、当該画像の全体に対して、一の該コメント入力領域を配置する機能と、
前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する機能と
をコンピュータに実現させるコンピュータプログラム。
A computer program for controlling a comment layout device that arranges a comment input area for inputting a comment in a text format in one target image,
A function of reading out image data of the target image, recognizing an image area of a person's face in the image from information of pixels included in the image data, and detecting information on a predetermined reference position in the image area of the recognized face When,
Based on the detected reference position information, the comment input area is arranged in association with the face image area, and the face image area recognized in the image is determined by a predetermined number of people. If there are many, instead of the arrangement of the comment input area associated with the face image area, a function of arranging the one comment input area for the entire image ,
A computer program for causing a computer to realize a function of storing information relating to the arranged comment input area in association with image data of the target image.
請求項に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。 A recording medium in which the computer program according to claim 2 is recorded in a computer-readable manner.
JP2005186548A 2005-06-27 2005-06-27 Comment layout device Active JP4375289B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005186548A JP4375289B2 (en) 2005-06-27 2005-06-27 Comment layout device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005186548A JP4375289B2 (en) 2005-06-27 2005-06-27 Comment layout device

Publications (2)

Publication Number Publication Date
JP2007004677A JP2007004677A (en) 2007-01-11
JP4375289B2 true JP4375289B2 (en) 2009-12-02

Family

ID=37690210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005186548A Active JP4375289B2 (en) 2005-06-27 2005-06-27 Comment layout device

Country Status (1)

Country Link
JP (1) JP4375289B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4710550B2 (en) * 2005-10-31 2011-06-29 セイコーエプソン株式会社 Comment layout in images
JP2008203960A (en) * 2007-02-16 2008-09-04 Seiko Epson Corp Image processor, its control method, program, and printer
US8988609B2 (en) 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
JP4955596B2 (en) * 2008-03-21 2012-06-20 富士フイルム株式会社 Image output method, apparatus and program
US8437575B2 (en) * 2009-03-18 2013-05-07 Shutterfly, Inc. Proactive creation of image-based products
JP5369976B2 (en) * 2009-08-04 2013-12-18 コニカミノルタ株式会社 Information processing system
US9996516B2 (en) 2012-05-16 2018-06-12 Rakuten, Inc. Image processing device for determining a display position of an annotation
JP6176041B2 (en) 2013-10-02 2017-08-09 富士ゼロックス株式会社 Information processing apparatus and program
EP3236655A1 (en) * 2014-02-07 2017-10-25 Sony Interactive Entertainment America LLC Scheme for determining the locations and timing of advertisements and other insertions in media
JP6595956B2 (en) * 2016-07-04 2019-10-23 富士フイルム株式会社 Image processing apparatus, image processing method, program, and recording medium
JP6646226B2 (en) * 2016-11-29 2020-02-14 キヤノンマーケティングジャパン株式会社 Information processing apparatus, information processing method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3784289B2 (en) * 2000-09-12 2006-06-07 松下電器産業株式会社 Media editing method and apparatus
JP2003230005A (en) * 2001-09-19 2003-08-15 Nakabayashi Co Ltd Album production system, and computer-readable recording medium recorded with processing program
JP2004128614A (en) * 2002-09-30 2004-04-22 Toshiba Corp Image display controller and image display control program
JP2005124169A (en) * 2003-09-26 2005-05-12 Matsushita Electric Ind Co Ltd Video image contents forming apparatus with balloon title, transmitting apparatus, reproducing apparatus, provisioning system, and data structure and record medium used therein

Also Published As

Publication number Publication date
JP2007004677A (en) 2007-01-11

Similar Documents

Publication Publication Date Title
JP4375289B2 (en) Comment layout device
JP5187139B2 (en) Image processing apparatus and program
US8498024B2 (en) Image processing apparatus, method, and storage medium for information processing according to information on a scanned sheet
JP4710550B2 (en) Comment layout in images
JP5656111B2 (en) Image composition apparatus and image composition program
US8102560B2 (en) Device for searching print target image adapted for printable area
JP5436367B2 (en) Graphic arrangement determining method, program thereof, and information processing apparatus
EP1739624B1 (en) Image processing apparatus, and control method and program of the same
JP2011040971A (en) Device, method and program for processing image
JP4926589B2 (en) Image composition apparatus, image composition method, and program
JP2005165855A (en) Printing system and printing method
JP2009237976A (en) Unit, method and program for controlling face image output, and print unit
JP2007206921A (en) Image processing technique for photographic image
JP4904987B2 (en) Printing method, printing apparatus, and printing program
JP2010026630A (en) Image retrieval device and image retrieval method
JP4101254B2 (en) Image recording apparatus, image recording method, and program
JP2013074451A (en) Image pickup apparatus
JP2017208655A (en) Information processing system, information processing method and program
JP2009042989A (en) Image processing apparatus
JP2007310487A (en) Image processor, image processing method, program and recording medium
JP2007200091A (en) Image processor
JP2009105541A (en) Image processing apparatus, method and program
JP2008042291A (en) Printing device and printing method
JP2005039801A (en) Image processing system, image processing method, and program
JP2006173907A (en) Moving picture printer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090831

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3