JP4638274B2 - 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機 - Google Patents

Description

本発明は、主にデジタルカメラ等で撮影された多数の画像から所望の画像を選択する画像選択方法、画像選択装置、および、この画像選択をコンピュータに実施させるプログラム、ならびに、これらを利用するプリント注文受付機に関する。

パーソナルコンピュータ（ＰＣ）やＰＤＡ（Personal Digital Assistance)等の普及に伴い、デジタルカメラの普及率が拡大している。さらに、撮影機能を有する携帯電話も普及している。
デジタルカメラや携帯電話等で撮影された画像（画像データ）は、ＰＣ等に取り込まれて処理され、ホームページや年賀状等の各種の用途に使用されるのが通常である。しかしながら、これらで撮影した画像を高品位な（写真）プリントとして残したいという要望も多い。また、フィルムに撮影された画像をＣＣＤセンサ等で光電的に読み取り、読み取った画像（画像データ）に所定の画像処理を施して出力用画像（データ）とし、この出力用画像に応じて変調したレーザ光等の記録光で印画紙を走査露光して、露光済の印画紙に所定の湿式処理を施す、いわゆるデジタルミニラボが実用化されている。画像を画像データとして扱うデジタルミニラボであれば、デジタルカメラ等で撮影された画像からのプリント作成にも、容易に対応可能である。
このような事情から、近年では、このようなデジタルミニラボを用いて、ラボ店等の専門の業者によって、デジタルカメラや携帯電話等で撮影された画像からのプリント作成が行われている。

デジタルカメラ等で撮影した画像のプリント作成をプリント業者に注文する場合には、例えば、ラボ店等の店頭や各種の商業施設内等に設置されるプリント注文受付機（以下、受付機とする）を用いて行われる。

受付機は、通常、撮影した画像を記憶するメモリーカード、ＩＣカード、ＣＤ−Ｒなどの記録媒体を装填し、あるいは、直接もしくは接続手段を用いてデジタルカメラや携帯電話を接続すると、画像を読み取って、注文画面と共にディスプレイに表示する。
顧客（プリントの注文者）は、タッチパネルとなっているディスプレイや所定の入力方法を用いて、プリント作成する画像、プリントサイズ、画像毎のプリント枚数などの注文（注文情報）を入力する。注文が確定すると、受付機は、画像と注文情報とを対応付けして、例えばラボ店などのサーバや画像処理装置に送り、此処からデジタルミニラボ等のデジタルプリントシステムに画像が供給されて、注文情報に応じたプリントが作成、出力される。

ところで、近年では、記録媒体の容量が飛躍的に大きくなっており、１つの記録媒体に記憶可能な画像の数が非常に多量になっている。また、通常の顧客は、記憶媒体の容量不足等が生じない限り、不要な画像の消去操作を行うことは、極めて稀である。

ここで、受付機では、通常、記憶媒体に記憶されている全ての画像を読み取って、例えば画像名（ファイル名等）順に全ての画像を表示して、顧客にプリントを注文する画像の選択を促す。
そのため、記録媒体に多数の画像が記録されている場合には、一人の顧客によるプリント注文に非常に多くの時間がかかってしまい、受付機によるプリント注文の順番待ち等が発生してしまう場合もあり、また、受付機の稼働効率の低下も懸念される。しかも、これに起因して、受付機によるプリント注文が敬遠されるケースも散見される。

本発明の目的は、前記従来技術の問題点を解決することにあり、非常に多数の画像が存在する場合であっても、所望する画像を、効率よく、かつ、迅速に選択することができ、例えば、デジタルカメラ等で撮影された画像からのプリント注文を受け付けるプリント注文受付機に利用することにより、個々の顧客によるプリント注文の操作時間を大幅に短縮して、稼働効率の向上等を図ることができる画像選択方法および画像選択装置、この画像選択方法をコンピュータ等に実施させるプログラム、ならびに、前記画像選択を利用するプリント注文受付機を提供することにある。

前記目的を達成するために、本発明の画像選択方法は、光学的に撮影された画像の画像データを取得して、取得した画像データの各画像から人物の顔を検出し、画像と検出した顔画像とを並べて１セットとして表示し、顔画像の選択に応じて、前記選択された顔画像と他の顔画像との類似度を検出し、この類似度に応じて、前記セットの表示順を変更することを特徴とする画像選択方法。
このような本発明の画像選択方法において、画像データを取得したら、撮影日時に応じた前記画像の分類を行なって、この分類を表示し、選択された区分の画像のみ、画像の表示を行うのが好ましく、さらに、前記類似度が所定の閾値を超えた顔画像に対応する画像は、選択された画像として扱うのが好ましい。

また、本発明の画像選択装置は、光学的に撮影された画像の画像データの取得手段と、入力手段と、ディスプレイと、解析手段とを有し、前記取得手段が取得した画像データを前記解析手段で解析して、各画像から人物の顔を検出し、各画像と検出した顔画像とを並べて１セットとして前記ディスプレイに表示し、その後、前記入力手段によって顔画像が選択されたら、前記解析手段によって、選択された顔画像と他の顔画像との類似度を検出して、この類似度に応じて、前記ディスプレイににおける前記セットの表示順を変更することを特徴とする画像選択装置を提供する。
このような本発明の画像選択装置において、前記取得手段が画像データを取得したら、前記解析手段が撮影日時に応じた画像の分類を行い、この分類結果を前記ディスプレイに表示して、前記入力手段によって選択された区分に付いてのみ、前記ディスプレイに画像を表示するのが好ましく、さらに、前記類似度が所定の閾値を超えた顔画像に対応する画像は、選択された画像として扱うのが好ましい。

また、本発明のプログラムは、光学的に撮影された画像の画像データを取得するステップ、前記取得した画像データの各画像から人物の顔を検出するステップ、各画像と検出した顔画像とを並べて１セットとして表示するステップ、前記顔画像の選択を実施させるステップ、前記選択された顔画像と、他の顔画像との類似度を検出するステップ、および、前記検出した顔画像の類似度に応じて、前記セットの表示順を変更するステップ、をコンピュータに実行させることを特徴とするプログラムを提供する。
このような本発明のプログラムにおいて、前記画像データを取得するステップの後に、撮影日時に応じた前記画像の分類を行うステップ、分類結果を表示するステップ、および、前記分類された区分を選択させるステップを実行させ、かつ、前記選択された区分のみ画像の表示を行なうのが好ましく、さらに、前記類似度が所定の閾値を超えた顔画像に対応する画像は、選択された画像として扱うのが好ましい。

さらに、本発明のプリント注文受付機は、前記画像データからのプリント注文を受け付けるプリント注文受付機であって、光学的に撮影された画像の画像データの取得手段と、入力手段と、ディスプレイと、解析手段とを有し、かつ、プリントを注文する画像の選択方法として、少なくとも個々の画像を選択する選択方法と人物による選択方法とを有し、前記取得手段が画像データを取得したら、前記解析手段が撮影日時に応じた画像の分類を行い、この分類結果を前記ディスプレイに表示して、前記入力手段によって選択された区分の画像を前記ディスプレイに表示し、前記入力手段によって前記人物による選択方法が指示されたら、前記選択された区分の画像について、前記解析手段で人物の顔検出を行い、前記表示した各画像について、画像と検出した顔画像とを並べて１セットとして表示し、前記入力手段によって、前記顔画像が選択されたら、前記解析手段によって選択された顔画像と他の顔画像との類似度を検出して、この類似度に応じて、前記セットの表示順を変更することを特徴とするプリント注文受付機を提供する。
このような本発明のプリント注文受付機において、前記セットの表示順を変更した際において、前記類似度が所定の閾値を超えている画像は、プリントを注文された画像として扱うのが好ましく、さらに、前記選択された区分の画像を、プリントを注文された画像として扱うのが好ましい。

このような本発明によれば、デジタルカメラや撮影機能付の携帯電話等で撮影された画像を選択する際に、人物の顔を利用して所望の画像を検索して優先的に表示し、その上で画像の選択を行うので、多数の画像が有る場合でも、所望する画像の選択を効率良くを行うことができる。しかも、画像と、画像から抽出した顔画像を並べて表示するので、画像全体および画像に写っている人物の顔を確認しながら画像の選択を行うことができ、選択の間違え等を無くし、かつ、非常に良好な効率で所望の画像を選択することができる。

以下、本発明の画像選択方法、画像選択装置、プログラム、およびプリント注文受付機について、添付の図面に示される好適実施例を基に、詳細に説明する。

図１に、本発明のプリント注文受付機の一例の概略図を示す。このプリント注文受付機１０は、本発明の画像選択方法を実施する本発明の画像選択装置にかかるものである。
なお、本発明の画像選択方法、画像選択装置、およびプログラムは、プリント注文受付機に利用されるのに限定はされず、デジタルフォトプリンタやインクジェットプリンタ等の各種のプリンタ、画像サーバや画像データベース、画像処理や画像合成などの画像処理装置、光学的な画像の撮影を行う各種の撮影装置、パーソナルコンピュータやワークステーションなどのコンピュータ等など、各種の装置および各種の装置における画像選択に、好適に利用可能である。

図１において、（Ａ）は、プリント注文受付機１０（以下、受付機１０とする）の概略斜視図を、（Ｂ）は、受付機１０の構成を概念的に示すブロック図である。
この受付機１０は、ラボ店の店頭や各種の商業施設等に設置され、デジタルカメラや撮影機能を有する携帯電話等の撮像装置で撮影された画像（画像データ）を取得して、この画像からのプリント作成の注文を受け付け、プリント注文を受けた画像と、プリントサイズや枚数等の注文情報を対応付けして、コンピュータ通信ネットワークなどの公知の通信手段によってラボ店やプリント業者などに設置されるサーバ、データベース、デジタルフォトプリンタ、プリンタコントローラ、イメージコントローラ等に供給するものである。

図示例において、受付機１０は、一例として、ディスプレイ１２、記憶媒体（記憶メディア）の装填部１４、受付伝票の出力口１６、（メディア）ドライブ２０、記憶手段２２、ディスプレイコントローラ２４、解析手段２６、注文情報処理手段２８、および受付伝票を作成するプリンタ（図示省略）等を有する。
また、受付機１０は、これらの構成要素以外にも、ＣＰＵ、ＲＯＭ、ＲＡＭ等の各種の構成要素を有して構成される。

受付機１０は、装填部１４（ドライブ２０）に装填された記憶媒体から画像を読み取り、前述のように、入力された注文情報とプリントを注文された１件の画像とを対応付けして、ラボ店のサーバ等に供給する。
本発明の受付機１０すなわちドライブ２０が対応する記憶媒体には、特に限定はなく、スマートメディア^TM、コンパクトフラッシュ^TM、メモリースティック^TM、ＳＤメモリーカード^TM、ＰＣカード、ＣＤ（ＣＤ−Ｒ）、ＭＤ等の公知の記憶媒体が、全て利用可能である。受付機１２が対応する記憶媒体は、１種に限定はされず、複数種の記憶媒体に対応してもよいのは、もちろんである。
また、受付機１０は、所定の接続手段等を用いることにより、デジタルカメラや携帯電話等から、直接、画像を読み取ってもよい。

受付機１０において、ドライブ２０に装填された記憶媒体から読み取った画像（および、画像に付随する各種の情報等）は、記憶手段２２に記憶する、記憶手段２２が記憶した画像等は、必要に応じて、ディスプレイコントローラ２４、解析手段２６、注文情報処理手段２８等の各部位によって読み出される。
記憶手段２２には、特に限定はなく、必要な記憶容量および処理速度を有するものであれば、ＤＲＡＭやハードディスク等の公知の記憶手段が、全て利用可能である。

図示例において、ディスプレイ１２は、各種の操作を行う、いわゆるタッチパネルとなっており、表示画像とディスプレイ１２とを用いた公知のＧＵＩ(Graphical User Interface)によって、注文の入力、画像の選択／非選択、プリントサイズや枚数の選択、各種の指示入力などの各種の操作を行う。
また、ディスプレイコントローラ２４は、ディスプレイ２２における画像表示を制御し、また、ディスプレイ２２（タッチパネル）から入力された各種の情報を解析手段２６や注文情報処理手段２８等の所定部位に送る。
なお、受付機１０は、ディスプレイ１２で入力操作を行うのに限定はされず、マウス、キーボード、操作用のボタンなどの操作手段で操作を行うものであってもよく、ディスプレイ２２と前記操作手段とを併用して操作を行うものであってもよい。

受付機１０では、プリントの注文が確定して、顧客（プリント作成の注文者）によってプリントの注文指示（後述するプリント注文ＯＫの指示）が入力されると、後述する注文情報処理手段２８が、画像と注文情報とを対応付けしてラボ店のサーバ等に供給すると共に、その件の受付番号、プリント料金、プリント枚数、仕上がり時間等を記録した受付伝票を出力する。
受付伝票（レシート（引換券））を作成するプリンタにも、特に限定はなく、インクジェットプリンタ、感熱プリンタなど、店頭等に設置されているプリント注文受付機等で利用されている公知のものを用いればよい。

解析手段２６は、記憶手段２２が記憶した画像（画像ファイル）を解析して、好ましい態様として、各画像を撮影日時に応じて分類して、最上層に記憶媒体、その下層に撮影日の連続性に応じて分類した層、その下層に撮影日毎の層、その下層に撮影時間に応じて分類した層を有するツリー構造を作成し、このツリー構造をディスプレイコントローラ２４に供給する。
また、後述する人物選択が指示された際に、記憶手段２２が記憶している画像から人物の顔検出を行い、顔が検出できた画像については、顔を含む所定領域を切り出し、必要に応じて拡大／縮小して所定サイズの顔画像を作成し、ディスプレイコントローラ２４に供給する。なお、画像中に複数の顔が存在する場合には、基本的に、画像中の全ての顔を検出して、顔画像を作成して、ディスプレイコントローラ２４に供給する。
さらに、ディスプレイ１２に前記顔画像を表示した後、顧客によって顔画像（人物）が選択されたら、選択された顔画像と、他の顔画像との類似度を検出して（顔の類似度のスコアリングを行い）、類似度が高い顔画像に対応する順に画像に順番を付し、この順に並べて画像を表示するように、ディスプレイコントローラ２４に指示を出す。
以上の点については、後に詳述する。

本発明において、顔検出の方法には、特に限定はなく、色やエッジ検出による方法、テンプレートマッチングによる方法、事前学習を行う学習手法による方法等、公知の画像解析による顔検出方法が、全て利用可能である。
一例として、特開２０００−１３７７８８号公報に開示される、公知の方法で顔が存在すると考えられる候補領域を抽出して、候補領域を所定数の小領域に分割して、小領域毎に濃度や輝度の変化に関連する特徴量を求め、求めた特徴量を、人物の顔に相当する領域を同様に分割した際における特徴量と比較して確度を向上する顔検出方法や、特開２００５−４２８７号公報に開示される、テンプレートマッチングによって顔検出を行う際に、テンプレートマッチングを行う領域の明るさが所定値以上か否かを判定して、この領域の明るさが所定値以上である場合と、所定値以下である場合とで、前記領域が顔か否かを判定する閾値を変更する顔検出方法が例示される。

また、顔の類似度の検出方法（演算方法）にも特に限定はなく、例えばキャッシュディスペンサ等での本人確認や、人物の入室の許可／不許可等の判定などに用いられる、公知の、いわゆる顔認証（人物認証、本人認証）方法が、各種利用可能である。
一例として、特開２００４−２５９２５３号公報で例示されている、特徴量として、目の距離および輪郭、あるいはさらに目鼻等の顔の部分の形状を用いて顔認証を行う方法、特開２００５−８４９７９号公報で例示されているＧａｂｏｒフィルタを用いる顔認証方法や、同公報に開示されている両目の中心位置間を基準とした規格化を行って顔認証を行う方法、特開２００５−１８６２５号公報で例示されている、顔の濃度ヒストグラムデータとエッジデータとを用いる顔認証方法等が例示される。

注文情報処理手段２８は、顧客によってプリント注文ＯＫが指示されたら、その件の受付番号（プリント注文の識別ＩＤ）を生成すると共に、ディスプレイ１２から入力された注文指示等を処理して、プリントを作成する画像（プリントを注文された画像）と、受付番号、プリント枚数、プリントサイズ、および仕上がり時間等の注文情報とを対応付けして、前述のように公知の通信手段によってラボ店のサーバ等に供給する。さらに、必要な情報を前記受付伝票を作成するプリンタに供給する。
なお、仕上がり時間は、予め設定された注文受付からの経過時間に応じて決定する方法や、通信手段でラボ店における各装置や機器の情報等を取得して、仕上がり時間を予測して、そこにラボ店での作業時間や余裕分を付加して決定する方法等、各種の方法が利用可能である。

以下、図２のフローチャートを参照して受付機１０の作用を説明することにより、本発明について、より詳細に説明する。また、本発明のプログラムは、コンピュータに以下に説明する画像選択の作用を実施させるプログラムである。

スタート画面（待機画面）において、顧客によってプリント注文の開始（スタート）が指示されると、ディスプレイコントローラ２４は、ディスプレイ１２にサービスの選択画面を表示する。
図示例の受付機１０が接続されるプリントシステムにおいては、顧客に提供するサービスとして、一例として、プリントの注文、プリントと同様の画像を記録したＣＤの注文、プリントおよび同ＣＤの両者の注文が設定され、選択可能となっている。なお、プリント注文でも、ＣＤの注文でも、以下に説明する画像の選択に関しては、同様である。

サービスが選択されたら、ディスプレイコントローラ２４は、次に、注文する画像を記録している記憶媒体の選択画面（媒体選択画面）をディスプレイ１２に表示する。なお、ここでキャンセルが指示されると、受付機１０は、サービス選択画面に戻る。本例では、一例として、プリント注文が選択されたとする。
顧客によって記憶媒体が選択されたら、ディスプレイコントローラ２４は、ディスプレイ１２に「読み取り準備ができました。メディアを装填して下さい」等の記憶媒体の装填指示画面を表示する。その後、記憶媒体が装填口１４からドライブ２０に装填されると、ドライブ２０が、記憶媒体に記録されている画像等を読み取って、記憶手段２２に記憶する。なお、記憶媒体の装填指示画面においてキャンセルが指示されると、受付機１０は、前記記憶媒体の選択画面に戻る（^＊１）。

記憶媒体に記録されている画像や各種の情報を読み取って、記憶手段２２に記憶したら、解析手段２６が情報を解析して、各画像を撮影日時に応じて分類する。前述のように、図示例においては、最上層に記憶媒体、その下層に撮影日の連続性に応じた層、その下層に撮影日に応じた層、その下層に撮影時間に応じた層を有するツリー構造を作成して、画像を各グループに分類する。
また、解析手段２６は、作成したツリー構造をディスプレイコントローラ２４に供給し、ディスプレイコントローラ２４は、図３に示すように、ディスプレイ１２に、このツリー構造を表示する（画面左側）。なお、この時点では、図３の画面右側に示す、後述する選択された分類に含まれる画像（サムネイル画像）は、表示されていない。また、各分類の下の括弧書きの数字は、この分類に含まれる画像数である。

前述のように、このツリー構造に最上層は記憶媒体（図３ではＣＤ）であり、その下層は、撮影日の連続性に応じて分類した層となる。
一般的に、１回の旅行や１つの行事などで撮影された画像は、撮影日が連続しているのが通常である。これに応じて、図示例においては、連続する撮影日を同じイベント(Event)として分類する。従って、撮影日が１日以上開いた場合には、それ以降の画像は異なるイベントとして、別々に分類される。
図示例においては、装填されたＣＤには、２００４年７月の２０日、２１日、２３日、および２４日に撮影された画像が記録されている。従って、２０日および２１日に撮影された画像はEvent-1（Event-1のフォルダ）に分類され、２３日および２４日に撮影された画像は、別のイベントであるEvent-2（Event-2のフォルダ）に分類される。

各イベントの下層には、撮影日毎に分類された層が形成される。
従って、Event-1の下層は、２０日に撮影された画像と２１日に撮影された画像とに分類され（各撮影日のフォルダが存在し）、Event-2の下層には２０日に撮影された画像と２１日に撮影された画像とに分類される（同前）。

さらに、各撮影日内において、撮影時間に応じた分類（グループ分け）が行われる。
例えば、旅行における同じ場所での撮影や、行事における１つの催し物で行われる撮影は、撮影時間が近いのが通常である。これに応じて、図示例においては、各画像の撮影時間の間隔に応じて、撮影順に応じて、撮影時間間隔が１時間未満で連続する画像を１つのグループとして分類し、撮影時間が１時間以上開いた場合には、それ以降に撮影された画像は、別のグループとする。
図示例においては、２０日、２１日、および２３日に撮影された画像は、撮影日の下層において、撮影時間の間隔に応じたGroup-1とGroup-2の２つのグループに分類されている。また、２４日に撮影された画像は、全てGroup-1に分類されている。

このような分類を行った画像のツリー構造をディスプレイ１２に表示したら、ディスプレイコントローラ２４は、「どの画像グループを選択しますか？」等の、分類の選択指示画面をディスプレイ１２に表示して、分類（画像のカテゴリー）の選択を促す。
なお、この分類選択の指示表示画面においてキャンセルが指示されると、受付機１０は、前記記憶媒体の選択画面に戻る。

次いで、顧客によって画像の分類が選択されたら、ディスプレイコントローラ２４は、記憶手段２２から、選択された分類に属する全画像を読み出し、そのサムネイル画像を作成して、図３に示すように、ツリー構造の右側にサムネイル画像を表示（以下、「画像を表示」とする）した、画像の選択画面を表示する。なお、本発明においては、ｈ熟す宇野分類の選択に対応可能であってもよいのは、もちろんである。
従って、分類としてＣＤが選択された場合には、このＣＤに記録された全画像を表示し、Event-1が選択された場合には、２０日および２１日に撮影された全画像を表示し、Event-2が選択された場合には、２３日および２４日に撮影された全画像を表示する。画像数が多くて全画像を表示できない場合には、スクロールや画面の切り替え（ページ切り替え）等の公知の方法で、選択された分類の全ての画像を表示する。
なお、画像の選択画面において、顧客によって分類が選択された後、ツリー構造の別の分類が選択された場合には、この分類が選択されたとして、この分類に対応する画像の選択画面を表示する。

図示例においては、分類として撮影日２００４年７月２０日が選択され、その下層のGroup-1の２９画像と、Group-2の１６画像をディスプレイ１２に表示している。
また、図示例においては、選択された分類に属する部分が、枠で囲まれる。

ここで、図示例の受付機１０においては、選択された分類の全画像をプリントを注文された画像と見なし、ディスプレイ１２では太枠で表示する（図示例では、プリント枚数４５）。このように、画像を撮影日時で分類して選択可能とし、さらに、選択された分類の画像を、全てプリント注文の対象画像とすることにより、顧客によるプリント注文画像の選択性や選択の利便性を向上し、かつ、操作数や手間を低減することができる。
なお、各画像のプリント注文の選択／非選択は、切り替えが可能であるのは当然のことである。図示例においては、画像の選択画面において、画像を選択（例えばサムネイル画像の押下）することによって、プリント注文の選択／非選択とが交互に切り替えられる。

この画像選択画面において、必要に応じて、顧客によって画像毎のプリント注文の選択／非選択の操作が行なわれた後、「プリント注文」ボタンが押下されると、次いで、ディスプレイコントローラ２４は、後述する、プリントサイズを選択するプリントサイズ選択画面をディスプレイ１２に表示する。

一方、図３に示す画像の選択画面において「人物選択」ボタンが押下されると、解析手段２６は、選択された分類の全ての画像について顔検出を行い、画像から検出した顔を含む所定領域を切り出し、好ましい態様として切り出した必要に応じて領域を拡大／縮小して所定サイズの顔画像とし、元の画像と対応付けしてディスプレイコントローラ２４に供給する。なお、一枚の写真に複数の人物が写っている場合には、全ての顔を検出して、顔画像とする。
各顔画像を供給されたディスプレイコントローラ２４は、図４に示すように、選択画面において、供給された顔画像を、対応する画像（その顔が切り出された元画像）の隣に表示する。すなわち、顔画像と画像（元画像）とを１つのセットとして表示する。
また、前述のように、図３の状態では、選択された分類の全画像がプリントを注文された状態となっているが、「人物選択」ボタンが押下されると、全画像に対するプリント注文の状態が取り消される（プリント枚数０）。

このようにディスプレイ１２に顔画像を表示したら、ディスプレイコントローラ２４は、図４に示すように、例えば「プリントする人の顔を選択して下さい」と、ディスプレイ１２に顔選択（顔画像選択）の指示を表示する。なお、選択された顔画像は、選択画面の上方に表示される（図５参照）。また、顔画像の選択数は、１つでも複数でもよく、また、全て同一人物であっても、異なる人物であってもよい。
図示例においては、図４の上から３段目で左から２番目、および、上から４段目で最も左の、同一人物の顔画像が選択されたとする。

顔画像が選択され、「類似人物検索」ボタンが押下されると、解析手段２６は、選択された顔画像の顔と、それ以外の顔画像の顔との類似度を検出（演算）して、選択された顔画像と同一人物が撮影されている画像を検索し、かつ、類似度が高い顔画像に対応する順番に、各画像の順位付けを行なう。すなわち、選択された顔画像の人物に、より似ている人物が存在する順に、画像の順位付けを行なう。
なお、複数の顔画像が選択され、かつ、異なる人物である場合には、全ての人物が写っている画像を検出する人物検索（いわゆるａｎｄ検索）と、少なくとも一人が写っている画像を検索する人物検索（いわゆるｏｒ検索）とが選択できるようにするのが好ましい。

次いで、解析手段２６は、この類似度の高い順に画像（画像と顔画像のセット）を並べ替えて表示するように、ディスプレイコントローラ２４に指示を出す。
さらに、解析手段２６は、好ましい態様として、対応する顔画像の類似度が、適宜設定された閾値を超える画像をプリントを注文された画像とし、かつ、類似度が前記閾値以下の画像は、プリントを注文されていない画像とするように、ディスプレイコントローラ２４や注文情報処理手段２８等の受付機１０の所定部位に指示を出す。先の分類選択の際と同様に、このような構成とすることにより、顧客の利便性や画像の選択容易性、操作性等を向上することができる。

この表示順の指示を受けたディスプレイコントローラ２４は、図５に示すように、解析手段２６から指示された、選択された顔画像と、顔画像の類似度が高い順に、画像を並べ替えてディスプレイに表示する。また、顔画像の類似度が前記閾値を超えている画像は、プリントを注文された画像として、太枠で示す。図示例においては、２１の画像（プリント枚数２１）が、類似度が前記閾値を超えた、プリント注文された画像となっている。
なお、この画面における各画像毎のプリント注文の選択／非選択は、先の図３に示す画面と同様に、画像の押下によって交互に選択状態と非選択状態となる。

さらに、この顔画像の類似度順に画像を並べた画面では、「顔選択」ボタンが表示される。この「顔選択」ボタンが押下されると、受付機１０は、図４に示す顔選択の指示画面に戻る。

必要に応じて、顧客によって各画像毎のプリント注文の選択／非選択が行なわれた後に、プリント注文が押下されると、ディスプレイコントローラ２４は、プリントサイズの選択画面を表示する。なお、プリントサイズの選択は、通常のプリント注文受付機と同様に公知の方法で行えばよい。
なお、この画面でキャンセルが指示されると、受付機１０は、画像の分類が選択された後の画像の選択画面に戻る（^＊２）。

顧客によってサイズ選択が行なわれ、サイズＯＫが指示されると、ディスプレイコントローラ２４は、この件（このプリント注文）に関するオーダーの一覧をディスプレイ１２に表示する。なお、プリントサイズが選択／ＯＫ指示された時点では、プリントを注文された各画像毎に１枚ずつ、前記プリントサイズの選択画面で選択されたサイズのプリントを注文した状態となっている。
オーダ一覧に表示する項目としては、一例として、プリント注文された画像のサムネイル画像、画像名（例えば、ファイル名）、プリントサイズ、プリント枚数、プリントを作成するプリンタ（機種名など）等が例示される。

このオーダ一覧の表示画面では、各画像毎のプリントサイズやプリント枚数等のオーダ変更が可能になっている。なお、これらの変更は、各種のプリント注文受付機で行なわれている公知の方法によればよい。
また、オーダ一覧の表示画面でキャンセルが指示されると、受付機１０は、画像の分類が選択された後の画像の選択画面に戻る。

顧客によって、必要に応じてオーダの変更が行なわれ、プリント注文ＯＫが指示されると、注文情報処理手段２６が、この件の受付番号を生成すると共に、ディスプレイ１２から供給された注文指示や解析手段２６による解析結果を処理し、かつ、記憶手段２２からプリント注文された画像を読み出して、プリント注文された画像（プリントを作成する画像）と、受付番号、プリント枚数、プリントサイズ、および仕上がり時間等の注文情報とを対応付けして、前述のようにラボ店のサーバ等に供給する。
また、注文情報処理手段２８は、必要な情報を前記受付伝票を作成するプリンタに供給し、このプリンタが受付伝票を作成／出力する。

以上の説明より明らかなように、本発明によれば、人物を顔を用いて画像を選択し、かつ、顔の類似度に応じた順番で画像を表示するので、非常に多くの画像が存在す場合であっても、非常に良好な効率で、迅速かつ簡易に画像の選択を行なうことができる。また、好ましくは人物の選択に先立ち、撮影日時に応じてて画像を分類して、選択可能にすることで、より、効率のよい画像選択を行なうことができる。
また、本発明によれば、画像（元画像）から切り出した顔画像と、画像とを並べて表示して、画像の選択を行なう。人物による画像選択を行なう方法としては、顔を拡大表示して顔画像を選択させ、必要に応じて元画像を表示して、選択の良否（選択／非選択）を判定させる方法が考えられる。しかしながら、プリント注文などに画像選択では、人物に加え、一緒に写っている人物、背景、顔の大きさ等が非常に重要である。そのため、顔を拡大表示して画像を選択させる方法では、所望の画像を選択するまでに、何度も選択および表示の切り替えを行なうことが必要になったり、結果的に、所望の写真が選べない場合も有り得る。これに対し、本発明においては、顔画像と画像とを並べて表示することにより、顔および画像全体を確認しつつ、画像選択を行なうことができるので、非常に良好な効率で、迅速かつ適正に画像の選択を行なうことができる。
従って、本発明によれば、非常に効率よく、迅速、簡易かつ適正に画像を選択することができるので、例えば図示例のような（プリント注文）受付機１０に利用することにより、記憶媒体に非常に多数の画像が記録されている場合であっても、個々の顧客による注文時間を大幅に短縮することができる。

以上の例では、本発明を専用の（プリント注文）受付機１０に利用した例であるが、本発明は、これに限定はされない。例えば、完全な専用機ではなく、ラボ店等が有するＰＣに専用の注文受付用ソフトウエアをインストールすることにより、このＰＣを本発明のプリント注文受付機として作用させてもよい。
また、本発明は、自宅などのＰＣ（パーソナルコンピュータ）等から、インターネット等のコンピュータ通信ネットワークを用いてプリント作成を注文する、いわゆるネット注文や、携帯電話からのＥメールでの注文等にも対応可能である。すなわち、この際には、顧客の自宅のＰＣ等が本発明のプリント注文受付機となる。この際においては、例えば、ラボ店等が開設しているホームページなどにアクセスして閲覧することで、ＰＣ等をプリント注文受付機として作用させてもよく、専用の注文用ソフトウエアをＰＣ等にダウンロード／インストールして、ＰＣ等をプリント注文受付機として作用させてもよい。

以上、本発明の画像選択方法、画像選択装置、プログラム、および、プリント注文受付機について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
例えば、以上の例では、類似人物検索の後、類似度の高い順に画像を並べたが、本発明は、これに限定はされず、類似度の低い順に画像を並べてもよく、あるいは、いずれかを選べるようにしてもよい。

（Ａ）は、本発明のプリント注文受付機の一例の概略斜視図を、（Ｂ）は、その構成を概念的に示すブロック図である。 図１に示すプリント注文受付機の作用を説明するためのフローチャートである。 図１に示すプリント注文受付機における画面表示を概念的に示す図である。 図１に示すプリント注文受付機における画面表示を概念的に示す図である。 図１に示すプリント注文受付機における画面表示を概念的に示す図である。

符号の説明

１０ （プリント注文）受付機
１２ ディスプレイ
１４ 装填口
１６ 出力口
２０ ドライブ
２２ 記憶手段
２４ ディスプレイコントローラ
２６ 解析手段
２８ 注文情報処理手段

Claims (20)

1. 取得手段によって光学的に撮影された画像の画像データを取得して、解析手段によって前記取得した画像データの各画像から人物の顔を検出し、画像と検出した顔画像とを並べて１セットとしてディスプレイに表示し、入力手段による顔画像の選択に応じて、前記選択された顔画像と他の顔画像との類似度を前記解析手段によって検出し、この顔画像の類似度に応じて、前記顔画像の類似度が高い順となるように前記ディスプレイにおける前記セットの表示順を変更することを特徴とする画像選択方法。
2. 前記取得手段が画像データを取得したら、撮影日時に応じた前記画像の分類を前記解析手段が行なって、この分類を前記ディスプレイに表示し、前記入力手段によって選択された区分の画像のみ、前記ディスプレイでの画像の表示を行う請求項１に記載の画像選択方法。
3. 前記解析手段は、前記撮影日時に応じた画像の分類を、撮影日の連続性、撮影日および撮影時間に応じて行い、かつ、前記撮影日の連続性に応じて画像を分類した層、その下層の前記撮影日に応じて画像を分類した層、および、その下層の前記撮影時間に応じて画像を分類した層を有するツリー構造を作成し、
   前記ディスプレイは、このツリー構造を表示する請求項２に記載の画像選択方法。
4. 前記解析手段は、前記撮影日の連続性に応じた画像の分類においては、撮影日が連続する画像を同じ区分とし、前記撮影時間に応じた画像の分類においては、撮影時間間隔が１時間未満で連続する前記画像を同じ区分とする請求項３に記載の画像選択方法。
5. 前記類似度が所定の閾値を超えた顔画像に対応する画像は、選択された画像として扱う請求項１〜４のいずれかに記載の画像選択方法。
6. 光学的に撮影された画像の画像データの取得手段と、入力手段と、ディスプレイと、解析手段とを有し、
   前記取得手段が取得した画像データを前記解析手段で解析して、各画像から人物の顔を検出し、各画像と検出した顔画像とを並べて１セットとして前記ディスプレイに表示し、その後、前記入力手段によって顔画像が選択されたら、前記解析手段によって、選択された顔画像と他の顔画像との類似度を検出して、この顔画像の類似度に応じて、前記顔画像の類似度が高い順となるように前記ディスプレイにおける前記セットの表示順を変更することを特徴とする画像選択装置。
7. 前記取得手段が画像データを取得したら、前記解析手段が撮影日時に応じた画像の分類を行い、この分類結果を前記ディスプレイに表示して、前記入力手段によって選択された区分に付いてのみ、前記ディスプレイに画像を表示する請求項６に記載の画像選択装置。
8. 前記解析手段は、前記撮影日時に応じた画像の分類を、撮影日の連続性、撮影日および撮影時間に応じて行い、かつ、前記撮影日の連続性に応じて画像を分類した層、その下層の前記撮影日に応じて画像を分類した層、および、その下層の前記撮影時間に応じて画像を分類した層を有するツリー構造を作成し、
   前記ディスプレイは、このツリー構造を表示する請求項７に記載の画像選択装置。
9. 前記解析手段は、前記撮影日の連続性に応じた画像の分類においては、撮影日が連続する画像を同じ区分とし、前記撮影時間に応じた画像の分類においては、撮影時間間隔が１時間未満で連続する前記画像を同じ区分とする請求項８に記載の画像選択装置。
10. 前記類似度が所定の閾値を超えた顔画像に対応する画像は、選択された画像として扱う請求項６〜９のいずれかに記載の画像選択装置。
11. 取得手段によって光学的に撮影された画像の画像データを取得するステップ、前記取得した画像データの各画像から解析手段によって人物の顔を検出するステップ、各画像と検出した顔画像とを並べて１セットとしてディスプレイに表示するステップ、入力手段によって前記顔画像の選択を実施させるステップ、前記選択された顔画像と、他の顔画像との類似度を前記解析手段によって検出するステップ、および、前記検出した顔画像の類似度に応じて、前記顔画像の類似度が高い順となるように前記ディスプレイおける前記セットの表示順を変更するステップ、をコンピュータに実行させることを特徴とするプログラム。
12. 前記取得手段が前記画像データを取得するステップの後に、撮影日時に応じた前記画像の分類を前記解析手段が行うステップ、分類結果を前記ディスプレイに表示するステップ、および、前記分類された区分を前記入力手段によって選択させるステップを実行させ、かつ、前記選択された区分についてのみ前記ディスプレイに画像の表示を行なう請求項１１に記載のプログラム。
13. 前記解析手段は、前記撮影日時に応じた画像の分類を、撮影日の連続性、撮影日および撮影時間に応じて行い、かつ、前記撮影日の連続性に応じて画像を分類した層、その下層の前記撮影日に応じて画像を分類した層、および、その下層の前記撮影時間に応じて画像を分類した層を有するツリー構造を作成し、
    前記ディスプレイは、このツリー構造を表示する請求項１２に記載のプログラム。
14. 前記解析手段は、前記撮影日の連続性に応じた画像の分類においては、撮影日が連続する画像を同じ区分とし、前記撮影時間に応じた画像の分類においては、撮影時間間隔が１時間未満で連続する前記画像を同じ区分とする請求項１３に記載のプログラム。
15. 前記類似度が所定の閾値を超えた顔画像に対応する画像は、選択された画像として扱う請求項１１〜１４のいずれかに記載のプログラム。
16. 画像データからのプリント注文を受け付けるプリント注文受付機であって、光学的に撮影された画像の画像データの取得手段と、入力手段と、ディスプレイと、解析手段とを有し、かつ、プリントを注文する画像の選択方法として、少なくとも個々の画像を選択する選択方法と人物による選択方法とを有し、
    前記取得手段が画像データを取得したら、前記解析手段が撮影日時に応じた画像の分類を行い、この分類結果を前記ディスプレイに表示して、前記入力手段によって選択された区分の画像を前記ディスプレイに表示し、
    前記入力手段によって前記人物による選択方法が指示されたら、前記選択された区分の画像について、前記解析手段で人物の顔検出を行い、前記表示した各画像について、画像と検出した顔画像とを並べて１セットとして表示し、
    前記入力手段によって、前記顔画像が選択されたら、前記解析手段によって選択された顔画像と他の顔画像との類似度を検出して、この顔画像の類似度に応じて、前記顔画像の類似度が高い順となるように前記ディスプレイにおける前記セットの表示順を変更することを特徴とするプリント注文受付機。
17. 前記解析手段は、前記撮影日時に応じた画像の分類を、撮影日の連続性、撮影日および撮影時間に応じて行い、かつ、前記撮影日の連続性に応じて画像を分類した層、その下層の前記撮影日に応じて画像を分類した層、および、その下層の前記撮影時間に応じて画像を分類した層を有するツリー構造を作成し、
    前記ディスプレイは、このツリー構造を表示する請求項１６に記載のプリント注文受付機。
18. 前記解析手段は、前記撮影日の連続性に応じた画像の分類においては、撮影日が連続する画像を同じ区分とし、前記撮影時間に応じた画像の分類においては、撮影時間間隔が１時間未満で連続する前記画像を同じ区分とする請求項１７に記載のプリント注文受付機。
19. 前記セットの表示順を変更した際において、前記類似度が所定の閾値を超えている画像は、プリントを注文された画像として扱う請求項１６〜１８のいずれかに記載のプリント注文受付機。
20. 前記選択された区分の画像を、プリントを注文された画像として扱う請求項１６〜１９のいずれかに記載のプリント注文受付機。

Images