JP7053422B2 - 画像処理装置,画像処理方法および画像処理プログラム - Google Patents

画像処理装置,画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP7053422B2
JP7053422B2 JP2018174487A JP2018174487A JP7053422B2 JP 7053422 B2 JP7053422 B2 JP 7053422B2 JP 2018174487 A JP2018174487 A JP 2018174487A JP 2018174487 A JP2018174487 A JP 2018174487A JP 7053422 B2 JP7053422 B2 JP 7053422B2
Authority
JP
Japan
Prior art keywords
image
images
group
theme
image group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018174487A
Other languages
English (en)
Other versions
JP2020046901A (ja
Inventor
晋平 野田
徹也 松本
壮也 臼杵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018174487A priority Critical patent/JP7053422B2/ja
Priority to US16/543,209 priority patent/US11715328B2/en
Priority to CN201910787471.4A priority patent/CN110933223B/zh
Publication of JP2020046901A publication Critical patent/JP2020046901A/ja
Application granted granted Critical
Publication of JP7053422B2 publication Critical patent/JP7053422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • H04N1/00177Digital image input from a user terminal, e.g. personal computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00188Printing, e.g. prints or reprints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

この発明は,画像処理装置,画像処理方法および画像処理プログラムに関する。
ディジタル・カメラ,スマートフォンの普及に伴い,画像の撮影枚数が格段に増加している。撮影した画像を表す画像データをメモリ・カードやスマートフォンの本体に保存しただけでは,撮影した画像が埋もれてしまう。画像を見つけるために,再プリントを作成するデータ検索を行うもの(特許文献1),類似した画像を検索するもの(特許文献2),ユーザにとって重要度が高い画像を抽出するもの(特許文献3),人の感性に合わせた画像を推薦することが可能なもの(特許文献4)などが考えられている。また、月ごとに定額の料金を支払うことを予め約して、ユーザから一定枚数の写真データの指定を受けると、それらの写真プリントまたはそれらの写真を合成して構成されるフォトブックを提供するというサービスも提供されている(非特許文献1)。
特開2003-288350号公報 特開2005-065728号公報 特開2017-010251号公報 特開2013-196417号公報 dフォトプリントサービス機能(https://photo-collection.nttdocomo.co.jp/dphoto/service/)
非特許文献1のようなサービスを申し込んで、撮影した画像の中から一定枚数の画像を選択して定期的にプリントすることを考えた場合,どのような画像を多数の画像の中から選択すればユーザにとって好ましいかについて検討された技術はない特許文献1は,再プリントするものであるから,プリントしていない画像の中からどのような画像を選択すればよいかについては考えられていない。特許文献2は,診断対象に類似した画像を検索するものであり,定期的にどのような画像を見つければよいかについては全く考えられていない。特許文献3は,重要度が高い画像を抽出するものであり,定期的にどのような画像を選択すればよいかについては考慮していない。特許文献4は,選択する人の感性に合わせた画像を推薦するものであり,やはり,定期的にどのような画像を選択すればよいかについては考慮していない。
この発明は,定期的に画像を選択するに当たり、多数の画像の中からユーザにとって好ましい画像を選択できるようにすることを目的とする。
本発明者は、多数の画像から定期的に画像を選択する際に、各期間において選択した画像群に共通性があると、ユーザにとって好ましいことを見出し、本発明に到達した。この発明による画像処理装置は,1または複数の画像を選択する対象の画像群を入力する画像群入力手段,および第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させる第1の報知制御手段を備えていることを特徴とする。選択基準作成手段は,画像処理装置が備えていてもよいし,画像処理装置とは別の装置が備えていてもよい。たとえば,スマートフォン(クライアント・コンピュータ)と画像サーバとが通信しながら処理を行う場合,スマートフォン(クライアント・コンピュータ)が選択基準作成手段を備えていてもよいし,画像サーバが選択基準作成手段を備えていてもよい。
この発明は,画像処理装置に適した画像処理方法も提供している。すなわち,この方法は,画像群入力手段が,1または複数の画像を選択する対象の画像群を入力し,第1の報知制御手段が,第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させることを特徴とする。
この発明は,画像処理装置のコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
また,画像処理装置がプロセッサを備え,プロセッサが,1または複数の画像を選択する対象の画像群を入力させ,第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とから選択基準作成手段によって作成される,画像を選択する基準にもとづいて,入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させるようしてもよい。
選択基準作成手段は,たとえば,第1の画像と第2の画像とから共通に得られるテーマをもつ画像を選択するように基準を作成してもよい。
選択基準作成手段は,たとえば,複数の第1の画像のうちの一の画像と複数の第2の画像のうちの一の画像とから共通に得られるテーマであり,かつ複数の第1の画像のうちの他の画像と複数の第2の画像のうちの他の画像とから共通に得られるテーマ以外のテーマをもつ画像を選択するように基準を作成してもよい。
選択基準作成手段は,たとえば,複数の第1の画像の全体のテーマと複数の第2の画像の全体のテーマとから共通に得られるテーマをもつ画像を選択するように基準を作成してもよい。
選択基準作成手段は,たとえば,第1の画像と第2の画像との両方に類似する第1の類似度が第1のしきい値以上の画像を対象の画像群の中から選択するように基準を作成してもよい。
選択基準作成手段は,たとえば,第1の画像に含まれる被写体と第2の画像に含まれる被写体との共通の被写体が変化する様子を示す画像を選択するように基準を作成してもよい。
選択基準作成手段をさらに備えていてもよい。
選択基準作成手段において作成された基準を表すデータを受信する受信手段をさらに備えてもよい。この場合,たとえば,第1の報知制御手段は,受信手段において受信したデータによって表される基準にもとづいて第1の情報を第1の報知手段に報知させるとよい。
第1の報知制御手段における第1の情報の報知は,たとえば,対象の画像群の中から選択する画像として推奨する画像そのものを,対象の画像群のうち推奨する画像以外の画像と区別する表示である。
第1の報知制御手段における第1の情報の報知は,たとえば,対象の画像群の中から選択する画像として推奨する画像にマークを付与して表示することである。
第1の報知制御手段における第1の情報の報知は,たとえば,対象の画像群の中から選択する画像として推奨する画像における被写体の様子を文字列またはサンプル画像によって表示することである。
第1の報知制御手段における第1の情報の報知は,たとえば,第1の画像または第2の画像のうち,対象の画像群の中から選択する画像との第2の類似度が第2のしきい値以上の画像を表示することである。
第1の画像と第2の画像とから得られるテーマをもつ画像を撮影するようにテーマについての第2の情報を報知する第2の報知制御手段をさらに備えてもよい。
第2の報知制御手段における第2の情報の報知は,たとえば,テーマの表示である。
第2の報知制御手段における第2の情報の報知は,たとえば,テーマに沿ったサンプル画像の表示である。
第2の報知制御手段における第2の情報の報知は,たとえば,第1の画像または第2の画像のうち,共通のテーマをもつ画像を表示することである。
複数の第1の画像と複数の第2の画像とのうち,共通のテーマをもつ画像を,複数の第1の画像と複数の第2の画像とのそれぞれか1つずつ順に一定時間の間表示させるように表示装置を制御する表示制御手段をさらに備えてもよい。
第1の画像群の撮影時期と,第2の画像群の撮影時期と,対象の画像群の撮影時期とが異なっていてもよい。
この発明によると,選択された第1の画像と第2の画像とから作成される基準にもとづいて,対象の画像群の中から選択する画像として推奨する画像についての第1の情報が報知される。したがって,その第1の情報にもとづいて,選択された第1の画像と第2の画像とに共通性を有するような画像を,対象の画像群から選択できる。結果として、多数の画像から定期的に画像を選択する際に、ユーザにとって好ましい画像を選択することが可能となる。
スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。 スマートフォンの処理手順を示すフローチャートである。 スマートフォンの処理手順を示すフローチャートである。 スマートフォンの表示パネルに表示される画面の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 推奨画像の決定処理手順を示すフローチャートである。 第1の画像群の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 第2の画像群の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 対象画像群の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 スマートフォンの表示パネルに表示される画面の一例である。 撮影アシスト処理手順を示すフローチャートである。 スマートフォンの表示パネルに表示される画面の一例である。 ショート・ムービの再生処理手順を示すフローチャートである。 スマートフォンの表示パネルに表示される画面の一例である。 ショート・ムービの再生内容を示している。 スマートフォンと画像サーバとの関係を示している。 スマートフォンと画像サーバとの処理手順を示すフローチャートである。
[主実施例]
図1は,本発明の画像処理装置の一実施形態であるスマートフォン1の外観を示すものである。図1に示すスマートフォン1は,平板状の筐体2を有し,筐体2の一方の面に表示部としての表示パネル21と,入力部としての操作パネル22とが一体となった表示入力部20を備えている。また,係る筐体2は,マイクロホン32と,スピーカ31,操作部40と,カメラ部41とを備えている。なお,筐体2の構成はこれに限定されず,例えば,表示部と入力部とが独立した構成を採用したり,折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図2は,図1に示すスマートフォン1の構成を示すブロック図である。図2に示すように,スマートフォンの主たる構成要素として,無線通信部10と,表示入力部20と,通話部30と,操作部40と,カメラ部41と,記憶部50と,外部入出力部60と,GPS(Global Positioning System)受信部70と,モーションセンサ部80と,電源部90と,主制御部100とを備える。また,スマートフォン1の主たる機能として,基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部10は,主制御部100の指示にしたがって,移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。係る無線通信を使用して,音声データ,画像データ等の各種ファイルデータ,電子メールデータなどの送受信や,Webデータやストリーミングデータなどの受信を行う。
表示入力部20は,主制御部100の制御により,画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに,表示した情報に対するユーザ操作を検出する,いわゆるタッチパネルであって,表示パネル21と,操作パネル22とを備える。
表示パネル21は,LCD(Liquid Crystal Display),OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル22は,表示パネル21の表示面上に表示される画像を視認可能に載置され,ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると,操作に起因して発生する検出信号を主制御部100に出力する。次いで,主制御部100は,受信した検出信号に基づいて,表示パネル21上の操作位置(座標)を検出する。
図1に示すように,本発明の画像処理装置の一実施形態として例示しているスマートフォン1の表示パネル21と操作パネル22とは一体となって表示入力部20を構成しているが,操作パネル22が表示パネル21を完全に覆うような配置となっている。係る配置を採用した場合,操作パネル22は,表示パネル21外の領域についても,ユーザ操作を検出する機能を備えてもよい。換言すると,操作パネル22は,表示パネル21に重なる重畳部分についての検出領域(以下,表示領域と称する)と,それ以外の表示パネル21に重ならない外縁部分についての検出領域(以下,非表示領域と称する)とを備えていてもよい。
なお,表示領域の大きさと表示パネル21の大きさとを完全に一致させても良いが,両者を必ずしも一致させる必要は無い。また,操作パネル22が,外縁部分と,それ以外の内側部分の2つの感応領域を備えていてもよい。更に,外縁部分の幅は,筐体2の大きさなどに応じて適宜設計されるものである。更にまた,操作パネル22で採用される位置検出方式としては,マトリクススイッチ方式,抵抗膜方式,表面弾性波方式,赤外線方式,電磁誘導方式,静電容量方式などが挙げられ,いずれの方式を採用することもできる。
通話部30は,スピーカ31やマイクロホン32を備え,マイクロホン32を通じて入力されたユーザの音声を主制御部100にて処理可能な音声データに変換して主制御部100に出力したり,無線通信部10あるいは外部入出力部60により受信された音声データを復号してスピーカ31から出力したりするものである。また,図1に示すように,例えば,スピーカ31を表示入力部20が設けられた面と同じ面に搭載し,マイクロホン32を筐体2の側面に搭載することができる。
操作部40は,キースイッチなどを用いたハードウェアキーであって,ユーザからの指示を受け付けるものである。例えば,図1に示すように,操作部40は,スマートフォン1の筐体2の側面に搭載され,指などで押下されるとオンとなり,指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部50は,主制御部100の制御プログラムや制御データ,アプリケーションソフトウェア,通信相手の名称や電話番号などを対応づけたアドレスデータ,送受信した電子メールのデータ,WebブラウジングによりダウンロードしたWebデータや,ダウンロードしたコンテンツデータを記憶し,またストリーミングデータなどを一時的に記憶するものである。また,記憶部50は,スマートフォン内蔵の内部記憶部51と着脱自在な外部メモリスロットを有する外部記憶部52により構成される。なお,記憶部50を構成するそれぞれの内部記憶部51と外部記憶部52は,フラッシュメモリタイプ(flash memory type),ハードディスクタイプ(hard disk type),マルチメディアカードマイクロタイプ(multimedia card micro type),カードタイプのメモリ(例えば,MicroSD(登録商標)メモリ等),RAM(Random Access Memory),ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部60は,スマートフォン1に連結される全ての外部機器とのインターフェースの役割を果たすものであり,他の外部機器に通信等(例えば,ユニバーサルシリアルバス(USB),IEEE1394など)又はネットワーク(例えば,インターネット,無線LAN,ブルートゥース(Bluetooth)(登録商標),RFID(Radio Frequency Identification),赤外線通信(Infrared Data Association:IrDA)(登録商標),UWB(Ultra Wideband)(登録商標),ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン1に連結される外部機器としては,例えば,有/無線ヘッドセット,有/無線外部充電器,有/無線データポート,カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード,オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器,無線接続される外部オーディオ・ビデオ機器,有/無線接続されるスマートフォン,有/無線接続されるパーソナル・コンピュータ,有/無線接続されるPDA,有/無線接続されるパーソナル・コンピュータ,イヤホンなどがある。外部入出力部は,このような外部機器から伝送を受けたデータをスマートフォン1の内部の各構成要素に伝達することや,スマートフォン1の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部70は,主制御部100の指示にしたがって,GPS衛星ST1~STnから送信されるGPS信号を受信し,受信した複数のGPS信号に基づく測位演算処理を実行し,当該スマートフォン1の緯度,経度,高度からなる位置を検出する。GPS受信部70は,無線通信部10や外部入出力部60(例えば,無線LAN)から位置情報を取得できる時には,その位置情報を用いて位置を検出することもできる。
モーションセンサ部80は,例えば,3軸の加速度センサなどを備え,主制御部100の指示にしたがって,スマートフォン1の物理的な動きを検出する。スマートフォン1の物理的な動きを検出することにより,スマートフォン1の動く方向や加速度が検出される。係る検出結果は,主制御部100に出力されるものである。
電源部90は,主制御部100の指示にしたがって,スマートフォン1の各部に,バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部100は,マイクロプロセッサを備え,記憶部50が記憶する制御プログラムや制御データにしたがって動作し,スマートフォン1の各部を統括して制御するものである。また,主制御部100は,無線通信部10を通じて,音声通信やデータ通信を行うために,通信系の各部を制御する移動通信制御機能と,アプリケーション処理機能を備える。
アプリケーション処理機能は,記憶部50が記憶するアプリケーションソフトウェアにしたがって主制御部100が動作することにより実現するものである。アプリケーション処理機能としては,例えば,外部入出力部60を制御して対向機器とデータ通信を行う赤外線通信機能や,電子メールの送受信を行う電子メール機能,Webページを閲覧するWebブラウジング機能などがある。
また,主制御部100は,受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて,映像を表示入力部20に表示する等の画像処理機能を備える。画像処理機能とは,主制御部100が,上記画像データを復号し,係る復号結果に画像処理を施して,画像を表示入力部20に表示する機能のことをいう。
更に,主制御部100は,表示パネル21に対する表示制御と,操作部40,操作パネル22を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により,主制御部100は,アプリケーションソフトウェアを起動するためのアイコンや,スクロールバーなどのソフトウェアキーを表示したり,あるいは電子メールを作成するためのウィンドウを表示したりする。なお,スクロールバーとは,表示パネル21の表示領域に収まりきれない大きな画像などについて,画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また,操作検出制御の実行により,主制御部100は,操作部40を通じたユーザ操作を検出したり,操作パネル22を通じて,上記アイコンに対する操作や,上記ウィンドウの入力欄に対する文字列の入力を受け付けたり,あるいは,スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に,操作検出制御の実行により主制御部100は,操作パネル22に対する操作位置が,表示パネル21に重なる重畳部分(表示領域)か,それ以外の表示パネル21に重ならない外縁部分(非表示領域)かを判定し,操作パネル22の感応領域や,ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また,主制御部100は,操作パネル22に対するジェスチャ操作を検出し,検出したジェスチャ操作に応じて,予め設定された機能を実行することもできる。ジェスチャ操作とは,従来の単純なタッチ操作ではなく,指などによって軌跡を描いたり,複数の位置を同時に指定したり,あるいはこれらを組み合わせて,複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部41は,CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また,カメラ部41は,主制御部100の制御により,撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し,記憶部50に記録したり,入出力部60や無線通信部10を通じて出力したりすることができる。図1に示すにスマートフォン1において,カメラ部41は表示入力部20と同じ面に搭載されているが,カメラ部41の搭載位置はこれに限らず,表示入力部20の背面に搭載されてもよいし,あるいは,複数のカメラ部41が搭載されてもよい。なお,複数のカメラ部41が搭載されている場合には,撮影に供するカメラ部41を切り替えて単独にて撮影したり,あるいは,複数のカメラ部41を同時に使用して撮影したりすることもできる。
また,カメラ部41はスマートフォン1の各種機能に利用することができる。例えば,表示パネル21にカメラ部41で取得した画像を表示することや,操作パネル22の操作入力のひとつとして,カメラ部41の画像を利用することができる。また,GPS受信部70が位置を検出する際に,カメラ部41からの画像を参照して位置を検出することもできる。更には,カメラ部41からの画像を参照して,3軸の加速度センサを用いずに,或いは,3軸の加速度センサと併用して,スマートフォン1のカメラ部41の光軸方向を判断することや,現在の使用環境を判断することもできる。勿論,カメラ部41からの画像をアプリケーションソフトウェア内で利用することもできる。
その他,静止画又は動画の画像データにGPS受信部70により取得した位置情報,マイクロホン32により取得した音声情報(主制御部等により,音声テキスト変換を行ってテキスト情報となっていてもよい),モーションセンサ部80により取得した姿勢情報等などを付加して記憶部50に記録したり,入出力部60や無線通信部10を通じて出力したりすることもできる。
図3および図4は,スマートフォン1の処理手順を示すフローチャートである。
インターネットなどを介して得られたプログラムが,スマートフォン1にあらかじめスンストールされており,そのプログラムが起動させられることにより,図3および図4に示す処理が開始する。また外部記憶部52などの記録媒体にプログラムが記憶されており,外部記憶部52から読み出されたプログラムがスマートフォン1にインストールされてもよい。このプログラムは,ある月に撮影された画像の中から,プリントする画像を選択する処理を行うもので,特に,ある月に撮影された画像の中からプリントする画像として推奨する画像をユーザに報知する処理が行なわれる。
プログラムが起動するとスマートフォン1の表示パネル21には,図5に示すホーム画面が表示される(ステップ101)。
ホーム画面のほぼ全体に渡って11個の画像表示領域129が形成されている(画像表示領域129は11個未満でも12個以上でもよい)。ホーム画面のほぼ左上には,撮影月表示領域128が表示されている。撮影月表示領域128には,「6月」の文字列と「2018年」の文字列とが表示されている。プログラム起動後のホーム画面の撮影月表示領域128には,プログラムの起動時に対応する年月が表示される。図5に示すホーム画面においては,2018年6月にプログラムが起動させられたこととなる。
ホーム画面の上部には,撮影年月指定領域121が形成されている。撮影年月指定領域121には,撮影年表示領域122およびプルダウン・ボタン123が形成されている。プルダウン・ボタン123をプルダウンすることにより,プルダウン・メニューが現われ,ユーザは,所望の撮影年を選択できる。撮影年表示領域122の右側には,撮影月指定領域124,125および126が形成されている。撮影年月指定領域121を左右にスクロールすることにより,これらの撮影月指定領域124,125および126に表示される月が切り替わる。図5に示すホーム画面においては撮影月指定領域124,125および126には,それぞれ「5月」,「6月」および「7月」が表示されており,中央の撮影月指定領域125に表示されている「6月」の文字列が囲まれている。「6月」が囲まれていることから,画像表示領域129に表示される画像が撮影された月として「6月」が選択されていることを示している。撮影月指定領域125の右側には検索ボタン127が形成されている。画像表示領域129の左下には画像追加領域130が形成されている。画像追加領域130がタッチされることにより,ホーム画面に表示される画像表示領域129の数が一つ増える。
ホーム画面の下部には「注文」の文字列が表示されている注文ボタン131が表示されている。画像のプリントを注文する場合に注文ボタン131がタッチされる。また,ホーム画面の最下部には,「ホーム」の文字列が表示されているホーム・ボタン132,「物販」の文字列が表示されている物販ボタン133および「メニュー」の文字列が表示されているメニュー・ボタン134が形成されている。
画像が選択されていない状態では,画像表示領域129には画像が表示されていない。画像が表示されていない状態において,11個の画像表示領域129のうち,いずれかの画像表示領域129がタッチされると(ステップ102でYES),表示パネル21には,図6に示す画像フォルダ画面が表示される。
図6は,表示パネル21に表示される画像フォルダ画面の一例である。
画像フォルダ画面には,画像フォルダ・アイコン141から146が表示されており,それらの画像フォルダ・アイコン141から146のそれぞれの右側にはフォルダ名が表示されている。画像フォルダ・アイコン141は,ある月(図6に示す例では2018年6月)に撮影された画像のすべての画像を格納する画像フォルダを表している。その他の画像フォルダ・アイコン142から146は,その月に撮影された画像のうち,ユーザによって生成された画像フォルダのアイコンを表している。表示パネル21に表示されている画像フォルダ・アイコン141から146以外の画像フォルダ・アイコンがある場合には,表示パネル21の表面をスクロールすることにより,表示パネル21に表示されていない画像フォルダ・アイコンが表示パネル21に表示される。この実施例においては,画像フォルダ・アイコン141から146のみが生成されているものとする。画像フォルダ・アイコン141から146のうち,いずれかの画像フォルダ・アイコンがタッチされると(ステップ104でYES),表示パネル21には画像選択画面が表示され(ステップ105),タッチされた画像フォルダ・アイコンによって特定される画像フォルダに格納されている画像が表示パネル21に表示される。
図7は,タッチされた画像フォルダ・アイコンによって特定される画像フォルダに格納されている画像を一覧表示する画像選択画面の一例である。
画像選択画面には,多数の画像表示領域151が表示されており,これらの画像表示領域151に画像が表示されている。表示パネル21に表示されていない画像がある場合には,表示パネル21の画面上をスクロールすることにより,表示パネル21に表示されていない画像が表示パネル21に表示される。
画像選択画面の下部は,「推奨画像」の文字列が表示されている推奨画像ボタン152,「画像解析」の文字列が表示されている画像解析ボタン153および「確定」の文字列が表示されている確定ボタン154が形成されている。推奨画像ボタン152は,以前に選択された画像の傾向にもとづいて,ユーザが選択する画像として推奨する画像についての情報(第1の情報の一例である)を報知する場合にタッチされる。画像解析ボタン153は,画像を解析して写りがいいと判断されるような画像をユーザに報知する場合にタッチされる。確定ボタン154はプリントする画像を確定する場合にタッチされる。
推奨画像ボタン152がタッチされると(ステップ106でYES),推奨画像の決定処理が行なわれる(ステップ107)。
図8は,推奨画像決定処理手順を示すフローチャートである。
この実施例では,2018年4月に撮影された画像の集まりである画像群(第1の画像群の一例であり,内部記憶部51に記憶されている)の中からプリントする画像として選択された1または複数の画像(1または複数の第1の画像の一例であり,どの画像が選択されたかも内部記憶部51に記憶されている)と,2018年5月に撮影された画像の集まりである画像群(第2の画像群の一例であり,内部記憶部51に記憶されている)の中からプリントする画像として選択された1または複数の画像(1または複数の第2の画像の一例であり,どの画像が選択されたかも内部記憶部51に記憶されている)と,から2018年6月にカメラ部41(画像入力手段の一例である)によって撮影された画像の集まりである画像群(対象画像群の一例であり,内部記憶部51に記憶されている)の中からプリントする画像として推奨される画像が決定される。2018年4月に撮影された画像と2018年5月に撮影された画像との2か月に撮影された画像とにもとづいて2018年6月に撮影された画像の中から推奨画像を決定するが,2018年4月と2018年5月との2か月に撮影された画像だけでなく,2018年3月以前の1または複数月に選択された画像の中から2018年6月に撮影された画像の中から推奨画像を決定してもよい。複数の月に撮影されたそれぞれの画像群の中からプリントする画像として選択された画像にもとづいて,ある特定の月に撮影された画像の中からプリントする画像の推奨画像が決定されればよい。また,画像の集まりとされる画像群は,必ずしも月単位でなくともよく,複数の画像の集まりと捉えられればよい。好ましくは,第1の画像群(に含まれる画像)の撮影時期と,第2の画像群(に含まれる画像)の撮影時期と,対象の画像群の撮影時期とは異なるが,異ならなくともよい。
2018年4月に撮影された画像の集まりである第1の画像群の中から選択された第1の画像と2018年5月に撮影された画像の集まりである第2の画像群の中から選択された第2の画像とのそれぞれが,スマートフォン1の主制御部100によって解析される(ステップ191)。
図9は,2018年4月に撮影された画像の集まりである第1の画像群160と,第1の画像群160の中から選択された第1の画像161とを示している。
第1の画像群160には,画像I1から画像I100が含まれており,2018年4月に100枚の画像が撮影されたこととなる。それらの画像I1から画像I100の中から第1の画像161として画像I1から画像I11の11枚の画像が選択されたものとする。
図10は,2018年4月に撮影された画像の中からプリントする画像を選択したときの表示パネル21を示している。
表示パネル21に形成されている11個の画像表示領域129には,第1の画像群160の中から選択された第1の画像161に含まれる画像I1からI11が表示されている。わかりやすくするために画像表示領域129にI1からI11の文字列が表示されているが,これらのI1からI11の文字列は必ずしも表示されなくともよい。
図11は,2018年5月に撮影された画像の集まりである第2の画像群170と,第2の画像群170の中から選択された第2の画像171とを示している。
第2の画像群170には,画像I101から画像I200が含まれており,2018年5月に100枚の画像が撮影されたこととなる。それらの画像I101から画像I200の中から第2の画像171として画像I101から画像I111の11枚の画像が選択されたものとする。
図12は,2018年5月に撮影された画像の中からプリントする画像を選択したときの表示パネル21を示している。
表示パネル21に形成されている11個の画像表示領域129には,第2の画像群170の中から選択された第2の画像171に含まれる画像I101からI111が表示されている。わかりやすくするために画像表示領域129にI101からI111の文字列が表示されているが,これらのI101からI111の文字列は必ずしも表示されなくともよい。
つづいて,画像を選択する基準が主制御部100(選択基準作成手段の一例である)によって作成される(ステップ192)。基準には様々なものがあるが,たとえば,対象画像群180に含まれる画像のうち,第1の画像161または第2の画像171との類似度がしきい値(第1のしきい値の一例である)以上の画像を推奨画像として決定するように基準を作成するものである。第1の画像161および第2の画像171のいずれの画像とも類似度がしきい値(第1のしきい値の一例である)以上の画像を推奨画像として決定するように基準を作成してもよい。
図13は,2018年6月に撮影された画像の一例である。
2018年6月には100枚の画像I201からI300の100枚の画像が撮影されており,画像群(対象画像群の一例である)を構成しているものとする。これらの画像I201からI300のうち,第1の画像161または第2の画像171との類似度がしきい値(第1のしきい値の一例である)以上の画像が画像I201からI211の11枚とすると,これらの画像I201からI211が推奨する画像181として決定される(ステップ193)。推奨する画像は11枚より多くても少なくともよい。
推奨する画像が決定すると,図14に示すように表示パネル21の画像表示領域151には決定した推奨する画像(第1の情報の一例である)が主制御部100(第1の報知制御手段の一例である)の制御により表示される。推奨する画像以外の画像と区別されて表示されることとなる。表示パネル21の上部には「下の写真と似た画像が選ばれています」の文字列が表示され,以前に選択した画像に類似した画像が画像表示領域に表示されていることが,ユーザが分かる。
このようにして,推奨画像についての情報が表示パネル21に表示される(図4ステップ108)。ユーザは,推奨画像についての情報が得られるので,その情報を参考にして,注文する画像を決定できる。
推奨画像ボタン152がタッチされずに(図4ステップ106でNO),画像解析ボタン153がタッチされると(図4ステップ109でYES),対象画像群180(この場合2018年6月に撮影された100枚の画像I201からI300)の解析が主制御部100によって行われる(図4ステップ110)。この解析により,対象画像群180に含まれる画像I201からI300の中から良好な画像が見つけられて,図15に示すように表示パネル21に表示される(図4ステップ111)。良好な画像とは客観的に画像の評価の高い画像であり,ピントが合っている画像,主要被写体が中央に位置している画像,主要被写体の大きさが相対的に適切と考えられる画像,構図が比較的正しい画像,明るさが適切な画像などが良好な画像と判断される。これらの画像の評価は画像解析の結果にもとづいて算出される。
図15を参照して,表示パネル21の画像表示領域151には,良好な画像と判断された画像が評価の高い順に表示されている。表示パネル21をスクロールすることにより表示パネル21に表示されていない画像が表示パネル21に表示される。画像表示領域151に表示されているそれぞれの画像の下部には星印のマーク(星印でなくともよい)240から242が表示されている。星印の数が多いほど画像の評価が高い。ユーザは,星印のマーク240から242などを参考にして,プリントする画像を選択できる。単に画像解析の結果が良好な画像に星印のマーク240から242などをつけるのではなく,第1の画像161と第2の画像171とから作成される基準にもとづいても推奨する画像に星印などのマーク(第1の情報の一例である)をつけてもよい。
画像表示領域151に表示されている画像のうち,いずれかの画像がタッチされると(図4ステップ112でYES),タッチされた画像が他の画像と比べて暗くるように表示される(図4ステップ113)。
11枚分の画像がタッチされて,確定ボタン154がタッチされると(図4ステップ114でYES),表示パネル21には図16に示すホーム画面が表示される(図4ステップ115)。表示パネル21の画像表示領域129には,ユーザによってタッチされた画像が表示される。
ホーム画面の注文ボタン131がタッチされると(図3ステップ116でYES),画像表示領域129に表示されている11枚の画像のそれぞれの画像を表す画像データがスマートフォン1から画像サーバ280(図26参照)に送信される。画像サーバ280において画像がプリントされ,プリントがユーザに送付される。
注文ボタン131がタッチされずに他の領域がタッチされると(図3ステップ117でYES),そのタッチされた領域に対応する処理が行なわれる。
以前に選択された画像と共通性を有する画像が推奨画像としてユーザに報知されるので,推奨画像の中からプリントする画像を選択することにより,以前に選択された画像と共通性をもつ画像のプリントが得られる。
上述した実施例では,第1の画像群160から選択された第1の画像161または第2の画像群170から選択された第2の画像171に類似する画像を,画像を選択する基準(図8ステップ192)としていたが,第1の画像161と第2の画像171とから共通に得られるテーマ(主要被写体から把握されるテーマ)をもつ画像を選択するように基準を作成してもよい。
たとえば,図10に示すように2018年4月に撮影された画像の中から子供と父親とが一緒に写っている画像I8が選択され,かつ図12に示すように2018年5月に撮影された画像の中からも子供と父親とが一緒に写っている画像I110が選択されていることが画像解析から分かると,「子供と父親とが一緒に写っている画像」というテーマをもつ画像を選択する基準が作成される。このように,第1の画像161のうちの一の画像I8と第2の画像171のうちの一の画像I110とから得られる共通のテーマは,たとえば,「子供と父親とが一緒に写っている画像」であるが,この共通のテーマは,第1の画像161のうちの一の画像I8以外の他の画像と第2の画像171のうちの一の画像I110以外の他の画像とから得られる共通のテーマ以外のテーマとしてもよい。
また,第1の画像161と第2の画像171とから共通に得られるテーマは,第1の画像161に含まれる画像I1からI11のそれぞれの画像の主要被写体の行動と第2の画像171に含まれる画像I101かI111のそれぞれの画像の主要被写体の行動とから共通に得られるテーマとしてもよい。
このようにして得られるテーマが分かるとそのテーマに合致した画像を推奨するようにユーザに報知される。以下,報知のやり方の一例について説明する。
図17を参照して,2018年6月に撮影された複数の画像から構成される対象画像群の中から,得られたテーマに合致した画像が見つけられると,その画像を選択する画像として推奨する情報が表示パネル21に表示される。
たとえば,「子供と父親とが一緒に写っている画像」がテーマとされ,そのようなテーマに合致する画像を選択するように基準が作成されると,そのテーマに合致した画像が存在する場合には,画像表示領域にそのテーマに合致した画像が表示される。
図17に示すように,画像IR1が「子供と父親とが一緒に写っている画像」のテーマに合致している場合には,画像表示領域151に画像IR1が表示される。さらに,その画像IR1に合わせて,推奨する情報(第1の情報の一例である)を報知する吹き出し200が表示される。吹き出し200には,以前も「子供と父親とが一緒に写っている画像」が選択されているので,そのような画像を選択することを推奨する旨の文字列201が表示される。また,吹き出し200には,その共通のテーマにおいて以前に選択した画像を表示する選択済み画像表示領域202および203が表示されている。選択済み画像表示領域202には,2018年4月に選択された画像のうち,「子供と父親とが一緒に写っている画像」というテーマと共通のテーマをもつ画像が表示され,選択済み画像表示領域203には,2018年5月に選択された画像のうち,「子供と父親とが一緒に写っている画像」というテーマと共通のテーマをもつ画像が表示される。さらに,吹き出し200には,推奨画像表示領域204が形成されており,この推奨画像表示領域204には,吹き出し200に合わせて表示されている,推奨する画像IR1が表示される。ユーザは,「子供と父親とが一緒に写っている画像」を比較的簡単に選択でき,共通のテーマをもつ画像のプリントを毎月得られるようになる。
同様に,図10に示すように2018年4月に選択された画像のうちの画像I1,図12に示すように2018年5月に選択された画像のうちの画像I104に示すように,「子供が食事をしている画像」が共通のテーマとして得られるときには,そのテーマが基準として作成される。
図17に示すように,2018年6月に撮影された画像の中に,「子供が食事をしている画像」のテーマに合致した画像IR2がある場合には,その画像IR2に合わせて吹き出し210が表示される。なお、ある画像が「食事をしている画像」であることは、例えば、オブジェクト認識を行い、食べ物または食器が写っていることを検出することにより、決定することができる。この吹き出し210には,「子供が食事をしている画像」を選択することを推奨する文字列211が含まれている。また,選択済み画像表示領域212および213も表示されており,2018年4月に選択された画像のうち「子供が食事をしている画像」というテーマに合った画像I1が選択済み画像表示領域212に表示され,2018年5月に選択された画像のうち「子供が食事をしている画像」というテーマに合った画像I104が選択済み画像表示領域213に表示されている。さらに,吹き出し210には,推奨画像表示領域214が形成されており,この推奨画像表示領域214には,吹き出し210に合わせて表示されている,推奨する画像IR2が表示される。ユーザは,「子供が食事をしている画像」を比較的簡単に選択でき,共通のテーマをもつ画像のプリントを毎月得られるようになる。
「子供と父親とが一緒に写っている画像」のテーマにもとづく基準は,たとえば,図10に示す2018年4月に選択された画像I1からI11のうちのいずれかの画像と,2018年5月に選択された画像I101かI111のうちのいずれかの画像との両方に類似する類似度(第1の類似度の一例である)を,2018年6月に撮影された対象画像群に含まれる画像のすべてについて算出し,算出された類似度がしきい値(第1のしきい値の一例である)以上の画像を推奨画像とすることにより得られる。このような基準を作成することにより,2018年6月に撮影された画像の中から,画像I8および画像I110のいずれにも類似度がしきい値以上の画像IR1が見つけ出される。同様に,「子供が食事している画像」のテーマにもとづく基準を作成することにより,2018年6月に撮影された画像の中から,2018年4月に選択された子供が食事をしている画像I1および画像I104のいずれにも類似度がしきい値(第1のしきい値の一例である)以上の画像IR2が見つけ出される。
図18は,表示パネル21に表示される画像の一例である。
共通の被写体が変化する様子が分かる画像が推奨画像となるような基準にもとづいて,推奨画像が決定される例である。
図10に示す例では,2018年4月に撮影された画像のうち,子供の画像I6が選択されており,図12に示す例では,2018年5月に撮影された画像のうち,画像I6に写っている子供と同じ子供が写っている画像I105が選択されている。2018年6月に撮影された画像のうち,選択された画像I6およびI105に共通の子供(主要被写体)と同じ子供(共通の被写体の一例である)が写っている画像IR3がある場合には,その画像IR3が推奨画像とされる。画像IR3に対応して吹き出し220が表示される。吹き出し220には「子供が成長する様子が分かるような画像」ことを示す文字列221が表示される。吹き出し220には,吹き出し200および210と同様に,選択済み画像表示領域222および223も表示されており,2018年4月に選択された画像のうち「子供が成長していることが分かるような画像」というテーマに合った画像I6が選択済み画像表示領域222に表示され,2018年5月に選択された画像のうち「子供が成長していることが分かるような画像」というテーマに合った画像I105が選択済み画像表示領域223に表示されている。さらに,吹き出し220には,推奨画像表示領域224が形成されており,この推奨画像表示領域224には,吹き出し220に合わせて表示されている,推奨する画像IR2が表示される。ユーザは,「子供が成長していることが分かるような画像」を比較的簡単に選択でき,共通のテーマをもつ画像のプリントを毎月得られるようになる。なお、「子供が成長していることが分かるような画像」であることは、予め「子供が寝返りを打った画像」,「子供がはいはいしている画像」,「子供がつかまり立ちをしている画像」など,具体的な画像を検出したら「子供が成長していることが分かるような画像」である、と判定することとしておけばよい。このようにして、子供が成長する様子が分かるという共通性をもつ画像をより正確に推奨画像とすることができる。
なお、「子供が成長していることが分かるような画像」のような抽象的な概念に関しては、別途学習済みモデルを用いて判定しても良い。一例としては、一般に使用されている画像検索エンジンにおいて、「子供、成長、画像」等のキーワードを入れて抽出された画像を「子供が成長していることが分かるような画像」の正解画像とみなして、「子供が成長していることが分かるような画像」を判定するためのモデルの学習をさせることができる。他の例としては、本実施例のプログラムにおいて、注文時に当該月の画像群を要約したテキストメッセージをユーザに入力させ、全ユーザの注文情報を検索母集団とし、「子供、成長、画像」という言葉を含むテキストメッセージが入力された月の画像を、「子供が成長していることが分かるような画像」の正解画像とみなして、「子供が成長していることが分かるような画像」を判定するためのモデルの学習をさせることができる。
図19は,表示パネル21に表示される画像の一例である。
図19に示す例は,失敗した画像が毎月選ばれていると考えられる場合に,表示パネル21に表示される吹き出し230の一例である。ここでいう失敗した画像とは、「転んだ」「泣き顔である」など、被写体本人にとって好ましくない状態で写っている画像を含む。
図10に示すように2018年4月に選択された画像の中に子供が失敗した画像I11が含まれており,かつ図12に示すように2018年5月に選択された画像の中にも子供が失敗した画像I111が含まれている場合には,失敗した画像を選択することを推奨する文字列231が吹き出し230に表示される。上述したのと同様に,吹き出し230には,選択済み画像表示領域232および233も表示されており,これらの選択済み画像表示領域232および233に,以前に選択された子供が失敗した画像I11およびI111が表示される。また,吹き出し230には,推奨画像表示領域234が形成されており,この推奨画像表示領域234には,吹き出し230に合わせて表示されている,推奨する失敗画像IR4が表示される。毎月選択するの画像の一部に、子供の失敗した画像を含めることにより、ユーザは子供の行動を懐かしく思い出したり、その他の画像をより貴重なものと捉え直したりすることができ、ユーザはより好ましい画像を選択することができると言える。
図20は,表示パネル21に表示されるホーム画面の一例である。
図3に示すステップ101においてホーム画面が表示されると,図20に示す表示パネル21に含まれる画像表示領域129にアイコンIR5およびIR6(サンプル画像の一例である)が表示されている。アイコンIR5は,子供が食事をしていることを示すアイコンであり,アイコンIR6は,子供と父親が一緒にいることを示すアイコンである。これらのアイコンIR5およびIR6(第1の情報の一例である)を見ることにより,ユーザは,2018年6月に撮影された画像のうち,子供が食事をしている画像,子供と父親が一緒にいる画像が推奨されることが分かる。プログラムが立ち上がることにより,2018年4月に撮影された画像のうち,選択された画像I1からI11と2018年5月に撮影された画像のうち,選択された画像I101からI111とが解析されることにより共通のテーマが検出され,検出されたテーマに対応するアイコンIR5およびIR6が画像表示領域129に表示されることとなる。アイコンIR5およびIR6の代わりに,子供が食事をしているサンプル画像および子供と父親が一緒にいるサンプル画像が画像表示領域129に表示されてもよいし,「子供が食事をしている画像を推奨する」および「子供と父親が一緒にいる画像を推奨する」というように文字列が表示されてもよい。
さらに,以前に選択された画像全体のテーマに共通するテーマ,たとえば2018年4月に撮影された画像の中から選択された第1の画像I1からI11から得られる第1のテーマと,2018年5月に撮影された画像の中から選択された第2の画像I101からI111から得られる第2のテーマと,から共通に得られるテーマをもつ画像が,2018年6月に撮影された画像の中から選択されるように基準が作成されてもよい。たとえば,第1のテーマが幼稚園の入園式(たとえば,入園式の画像が多い)というテーマと判断され,第2のテーマが幼稚園の遠足(たとえば,遠足の画像が多い)というテーマと判断された場合には,幼稚園のイベントとようにいずれのテーマにも上位概念となるテーマが共通のテーマとされ,そのようなテーマをもつ画像を推奨画像とするように基準が作成される。そのようなテーマにしたがって,2018年6月に撮影された画像から,幼稚園でのイベントの画像が推奨画像と決定される。
共通の被写体(主要被写体),被写体が何をしているかなどのシチュエーション,撮影場所,被写体の表情,被写体が所属する属性など,共通のテーマに沿った画像を毎月選択しやすくなり,共通性のある画像を選択しやすくなる。
[変形例]
図21は,撮影アシスト処理手順を示すフローチャートである。図21に示す処理は,スマートフォン1がカメラ・モードに設定されたことに応じて開始される。
カメラ部41によって被写体の撮影が開始され(ステップ252),表示パネル21には図22に示す撮影アシスト画面が表示される。
図22は,撮影アシスト画面の一例である。
撮影アシスト画面には,子供と父親とが一緒にいるアイコンIR6(第2の情報,テーマ,テーマに沿ったサンプル画像の一例である)が表示されている。このアイコンIR6を見ることにより,ユーザは,以前から子供と父親とが一緒に写っている画像が選択されていることが分かる。アイコンIR6の代わりに第1の画像161のうちの画像I8または第2の画像171のうちの画像I110(共通のテーマをもつ画像の一例である)を表示してもよい。また,図17に示した表示パネル21と同様に,吹き出し200が表示パネル21に表示される。吹き出し200には,子供と父親とが一緒にいる画像が選択されていることを示す文字列201,選択済み画像表示領域202および203が表示されている。
シャッタ・オンされると(ステップ253でYES),撮影によって得られた画像データが内部記憶部51に記憶される(ステップ254)。ユーザは,子供と父親とが一緒にいる画像を記録するようになる。
図23は,スマートフォン1において行なわれるショート・ムービの再生処理手順を示すフローチャートである。
スマートフォン1の表示パネル21にショート・ムービ・ボタン(図示略)が表示され,そのショート・ムービ・ボタンがタッチされると(ステップ261でYES),表示パネル21にはショート・ムービ・アイコンが一覧で表示される(ステップ262)。
図24は,ショート・ムービ・アイコン一覧表示画面の一例である。
表示パネル21には,ショート・ムービ・アイコン271および273が表示されている。ショート・ムービ・アイコン271には,ショート・ムービの内容として「食事をする花子ちゃん」という名称が名付けられている。ショート・ムービ・アイコン273には,ショート・ムービの内容として「お父さんと太郎くん」という名称が名付けられている。これらの名称は,ショート・ムービとして表示される画像の内容をスマートフォンの主制御部100が解析することにより付与される。たとえば,ショート・ムービ・アイコン271によって表されるショート・ムービの内容は,食事のシーンが多いことから食事のショート・ムービであることが推測され,「食事をする花子ちゃん」という名称が付与される。「花子ちゃん」という名前は,ユーザによって入力される。ショート・ムービ・アイコン271によって表されるショート・ムービの内容は,大人の男性と赤ん坊とが一緒に写っているシーンが多いことから親子のショート・ムービであることが推測され,「お父さんと太郎くん」という名称が付与される。「太郎くん」という名前は,ユーザによって入力される。ショート・ムービの名称は主制御部100の解析を利用せずにすべてユーザによって入力されてもよい。ショート・ムービ・アイコン271および273には,再生ボタン272および274がそれぞれ形成されている。再生ボタン272または274がタッチされると(ステップ263でYES),タッチされた再生ボタンのショート・ムービ・アイコン271または273に対応するショート・ムービが再生され,表示パネル21に表示される(ステップ264)。
図25は,ショート・ムービの再生内容を示している。
ショート・ムービ・アイコン271の再生ボタン272がタッチされると,上述のようにして選択された「食事をしている子供」の画像が一定時間ごとに表示され,一定時間が経過すると次の画像に切り替えられる。図25においては,2018年4月に選択された画像I1,2018年5月に選択された画像I104および2018年6月に選択された画像IR2が一定時間ごとに順に表示されることが示されている。ショート・ムービは,たとえば,共通のテーマに沿った1年分の画像が一定時間ごとに切り替えられて表示される。ショート・ムービとして表示される画像は,上述したように作成された基準から推奨された画像であれば,その推奨された画像であることから分かるし,選択された画像から共通のテーマをもつ画像から選択してもよい。
同様に,ショート・ムービ・アイコン273の再生ボタン274がタッチされると,上述のようにして選択された「父親と子供とが一緒に写っている画像」が一定時間ごとに表示され,一定時間が経過すると次の画像に切り替えられる。図25においては,2018年4月に選択された画像I8,2018年5月に選択された画像I110および2018年6月に選択された画像IR1が一定時間ごとに順に主制御部100(表示制御手段の一例である)によって制御されて表示されることが示されている。
図26および図27は,スマートフォン1と画像サーバ280との間で通信しながら上述の処理を行う実施例を示している。
図26に示すように,インターネットを介してスマートフォン1と画像サーバ280とが互いに通信可能である。
スマートフォン1の表示パネル21に表示される推奨画像ボタン152がタッチされると(ステップ291でYES),推奨画像決定コマンドがスマートフォン1から画像サーバ280に送信される(ステップ292)。
スマートフォン1から送信された推奨画像コマンドが画像サーバ280において受信されると(ステップ301でYES),図8に示す推奨画像についての情報(第1の情報の一例である)の決定処理が画像サーバ280おいて行われる(ステップ302)。画像サーバ280には,以前に選択された画像を表す画像データが記憶されており,その記憶されている画像データにもとづいて,どのような画像が選択されているかが分かり,選択された画像にもとづいて推奨画像についての情報が決定される。決定された推奨画像についての情報が画像サーバ280からスマートフォン1に送信される(ステップ303)。たとえば,「父親と子供とが一緒に写っている画像」を推奨画像とする情報,「食事をしている子供の画像」を推奨画像とする情報などが画像サーバ280からスマートフォン1に送信される。
画像サーバ280から送信された情報(基準を表すデータの一例である)がスマートフォン1の無線通信部10(受信手段の一例である)によって受信されると(ステップ293でYES),図17などに示すように推奨画像についての情報が表示パネル21に表示されることとなる(ステップ294)。
このように,推奨画像の情報を決定する処理(基準を作成する処理)が画像サーバ280において行われるようにしてもよい。また,上述の実施例ではスマートフォン1が利用されているが,スマートフォン1以外の専用の画像処理装置,パーソナル・コンピュータ,タブレット端末などを利用して構成することもできる。
さらに,第1の画像161または第2の画像171のうち,対象画像群180の中から選択する画像との類似度(第2の類似度の一例である)を算出し,その第2の類似度が第2のしきい値以上の画像を表示する(第1の情報の報知の一例である)ようにしてもよい。すでに選択した第1の画像161または第2の画像171のような画像を対象画像群180の中から選択できるようになる。
上述の処理を実行する処理部には,ソフトウエアを実行して各種の処理部として機能するCPU7のほかに,FPGA(field-programmable gate array)などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス,ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は,これらの各種のプロセッサのうちの1つで構成されてもよいし,同種または異種の2つ以上のプロセッサの組合せ(たとえば,複数のFPGA,CPUとFPGAの組合せ)で構成されてもよい。複数の処理部を1つのプロセッサで構成する例としては,第1に,クライアント・コンピュータやサーバなどのコンピュータに代表されるように,1つ以上のCPUとソフトウエアの組合せで1つのプロセッサを構成し,このプロセッサが複数の処理部として機能する形態がある。第2に,システム・オン・チップなどに代表されるように,複数の処理部を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように,各種の処理部は,ハードウエア的な構造として各種のプロセッサを1つ以上用いて構成される。
さらに,これらの各種のプロセッサのハードウエア的な構造は,より具体的には,半導体素子などの回路素子を組合せた電気回路である。
1:スマートフォン,2:筐体,7:CPU,10:無線通信部,20:表示入力部,21:表示パネル,22:操作パネル,30:通話部,31:スピーカ,32:マイクロホン,40:操作部,41:カメラ部,50:記憶部,51:内部記憶部,52:外部記憶部,60:外部入出力部,70:GPS受信部,80:モーションセンサ部,90:電源部,100:主制御部,121:撮影年月指定領域,122:撮影年表示領域,123:プルダウン・ボタン,124-125:撮影月指定領域,127:検索ボタン,128:撮影月表示領域,129:画像表示領域,130:画像追加領域,131:注文ボタン,132:ホーム・ボタン,133:物販ボタン,134:メニュー・ボタン,141-142:画像フォルダ・アイコン,151:画像表示領域,152:推奨画像ボタン,153:画像解析ボタン,154:確定ボタン,160:第1の画像群,161:第1の画像,170:第2の画像群,171:第2の画像,180:対象画像群,181:画像,200:吹き出し,201:文字列,202:画像表示領域,203:画像表示領域,204:推奨画像表示領域,210:吹き出し,211:文字列,212-212:画像表示領域,213:画像表示領域,214:推奨画像表示領域,220:吹き出し,221:文字列,222-223:画像表示領域,224:推奨画像表示領域,230:吹き出し,231:文字列,232:画像表示領域,234:推奨画像表示領域,240:星印のマーク,271:ショート・ムービ・アイコン,272:再生ボタン,273:ショート・ムービ・アイコン,274:再生ボタン,280:画像サーバ,BS:基地局装置,I1:画像,I6:画像,I8:画像,I11:画像,I100-I101:画像,I104-I105:画像,I110-I111:画像,I200-I201:画像,IR1-IR6:アイコン,NW:移動通信網,ST1:GPS衛星

Claims (23)

  1. 1または複数の画像を選択する対象の画像群を入力する画像群入力手段
    第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とに基づいて画像を選択する基準を作成する選択基準作成手段,ならびに
    上記選択基準作成手段によって作成された上記基準にもとづいて,上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させる第1の報知制御手段を備え
    上記選択基準作成手段は,
    上記第1の画像と上記第2の画像とから共通に得られるテーマをもつ画像を選択するように上記基準を作成するものであり,
    上記共通に得られるテーマは,
    上記第1の画像および上記第2の画像に共通して出現する被写体が,共通して示す,予め定められた様子または予め定められた変化の様子である,
    像処理装置。
  2. 上記選択基準作成手段は,
    上記複数の第1の画像のうちの一の画像と上記複数の第2の画像のうちの一の画像とから共通に得られるテーマであり,かつ上記複数の第1の画像のうちの他の画像と上記複数の第2の画像のうちの他の画像とから共通に得られるテーマ以外のテーマをもつ画像を選択するように上記基準を作成する,
    請求項1に記載の画像処理装置。
  3. 上記選択基準作成手段は,
    上記複数の第1の画像の全体のテーマと上記複数の第2の画像の全体のテーマとから共通に得られるテーマをもつ画像を選択するように上記基準を作成する,
    請求項1に記載の画像処理装置。
  4. 上記選択基準作成手段は,
    上記第1の画像と上記第2の画像との両方に類似する第1の類似度が第1のしきい値以上の画像を上記対象の画像群の中から選択するように上記基準を作成する,
    請求項1からのうち,いずれか一項に記載の画像処理装置。
  5. 上記選択基準作成手段において作成された基準を表すデータを受信する受信手段をさらに備え,
    上記第1の報知制御手段は,
    上記受信手段において受信したデータによって表される基準にもとづいて上記第1の情報を上記第1の報知手段に報知させる,
    請求項1からのうち,いずれか一項に記載の画像処理装置。
  6. 上記第1の報知制御手段における第1の情報の報知は,
    上記対象の画像群の中から選択する画像として推奨する画像そのものを,上記対象の画像群のうち推奨する画像以外の画像と区別する表示である,
    請求項1からのうち,いずれか一項に記載の画像処理装置。
  7. 上記第1の報知制御手段における第1の情報の報知は,
    上記対象の画像群の中から選択する画像として推奨する画像にマークを付与して表示することである,
    請求項に記載の画像処理装置。
  8. 上記第1の報知制御手段における上記第1の情報の報知は,
    上記対象の画像群の中から選択する画像として推奨する画像における被写体の様子を文字列またはサンプル画像によって表示することである,
    請求項1からのうち,いずれか一項に記載の画像処理装置。
  9. 上記第1の報知制御手段における上記第1の情報の報知は,
    上記第1の画像または上記第2の画像のうち,上記対象の画像群の中から選択する画像との第2の類似度が第2のしきい値以上の画像を表示することである,
    請求項1からのうち,いずれか一項に記載の画像処理装置。
  10. 上記第1の画像と上記第2の画像とから得られるテーマをもつ画像を撮影するように上記テーマについての第2の情報を報知する第2の報知制御手段,
    をさらに備えた請求項1からのうち,いずれか一項に記載の画像処理装置。
  11. 上記第2の報知制御手段における第2の情報の報知は上記テーマの表示である,
    請求項10に記載の画像処理装置。
  12. 上記第2の報知制御手段における第2の情報の報知は上記テーマに沿ったサンプル画像の表示である,
    請求項10または11に記載の画像処理装置。
  13. 上記第2の報知制御手段における第2の情報の報知は,
    上記第1の画像または上記第2の画像のうち,共通のテーマをもつ画像を表示することである,
    請求項10から12のうち,いずれか一項に記載の画像処理装置。
  14. 上記複数の第1の画像と上記複数の第2の画像とのうち,共通のテーマをもつ画像を,複数の上記第1の画像と複数の上記第2の画像とのそれぞれか1つずつ順に一定時間の間表示させるように表示装置を制御する表示制御手段,
    をさらに備えた請求項1から13のうち,いずれか一項に記載の画像処理装置。
  15. 上記第1の画像群の撮影時期と,上記第2の画像群の撮影時期と,上記対象の画像群の撮影時期とが異なっている,
    請求項1からのうち,いずれか一項に記載の画像処理装置。
  16. 上記あらかじめ定められた様子または上記あらかじめ定められた変化の様子は,あらかじめ定められた行動を検出することにより得られる,
    請求項1から15のうち,いずれか一項に記載の画像処理装置。
  17. 上記あらかじめ定められた様子または上記あらかじめ定められた変化の様子であるか否かは,あらかじめ定められた正解画像を用いて学習された学習済みモデルを用いて判定する,
    請求項1から16のうち,いずれか一項に記載の画像処理装置。
  18. 1または複数の画像を選択する対象の画像群を入力する画像群入力手段,
    第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とにもとづいて,画像を選択する基準を作成する選択基準作成手段,および
    上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を報知手段に報知させる報知制御手段を備え,
    上記報知制御手段における上記第1の情報の報知は,
    上記第1の画像または上記第2の画像のうち,上記対象の画像群の中から選択する画像との第2の類似度が第2のしきい値以上の画像を表示することである,
    画像処理装置。
  19. 画像群入力手段が,1または複数の画像を選択する対象の画像群を入力し,
    選択基準作成手段が,第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とに基づいて画像を選択する基準を作成し,
    報知制御手段が,上記選択基準作成手段によって作成された上記基準にもとづいて,上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を報知手段に報知させる画像方法であって
    上記選択基準作成手段は,
    上記第1の画像と上記第2の画像とから共通に得られるテーマをもつ画像を選択するように上記基準を作成するものであり,
    上記共通に得られるテーマは,
    上記第1の画像および上記第2の画像に共通して出現する被写体が,共通して示す,予め定められた様子または予め定められた変化の様子である,
    画像処理方法。
  20. 画像群入力手段が,1または複数の画像を選択する対象の画像群を入力し,
    選択基準作成手段が,第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とにもとづいて,画像を選択する基準を作成し,
    報知制御手段が,上記画像群入力手段から入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を報知手段に報知させる画像処理方法であって,
    上記報知制御手段における上記第1の情報の報知は,
    上記第1の画像または上記第2の画像のうち,上記対象の画像群の中から選択する画像との第2の類似度が第2のしきい値以上の画像を表示することである,
    画像処理方法。
  21. 画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    1または複数の画像を選択する対象の画像群を入力させ,
    第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とに基づいて画像を選択する基準を作成させ,
    成された上記基準にもとづいて,入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を第1の報知手段に報知させ
    上記第1の画像と上記第2の画像とから共通に得られるテーマをもつ画像を選択するように上記基準を作成するものであり,
    上記共通に得られるテーマは,
    上記第1の画像および上記第2の画像に共通して出現する被写体が,共通して示す,予め定められた様子または予め定められた変化の様子であるように,画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
  22. 画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    1または複数の画像を選択する対象の画像群を入力させ,
    第1の画像群の中から選択された1または複数の第1の画像と第2の画像群の中から選択された1または複数の第2の画像とにもとづいて,画像を選択する基準を作成させ,
    上記入力した対象の画像群の中から選択する画像として推奨する画像についての第1の情報を報知手段に報知させ,
    上記第1の情報の報知は,
    上記第1の画像または上記第2の画像のうち,上記対象の画像群の中から選択する画像との第2の類似度が第2のしきい値以上の画像を表示することである,画像処理装置のコンピュータを制御するプログラム。
  23. 請求項21または22に記載のプログラムを格納した記録媒体。
JP2018174487A 2018-09-19 2018-09-19 画像処理装置,画像処理方法および画像処理プログラム Active JP7053422B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018174487A JP7053422B2 (ja) 2018-09-19 2018-09-19 画像処理装置,画像処理方法および画像処理プログラム
US16/543,209 US11715328B2 (en) 2018-09-19 2019-08-16 Image processing apparatus for selecting images based on a standard
CN201910787471.4A CN110933223B (zh) 2018-09-19 2019-08-23 图像处理装置、图像处理方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018174487A JP7053422B2 (ja) 2018-09-19 2018-09-19 画像処理装置,画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020046901A JP2020046901A (ja) 2020-03-26
JP7053422B2 true JP7053422B2 (ja) 2022-04-12

Family

ID=69773679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018174487A Active JP7053422B2 (ja) 2018-09-19 2018-09-19 画像処理装置,画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US11715328B2 (ja)
JP (1) JP7053422B2 (ja)
CN (1) CN110933223B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102241486B1 (ko) * 2019-02-14 2021-05-17 엔에이치엔 주식회사 이미지의 태그어에 기반하여 모자이크 이미지를 생성해 제공하는 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229682A (ja) 2005-02-18 2006-08-31 Fuji Photo Film Co Ltd プリント推奨画像選択装置、方法およびプログラム
JP2006252196A (ja) 2005-03-10 2006-09-21 Fuji Photo Film Co Ltd プリント注文支援装置、嗜好色相データベース作成装置、プリント注文支援プログラム、嗜好色相データベース作成プログラム
JP2007060562A (ja) 2005-08-26 2007-03-08 Fujifilm Holdings Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2009017070A (ja) 2007-07-03 2009-01-22 Olympus Imaging Corp カメラおよび撮影方法
JP2010262531A (ja) 2009-05-08 2010-11-18 Canon Inc 画像情報処理装置、画像情報処理方法及びプログラム
JP2017068331A (ja) 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288350A (ja) 2002-01-24 2003-10-10 Fuji Photo Film Co Ltd データ検索方法
JP2005065728A (ja) 2003-08-25 2005-03-17 Fuji Photo Film Co Ltd 類似画像検索装置
US7783115B2 (en) * 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
JP4987943B2 (ja) * 2009-11-11 2012-08-01 株式会社東芝 電子機器及び画像表示方法
US8805124B2 (en) * 2010-02-17 2014-08-12 Shutterfly, Inc. System and method for automatically creating a photo calendar
JP5727476B2 (ja) * 2010-06-23 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像評価装置、画像評価方法、プログラム、集積回路
JP2012079174A (ja) * 2010-10-04 2012-04-19 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5449460B2 (ja) 2011-06-28 2014-03-19 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013196417A (ja) 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示装置、画像表示方法、およびプログラム
JP5802171B2 (ja) * 2012-05-24 2015-10-28 富士フイルム株式会社 画像表示装置、画像表示方法およびプログラム
JP5719406B2 (ja) * 2012-09-14 2015-05-20 富士フイルム株式会社 合成画像作成システム、画像処理装置および画像処理方法
KR102065418B1 (ko) * 2013-09-24 2020-01-13 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN105227811A (zh) * 2014-06-30 2016-01-06 卡西欧计算机株式会社 图像生成装置以及图像生成方法
US10031928B2 (en) * 2014-07-02 2018-07-24 BicDroid Inc. Display, visualization, and management of images based on content analytics
JP6389801B2 (ja) * 2015-05-27 2018-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2017010251A (ja) 2015-06-22 2017-01-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、プログラムおよび記録媒体
US10225529B2 (en) * 2015-07-17 2019-03-05 Nec Corporation Projection device using a spatial modulation element, projection method, and program storage medium
JP6463231B2 (ja) * 2015-07-31 2019-01-30 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN105512255A (zh) 2015-12-01 2016-04-20 上海斐讯数据通信技术有限公司 图片筛选方法及装置、移动终端
JP6719206B2 (ja) * 2015-12-25 2020-07-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10642893B2 (en) * 2016-09-05 2020-05-05 Google Llc Generating theme-based videos
CN108235765B (zh) * 2017-12-05 2021-10-15 华为技术有限公司 一种故事相册的显示方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229682A (ja) 2005-02-18 2006-08-31 Fuji Photo Film Co Ltd プリント推奨画像選択装置、方法およびプログラム
JP2006252196A (ja) 2005-03-10 2006-09-21 Fuji Photo Film Co Ltd プリント注文支援装置、嗜好色相データベース作成装置、プリント注文支援プログラム、嗜好色相データベース作成プログラム
JP2007060562A (ja) 2005-08-26 2007-03-08 Fujifilm Holdings Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2009017070A (ja) 2007-07-03 2009-01-22 Olympus Imaging Corp カメラおよび撮影方法
JP2010262531A (ja) 2009-05-08 2010-11-18 Canon Inc 画像情報処理装置、画像情報処理方法及びプログラム
JP2017068331A (ja) 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2020046901A (ja) 2020-03-26
CN110933223A (zh) 2020-03-27
CN110933223B (zh) 2021-09-03
US11715328B2 (en) 2023-08-01
US20200089936A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
US9953212B2 (en) Method and apparatus for album display, and storage medium
EP2471254B1 (en) METHOD FOR TRANSMITTING an IMAGE photographed by an IMAGE PICKUP APPARATUS
EP3410436A1 (en) Portable electronic device and method for controlling the same
EP3706015A1 (en) Method and device for displaying story album
US9172879B2 (en) Image display control apparatus, image display apparatus, non-transitory computer readable medium, and image display control method
JP5024093B2 (ja) 画像の撮影装置、その表示装置および画像データの管理システム
EP3182265B1 (en) Mobile terminal and method for controlling the same
CN107729946B (zh) 图片分类方法、装置、终端及存储介质
CN102778948B (zh) 信息处理装置和信息处理方法
KR20160111756A (ko) 이동 단말기 및 그의 사진 관리방법
CN113487705A (zh) 图像标注方法、终端及存储介质
KR20170077810A (ko) 정보처리장치, 정보처리방법 및 기록매체
US20220215050A1 (en) Picture Search Method and Device
JP7053422B2 (ja) 画像処理装置,画像処理方法および画像処理プログラム
JP6396798B2 (ja) 推薦装置、方法、およびプログラム
JP6582153B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP6967496B2 (ja) 画像処理装置,画像処理方法および画像処理プログラム
US11200651B2 (en) Image processing apparatus, image processing method, and image processing program
US20210377454A1 (en) Capturing method and device
JP2009211341A (ja) 画像の表示方法およびその表示装置
US20220159177A1 (en) Imaging system, server, communication terminal, imaging method, program, and recording medium
JP7417076B2 (ja) 情報処理方法、撮影装置、および画像管理装置
JP6780691B2 (ja) 情報配信装置及び情報配信プログラム
WO2020158102A1 (ja) 顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラム
JP2017092528A (ja) 撮影装置、撮影方法、画像管理システム、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220331

R150 Certificate of patent or registration of utility model

Ref document number: 7053422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150