JP7302038B2 - ユーザプロフィールピクチャ生成方法および電子デバイス - Google Patents

ユーザプロフィールピクチャ生成方法および電子デバイス Download PDF

Info

Publication number
JP7302038B2
JP7302038B2 JP2021577095A JP2021577095A JP7302038B2 JP 7302038 B2 JP7302038 B2 JP 7302038B2 JP 2021577095 A JP2021577095 A JP 2021577095A JP 2021577095 A JP2021577095 A JP 2021577095A JP 7302038 B2 JP7302038 B2 JP 7302038B2
Authority
JP
Japan
Prior art keywords
picture
box
thumbnail
region
saliency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021577095A
Other languages
English (en)
Other versions
JP2022538163A (ja
Inventor
▲達▼ ▲蘇▼
韵▲疊▼ ▲張▼
▲リアン▼ 胡
思▲舉▼ ▲呉▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022538163A publication Critical patent/JP2022538163A/ja
Application granted granted Critical
Publication of JP7302038B2 publication Critical patent/JP7302038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本出願は、2019年6月30日に中国国家知識産権局に出願された、「ユーザプロフィールピクチャ生成方法および電子デバイス」と題された中国特許出願第201910582266．4号の優先権を主張するものであり、その全体は参照によりここに組み込まれる。
本出願は、ヒューマンコンピュータインタラクションの分野に関し、特に、ユーザプロフィールピクチャ生成方法および電子デバイスに関する。
ウェブサイトまたはソーシャルプラットフォームを使用するとき、ユーザは、通常、ユーザのプロフィールピクチャ情報を入力する。ユーザプロフィールピクチャは、通常、人間の顔を含むピクチャであり、ユーザの識別子情報として使用され得る。ユーザプロフィールピクチャには固定アスペクト比が事前設定されているため、ユーザプロフィールピクチャを生成する処理において、ユーザによって選択されたピクチャは、通常、トリミングされる必要がある。従来技術では、選択されたピクチャの中央に1：1のトリミングボックスが表示されるが、トリミングボックスはピクチャ内の人間の顔情報を含まない可能性が高く、ユーザは、ユーザプロフィールピクチャに含まれるピクチャコンテンツを決定するために、トリミングボックスの位置を複数回調整する必要がある。
前述の場合と同様に、ユーザは、ギャラリー（またはアルバムと呼ばれる）を開いた後に写真を見得る。ギャラリーには写真のサムネイルが表示される。1つのサムネイルは、1つの写真の元のピクチャに対応する。サムネイルは、元のピクチャが圧縮された後に取得される小サイズのピクチャである。サムネイルのサイズは比較的小さいため、ロード速度は非常に速い。これは、ユーザが写真を迅速に閲覧するのを助ける。既存のギャラリーでは、図2Bに示されているように、サムネイルに含まれるピクチャコンテンツは、アスペクト比が1：1である構成比で、サムネイルに対応する元のピクチャに対して中央トリミングを実行することによって取得された圧縮ピクチャコンテンツである。しかしながら、元のピクチャの中央部分は、ユーザによって所望されるコンテンツを含まない可能性が高い。この場合、ユーザは、サムネイルにおいて、ユーザによって所望されるコンテンツを直感的に見得ない。
本出願の実施形態は、ユーザプロフィールピクチャ生成効率を改善する目的で適切なトリミングボックス位置をユーザに推奨するためにユーザプロフィールピクチャ生成方法および電子デバイスを提供する。トリミングボックスは、元のピクチャ内の人間の顔領域を含み、トリミングボックス内の人間の顔領域の構成方法は、元のピクチャ内の人間の顔領域の構成方法と同じである。
第1の態様によれば、本出願の一実施形態は、ユーザプロフィールピクチャ生成方法を提供し、本方法は、
電子デバイスのディスプレイに少なくとも1つのサムネイルを表示するステップであって、少なくとも1つのサムネイルは第1のサムネイルを含み、第1のサムネイルは第1のピクチャに対応し、第1のピクチャは人間の顔領域を含む、ステップと、第1のサムネイルに対して実行された第1の操作を検出し、第1の操作に応答して、電子デバイスによって、第1のピクチャを表示し、第1のピクチャにトリミングボックスを表示するステップであって、第1のピクチャは第1のサムネイルに対応し、トリミングボックスは人間の顔領域を含み、トリミングボックス内の人間の顔領域の構成方法は、第1のピクチャ内の人間の顔領域の構成方法と同じである、ステップと、トリミングボックスに基づいて、人間の顔領域を含むユーザプロフィールピクチャを生成するステップと
を含み、トリミングボックス内の人間の顔領域の構成方法は、人間の顔領域の重心とトリミングボックスの中心線との間の距離、重心とトリミングボックスの縁との間の距離、および重心とトリミングボックスの基準線との間の距離のうちの最短距離によって決定され、第1のピクチャ内の人間の顔領域の構成方法は、人間の顔領域の重心と第1のピクチャの中心線との間の距離、重心と第1のピクチャの縁との間の距離、および重心と第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、トリミングボックスの基準線は三等分線であり、第1のピクチャの基準線は三等分線であるか、またはトリミングボックスの基準線は黄金分割線であり、第1のピクチャの基準線は黄金分割線である。このようにして、適切なトリミングボックス位置がユーザに推奨され得、これにより、ユーザプロフィールピクチャ生成効率が改善される。
可能な実施態様では、第1のピクチャは、電子デバイスのカメラを使用して撮影されたピクチャであり、本方法は、第1のピクチャを撮影する処理で、カメラのビューファインダ画面のフォーカスフレームの位置を記録するステップであって、フォーカスフレームに含まれるピクチャコンテンツは、人間の顔領域である、ステップをさらに含む。
可能な実施態様では、第1のピクチャは1つの人間の顔を含み、第1のピクチャにトリミングボックスを表示するステップは、第1のピクチャの長さおよび幅ならびにトリミングボックスのアスペクト比に基づいてトリミングボックスの長さおよび幅を決定するステップと、人間の顔に基づいて第1の対象ボックスを生成するステップであって、第1の対象ボックスは、人間の顔の境界矩形である、ステップと、第1の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第1の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、人間の顔が人間の顔領域であると決定するステップと、トリミングボックス内の人間の顔領域の構成方法が第1のピクチャ内の人間の顔領域の構成方法と同じになるように、トリミングボックスの位置を計算するステップと、トリミングボックスの決定された位置に基づいて第1のピクチャにトリミングボックスを表示するステップとを含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さがトリミングボックスの長さよりも大きいか、または第1の対象ボックスの幅がトリミングボックスの幅よりも大きい場合に、人間の顔に基づいて、最適化された人間の顔を生成するステップであって、最適化された人間の顔は、人間の顔の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含むピクチャ領域である、ステップと、最適化された人間の顔に基づいて第2の対象ボックスを生成するステップであって、第2の対象ボックスは、最適化された人間の顔の境界矩形である、ステップと、第2の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第2の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、最適化された人間の顔が人間の顔領域であると決定するステップとをさらに含む。
可能な実施態様では、第1のピクチャは2つの人間の顔を含み、第1のピクチャにトリミングボックスを表示するステップは、第1のピクチャの長さおよび幅ならびにトリミングボックスのアスペクト比に基づいてトリミングボックスの長さおよび幅を決定するステップと、2つの人間の顔に基づいて第3の対象ボックスおよび第4の対象ボックスを生成するステップであって、第3の対象ボックスは、2つの人間の顔のうちでより大きい面積を有する人間の顔の境界矩形であり、第4の対象ボックスは、2つの人間の顔のうちでより小さい面積を有する人間の顔の境界矩形である、ステップと、第3の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第3の対象ボックスの幅がトリミングボックスの幅よりも大きくなく、第5の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第5の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、2つの人間の顔を含む最小ピクチャ領域が人間の顔領域であると決定するステップであって、第5の対象ボックスは、第4の対象ボックスおよび第5の対象ボックスを含む最小境界矩形である、ステップ、または第3の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第3の対象ボックスの幅がトリミングボックスの幅よりも大きくなく、第5の対象ボックスの長さがトリミングボックスの長さよりも大きいか、もしくは第5の対象ボックスの幅がトリミングボックスの幅よりも大きい場合に、2つの人間の顔のうちでより大きい面積を有する人間の顔が人間の顔領域であると決定するステップと、トリミングボックス内の人間の顔領域の構成方法が第1のピクチャ内の人間の顔領域の構成方法と同じになるように、トリミングボックスの位置を計算するステップと、トリミングボックスの決定された位置に基づいて第1のピクチャにトリミングボックスを表示するステップとを含む。
可能な実施態様では、第1のピクチャは3つ以上の人間の顔を含み、第1のピクチャにトリミングボックスを表示するステップは、第1のピクチャの長さおよび幅ならびにトリミングボックスのアスペクト比に基づいてトリミングボックスの長さおよび幅を決定し、3つ以上の人間の顔に基づいて3つ以上の第6の対象ボックスを生成するステップであって、1つの第6の対象ボックスは、3つ以上の人間の顔のうちの1つの境界矩形であり、第6の対象ボックスのそれぞれは、異なる人間の顔に対応し、3つ以上の第6の対象ボックスのうちで最大面積を有する対象ボックスは、第7の対象ボックスである、ステップと、第7の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第7の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、第8の対象ボックスが含まれた後に取得された第7の対象ボックスの長さがトリミングボックスの長さよりも大きくなるか、もしくは第8の対象ボックスが含まれた後に取得された第7の対象ボックスの幅がトリミングボックスの幅よりも大きくなるまで、第7の対象ボックスのうちの他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、人間の顔領域は、第8の対象ボックスが含まれる前に存在していた第7の対象ボックスに含まれる人間の顔であると決定するステップであって、第8の対象ボックスは、他の対象ボックスのうちの1つであり、他の対象ボックスは、3つ以上の第6の対象ボックスのうちの第7の対象ボックス以外の第6の対象ボックスである、ステップ、または第7の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第7の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、第7の対象ボックスのうちの他の対象ボックスがすべて横断されるまで、他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、人間の顔領域は、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる人間の顔であると決定するステップであって、第9の対象ボックスが含まれた後、第7の対象ボックスの長さがトリミングボックスの長さよりも大きいか、もしくは第7の対象ボックスの幅がトリミングボックスの幅よりも大きい場合に、第7の対象ボックスは、第3の対象ボックスが含まれる前に存在していた第7の対象ボックスであると決定されるか、または第9の対象ボックスが含まれた後、第7の対象ボックスの長さがトリミングボックスの長さよりも大きくないか、もしくは第7の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、第7の対象ボックスは、第9の対象ボックスが含まれた後に取得された第7の対象ボックスであると決定され、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる人間の顔が、人間の顔領域であると決定される、ステップと、トリミングボックス内の人間の顔領域の構成方法が第1のピクチャ内の人間の顔領域の構成方法と同じになるように、トリミングボックスの位置を計算するステップと、トリミングボックスの決定された位置に基づいて第1のピクチャにトリミングボックスを表示するステップとを含む。
第2の態様によれば、本出願の一実施形態は、サムネイル生成方法を提供する。本方法は、
電子デバイスによって、ギャラリーアプリケーションのユーザインターフェースを表示するステップであって、ユーザインターフェースは、少なくとも1つのサムネイルおよび第1のコントロールを表示し、少なくとも1つのサムネイルの各々は1つのピクチャに対応する、ステップと、第1のコントロールに対してユーザによって実行された第1の操作に応答して、第1のサムネイルに対して以下の動作を実行するステップであって、第1のサムネイルは、少なくとも1つのサムネイルのうちのいずれか1つであり、第1のピクチャの第1の顕著性領域を決定し、第1のピクチャ内の第1の顕著性領域の構成方法を決定し、第1の顕著性領域、および第1のピクチャ内の第1の顕著性領域の構成方法に基づいて第2のサムネイルを生成するステップであって、第1のピクチャ内の第1の顕著性領域の構成方法は、第2のサムネイル内の第1の顕著性領域の構成方法と同じであり、第2のサムネイルは第1のピクチャに対応する、ステップと、電子デバイスによって、第2のサムネイルを表示するステップと
を含む。
可能な実施態様では、第2のサムネイル内の第1の顕著性領域の構成方法は、第1の顕著性領域の重心と第2のサムネイルの中心線との間の距離、重心と第2のサムネイルの縁との間の距離、および重心と第2のサムネイルの基準線との間の距離のうちの最短距離によって決定され、第1のピクチャ内の第1の顕著性領域の構成方法は、第1の顕著性領域の重心と第1のピクチャの中心線との間の距離、重心と第1のピクチャの縁との間の距離、および重心と第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、トリミングボックスの基準線は三等分線であり、第1のピクチャの基準線は三等分線であるか、またはトリミングボックスの基準線は黄金分割線であり、第1のピクチャの基準線は黄金分割線である。
可能な実施態様では、第1の操作が受け付けられる前、第1のコントロールは第1の状態にあり、第1の状態は、第1のサムネイルが調整されることが可能であることを示すために使用され、第2の操作が受け付けられた後、第1のコントロールは第2の状態にあり、第2の状態は、第2のサムネイルが調整されていることを示すために使用される。
可能な実施態様では、第1のピクチャは、電子デバイスのカメラを使用して撮影されたピクチャであり、本方法は、第1のピクチャを撮影する処理で、カメラのビューファインダ画面のフォーカスフレームの位置を記録するステップであって、フォーカスフレームに含まれるピクチャコンテンツは、第1の顕著性領域である、ステップをさらに含む。
可能な実施態様では、第1のピクチャは1つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、第2のサムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、顕著性領域に基づいて第1の対象ボックスを生成するステップであって、第1の対象ボックスは、顕著性領域の境界矩形である、ステップと、第1の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第1の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、顕著性領域が第1の顕著性領域であると決定するステップと含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さが第2のサムネイルの長さよりも大きいか、または第1の対象ボックスの幅が第2のサムネイルの幅よりも大きい場合に、N個のセマンティックカテゴリを取得するために、最大面積を有する顕著性領域に対応するピクチャ領域に対してセマンティックセグメンテーションを実行するステップであって、N≧2であり、1つのセマンティックカテゴリは1つ以上の領域に対応し、領域は、互いに重ならない領域である、ステップと、N個のセマンティックカテゴリの各々に対応する領域の面積を決定するステップと、第iのセマンティックカテゴリのスコアを計算するステップであって、第iのセマンティックカテゴリのスコアは、第iのセマンティックカテゴリに対応する領域の面積と第iのセマンティックカテゴリに対応する重みとの積であり、電子デバイスは、セマンティックカテゴリに対応する重みを事前に記憶している、ステップと、N個のセマンティックカテゴリのうちで最も高いスコアを有するセマンティックカテゴリに対応する1つ以上の領域を含むピクチャ領域が第1の顕著性領域であると決定するステップとをさらに含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さが第2のサムネイルの長さよりも大きいか、または第1の対象ボックスの幅が第2のサムネイルの幅よりも大きい場合に、顕著性領域に基づいて、最適化された顕著性領域を生成するステップであって、最適化された顕著性領域は、顕著性領域の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含むピクチャ領域である、ステップと、最適化された顕著性領域に基づいて第2の対象ボックスを生成するステップであって、第2の対象ボックスは、最適化された顕著性領域の境界矩形である、ステップと、第2の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第2の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、最適化された顕著性領域が第1の顕著性領域であると決定するステップとをさらに含む。
可能な実施態様では、第1のピクチャは2つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、第2のサムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、2つの顕著性領域に基づいて第3の対象ボックスおよび第4の対象ボックスを生成するステップであって、第3の対象ボックスは、2つの顕著性領域のうちでより大きい面積を有する顕著性領域の境界矩形であり、第4の対象ボックスは、2つの顕著性領域のうちでより小さい面積を有する顕著性領域の境界矩形である、ステップと、第3の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第3の対象ボックスの幅が第2のサムネイルの幅よりも大きくなく、第5の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第5の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、2つの顕著性領域を含む最小ピクチャ領域が第1の顕著性領域であると決定するステップであって、第5の対象ボックスは、第4の対象ボックスおよび第5の対象ボックスを含む最小境界矩形である、ステップ、または第3の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第3の対象ボックスの幅が第2のサムネイルの幅よりも大きくなく、第5の対象ボックスの長さが第2のサムネイルの長さよりも大きいか、もしくは第5の対象ボックスの幅が第2のサムネイルの幅よりも大きい場合に、2つの顕著性領域のうちでより大きい面積を有する顕著性領域が第1の顕著性領域であると決定するステップとを含む。
可能な実施態様では、第1のピクチャは3つ以上の顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、第2のサムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、3つ以上の顕著性領域に基づいて3つ以上の第6の対象ボックスを生成するステップであって、1つの第6の対象ボックスは、3つ以上の顕著性領域のうちの1つの境界矩形であり、第6の対象ボックスのそれぞれは、異なる顕著性領域に対応し、3つ以上の第6の対象ボックスのうちで最大面積を有する対象ボックスは、第7の対象ボックスである、ステップと、第7の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第7の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、第8の対象ボックスが含まれた後に取得された第7の対象ボックスの長さが第2のサムネイルの長さよりも大きくなるか、もしくは第8の対象ボックスが含まれた後に取得された第7の対象ボックスの幅が第2のサムネイルの幅よりも大きくなるまで、第7の対象ボックスのうちの他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、第1の顕著性領域は、第8の対象ボックスが含まれる前に存在していた第7の対象ボックスに含まれる顕著性領域であると決定するステップであって、第8の対象ボックスは、他の対象ボックスのうちの1つであり、他の対象ボックスは、3つ以上の第6の対象ボックスのうちの第7の対象ボックス以外の第6の対象ボックスである、ステップ、または第7の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第7の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、第7の対象ボックスのうちの他の対象ボックスがすべて横断されるまで、他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、第1の顕著性領域は、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる顕著性領域であると決定するステップであって、第9の対象ボックスが含まれた後、第7の対象ボックスの長さが第2のサムネイルの長さよりも大きいか、もしくは第7の対象ボックスの幅が第2のサムネイルの幅よりも大きい場合に、第7の対象ボックスは、第3の対象ボックスが含まれる前に存在していた第7の対
象ボックスであると決定されるか、または第9の対象ボックスが含まれた後、第7の対象ボックスの長さが第2のサムネイルの長さよりも大きくないか、もしくは第7の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、第7の対象ボックスは、第9の対象ボックスが含まれた後に取得された第7の対象ボックスであると決定され、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる顕著性領域が、第1の顕著性領域であると決定される、ステップとを含む。
可能な実施態様では、本方法は、第3のサムネイルに対してユーザによって実行された第2の操作を検出し、第2の操作に応答して、電子デバイスによって、第2のピクチャを表示し、第2のピクチャに2つ以上のプロンプトを表示するステップであって、2つ以上のプロンプトの各々が、第2のピクチャ内の1つの顕著性領域に対応し、異なるプロンプトは、異なる顕著性領域に対応し、第3のサムネイルは、調整されたサムネイルのうちの1つであり、第3のサムネイルは、第2のピクチャに対応する、ステップと、少なくとも1つのプロンプトに対してユーザによって実行された第3の操作を検出するステップであって、第3の操作は、少なくとも1つのプロンプトを選択するために使用される、ステップと、第3の操作に応答して、電子デバイスによって、少なくとも1つのプロンプトに対応する顕著性領域、および第2のピクチャ内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法に基づいて第4のサムネイルを生成するステップとをさらに含み、第4のサムネイルは、少なくとも1つのプロンプトに対応する顕著性領域を含み、第4のサムネイル内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法は、第2のピクチャ内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法と同じである。
可能な実施態様では、電子デバイスによって、少なくとも1つのプロンプトに対応する顕著性領域、および第2のピクチャ内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法に基づいて第4のサムネイルを生成するステップは、第4のサムネイルの長さおよび幅を、第2のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、少なくとも1つのプロンプトに対応する顕著性領域に基づいて第10の対象ボックスを生成するステップであって、第10の対象ボックスは、少なくとも1つのプロンプトに対応する顕著性領域の境界矩形である、ステップと、第4のサムネイルの長さが第10の対象ボックスの長さよりも小さくなく、第4のサムネイルの幅が第10の対象ボックスの幅よりも小さくない場合に、電子デバイスによって、少なくとも1つのプロンプトに対応する顕著性領域、および第2のピクチャ内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法に基づいて第4のサムネイルを生成するステップとを含むか、または本方法は、第4のサムネイルの長さが第10の対象ボックスの長さよりも小さいか、もしくは第4のサムネイルの幅が第10の対象ボックスの幅よりも小さい場合に、電子デバイスによって、プロンプト情報を表示するステップであって、プロンプト情報は、顕著性領域を再選択するようにユーザを促すために使用される、ステップをさらに含む。
可能な実施態様では、本方法は、第3のサムネイルに対してユーザによって実行された第2の操作を検出し、第2の操作に応答して、電子デバイスによって、第2のピクチャを表示するステップであって、第3のサムネイルは、調整されたサムネイルのうちの1つであり、第3のサムネイルは、第2のピクチャに対応する、ステップと、第2のピクチャに対してユーザによって実行された第4の操作を検出するステップであって、第4の操作は、選択ボックスまたは閉じた図形を入力し、選択ボックスまたは閉じた図形を確認する操作である、ステップと、第4の操作に応答して、電子デバイスによって、選択ボックスまたは閉じた図形に含まれるピクチャ領域が第2の顕著性領域であると決定し、第2の顕著性領域、および第2のピクチャ内の第2の顕著性領域の構成方法に基づいて第5のサムネイルを生成するステップとをさらに含み、第5のサムネイルは第2の顕著性領域を含み、第5のサムネイル内の第2の顕著性領域の構成方法は、第2のピクチャ内の第2の顕著性領域の構成方法と同じである。
第3の態様によれば、本出願の一実施形態は、サムネイル生成方法を提供する。本方法は、
電子デバイスによって、カメラアプリケーションのビューファインダ画面を表示するステップであって、ビューファインダ画面は、写真撮影される対象物の第1の画像、第1の表示領域、および撮影コントロールを表示する、ステップと、撮影コントロールに対してユーザによって実行された第1の操作を検出し、電子デバイスによって、第1の操作に応答して第1の画像に基づいて第1のピクチャを生成するステップと、第1のピクチャの第1の顕著性領域を決定し、第1のピクチャ内の第1の顕著性領域の構成方法を決定するステップと、第1の顕著性領域、および第1のピクチャ内の第1の顕著性領域の構成方法に基づいてサムネイルを生成するステップであって、第1のピクチャ内の第1の顕著性領域の構成方法は、サムネイル内の第1の顕著性領域の構成方法と同じである、ステップと、第1の表示領域にサムネイルを表示するステップと
を含む。
可能な実施態様では、サムネイル内の第1の顕著性領域の構成方法は、第1の顕著性領域の重心とサムネイルの中心線との間の距離、重心とサムネイルの縁との間の距離、および重心とサムネイルの基準線との間の距離のうちの最短距離によって決定され、第1のピクチャ内の第1の顕著性領域の構成方法は、第1の顕著性領域の重心と第1のピクチャの中心線との間の距離、重心と第1のピクチャの縁との間の距離、および重心と第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、トリミングボックスの基準線は三等分線であり、第1のピクチャの基準線は三等分線であるか、またはトリミングボックスの基準線は黄金分割線であり、第1のピクチャの基準線は黄金分割線である。
可能な実施態様では、第1のピクチャの第1の顕著性領域を決定するステップは、ビューファインダ画面上でユーザによって実行された第2の操作を検出し、第2の操作に応答して、電子デバイスによって、第1の画像にフォーカスフレームを表示し、フォーカスフレームの位置を記録するステップと、フォーカスフレームの位置に基づいて、フォーカスフレームに含まれるピクチャコンテンツを決定するステップと、第1のピクチャの第1の顕著性領域はフォーカスフレームに含まれるピクチャコンテンツであると決定するステップとを含む。
可能な実施態様では、第1のピクチャは1つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、第2のサムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、顕著性領域に基づいて第1の対象ボックスを生成するステップであって、第1の対象ボックスは、顕著性領域の境界矩形である、ステップと、第1の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第1の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、顕著性領域が第1の顕著性領域であると決定するステップと含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さがサムネイルの長さよりも大きいか、または第1の対象ボックスの幅がサムネイルの幅よりも大きい場合に、N個のセマンティックカテゴリを取得するために、最大面積を有する顕著性領域に対応するピクチャ領域に対してセマンティックセグメンテーションを実行するステップであって、N≧2であり、1つのセマンティックカテゴリは1つ以上の領域に対応し、領域は、互いに重ならない領域である、ステップと、N個のセマンティックカテゴリの各々に対応する領域の面積を決定するステップと、第iのセマンティックカテゴリのスコアを計算するステップであって、第iのセマンティックカテゴリのスコアは、第iのセマンティックカテゴリに対応する領域の面積と第iのセマンティックカテゴリに対応する重みとの積であり、電子デバイスは、セマンティックカテゴリに対応する重みを事前に記憶している、ステップと、N個のセマンティックカテゴリのうちで最も高いスコアを有するセマンティックカテゴリに対応する1つ以上の領域を含むピクチャ領域が第1の顕著性領域であると決定するステップとをさらに含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さがサムネイルの長さよりも大きいか、または第1の対象ボックスの幅がサムネイルの幅よりも大きい場合に、顕著性領域に基づいて、最適化された顕著性領域を生成するステップであって、最適化された顕著性領域は、顕著性領域の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含むピクチャ領域である、ステップと、最適化された顕著性領域に基づいて第2の対象ボックスを生成するステップであって、第2の対象ボックスは、最適化された顕著性領域の境界矩形である、ステップと、第2の対象ボックスの長さがサムネイルの長さよりも大きくなく、第2の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、最適化された顕著性領域が第1の顕著性領域であると決定するステップとをさらに含む。
可能な実施態様では、第1のピクチャは2つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、サムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、2つの顕著性領域に基づいて第3の対象ボックスおよび第4の対象ボックスを生成するステップであって、第3の対象ボックスは、2つの顕著性領域のうちでより大きい面積を有する顕著性領域の境界矩形であり、第4の対象ボックスは、2つの顕著性領域のうちでより小さい面積を有する顕著性領域の境界矩形である、ステップと、第3の対象ボックスの長さがサムネイルの長さよりも大きくなく、第3の対象ボックスの幅がサムネイルの幅よりも大きくなく、第5の対象ボックスの長さがサムネイルの長さよりも大きくなく、第5の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、2つの顕著性領域を含む最小ピクチャ領域が第1の顕著性領域であると決定するステップであって、第5の対象ボックスは、第4の対象ボックスおよび第5の対象ボックスを含む最小境界矩形である、ステップ、または第3の対象ボックスの長さがサムネイルの長さよりも大きくなく、第3の対象ボックスの幅がサムネイルの幅よりも大きくなく、第5の対象ボックスの長さがサムネイルの長さよりも大きいか、もしくは第5の対象ボックスの幅がサムネイルの幅よりも大きい場合に、2つの顕著性領域のうちでより大きい面積を有する顕著性領域が第1の顕著性領域であると決定するステップとを含む。
可能な実施態様では、第1のピクチャは3つ以上の顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、サムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、3つ以上の顕著性領域に基づいて3つ以上の第6の対象ボックスを生成するステップであって、1つの第6の対象ボックスは、3つ以上の顕著性領域のうちの1つの境界矩形であり、第6の対象ボックスのそれぞれは、異なる顕著性領域に対応し、3つ以上の第6の対象ボックスのうちで最大面積を有する対象ボックスは、第7の対象ボックスである、ステップと、第7の対象ボックスの長さがサムネイルの長さよりも大きくなく、第7の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、第8の対象ボックスが含まれた後に取得された第7の対象ボックスの長さがサムネイルの長さよりも大きくなるか、もしくは第8の対象ボックスが含まれた後に取得された第7の対象ボックスの幅がサムネイルの幅よりも大きくなるまで、第7の対象ボックスのうちの他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、第1の顕著性領域は、第8の対象ボックスが含まれる前に存在していた第7の対象ボックスに含まれる顕著性領域であると決定するステップであって、第8の対象ボックスは、他の対象ボックスのうちの1つであり、他の対象ボックスは、3つ以上の第6の対象ボックスのうちの第7の対象ボックス以外の第6の対象ボックスである、ステップ、または第7の対象ボックスの長さがサムネイルの長さよりも大きくなく、第7の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、第7の対象ボックスのうちの他の対象ボックスがすべて横断されるまで、他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、第1の顕著性領域は、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる顕著性領域であると決定するステップであって、第9の対象ボックスが含まれた後、第7の対象ボックスの長さがサムネイルの長さよりも大きいか、もしくは第7の対象ボックスの幅がサムネイルの幅よりも大きい場合に、第7の対象ボックスは、第3の対象ボックスが含まれる前に存在していた第7の対象ボックスであると決定されるか、または第9の対象ボックスが含まれた後、第7の対象ボックスの長さがサムネイルの長さよりも大きくないか、もしくは第7の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、第7の対象ボックスは、第9の対象ボックスが含まれた後に取得された第7の対象ボックスであると決定され、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる顕著性領域が、第1の顕著性領域であると決定される、ステップとを含む。第1の顕著性領域を決定するそれぞれの特定の実施態様については、図11に対応する実施形態で説明されている第1の対象ボックスを決定するための方法を参照することに留意されたい。第1の対象ボックスに含まれる顕著性領域が、第1の顕著性領域である。
第4の態様によれば、本出願は、1つ以上のメモリと、折り畳み可能なディスプレイと、1つ以上のメモリとを含む電子デバイスを提供する。1つ以上のメモリは、1つ以上のプロセッサに結合され、折り畳み可能なディスプレイは、1つ以上のプロセッサと通信する。1つ以上のメモリは、コンピュータプログラムコードを記憶するように構成され、コンピュータプログラムコードは、コンピュータ命令を含み、1つ以上のプロセッサがコンピュータ命令を実行するとき、電子デバイスは、第1の態様および第1の態様の可能な実施態様のいずれか1つにおけるユーザプロフィールピクチャ生成方法を実行することが可能である。
第5の態様によれば、本出願は、1つ以上のメモリと、折り畳み可能なディスプレイと、1つ以上のメモリとを含む電子デバイスを提供する。1つ以上のメモリは、1つ以上のプロセッサに結合され、折り畳み可能なディスプレイは、1つ以上のプロセッサと通信する。1つ以上のメモリは、コンピュータプログラムコードを記憶するように構成され、コンピュータプログラムコードは、コンピュータ命令を含み、1つ以上のプロセッサがコンピュータ命令を実行するとき、電子デバイスは、第2の態様および第2の態様の可能な実施態様のいずれか1つにおけるサムネイル生成方法を実行することが可能である。
第6の態様によれば、本出願は、1つ以上のメモリと、折り畳み可能なディスプレイと、1つ以上のメモリとを含む電子デバイスを提供する。1つ以上のメモリは、1つ以上のプロセッサに結合され、折り畳み可能なディスプレイは、1つ以上のプロセッサと通信する。1つ以上のメモリは、コンピュータプログラムコードを記憶するように構成され、コンピュータプログラムコードは、コンピュータ命令を含み、1つ以上のプロセッサがコンピュータ命令を実行するとき、電子デバイスは、第3の態様および第3の態様の可能な実施態様のいずれか1つにおけるサムネイル生成方法を実行することが可能である。
第7の態様によれば、本出願の一実施形態は、コンピュータ命令を含むコンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス上で実行されるとき、電子デバイスは、第1の態様および第1の態様の可能な実施態様のいずれか1つにおけるユーザプロフィールピクチャ生成方法を実行することが可能である。
第8の態様によれば、本出願の一実施形態は、コンピュータ命令を含むコンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス上で実行されるとき、電子デバイスは、第2の態様および第2の態様の可能な実施態様のいずれか1つにおけるサムネイル生成方法を実行することが可能である。
第9の態様によれば、本出願の一実施形態は、コンピュータ命令を含むコンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス上で実行されるとき、電子デバイスは、第3の態様および第3の態様の可能な実施態様のいずれか1つにおけるサムネイル生成方法を実行することが可能である。
第10の態様によれば、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で動作するとき、コンピュータは、第1の態様および第1の態様の可能な実施態様のいずれか1つにおけるユーザプロフィールピクチャ生成方法を実行することが可能である。
第11の態様によれば、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で動作するとき、コンピュータは、第2の態様および第2の態様の可能な実施態様のいずれか1つにおけるサムネイル生成方法を実行することが可能である。
第12の態様によれば、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で動作するとき、コンピュータは、第3の態様および第3の態様の可能な実施態様のいずれか1つにおけるサムネイル生成方法を実行することが可能である。
本出願の実施形態では、ユーザがユーザインターフェースに表示された複数のサムネイルにおいてプロフィールピクチャを検索する処理で、ユーザがサムネイルを選択した場合、電子デバイスは、サムネイルに対応する元のピクチャを表示し、元のピクチャにトリミングボックスを表示し、選択は、サムネイルに対するタップであり得る。次に、電子デバイスは、トリミングボックスに基づいてユーザのプロフィールピクチャを生成し得る。トリミングボックスは、元のピクチャ内の人間の顔領域を含み、トリミングボックス内の人間の顔領域の構成方法は、元のピクチャ内の人間の顔領域の構成方法と同じである。このようにして、適切なトリミングボックス位置がユーザに推奨され得、これにより、ユーザプロフィールピクチャ生成効率が改善される。
本出願の実施形態または従来技術における技術的ソリューションをより明確に説明するために、以下では、実施形態または従来技術を説明するための添付の図面について簡単に説明する。
本出願の一実施形態による顕著性検出結果の概略図である。 本出願の一実施形態による顕著性検出結果の概略図である。 本出願の一実施形態による画像セグメンテーション結果の概略図である。 本出願の一実施形態による画像セグメンテーション結果の概略図である。 本出願の一実施形態による線検出結果の概略図である。 本出願の一実施形態による線検出結果の概略図である。 本出願の一実施形態による、ギャラリーを表示するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルに対応する元のピクチャを表示するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による電子デバイスの概略構造図である。 本発明の一実施形態による電子デバイスのソフトウェア構造のブロック図である。 本出願の一実施形態による、アプリケーションメニューを表示するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルに対応する元のピクチャを表示するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用される他のユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用される他のユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用される他のユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用される他のユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用される他のユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用される他のユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用される他のユーザインターフェースの概略図である。 本出願の一実施形態による、サムネイルを表示するために使用される他のユーザインターフェースの概略図である。 本出願の一実施形態による、ピクチャを撮影するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、ピクチャを撮影するために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、ピクチャをトリミングするために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、ピクチャをトリミングするために使用されるユーザインターフェースの概略図である。 本出願の一実施形態による、ユーザがプロフィールピクチャを変更するユーザインターフェースの概略図である。 本出願の一実施形態による、ユーザがプロフィールピクチャを変更するユーザインターフェースの概略図である。 本出願の一実施形態による、ユーザがプロフィールピクチャを変更するユーザインターフェースの概略図である。 本出願の一実施形態による、ユーザがプロフィールピクチャを変更するユーザインターフェースの概略図である。 本出願の一実施形態による、ユーザがプロフィールピクチャを変更するユーザインターフェースの概略図である。 本出願の一実施形態によるトリミング方法のフローチャートである。 本出願の一実施形態による、黄金分割線の近傍領域の概略図である。 本出願の一実施形態による、顕著性領域の重心の位置と構成方法との間の対応関係の概略図である。 本出願の一実施形態による、顕著性領域の重心の位置と構成方法との間の対応関係の概略図である。 本出願の一実施形態によるトリミングボックスの概略図である。 本出願の一実施形態によるトリミングボックスの概略図である。 本出願の一実施形態による、顕著性領域、対象ボックス、および最適化された対象ボックスの間の位置関係の概略図である。 本出願の一実施形態による、第1の対象ボックスを決定する概略フローチャートである。 本出願の一実施形態による、第1の対象ボックスを決定する概略フローチャートである。 本出願の一実施形態による、第1の対象ボックスを決定する概略フローチャートである。 本出願の一実施形態による、第1の対象ボックスを決定する概略フローチャートである。 本出願の一実施形態による、非制約トリミングによって形成されたトリミングボックスの概略図である。 本出願の一実施形態による、非制約トリミングによって形成されたトリミングボックスの概略図である。 本出願の一実施形態によるスケーリングされたトリミングボックスの概略図である。 本出願の一実施形態によるユーザプロフィールピクチャ生成方法の概略フローチャートである。 本出願の一実施形態によるサムネイル生成方法の概略フローチャートである。 本出願の一実施形態による別のサムネイル生成方法の概略フローチャートである。
以下では、本出願の実施形態における技術的ソリューションをより詳細に説明する。本出願の実施形態で使用される用語は、本出願の特定の実施形態を説明するために使用されているにすぎず、本出願を限定することを意図されていない。本明細書および本出願の添付の特許請求の範囲で使用される単数形の「1つの」、「ある」、「その」、「前述の」、「これ」、および「それ」という用語は、文脈で明確に別段の指定がない限り、複数形も含むことが意図されている。本出願で使用される「および／または」という用語が、1つ以上の記載された項目のありとあらゆる可能な組み合わせを示し、また含むことをさらに理解されたい。
以下では、電子デバイス、このような電子デバイスに使用されるユーザインターフェース、およびこのような電子デバイスを使用するために使用される実施形態について説明する。一部の実施形態では、電子デバイスは、携帯情報端末機能および／または音楽プレーヤ機能などの他の機能をさらに含むポータブル電子デバイス、例えば、携帯電話、タブレットコンピュータ、またはワイヤレス通信機能を有するウェアラブル電子デバイス（例えば、スマートウォッチ）であってもよい。ポータブル電子デバイスの例示的な実施形態は、iOS（登録商標）、Android（登録商標）、Microsoft（登録商標）、または別のオペレーティングシステムを使用するポータブル電子デバイスを含むが、これに限定されない。ポータブル電子デバイスは、代わりに、別のポータブル電子デバイス、例えば、タッチ感知面またはタッチパネルを有するラップトップ（Laptop）であってもよい。一部の他の実施形態では、電子デバイスは、ポータブル電子デバイスではなく、タッチ感知面またはタッチパネルを有するデスクトップコンピュータであってもよいことをさらに理解されたい。
本出願に関連するいくつかの概念が最初に詳細に説明される。
重心：画像の重心は、画像内の画素のグレースケール値の分布の平均位置である。重心の計算式は以下の通りである。
Figure 0007302038000001
ただし、Xcは重心の水平座標であり、Ycは重心の垂直座標であり、Piは画像内の第iの画素のグレースケール値であり、xiは画像内の第iの画素の水平座標であり、yiは画像内の第iの画素の垂直座標である。
顕著性領域：ピクチャの顕著性領域は、ピクチャ内で人々の注目を集める領域である。コンピュータビジョン分野では、ピクチャ内の顕著性領域は、画像処理によってシミュレートされ得る。この方法は顕著性検出と呼ばれる。本出願の実施形態では、顕著性検出は、ディープラーニングによって実施され得る。ピクチャに対して顕著性検出が実行された後、出力結果は、通常、グレースケールピクチャである。より大きいグレースケール値はより高い顕著性を示す。このようにして、ピクチャ内の顕著性領域が決定され得る。図1A（1）および図1A（2）は、本出願の一実施形態による顕著性検出結果の概略図である。図1A（2）は、ピクチャの元のピクチャであり、図1A（1）は、元のピクチャに対して顕著性検出が実行された後に出力されたグレースケールピクチャである。グレースケールピクチャでは、より大きいグレースケール値を有する領域がピクチャの顕著性領域である。グレースケール値は、白黒ピクチャにおける画素の色深度範囲である。グレースケール値は、通常、0から255の範囲であり、白は255であり、黒は0である。より大きいグレースケール値は、画素の色が白に近いことを示す。
セマンティックセグメンテーションは、画像をいくつかの特定の独特の領域にセグメント化し、セマンティックカテゴリを提案する技術および処理である。セマンティックセグメンテーションには、画像コンテンツの理解が追加されている。セグメンテーションによって取得された領域は、コンテンツタイプに基づいて分類される。画像内の各画素はセマンティックカテゴリに対応する。本出願の実施形態では、画像セグメンテーションはディープラーニングによって実施され得る。図1B（1）および図1B（2）は、本出願の一実施形態による画像セグメンテーション結果の概略図である。図1B（2）は、写真の元のピクチャであり、図1B（1）は、元のピクチャに対して画像セグメンテーションが実行された後に取得された領域セグメンテーション結果である。セグメンテーション結果では、同じグレースケール値を有する画素が1つの領域を形成し、その領域は1つのセマンティックカテゴリに対応する。加えて、異なる領域は、異なるセマンティックカテゴリに対応する。例えば、領域1に対応するセマンティックカテゴリは「建物」であってもよく、領域2に対応するセマンティックカテゴリは「空」であってもよく、領域3に対応するセマンティックカテゴリは「植物」であってもよく、領域4に対応するセマンティックカテゴリは「湖」であってもよい。
線検出は、画像内の明白な直線を識別するために使用される方法である。線検出の前に、画像に対してエッジ検出（Edge Detection）が実行される必要がある。古典的な線検出アルゴリズムは、ハフ線検出（Hough Line）およびLSD（Line Segment Detector）線検出を含む。ハフ線検出の原理は、画像内の点をデカルト座標系からパラメータ空間に変換し、統計的方法を使用して直線上の点の数を計算して、存在し得る直線を探索することである。LSD線検出は、点の勾配の値および方向を計算し、接続領域を決定することによって直線を決定することである。図1C（1）および図1C（2）は、本出願の一実施形態による線検出結果の概略図である。図1C（2）は、写真の元のピクチャであり、図1C（1）は、元のピクチャに対して線検出が実行された後に取得された結果である。ピクチャ内に存在し得る直線が決定され得る。
ユーザインターフェース（user interface、UI）は、アプリケーションまたはオペレーティングシステムとユーザとの間の対話および情報交換のための媒体インターフェースであり、情報の内部形式とユーザに受け入れ可能な形式との間の変換を実施する。アプリケーションのユーザインターフェースは、Java(登録商標)または拡張可能マークアップ言語（extensible markup language、XML）などの特定のコンピュータ言語で書かれたソースコードである。インターフェースソースコードは、電子デバイス上で解析されてレンダリングされ、最終的に、ユーザによって識別され得るコンテンツ、例えば、ピクチャ、テキスト、またはボタンなどのコントロールとして提示される。コントロール（control）は、ユーザインターフェースの基本要素である。典型的なコントロールは、ボタン（button）、ウィジェット（widget）、ツールバー（toolbar）、メニューバー（menu bar）、テキストボックス（text box）、スクロールバー（scrollbar）、ピクチャ、およびテキストを含む。インターフェース内のコントロールの属性およびコンテンツは、タグまたはノードを使用して定義される。例えば、XMLは、＜Textview＞、＜ImgView＞、または＜VideoView＞などのノードを使用して、インターフェースに含まれるコントロールを定義する。1つのノードは、インターフェース内の1つのコントロールまたは属性に対応する。解析されてレンダリングされた後、ノードは、ユーザに見えるコンテンツとして提示される。加えて、ハイブリッドアプリケーション（hybrid application）などの複数のアプリケーションのインターフェースは、通常、ウェブページをさらに含む。ページとも呼ばれるウェブページは、アプリケーションインターフェースに埋め込まれる特別なコントロールとして理解され得る。ウェブページは、特定のコンピュータ言語、例えば、ハイパーテキストマークアップ言語（hyper text markup language、HTML）、カスケーディングスタイルシート（cascading style sheets、CSS）、javaスクリプト（JavaScript(登録商標)、JS）で書かれたソースコードである。ブラウザ、またはその機能がブラウザの機能と同様であるウェブページ表示コンポーネントは、ユーザによって識別され得るコンテンツとしてウェブページソースコードをロードして表示し得る。ウェブページに含まれる特定のコンテンツも、ウェブページソースコード内のタグまたはノードを使用して定義される。例えば、HTMLは、＜p＞、＜img＞、＜video＞、または＜canvas＞を使用して、ウェブページの要素および属性を定義する。
ユーザインターフェースは、通常、コンピュータ操作に関連する、グラフィカルな方法で表示されるユーザインターフェースであるグラフィカルユーザインターフェース（graphic user interface、GUI）の表現形式である。グラフィカルユーザインターフェースは、電子デバイスのディスプレイに表示されるアイコン、ウィンドウ、またはコントロールなどのインターフェース要素であってもよい。
サムネイルは、ピクチャが圧縮された後に取得される小サイズのピクチャである。サムネイルのサイズは比較的小さいため、ロード速度は非常に速い。これは、ユーザがピクチャを迅速に閲覧するのを助ける。1つのサムネイルは、通常、1つの元のピクチャに対応する。通常、電子デバイスは、サムネイルに対して実行されたユーザ操作を検出し得、ユーザ操作に応答して、電子デバイスは、サムネイルに対応する元のピクチャを表示する。特別な場合、1つのサムネイルは、代わりに、複数の元のピクチャに対応してもよい。加えて、電子デバイスのギャラリー内のサムネイルは、通常、アスペクト比が1：1の構成比を使用する。例えば、図2Aは、従来技術でギャラリーを表示するために使用されるユーザインターフェース21を示す。図2Aに示されているように、ユーザインターフェース21は、複数のサムネイル、例えば、サムネイル201を含む。例えば、図2Bは、元のピクチャを表示するために使用されるユーザインターフェース22を示す。図2Bに示されているように、表示領域204は、サムネイル201に対応する元のピクチャ202を表示する。破線ボックス203は、元のピクチャ202の中央部分（破線ボックスの幾何学的中心は元のピクチャの幾何的学中心と一致する）であり、破線ボックスのアスペクト比は1：1である。言い換えれば、破線ボックス203に含まれるピクチャコンテンツは、サムネイル201に含まれるピクチャコンテンツである。当然ながら、サムネイル201に含まれるピクチャコンテンツと破線ボックス203に含まれるピクチャコンテンツとは完全に一致しない。通常、サムネイルは、破線ボックス203に含まれるピクチャコンテンツが圧縮された後に形成されるピクチャである。破線ボックス203に含まれるピクチャコンテンツと元のピクチャ202のコンテンツとを比較することにより、サムネイルでは飼い犬に関する大量の情報が失われていることが知られ得る。
本出願の以下の実施形態は、表示されたサムネイルが元のピクチャの顕著性領域を含み得、サムネイル内の顕著性領域の構成方法が元のピクチャ内の顕著性領域の構成方法に準拠するように、サムネイル生成方法および電子デバイスを提供する。本出願の実施形態で表示されるサムネイルは、本出願の実施形態で提供されるトリミング方法で生成される。従来技術でサムネイルが中央トリミングによって形成される方法とは異なり、本出願の実施形態で提供されるトリミング方法では、サムネイルは、元のピクチャ内の顕著性領域を含み得、サムネイル内の顕著性領域の構成方法は、元のピクチャ内の顕著性領域の構成方法に準拠し、これにより、元のピクチャ内の顕著性領域に関する情報が比較的多く保持され得る。
本出願の実施形態で提供されるトリミング方法の主な手順は、以下の通りであり、元のピクチャに含まれる顕著性領域が最初に決定され、次にサムネイル内の顕著性領域の構成方法が決定される。サムネイル内の顕著性領域の構成方法は、元のピクチャ内の顕著性領域の構成方法と同じである。構成方法は、中心線近傍構成、基準線近傍構成、または縁近傍構成などを含み得る。次に、電子デバイスは、サムネイル内の顕著性領域の構成方法および顕著性領域の位置に基づいて元のピクチャからサムネイルのトリミングボックスを決定する。特定の実施態様では、電子デバイスは、トリミングボックスに基づいて元のピクチャから、サムネイルに含まれるピクチャコンテンツを決定し、次に、サムネイルを形成するためにピクチャを圧縮し得る。本出願の実施形態で提供されるトリミング方法は、後続の内容で詳細に説明される。ここでは詳細は説明されない。
続いて、本出願の以下の実施形態で提供される例示的な電子デバイス300が最初に説明される。
図3Aは、電子デバイス300の概略構造図である。
電子デバイス300は、プロセッサ310、外部メモリインターフェース320、内部メモリ321、ユニバーサルシリアルバス（universal serial bus、USB）ポート330、充電管理モジュール340、電力管理モジュール341、バッテリ342、アンテナ1、アンテナ2、移動通信モジュール350、ワイヤレス通信モジュール360、オーディオモジュール370、スピーカ370A、受話器370B、マイクロフォン370C、ヘッドセットジャック370D、センサモジュール380、ボタン390、モータ391、インジケータ392、カメラモジュール393、ディスプレイ394、および加入者識別モジュール（subscriber identification module、SIM）カードインターフェース395などを含み得る。センサモジュール380は、圧力センサ380A、ジャイロセンサ380B、気圧センサ380C、磁気センサ380D、加速度センサ380E、距離センサ380F、近接センサ380G、指紋センサ380G、温度センサ380J、タッチセンサ380K、周囲光センサ380L、および骨伝導センサ380Mなどを含み得る。カメラモジュール393は、3Dカメラモジュールであってもよい。
本発明のこの実施形態に示されている構造は、電子デバイス300に対する特定の限定を構成しないことが理解されよう。本出願の一部の他の実施形態では、電子デバイス300は、図に示されているものよりも多いもしくは少ないコンポーネントを含んでもよいし、または一部のコンポーネントは組み合わされてもよいし、または一部のコンポーネントは分割されてもよいし、または異なるコンポーネントの配置が使用されてもよい。図に示されているコンポーネントは、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組み合わせによって実施され得る。
プロセッサ310は、1つ以上の処理ユニットを含み得る。例えば、プロセッサ310は、アプリケーションプロセッサ（application processor、AP）、中央処理装置（central processing unit、CPU）、グラフィック処理ユニット（graphics processing unit、GPU）、ニューラルネットワーク処理ユニット（neural－network processing unit、NPU）、モデムプロセッサ、画像信号プロセッサ（image signal processor、ISP）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、またはベースバンドプロセッサを含んでもよい。異なる処理ユニットは、独立したコンポーネントであってもよいし、または1つ以上のプロセッサに組み込まれてもよい。一部の実施形態では、電子デバイス300は、代わりに、1つ以上のプロセッサ310を含んでもよい。
コントローラは、電子デバイス300の中枢およびコマンドセンタであってもよい。コントローラは、命令の読み出しおよび命令の実行の制御を遂行するために、命令動作コードおよび時系列信号に基づいて動作制御信号を生成し得る。
メモリは、プロセッサ310にさらに配置されてもよく、命令およびデータを記憶するように構成される。一部の実施形態では、プロセッサ310内のメモリは、キャッシュである。メモリは、プロセッサ310によって使用されたばかりの、または周期的に使用される命令またはデータを記憶し得る。プロセッサ310が命令またはデータを再び使用する必要がある場合、プロセッサ310は、メモリから命令またはデータを直接呼び出し得る。これは、繰り返されるアクセスを回避し、プロセッサ310の待ち時間を短縮し、これにより、電子デバイス300の効率が改善される。
一部の実施形態では、プロセッサ310は、1つ以上のインターフェースを含み得る。インターフェースは、集積回路間（inter－integrated circuit、I2C）インターフェース、集積回路間サウンド（inter－integrated circuit sound、I2S）インターフェース、パルス符号変調（pulse code modulation、PCM）インターフェース、汎用非同期送受信機（universal asynchronous receiver／transmitter、UART）インターフェース、モバイルインダストリプロセッサインターフェース（mobile industry processor interface、MIPI）、汎用入出力（general－purpose input／output、GPIO）インターフェース、加入者識別モジュール（subscriber identity module、SIM）インターフェース、および／またはユニバーサルシリアルバス（universal serial bus、USB）ポートなどを含み得る。
I2Cインターフェースは、双方向同期シリアルバスであり、シリアルデータライン（serial data line、SDA）およびシリアルクロックライン（derail clock line、SCL）を含む。一部の実施形態では、プロセッサ310は、I2Cバスの複数のグループを含み得る。プロセッサ310は、異なるI2Cバスインターフェースを介してタッチセンサ380K、充電器、フラッシュ、およびカメラモジュール393などに結合され得る。例えば、プロセッサ310は、I2Cインターフェースを介してタッチセンサ380Kに結合されてもよく、これにより、プロセッサ310は、電子デバイス300のタッチ機能を実施するためにI2Cバスインターフェースを介してタッチセンサ380Kと通信する。
I2Sインターフェースは、オーディオ通信を実行するように構成され得る。一部の実施形態では、プロセッサ310は、I2Sバスの複数のグループを含み得る。プロセッサ310は、プロセッサ310とオーディオモジュール370との間で通信を実施するために、I2Sバスを介してオーディオモジュール370に結合され得る。一部の実施形態では、オーディオモジュール370は、ブルートゥース(登録商標)ヘッドセットを介して通話に応答する機能を実施するために、I2Sインターフェースを介してワイヤレス通信モジュール360にオーディオ信号を送信し得る。
PCMインターフェースもまた、オーディオ通信を実行し、アナログ信号をサンプリング、量子化、および符号化するように構成され得る。一部の実施形態では、オーディオモジュール370は、PCMバスインターフェースを介してワイヤレス通信モジュール360に結合され得る。一部の実施形態では、オーディオモジュール370は、ブルートゥース(登録商標)ヘッドセットを介して通話に応答する機能を実施するために、PCMインターフェースを介してもワイヤレス通信モジュール360にオーディオ信号を送信し得る。I2SインターフェースとPCMインターフェースの両方は、オーディオ通信を実行するように構成され得る。
UARTインターフェースは、ユニバーサルシリアルデータバスであり、非同期通信を実行するように構成される。このバスは、双方向通信バスであってもよく、シリアル通信とパラレル通信との間で、送信されるデータを変換する。一部の実施形態では、UARTインターフェースは、通常、プロセッサ310とワイヤレス通信モジュール360とを接続するように構成される。例えば、プロセッサ310は、ブルートゥース(登録商標)機能を実施するために、UARTインターフェースを介してワイヤレス通信モジュール360内のブルートゥース(登録商標)モジュールと通信する。一部の実施形態では、オーディオモジュール370は、ブルートゥース(登録商標)ヘッドセットを介して音楽を再生する機能を実施するために、UARTインターフェースを介してワイヤレス通信モジュール360にオーディオ信号を送信し得る。
MIPIインターフェースは、プロセッサ310と、ディスプレイ394またはカメラモジュール393などの周辺コンポーネントとを接続するように構成され得る。MIPIインターフェースは、カメラシリアルインターフェース（camera serial interface、CSI）またはディスプレイシリアルインターフェース（display serial interface、DSI）などを含む。一部の実施形態では、プロセッサ310は、電子デバイス300の写真撮影機能を実施するために、CSIインターフェースを介してカメラモジュール393と通信する。プロセッサ310は、電子デバイス300の表示機能を実施するために、DSIインターフェースを介してディスプレイ394と通信する。
GPIOインターフェースは、ソフトウェアによって構成され得る。GPIOインターフェースは、制御信号として構成されてもよいし、またはデータ信号として構成されてもよい。一部の実施形態では、GPIOインターフェースは、プロセッサ310とカメラモジュール393、ディスプレイ394、ワイヤレス通信モジュール360、オーディオモジュール370、およびセンサモジュール380などとを接続するように構成され得る。GPIOインターフェースは、代わりに、I2Cインターフェース、I2Sインターフェース、UARTインターフェース、またはMIPIインターフェースなどとして構成されてもよい。
USBポート330は、USB標準仕様に準拠したポートであり、具体的には、Mini USBポート、Micro USBポート、またはUSB Type Cポートなどであってもよい。USBポート330は、電子デバイス300を充電するために充電器に接続されるように構成されてもよいし、または電子デバイス300と周辺デバイスとの間でデータ送信を実行するように構成されてもよいし、またはヘッドセットを介してオーディオを再生するためにヘッドセットに接続されるように構成されてもよい。代わりに、このポートは、別の電子デバイス、例えば、ARデバイスに接続されるように構成されてもよい。
本発明のこの実施形態に示されているモジュール間のインターフェース接続関係は、説明のための例にすぎず、電子デバイス300の構造に対する限定を構成しないことが理解されよう。一部の他の実施形態では、電子デバイス300は、代わりに、前述の実施形態とは異なるインターフェース接続方法、または複数のインターフェース接続方法の組み合わせを使用してもよい。
充電管理モジュール340は、充電器から充電入力を受け取るように構成される。充電器は、ワイヤレス充電器であっても有線充電器であってもよい。有線充電の一部の実施形態では、充電管理モジュール340は、USBポート330を介して有線充電器から充電入力を受け取ってもよい。ワイヤレス充電の一部の実施形態では、充電管理モジュール340は、電子デバイス300のワイヤレス充電コイルを介してワイヤレス充電入力を受け取ってもよい。充電管理モジュール340は、バッテリ342を充電しながら、電力管理モジュール341を介して電子デバイスに電力をさらに供給し得る。
電力管理モジュール341は、バッテリ342、充電管理モジュール340、およびプロセッサ310を接続するように構成される。電力管理モジュール341は、バッテリ342および／または充電管理モジュール340から入力を受け取り、プロセッサ310、内部メモリ321、外部メモリ、ディスプレイ394、カメラモジュール393、およびワイヤレス通信モジュール360などに電力を供給する。電力管理モジュール341は、バッテリ容量、バッテリサイクル数、およびバッテリ健康ステータス（漏電またはインピーダンス）などのパラメータを監視するようにさらに構成され得る。一部の他の実施形態では、電力管理モジュール341は、代わりに、プロセッサ310に配置されてもよい。一部の他の実施形態では、電力管理モジュール341および充電管理モジュール340は、代わりに、同じデバイスに配置されてもよい。
電子デバイス300のワイヤレス通信機能は、アンテナ1、アンテナ2、移動通信モジュール350、ワイヤレス通信モジュール360、モデムプロセッサ、およびベースバンドプロセッサなどを介して実施され得る。
アンテナ1およびアンテナ2は、電磁波信号を送受信するように構成される。電子デバイス300の各アンテナは、1つ以上の通信帯域をカバーするように構成され得る。アンテナ利用を改善するために、異なるアンテナがさらに多重化されてもよい。例えば、アンテナ1は、ワイヤレスローカルエリアネットワークでダイバーシティアンテナとして多重化されてもよい。一部の他の実施形態では、アンテナは、チューニングスイッチと組み合わせて使用されてもよい。
移動通信モジュール350は、2G／3G／4G／5Gなどを含む、電子デバイス300に適用されるワイヤレス通信ソリューションを提供し得る。移動通信モジュール350は、少なくとも1つのフィルタ、スイッチ、電力増幅器、および低ノイズ増幅器（low noise amplifier、LNA）などを含み得る。移動通信モジュール350は、アンテナ1を介して電磁波を受信し、受信された電磁波に対してフィルタリングまたは増幅などの処理を実行し、復調のために電磁波をモデムプロセッサに送信し得る。移動通信モジュール350はさらに、モデムプロセッサによって変調された信号を増幅し、アンテナ1を介した放射のために信号を電磁波に変換し得る。一部の実施形態では、移動通信モジュール350の少なくとも一部の機能モジュールは、プロセッサ310に配置されてもよい。一部の実施形態では、移動通信モジュール350の少なくとも一部の機能モジュールおよびプロセッサ310の少なくとも一部のモジュールは、同じデバイスに配置されてもよい。
モデムプロセッサは、変調器および復調器を含み得る。変調器は、送信される低周波ベースバンド信号を中／高周波信号に変調するように構成される。復調器は、受信された電磁波信号を低周波ベースバンド信号に復調するように構成される。次に、復調器は、復調によって得られた低周波ベースバンド信号を処理のためにベースバンドプロセッサに転送する。低周波ベースバンド信号は、ベースバンドプロセッサによって処理され、次にアプリケーションプロセッサに転送される。アプリケーションプロセッサは、オーディオデバイス（スピーカ370Aもしくは受話器370Bなどに限定されない）を介して音声信号を出力したり、またはディスプレイ394を介して画像もしくはビデオを表示したりする。一部の実施形態では、モデムプロセッサは独立したデバイスであってもよい。一部の他の実施形態では、モデムプロセッサは、プロセッサ310から独立していてもよく、移動通信モジュール350または別の機能モジュールと同じデバイスに配置される。
ワイヤレス通信モジュール360は、ワイヤレスローカルエリアネットワーク（wireless local area networks、WLAN）（例えば、ワイヤレスフィデリティ（wireless fidelity、Wi－Fi）ネットワーク）、ブルートゥース(登録商標)（bluetooth(登録商標)、BT）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、近距離無線通信（near field communication、NFC）、または赤外線（infrared、IR）技術などを含む、電子デバイス300に適用されるワイヤレス通信ソリューションを提供し得る。ワイヤレス通信モジュール360は、少なくとも1つの通信処理モジュールを組み込んだ1つ以上のデバイスであってもよい。ワイヤレス通信モジュール360は、アンテナ2を介して電磁波を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を実行し、処理された信号をプロセッサ310に送信する。ワイヤレス通信モジュール360はさらに、プロセッサ310から、送信される信号を受信し、信号に対して周波数変調および増幅を実行し、アンテナ2を介した放射のために信号を電磁波に変換し得る。例えば、ワイヤレス通信モジュール360は、ブルートゥース(登録商標)モジュールおよびWi－Fiモジュールなどを含んでもよい。
一部の実施形態では、電子デバイス300がワイヤレス通信技術によってネットワークおよび別のデバイスと通信し得るように、電子デバイス300のアンテナ1および移動通信モジュール350が結合され、アンテナ2およびワイヤレス通信モジュール360が結合される。ワイヤレス通信技術は、グローバル・システム・フォー・モバイル・コミュニケーションズ（global system for mobile communications、GSM(登録商標)）、汎用パケット無線サービス（general packet radio service、GPRS）、符号分割多元接続（code division multiple access、CDMA）、広帯域符号分割多元接続（wideband code division multiple access、WCDMA(登録商標)）、時分割同期符号分割多元接続（time－division code division multiple access、TD－SCDMA）、ロングタームエボリューション（long term evolution、LTE）、BT、GNSS、WLAN、NFC、FM、および／またはIR技術などを含み得る。GNSSは、全地球測位システム（global positioning system、GPS）、全地球航法衛星システム（global navigation satellite system、GLONASS）、北斗衛星導航系統（beidou navigation satellite system、BDS）、準天頂衛星システム（quasi－zenith satellite system、QZSS）、および／または静止衛星型衛星航法補強システム（satellite based augmentation systems、SBAS）を含み得る。
電子デバイス300は、GPU、ディスプレイ394、およびアプリケーションプロセッサなどによって表示機能を実施し得る。GPUは、画像処理用のマイクロプロセッサであり、ディスプレイ394およびアプリケーションプロセッサに接続される。GPUは、数学的および幾何学的計算を実行するように構成され、画像をレンダリングするように構成される。プロセッサ310は、表示情報を生成または変更するための命令を実行する1つ以上のGPUを含み得る。
ディスプレイ394は、画像およびビデオなどを表示するように構成される。ディスプレイ394は、表示パネルを含む。表示パネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス式有機発光ダイオード（active－matrix organic light emitting diode、AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode、FLED）、Miniled、MicroLed、Micro－oLed、または量子ドット発光ダイオード（quantum dot light emitting diodes、QLED）などであってよい。一部の実施形態では、電子デバイス300は、1つ以上のディスプレイ394を含み得る。
電子デバイス300は、カメラモジュール393、ISP、ビデオコーデック、GPU、ディスプレイ394、アプリケーションプロセッサAP、およびニューラルネットワーク処理ユニットNPUなどを使用して写真撮影機能を実施し得る。
カメラモジュール393は、写真撮影された対象物のカラー画像データを収集するように構成され得る。ISPは、カメラモジュール393によって収集されたカラー画像データを処理するように構成され得る。例えば、写真撮影時、シャッタが開かれ、光線がレンズを介してカメラの受光素子に送られ、光信号が電気信号に変換される。カメラの受光素子は、電気信号を可視画像に変換するために、電気信号を処理のためにISPに送信する。ISPは、画像のノイズ、明るさ、および顔色に対してアルゴリズム最適化をさらに実行し得る。ISPは、写真撮影シナリオの露出および色温度などのパラメータをさらに最適化し得る。一部の実施形態では、ISPは、カメラモジュール393に配置されてもよい。
デジタル信号プロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号をさらに処理し得る。例えば、電子デバイス300が周波数を選択したときに、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換などを実行するように構成される。
ビデオコーデックは、デジタルビデオを圧縮または解凍するように構成される。電子デバイス300は、1つ以上のビデオコーデックをサポートし得る。このようにして、電子デバイス300は、複数の符号化フォーマット、例えば、動画専門家集団（moving picture experts group、MPEG）－3、MPEG－2、MPEG－3、およびMPEG－4でビデオを再生または記録し得る。
NPUは、ニューラルネットワーク（neural network、NN）コンピューティングプロセッサであり、生物学的ニューラルネットワークの構造を参照することによって、例えば、人間の脳のニューロン間の伝達モードを参照することによって、入力情報を迅速に処理し、さらに、自己学習を継続的に実行し得る。電子デバイス300のインテリジェント認識などのアプリケーションは、NPU、例えば、画像認識、顔認識、音声認識、およびテキスト理解によって実施され得る。
外部メモリインターフェース320は、電子デバイス300の記憶機能を拡張するために、外部メモリカード、例えば、Micro SDカードに接続されるように構成され得る。外部メモリカードは、データ記憶機能を実施するために、外部メモリインターフェース320を介してプロセッサ310と通信する。例えば、音楽、写真、およびビデオなどのデータは外部メモリカードに記憶される。
内部メモリ321は、1つ以上のコンピュータプログラムを記憶するように構成され得、1つ以上のコンピュータプログラムは命令を含む。プロセッサ310は、内部メモリ321に記憶された命令を実行し得、これにより、電子デバイス300は、本出願の一部の実施形態で提供される、電子デバイスのサムネイル表示方法、様々な機能アプリケーション、およびデータ処理などを実行する。内部メモリ321は、プログラム記憶領域およびデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステムを記憶し得る。プログラム記憶領域は、1つ以上のアプリケーション（例えば、ギャラリーおよび連絡先）などをさらに記憶し得る。データ記憶領域は、電子デバイス300を使用する処理で作成されたデータ（例えば、写真または連絡先）を記憶し得る。加えて、内部メモリ321は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、またはユニバーサルフラッシュストレージ（universal flash storage、UFS）をさらに含んでもよい。
電子デバイス300は、オーディオモジュール370、スピーカ370A、受話器370B、マイクロフォン370C、ヘッドセットジャック370D、およびアプリケーションプロセッサなどによってオーディオ機能、例えば、音楽の再生および記録を実施し得る。
オーディオモジュール370は、出力のためにデジタルオーディオ情報をアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール370は、オーディオ信号を符号化および復号化するようにさらに構成され得る。一部の実施形態では、オーディオモジュール370は、プロセッサ310に配置されてもよく、またはオーディオモジュール370内の一部の機能モジュールは、プロセッサ310に配置される。
「ホーン」とも呼ばれるスピーカ370Aは、オーディオ電気信号を音声信号に変換するように構成される。電子デバイス300は、スピーカ370Aを介して音楽を聴いたり、またはハンズフリー通話に応答したりし得る。
「イヤピース」とも呼ばれる受話器370Bは、オーディオ電気信号を音声信号に変換するように構成される。電子デバイス300が通話に応答したり、または音声メッセージを受信したりするときに、受話器370Bは、音声を聴くために人間の耳の近くに配置され得る。
「マイク」とも呼ばれるマイクロフォン370Cは、音声信号を電気信号に変換するように構成される。通話を行ったり、または音声メッセージを送信したりするときに、ユーザは、マイクロフォン370Cに音声信号を入力するために、マイクロフォン370Cの近くにユーザの口を配置して音声を発し得る。少なくとも1つのマイクロフォン370Cが、電子デバイス300に配置されてもよい。一部の他の実施形態では、2つのマイクロフォン370Cが、音声信号を収集し、ノイズ低減機能を実施するために電子デバイス300に配置されてもよい。一部の他の実施形態では、代わりに、3つ、4つ、またはより多くのマイクロフォン370Cが、音声信号の収集、ノイズの低減、音源の識別、および指向性録音機能の実施などのために電子デバイス300に配置されてもよい。
ヘッドセットジャック370Dは、有線ヘッドセットに接続されるように構成される。ヘッドセットジャック370Dは、USBポート330であってもよいし、または3．5mmオープン移動端末プラットフォーム（open mobile terminal platform、OMTP）標準インターフェースもしくは米国セルラー通信工業会（cellular telecommunications industry association of the USA、CTIA）標準インターフェースであってもよい。
圧力センサ380Aは、圧力信号を感知するように構成され、圧力信号を電気信号に変換し得る。一部の実施形態では、圧力センサ380Aは、ディスプレイ394に配置され得る。多くのタイプの圧力センサ380A、例えば、抵抗式圧力センサ、誘導式圧力センサ、および静電容量式圧力センサがある。静電容量式圧力センサは、導電性材料で作られた少なくとも2つの平行なプレートを含み得る。圧力センサ380Aに力が加えられると、電極間の静電容量が変化する。電子デバイス300は、静電容量の変化に基づいて圧力強度を決定する。ディスプレイ394に対してタッチ操作が実行されると、電子デバイス300は、圧力センサ380Aによってタッチ操作の強度を検出する。電子デバイス300はまた、圧力センサ380Aの検出信号に基づいてタッチ位置を計算し得る。一部の実施形態では、同じタッチ位置で実行されるが異なるタッチ操作強度を有するタッチ操作は、異なる操作命令に対応し得る。例えば、タッチ操作強度が第1の圧力閾値未満であるタッチ操作がメッセージングアプリケーションアイコンに対して実行されると、SMSメッセージを見るための命令が実行される。タッチ操作強度が第1の圧力閾値以上であるタッチ操作がメッセージングアプリケーションアイコンに対して実行されると、新しいSMSメッセージを作成するための命令が実行される。
ジャイロセンサ380Bは、電子デバイス300の運動姿勢を決定するように構成され得る。一部の実施形態では、ジャイロセンサ380Bによって、3軸（すなわち、x軸、y軸、およびz軸）を中心とした電子デバイス300の角速度が決定され得る。ジャイロセンサ380Bは、写真撮影時に画像安定化を実施するように構成され得る。例えば、シャッタが開かれると、ジャイロセンサ380Bは、画像安定化を実施するために、電子デバイス300がぶれた角度を検出し、この角度に基づく計算によって、レンズモジュールが補償する必要がある距離を取得し、レンズが逆運動によって電子デバイス300のぶれを相殺することを可能にする。ジャイロセンサ380Bはまた、ナビゲーションシナリオおよび身体的ゲームシナリオで使用されてもよい。
気圧センサ380Cは、気圧を測定するように構成される。一部の実施形態では、電子デバイス300は、測位およびナビゲーションを支援するために、気圧センサ380Cによって測定された気圧の値に基づいて高度を計算する。
磁気センサ380Dは、ホールセンサを含む。電子デバイス300は、磁気センサ380Dによってフリップレザーケースの開閉を検出し得る。一部の実施形態では、電子デバイス300が折り畳み式携帯電話である場合、電子デバイス300は、磁気センサ380Dによってフリップカバーの開閉を検出し得る。さらに、検出されたレザーケースの開閉状態または検出されたフリップカバーの開閉状態に基づいて、フリップカバーが開いたときの自動ロック解除などの機能が設定される。
加速度センサ380Eは、様々な方向（通常は3軸）における電子デバイス300の加速度の大きさを検出し得、電子デバイス300が静止しているときの重力の大きさおよび方向を検出し得る。加速度センサ380Eは、電子デバイスの姿勢を識別するようにさらに構成され得、横向きモードと縦向きモードとの切り替えまたは歩数計などのアプリケーションに適用される。
距離センサ380Fは、距離を測定するように構成される。電子デバイス300は、赤外線またはレーザによって距離を測定し得る。一部の実施形態では、写真撮影シナリオにおいて、電子デバイス300は、迅速な焦点合わせを実施するために距離センサ380Fによって距離を測定し得る。
例えば、近接センサ380Gは、発光ダイオード（LED）および光検出器、例えば、フォトダイオードを含み得る。発光ダイオードは、赤外線発光ダイオードであってもよい。電子デバイス300は、発光ダイオードによって赤外光を発する。電子デバイス300は、フォトダイオードによって、近傍の対象物からの赤外反射光を検出する。十分な反射光を検出したとき、電子デバイス300は、電子デバイス300の近くに対象物があると判定し得る。不十分な反射光を検出したとき、電子デバイス300は、電子デバイス300の近くに対象物がないと判定し得る。電子デバイス300は、近接センサ380Gによって、ユーザが電子デバイス300を耳に近づけて通話を行ったことを検出し得、次に、節電のために画面を自動的にオフにし得る。近接センサ380Gはまた、画面のロック解除またはロックを自動的に実行するために、スマートカバーモードまたはポケットモードで使用され得る。
周囲光センサ380Lは、周囲光の明るさを感知するように構成される。電子デバイス300は、感知された周囲光の明るさに基づいてディスプレイ394の明るさを適応的に調整し得る。周囲光センサ380Lは、写真撮影時にホワイトバランスを自動的に調整するようにも構成され得る。周囲光センサ380Lはまた、偶発的なタッチを回避する目的で電子デバイス300がポケット内にあるかどうかを検出するために近接センサ380Gと協働し得る。
指紋センサ380Gは、指紋を収集するように構成される。電子デバイス300は、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの写真撮影、および指紋ベースの通話応答などを実施するために、収集された指紋の特徴を使用し得る。
温度センサ380Jは、温度を検出するように構成される。一部の実施形態では、電子デバイス300は、温度センサ380Jによって検出された温度に基づいて温度処理ポリシーを実行する。例えば、温度センサ380Jによって報告された温度が閾値を超えると、電子デバイス300は、消費電力を低減して熱保護を実施するために、温度センサ380Jの近くに配置されたプロセッサの性能を低下させる。一部の他の実施形態では、温度が別の閾値未満であるとき、電子デバイス300は、電子デバイス300が低温により異常にシャットダウンされるのを防ぐために、バッテリ342を加熱する。一部の他の実施形態では、温度がさらに別の閾値未満であるとき、電子デバイス300は、低温によって引き起こされる異常なシャットダウンを回避するためにバッテリ342の出力電圧を昇圧する。
タッチセンサ380Kは、タッチパネルまたはタッチ感知面と呼ばれる場合もある。タッチセンサ380Kは、ディスプレイ394に配置されてもよい。タッチセンサ380Kおよびディスプレイ394は、「タッチスクリーン」とも呼ばれるタッチスクリーンを形成する。タッチセンサ380Kは、タッチセンサ380K上でまたはその近くでタッチ操作を検出するように構成される。タッチセンサは、タッチイベントのタイプを判定するために、検出されたタッチ操作をアプリケーションプロセッサに転送し得る。タッチ操作に関連する視覚出力は、ディスプレイ394を使用して提供され得る。一部の他の実施形態では、タッチセンサ380Kは、代わりに、ディスプレイ394の位置とは異なる位置で電子デバイス300の表面に配置されてもよい。
骨伝導センサ380Mは、振動信号を取得し得る。一部の実施形態では、骨伝導センサ380Mは、人間の声帯部分の振動骨の振動信号を取得し得る。骨伝導センサ380Mはまた、血圧拍動信号を受信するために身体の脈に接触し得る。一部の実施形態では、骨伝導センサ380Mはまた、骨伝導ヘッドセットを形成するためにヘッドセットに配置されてもよい。オーディオモジュール370は、音声機能を実施するために、骨伝導センサ380Mによって取得された、声帯部分の振動骨の振動信号に基づく解析によって音声信号を取得し得る。アプリケーションプロセッサは、心拍検出機能を実施するために、骨伝導センサ380Mによって取得された血圧拍動信号に基づいて心拍情報を解析し得る。
ボタン390は、電源ボタンおよび音量ボタンなどを含む。ボタン390は、機械式ボタンであってもよいし、またはタッチボタンであってもよい。電子デバイス300は、ボタン入力を受け付け、電子デバイス300のユーザ設定および機能制御に関連するボタン信号入力を生成し得る。
モータ391は、振動プロンプトを生成し得る。モータ391は、通話着信振動プロンプトおよびタッチ振動フィードバックを提供するように構成され得る。例えば、異なるアプリケーション（例えば、写真撮影およびオーディオ再生）で実行されるタッチ操作は、異なる振動フィードバック効果に対応し得る。モータ391はまた、ディスプレイ394の異なる領域で実行されるタッチ操作に対する異なる振動フィードバック効果に対応し得る。異なる適用シナリオ（例えば、タイムリマインダ、情報受信、目覚まし時計、およびゲーム）もまた、異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果はさらにカスタマイズされ得る。
インジケータ392は、インジケータライトであってもよく、充電ステータスおよび電力変化を示すように構成されてもよいし、またはメッセージ、不在着信、および通知などを示すように構成されてもよい。
SIMカードインターフェース395は、SIMカードに接続されるように構成される。SIMカードは、電子デバイス300との接触または電子デバイスからの分離を実施するために、SIMカードインターフェース395に挿入され得るし、またはSIMカードインターフェース395から取り外され得る。電子デバイス300は、3つまたはN個のSIMカードインターフェースをサポートし得る。Nは3よりも大きい正の整数である。SIMカードインターフェース395は、Nano SIMカード、Micro SIMカード、およびSIMカードなどをサポートし得る。複数のカードが、同じSIMカードインターフェース395に同時に挿入されてもよい。複数のカードは、同じタイプであっても異なるタイプであってもよい。SIMカードインターフェース395は、異なるタイプのSIMカードと互換性があってもよい。SIMカードインターフェース395はまた、外部メモリカードと互換性があってもよい。電子デバイス300は、会話およびデータ通信などの機能を実施するために、SIMカードによってネットワークと対話する。一部の実施形態では、電子デバイス300は、eSIM、すなわち内蔵SIMカードを使用する。eSIMカードは、電子デバイス300に内蔵されてもよく、電子デバイス300から分離され得ない。
例えば、図3Aに示されている電子デバイス300は、ディスプレイ394を使用して、以下の実施形態で説明されるユーザインターフェースを表示し得る。電子デバイス300は、タッチセンサ380Kを使用して、各ユーザインターフェースにおけるタッチ操作、例えば、各ユーザインターフェースにおけるタップ操作（例えば、アイコンに対するタッチ操作もしくはダブルタップ操作）、または各ユーザインターフェースにおける上方向もしくは下方向のスワイプ操作または円を描くジェスチャ操作を検出し得る。一部の実施形態では、電子デバイス300は、ジャイロセンサ380Bまたは加速度センサ380Eなどを使用して、電子デバイス300を保持することによってユーザによって行われたモーションジェスチャ、例えば、電子デバイスの振りを検出し得る。一部の実施形態では、電子デバイス300は、カメラモジュール393（例えば、3Dカメラまたは深度カメラ）を使用して非タッチジェスチャ操作を検出し得る。
電子デバイス300のソフトウェアシステムは、階層化アーキテクチャ、イベントドリブンアーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、またはクラウドアーキテクチャを使用し得る。本発明の実施形態では、電子デバイス300のソフトウェア構造を説明するための例として、階層化アーキテクチャを有するAndroidシステムが使用される。
図3Bは、本発明の一実施形態による電子デバイス300のソフトウェア構造のブロック図である。
階層化アーキテクチャでは、ソフトウェアはいくつかの層に分割され、各層は明確な役割およびタスクを有する。層は、ソフトウェアインターフェースを介して互いに通信する。一部の実施形態では、Androidシステムは、上から順に、アプリケーション層、アプリケーションフレームワーク層、アンドロイド(登録商標)ランタイム（Android runtime）およびシステムライブラリ、ならびにカーネル層の4つの層に分割される。
アプリケーション層は、一連のアプリケーションパッケージを含み得る。
図3Bに示されているように、アプリケーションパッケージは、カメラ、ギャラリー、カレンダー、電話、地図、ナビゲーション、WLAN、ブルートゥース(登録商標)、音楽、ビデオ、およびメッセージングなどのアプリケーションを含み得る。
アプリケーションフレームワーク層は、アプリケーション層のアプリケーションにアプリケーションプログラミングインターフェース（application programming interface、API）およびプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの所定の機能を含む。
図3Bに示されているように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、および通知マネージャなどを含み得る。
ウィンドウマネージャは、ウィンドウプログラムを管理するように構成される。ウィンドウマネージャは、ディスプレイのサイズの取得、ステータスバーがあるかどうかの判定、画面ロックの実行、およびスクリーンショットの撮影などを行い得る。
コンテンツプロバイダは、データを記憶および取得し、データがアプリケーションによってアクセスされることを可能にするように構成される。データは、ビデオ、画像、オーディオ、発信および受信された通話、閲覧履歴およびブックマーク、ならびにアドレス帳などを含み得る。
ビューシステムは、テキストを表示するための制御およびピクチャを表示するための制御などの視覚的制御を含む。ビューシステムは、アプリケーションを構築するように構成され得る。表示インターフェースは、1つ以上のビューを含み得る。例えば、SMSメッセージ通知アイコンを含む表示インターフェースは、テキスト表示ビューおよびピクチャ表示ビューを含み得る。
電話マネージャは、電子デバイス300の通信機能、例えば、通話ステータス（応答または拒否などを含む）の管理を提供するように構成される。
リソースマネージャは、ローカライズされた文字列、アイコン、ピクチャ、レイアウトファイル、およびビデオファイルなど、アプリケーションのための様々なリソースを提供する。
通知マネージャは、アプリケーションがステータスバーに通知情報を表示することを可能にし、通知メッセージを伝達するように構成され得る。通知マネージャは、ユーザ対話を必要とすることなく、短い一時停止の後に自動的に消え得る。例えば、通知マネージャは、ダウンロード完了の通知およびメッセージ通知の提供などを行うように構成される。通知マネージャは、代わりに、システムの上部ステータスバーにグラフまたはスクロールバーテキストの形式で表示される通知、例えば、バックグラウンドで動作しているアプリケーションの通知またはダイアログボックスの形式で画面に表示される通知であってもよい。例えば、ステータスバーにテキスト情報が表示されたり、警告音が出されたり、電子デバイスが振動したり、またはインジケータライトが点滅したりする。
Android Runtimeは、コアライブラリおよび仮想マシンを含む。Android runtimeは、アンドロイド(登録商標)システムのスケジューリングおよび管理を担当する。
コアライブラリは、Java(登録商標)で呼び出される必要がある関数およびアンドロイド(登録商標)のコアライブラリの2つの部分を含む。
アプリケーション層およびアプリケーションフレームワーク層は、仮想マシン上で動作する。仮想マシンは、アプリケーション層およびアプリケーションフレームワーク層のJava(登録商標)ファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティおよび例外管理、ならびにガベージコレクションなどの機能を実施するように構成される。
システムライブラリは、複数の機能モジュール、例えば、サーフェスマネージャ（surface manager）、メディアライブラリ（Media Libraries）、3次元グラフィック処理ライブラリ（例えば、OpenGL ES）、および2Dグラフィックエンジン（例えば、SGL）を含み得る。
サーフェスマネージャは、表示サブシステムを管理し、複数のアプリケーションに2Dおよび3D画像層の融合を提供するように構成される。
メディアライブラリは、複数の一般的に使用されるオーディオおよびビデオフォーマットならびに静止画像ファイルなどの再生および記録をサポートする。メディアライブラリは、MPEG4、G．264、MP3、AAC、AMR、JPG、およびPNGなどの複数のオーディオおよびビデオ符号化フォーマットをサポートし得る。
3次元グラフィック処理ライブラリは、3次元グラフィック描画、画像レンダリング、合成、および層処理などを実施するように構成される。
2Dグラフィックエンジンは、2D描画用の描画エンジンである。
カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、ディスプレイドライバ、カメラドライバ、オーディオドライバ、およびセンサドライバを少なくとも含む。
図3Bに示されているソフトウェアシステムは、共有機能を使用するアプリケーションプレゼンテーション（ギャラリーまたはファイルマネージャなど）、共有機能を提供するインスタント共有モジュール、ならびに印刷機能を提供する印刷サービス（print service）および印刷スプーラ（print spooler）に関する。加えて、アプリケーションフレームワーク層は、印刷フレームワーク、WLANサービス、およびブルートゥース(登録商標)サービスを提供し、下位カーネル層は、WLANブルートゥース(登録商標)機能および基本通信プロトコルを提供する。
以下、サムネイル表示シナリオを参照して、電子デバイス300のソフトウェアおよびハードウェアの動作処理の例を説明する。
タッチセンサ380Kがタッチ操作を受け付けると、対応するハードウェア割り込みがカーネル層に送信される。カーネル層は、タッチ操作を処理して元の入力イベント（タッチ座標およびタッチ操作のタイムスタンプなどの情報を含む）にする。元の入力イベントは、カーネル層に記憶される。アプリケーションフレームワーク層は、カーネル層から元の入力イベントを取得し、入力イベントに対応する制御を識別する。例えば、タッチ操作はタップ操作であり、タップ操作に対応する制御はギャラリーアイコンの制御である。ギャラリーは、アプリケーションフレームワーク層のインターフェースを呼び出してギャラリーを有効にし、次にディスプレイ394を使用してサムネイルを表示する。
以下では、アプリケーションメニューを表示するために使用される、電子デバイス300の例示的なユーザインターフェースについて説明する。
例えば、図4は、アプリケーションメニューに使用される、電子デバイス300の例示的なユーザインターフェース41を示す。
ユーザインターフェース41は、ステータスバー401、一般的に使用されるアプリケーションのアイコンを含むトレイ417、カレンダーウィジェット413、天気ウィジェット415、および他のアプリケーションアイコンを含み得る。
ステータスバー401は、1つ以上の移動通信信号（セルラー信号と呼ばれる場合もある）の1つ以上の信号強度インジケータ403と、1つ以上のワイヤレスフィデリティ（wireless fidelity、Wi－Fi）信号の1つ以上の信号強度インジケータ405と、バッテリステータスインジケータ409と、時間インジケータ411とを含み得る。
カレンダーウィジェット413は、現在時刻、例えば、日付、曜日、および時間および分情報を示すために使用され得る。
天気ウィジェット415は、天気タイプ、例えば、曇りのち晴れまたは小雨を示すために使用され得、さらに、温度などの情報を示すために使用され得る。
一般的に使用されるアプリケーションのアイコンを含むトレイ417は、電話アイコン419、連絡先アイコン421、メッセージングアイコン423、およびカメラアイコン425を表示し得る。
例えば、他のアプリケーションアイコンは、ウィーチャット（Wechat）アイコン427、QQアイコン429、ツイッター（Twitter）アイコン431、フェイスブック（Facebook）アイコン433、Emailアイコン435、クラウドアイコン437、ノートパッドアイコン439、Alipayアイコン421、ギャラリーアイコン425、および設定アイコン427であり得る。ユーザインターフェース41は、ページインジケータ429をさらに含み得る。他のアプリケーションアイコンは、別のページに分散されてもよい。ページインジケータ429は、ページの数およびユーザによって現在閲覧されている特定のページを示すために使用され得る。例えば、ページインジケータ429は、3つの小さいドットを表示し、2番目の小さいドットは黒であり、他の2つの小さいドットは白である。これは、携帯電話が現在3つのページを含んでおり、ユーザが現在2番目のページを閲覧していることを示す。加えて、ユーザは、別のページのアプリケーションアイコンを閲覧するために現在のページで左方向または右方向にスワイプし得る。
一部の実施形態では、図4に例として示されているユーザインターフェース41は、ホーム画面（Home screen）のユーザインターフェースであり得る。
一部の他の実施形態では、電子デバイス300は、ホームボタンをさらに含み得る。ホームボタンは、物理ボタンであっても仮想ボタンであってもよい。ホームボタンは、ユーザの命令を受け付け、ユーザの命令に応答して、現在表示されているUIからホーム画面に戻るように構成され得る。これは、ユーザがホーム画面を随時見るのを助け得る。命令は、具体的には、ユーザがホームボタンを1回押す／タッチする操作命令であってもよいし、またはユーザが短い期間内にホームボタンを2回連続して押す／タッチする操作命令であってもよいし、またはユーザがホームボタンを押して／タッチして所定の期間にわたり保持する操作命令であってもよい。本出願の一部の他の実施形態では、指紋センサが、ホームボタンが押された／タッチされたときに指紋を収集および認識するためにホームボタンにさらに組み込まれ得る。
図4は、電子デバイス300のユーザインターフェースの例を示しているにすぎず、本出願の実施形態に対する限定を構成するものではないことが理解されよう。
続いて、本出願の実施形態で提供されるいくつかのサムネイル表示の実施形態が説明される。以下の実施形態では、構成比が1：1であるサムネイルが、説明のための例として使用されることに留意されたい。特定の実施態様では、サムネイルの比率は、必要に応じて調整されてもよい。これは、本出願の実施形態では限定されない。
図4に示されているように、電子デバイスは、ギャラリーアイコン425に対して実行されたタッチ操作（例えば、アイコン425に対するタップ操作）を検出し得る。この操作に応答して、電子デバイスは、図5Aに例として示されているユーザインターフェース51を表示し得る。ユーザインターフェース51は、「ギャラリー」アプリケーションのユーザインターフェースであり得、ピクチャの閲覧、ピクチャの編集、およびピクチャの共有などを行うためにユーザによって使用され得る。「ギャラリー」は、スマートフォンまたはタブレットコンピュータなどの電子デバイスのピクチャ管理アプリケーションである。本出願では、アプリケーションの名称は限定されない。例えば、アプリケーションは、代わりに「アルバム」と呼ばれてもよい。言い換えれば、ユーザは、「ギャラリー」のユーザインターフェース51を開くためにアイコン425をタップし得る。これに限らず、ユーザは、代わりに、別のアプリケーションでユーザインターフェース51を開いてもよい。例えば、ユーザは、ユーザインターフェース51を開くために「カメラ」のサムネイル表示領域をタップする。「カメラ」は、スマートフォンまたはタブレットコンピュータなどの電子デバイスのピクチャ撮影アプリケーションであり、撮影、例えば、写真撮影およびビデオ記録を実行するためにユーザによって使用され得る。
例えば、図5Aは、サムネイルを表示するために使用されるユーザインターフェース51を示す。
ユーザインターフェース51は、表示タイプインジケータ501、ナビゲーションバー508、表示領域509、第1の機能アイコン510、第2の機能アイコン511、および第3の機能アイコン512を含み得る。
表示タイプインジケータ501は、現在のインターフェースに表示されているコンテンツのタイプを示すために使用され得る。表示タイプインジケータ501は、写真、アルバム、ハイライト、および発見であり得る。具体的には、ユーザインターフェース51は「写真」タイプを表示し、これに対応して、表示タイプインジケータ501は「写真」である。インジケータ501の表示コンテンツは、ナビゲーションバー508のステータスに伴ってリフレッシュされ得る。例えば、ナビゲーションバー508のステータスが「アルバム」タイプである場合、表示タイプインジケータ501は「アルバム」である。ナビゲーションバー508のステータスが「ハイライト」タイプである場合、表示タイプインジケータ501は「ハイライト」である。ナビゲーションバー508のステータスが「発見」タイプである場合、表示タイプインジケータ501は「発見」である。
表示領域509は、写真撮影時間インジケータ502、写真撮影場所インジケータ503、ならびに1つ以上のサムネイル、例えば、サムネイル531およびサムネイル532を含み得る。電子デバイスは、サムネイルに対して実行されたユーザ操作（例えば、タップ操作）を検出し得、ユーザ操作に応答して、図5Bに例として示されているユーザインターフェース52を表示し得る。ユーザインターフェース52は、サムネイルの元のピクチャを表示するために使用され得る。ユーザインターフェース52は以下で説明され、ここでは詳細は最初に説明されない。写真撮影時間インジケータ502は、このインジケータの下かつ次の写真撮影時間インジケータの上に位置する写真の撮影時間、例えば、今日、昨日、木曜日、または4月5日などを示すために使用され得る。写真撮影場所インジケータ503は、このインジケータの下かつ次の写真撮影場所インジケータの上に位置する写真の撮影場所、例えば、ロサンゼルスまたはワシントンなどを示すために使用され得る。
ナビゲーションバー508は、ギャラリーに表示され得る複数のコンテンツタイプを表示し得る。コンテンツタイプは、「写真」タイプ504、「アルバム」タイプ505、「ハイライト」タイプ506、および「発見」タイプ507を含み得る。具体的には、ナビゲーションバー508が、ユーザインターフェースが「写真」タイプ504を表示することを示す場合、ユーザインターフェースは複数のサムネイルを表示する（ユーザインターフェース51を参照）。ナビゲーションバー508が、ユーザインターフェースが「アルバム」タイプ504を表示することを示場合、ユーザインターフェースは、複数のアルバム、例えば、すべての写真、私のお気に入り、Weibo、およびQQを表示する。ナビゲーションバー508が、ユーザインターフェースが「ハイライト」タイプ504を表示することを示す場合、ユーザインターフェースは、時間に関して構成された複数のスライドショーを表示する。ナビゲーションバー508が、ユーザインターフェースが「発見」タイプ504を表示することを示す場合、ユーザインターフェースは、インターネットから取得されたピクチャならびに写真タイプ（例えば、人、食べ物、および動物）に関してローカルに構成された複数のアルバムを表示する。
第1の機能アイコン510は、ユーザの命令を受け付けるために使用され得、ユーザの命令に応答して、ユーザインターフェースは検索バーを表示する。これは、ユーザがキーワード（例えば、写真の撮影時間、写真の撮影場所、または写真内の人）に基づいて対応する写真を検索するのを助け得る。
第2の機能アイコン511は、ユーザの命令を受け付けるために使用され得、ユーザの命令に応答して、ユーザインターフェースは、地図および地図上の各位置に対応するピクチャを表示する。これは、ユーザが撮影場所に基づいて対応するピクチャを見るのを助け得る。
第3の機能アイコン512は、ユーザの命令を受け付けるために使用され得、ユーザの命令に応答して、ユーザインターフェースは、その他の機能アイコン、例えば、スライドショーの再生および設定を表示する。
図5Aは、電子デバイス300のユーザインターフェースの例を示しているにすぎず、本出願の実施形態に対する限定を構成するものではないことが理解されよう。
例えば、図5Bは、元のピクチャを表示するために使用されるユーザインターフェース52を示す。
ユーザインターフェース52は、表示領域543、戻るボタン550、写真撮影時間インジケータ551、編集ボタン552、およびサムネイル531に対応する元のピクチャ542を含み得る。
表示領域543は、サムネイル531に対応する元のピクチャ542を表示するために使用され得る。電子デバイス300が表示領域543で左方向または右方向のスワイプ操作を検出すると、電子デバイスは、ユーザのピクチャ閲覧を手助けするために、スワイプ操作に応答して、表示領域543に表示されるピクチャを更新し得る。言い換えれば、ユーザは、その他のピクチャを閲覧するために表示領域543で左方向または右方向にスワイプし得る。左方向または右方向のスワイプ操作以外に、ユーザは、代わりに、その他のピクチャを閲覧するために表示領域543で上方向または下方向にスワイプしてもよい。ピクチャは、電子デバイス300を使用してユーザによって撮影されたピクチャであってもよいし、インターネットからダウンロードされたピクチャであってもよいし、またはユーザによって別のユーザから受信されたピクチャであってもよいことに留意されたい。これは、本出願の実施形態では限定されない。
戻るボタン550は、ユーザインターフェース52の上位レベルのユーザインターフェース51に戻るために使用され得る。当業者は、ページの論理的な上位レベルのページは固定されており、アプリケーション設計時に決定されることを理解し得る。
写真撮影時間インジケータ551は、ピクチャ542の撮影時間を示すために使用され得る。
編集ボタン552は、ユーザの命令を検出するために使用され得、ユーザの命令に応答して、ユーザインターフェースは、ピクチャ542の編集インターフェースに切り替わり、編集インターフェースは、ピクチャ542を編集するための、トリミング、フィルタ、ホワイトバランス、およびコントラストなどのアイコンを含み得る。
破線ボックス541に含まれるコンテンツは、ユーザインターフェース51内のサムネイル531のコンテンツであることに留意されたい。サムネイル531は、元のピクチャに含まれる顕著性領域（すなわち、飼い犬および飼い猫）のピクチャ情報を比較的多く保持していることが知られ得る。加えて、サムネイルにおける飼い犬および飼い猫を含む顕著性領域の構成方法は、元のピクチャにおける飼い犬および飼い猫を含む顕著性領域の構成方法と同じであり、いずれも中心線近傍構成である。ピクチャに対応するサムネイルを生成する詳細な処理については、トリミング方法に関する後続の説明を参照されたい。ここでは詳細は説明されない。加えて、ユーザインターフェース51内の一部のサムネイルは、従来技術でサムネイルを表示するためのユーザインターフェース21のものとは異なる。例えば、ユーザインターフェース21内のサムネイル205では、人物の頭部情報が失われているが、ユーザインターフェース51内のサムネイル532では、人物の頭部情報は保持されている。同様に、ユーザインターフェース51は、ユーザインターフェース21のものとは異なる別のサムネイルをさらに含み、このサムネイルは、ここでは記載されない。本出願の実施形態におけるサムネイル表示方法では、元のピクチャ内の顕著性領域に関する情報が比較的多く保持され得、これにより、ユーザは、元のピクチャ内の顕著性領域を便利に見て、顕著性領域を使用して、サムネイルに対応する元のピクチャがユーザによって必要とされているピクチャであるかどうかを判定し得ることが、比較を通じて知られ得る。例えば、ユーザがピクチャを共有する必要があるシナリオでは、ユーザは、サムネイルを見ることによって顕著性領域に関する比較的大量の情報を直感的に知り得る。これは、ユーザが共有される必要があるピクチャを見つけるのを助ける。しかしながら、従来技術では、中央トリミング方法に起因して、元のピクチャ内の顕著性領域に関する情報が、サムネイルにおいて失われる可能性があり、ユーザは、サムネイルのコンテンツを使用して、サムネイルに対応する元のピクチャがユーザによって共有される必要があるピクチャであるかどうかを判定し得ない。その結果、ユーザは、共有される必要があるピクチャを見つけるために元のピクチャを複数回見る必要がある。
例えば、図6Aおよび図6Bは、サムネイルを表示するために使用される一部の他のユーザインターフェース61を示す。図6Aおよび図6Bに示されているように、ユーザインターフェース61は、表示領域509およびコントロール601を含み得る。
表示領域509は、1つ以上のサムネイル、例えば、サムネイル602およびサムネイル603を表示するために使用され得る。
コントロール601（「最適表示」）は、「オン（on）」および「オフ（off）」の2つの状態を有し得る。コントロール601は、スイッチコントロールであり得る。
表示領域509内のサムネイルの表示方法は、コントロール601のステータスに関係付けられ得、コントロール601を使用して選択され得る。具体的には、電子デバイス300は、コントロール601に対して実行されたユーザ操作を検出し、ユーザ操作に応答してコントロール301のステータスを判定し、コントロール301のステータスに基づいて表示領域509内のサムネイルをリフレッシュし得る。具体的には、コントロール301がオフ（off）状態にある場合、図6Aを参照すると、表示領域321内のサムネイルの表示方法は最適表示である。コントロール301がオン（on）状態にある場合、図6Bを参照すると、表示領域321内のサムネイルの表示方法は元の表示である。元の表示方法は、従来技術の中央トリミングによってサムネイルを表示する方法であり、最適表示方法は、本出願の実施形態で提供される、元のピクチャの顕著性領域を含むサムネイルを表示する方法であることに留意されたい。コントロール601を操作することによって、ユーザは、ユーザインターフェース内のサムネイルに対して最適表示の動作を実行するように電子デバイス300をトリガするか、またはユーザインターフェース内の元の表示を復元する動作を実行するように電子デバイス300をトリガすることが知られ得る。加えて、コントロールの名称は、要求に基づいて調整されてもよい。例えば、コントロールは、代わりに、「顕著性表示」または「対象表示」などと命名されてもよい。これは本出願では限定されない。
例えば、図7Aから図7Hは、サムネイルによって表示される顕著性領域を変更するためのユーザ対話の一実施形態を示す。
例えば、図7Aは、サムネイルを表示するために使用されるユーザインターフェース71を示す。ユーザインターフェース71は、複数のサムネイル表示領域、例えば、表示領域701および表示領域702を含み得る。表示領域は、1つのサムネイルを表示するために使用される。
表示領域に表示されるサムネイルが本出願の実施形態で提供されるトリミング方法で生成される場合、トリミング標識702がサムネイル表示領域に表示される。トリミング標識702は、サムネイルが元のピクチャの顕著性領域を含むトリミングされたサムネイルであることを示すために使用される。
図7Aに示されているように、表示領域701は、トリミング標識702を含む。これは、表示領域701に表示されているサムネイルが本出願の実施形態で提供されるトリミング方法で生成されており、サムネイルが元のピクチャの顕著性領域を含むことを示す。表示領域703は、トリミング標識702を含まない。これは、表示領域703に表示されているサムネイルが本出願の実施形態で提供されるトリミング方法でトリミングされていないことを示す。図7Aのトリミング標識702は例にすぎず、代わりに、別のスタイルのトリミング標識があってもよい。これは、本出願の実施形態では限定されない。任意選択で、本出願の実施形態で提供されるトリミング方法は、サムネイルを形成するためにギャラリー内のすべてのピクチャに対して実行されてもよいし、または本出願の実施形態で提供されるトリミング方法は、サムネイルを形成するために、構成比がサムネイル比とは異なるピクチャのみに対して実行されてもよい。
例えば、図7Bおよび図7Cは、サムネイル701の元のピクチャを見るためのユーザインターフェース72を示す。図7Bに示されているように、ユーザインターフェース72は、表示領域703およびコントロール704を含み得る。
表示領域703は、サムネイル701の元のピクチャ705を表示し得る。
コントロール704（「サムネイルをカスタマイズする」）は、ユーザの操作を受け付けるために使用され得、ユーザの操作に応答して、電子デバイス300は、表示領域703に1つ以上のプロンプト、例えば、プロンプト707A、プロンプト707B、およびプロンプト707Cを表示する。プロンプトは、元のピクチャの顕著性領域に関連付けられる。プロンプトの数は、顕著性領域の数と一致し得る。プロンプトは、プロンプトに関連付けられている顕著性領域がサムネイル701に表示されるかどうかをユーザに表示するために使用され得る。具体的には、太線の方法で表示されているプロンプト707Aおよびプロンプト707Bは、プロンプト707Aおよびプロンプト707Bに関連付けられている顕著性領域がサムネイル701に表示されることを示す。通常表示されているプロンプト707Cは、プロンプト707Cに関連付けられている顕著性領域がサムネイル701に表示されないことを示す。
可能な実施態様では、コントロール704に対してユーザによって実行された操作に応答して、電子デバイス300は、プロンプト情報706をさらに表示し得、プロンプト情報706は、サムネイルに含まれる顕著性領域を再選択するようにユーザに促すために使用される。任意選択で、プロンプト情報は、事前設定された期間にわたって表示された後に消えてもよい。加えて、プロンプト情報706は、代わりに、別の方法で表示されてもよく、例えば、ポップアップボックスの形式でユーザインターフェース72の上に表示されてもよい。これは、本出願の実施形態では限定されない。例えば、図7Bは、ユーザがサムネイルに表示される顕著性領域を変更した後に現れるユーザインターフェース72を示す。電子デバイス300は、プロンプトに対して実行されたユーザ操作を検出し得、ユーザ操作は、プロンプトの表示ステータスを変更するために使用され得る。ユーザ操作に応答して、電子デバイス300は、プロンプトの表示ステータスを変更する。プロンプトの変更された表示ステータスは、更新されたサムネイルに含まれる顕著性領域を示すために使用され得る。例えば、ユーザがプロンプト707Aを1回タップすると、プロンプト707Aは、「太線」表示状態から「通常」表示状態に変化し得る。ユーザがプロンプト707Cを1回タップすると、プロンプト707Cは、「通常」表示状態から「太線」表示状態に変化し得る。プロンプトの変更された表示ステータスは、更新されたサムネイルに含まれる顕著性領域がプロンプト707Bおよびプロンプト707Cに関連付けられている顕著性領域であることを示し得る。
代わりに、別のプロンプト選択方法、例えば、プロンプトをタッチして保持する、プロンプトをダブルタップする、または特定の圧力でプロンプトを押す、があってもよいことに留意されたい。これはここでは限定されない。加えて、プロンプトを使用して顕著性領域をマークする方法は例にすぎず、代わりに、顕著性領域をマークする別の方法があってもよい。例えば、異なる色を使用して異なる顕著性領域を区別するために、顕著性領域の表示色が調整される。代わりに、顕著性領域を囲む境界線が表示され、1つの閉じた境界図形は1つの顕著性領域を示す。これは、本出願の実施形態では限定されない。同様に、電子デバイス300がサムネイルに含まれる顕著性領域およびサムネイルに含まれない顕著性領域をマークする方法は例にすぎず、代わりに、別のマーキング方法があってもよい。例えば、サムネイルに含まれる顕著性領域に第1の標識（例えば、「√」）が表示され、サムネイルに含まれない顕著性領域に第2の標識（例えば、「×」）が表示される。これは、本出願の実施形態では限定されない。
可能な実施態様では、ユーザによって選択され得る顕著性領域の数は、マークされた顕著性領域の総数を超えない、1、2、または3などの任意の正の整数であり得る。特に、一実施形態では、電子デバイス300は、ユーザによって選択され得る顕著性領域の数の最大値を設定し得る。例えば、ユーザによって選択され得る顕著性領域の数の最大値は、マークされた顕著性領域の総数と1との差よりも大きくない。
可能な実施態様では、プロンプトに対して実行されたユーザ操作に応答して、電子デバイスは、コントロール708およびコントロール709をさらに表示し得る。コントロール708は、プロンプトの表示ステータスを確認するために使用される。ユーザがコントロール708に対する操作を入力したことを検出した後、電子デバイス300は、太線表示状態のプロンプトに関連付けられている顕著性領域に基づいて新しいサムネイルを生成する。コントロール709は、プロンプトの表示ステータスの変更を取り消すために使用される。コントロール709に対してユーザによって入力された操作を検出した後、電子デバイス300は、プロンプトの表示ステータスの変更を取り消す。
例えば、図7Dは、サムネイル内の顕著性領域が変更された後に現れるユーザインターフェース71を示す。図7Dに示されているように、ユーザがコントロール708に対する操作を入力したことを検出した後、電子デバイス300は、太線表示状態のプロンプトに関連付けられている顕著性領域に基づいて新しいサムネイルを生成し、新たに生成されたサムネイル711を含むユーザインターフェース71にジャンプする。任意選択で、ユーザインターフェース72は、戻るボタン708をさらに含んでもよく、戻るボタンは、ユーザインターフェース72の上位レベルのユーザインターフェース71に戻るために使用される。戻るボタン708は、ユーザによって入力された操作を受け付けるために使用され、ユーザによって入力された操作に応答して、電子デバイス300は、新たに生成されたサムネイル711を含むユーザインターフェース71にジャンプする。
例えば、図7Eは、プロンプト情報713を表示するユーザインターフェース72を示す。可能な実施態様では、コントロール709に対してユーザによって入力された操作を検出した後、電子デバイス300は、プロンプトの表示ステータスの変更を取り消し、プロンプト情報713を表示する。プロンプト情報713は、確認コントロール714および取り消しコントロール715を含む。
プロンプト情報713は、選択されたプロンプトに関する情報がユーザの偶発的なタッチに起因して失われ、繰り返しの操作が実行される必要があるという問題を回避するために、次の操作を確認するようにユーザに促すために使用される。確認コントロール714は、ユーザによって入力された操作を受け付けるために使用され、ユーザによって入力された操作は、ユーザがサムネイルに表示される顕著性領域を調整したくないことを示す。ユーザの操作に応答して、電子デバイス300は、元のサムネイル701を含むユーザインターフェース71にジャンプする。取り消しコントロール715は、ユーザによって入力された操作を受け付けるために使用され、ユーザによって入力された操作は、ユーザがサムネイルに表示される顕著性領域の調整を継続したいことを示す。この場合、電子デバイス300は、プロンプト情報713の表示を終了し、ユーザのプロンプト選択操作を再び受け付ける。
例えば、図7Fは、プロンプト情報717を表示するユーザインターフェース72を示す。可能な実施態様では、ユーザによってプロンプトを選択する操作を受け付けた後、電子デバイス300は、サムネイルのエリアが、ユーザによって選択されたプロンプトに関連付けられている顕著性領域のエリアを含み得るかどうかを判定する。サムネイルのエリアが、ユーザによって選択されたプロンプトに関連付けられている顕著性領域のエリアを含み得ない場合、電子デバイス300は、プロンプトを再選択するようにユーザに示すためにプロンプト情報717を表示する。サムネイルのエリアが、ユーザによって選択されたプロンプトに関連付けられている顕著性領域のエリアを含み得る場合、電子デバイス300は、ユーザによって選択されたプロンプトに関連付けられている顕著性領域に基づいて新しいサムネイルを生成する。
図7Fを参照すると、プロンプト707A、707B、および707Cの表示ステータスから、ユーザによって選択されたプロンプトがプロンプト707A、707B、および707Cであることが知られ得る。電子デバイス300が、サムネイルのエリアが、ユーザによって選択されたプロンプトに関連付けられている顕著性領域のエリアを含み得ないと判定した場合、電子デバイス300は、顕著性領域を再選択するようにユーザに促すために、プロンプト情報417を表示する。任意選択で、プロンプト情報717は、確認コントロール718をさらに含んでもよい。確認コントロールは、ユーザの操作を受け付けるために使用される。ユーザの操作に応答して、電子デバイス300は、プロンプト情報717を表示しなくなり、ユーザのプロンプト選択操作を再び受け付ける。加えて、プロンプト情報717は、代わりに、別の方法で表示されてもよい。例えば、プロンプト情報は、事前設定された期間にわたって表示された後に消える。これは、本出願の実施形態では限定されない。
例えば、図7Gおよび図7Hは、ユーザによって手動で入力される顕著性領域を受け付けるユーザインターフェース72を示す。
図7Gおよび図7Hを参照すると、ユーザインターフェース72は、コントロール702（「顕著性領域を手動で入力する」）をさらに含み得る。コントロール702は、ユーザの操作を受け付けるために使用される。ユーザの操作に応答して、ユーザインターフェースは、顕著性領域を選択するためにユーザによって入力される操作を受け付ける。図7Gに示されているように、顕著性領域を選択する操作は、顕著性領域を含むように選択ボックス722を作成する操作であり得る。任意選択で、図7Hに示されているように、顕著性領域を選択する操作は、顕著性領域を含むように閉じた図形723を描く操作であってもよい。前述の説明と同様に、確認コントロール708は、ユーザの操作を受け付け得、ユーザの操作に応答して、電子デバイス300は、選択ボックス722に含まれる顕著性領域（または閉じた図形723に含まれる顕著性領域）を含むサムネイルを生成することに留意されたい。
以上、ギャラリー内のサムネイルを表示する実施形態について説明した。以下、ビューファインダ画面のサムネイルを表示する実施形態について説明する。例えば、図8Aおよび図8Bは、ピクチャを撮影するために使用されるユーザインターフェース81を示す。
例えば、図8Aは、スマートフォンなどの電子デバイスの「カメラ」アプリケーションのユーザインターフェース81を示す。図8Aに示されているように、ユーザインターフェース81は、表示領域801、撮影モードリスト802、撮影コントロール803、表示領域804、およびコントロール805を含み得る。
表示領域801は、カメラモジュール393によって取り込まれたカラー画像をリアルタイムで表示するために使用され得る。電子デバイスは、ユーザがカメラモジュール193によって現在取り込まれているカラー画像をプレビューするように、表示領域801の表示コンテンツをリアルタイムでリフレッシュし得る。ここで、カメラモジュール193は、背面カメラであっても前面カメラであってもよい。
撮影モードリスト802は、1つ以上の撮影モードオプションを表示し得る。1つ以上の撮影オプションは、ナイトモードオプション802A、ポートレートモードオプション802B、写真撮影モードオプション802C、ビデオ記録モードオプション802D、およびその他の撮影モードオプション802Eを含み得る。1つ以上の撮影オプションは、インターフェース内のテキスト情報として表され得る。例えば、ナイトモードオプション802A、ポートレートモードオプション802B、写真撮影モードオプション802C、ビデオ記録モードオプション802D、およびその他の撮影モードオプション802Eは、それぞれ、「ナイト」、「ポートレート」、「写真」、「ビデオ」、および「その他」のテキストに対応し得る。これはそれに限定されない。1つ以上の撮影オプションは、代わりに、インターフェース内のアイコンまたは他の形式の対話要素（interactive element、IE）として表されてもよい。一部の実施形態では、電子デバイス300は、デフォルトで写真撮影モードオプション802Cを選択し得、写真撮影モードオプション802Cの表示ステータス（例えば、写真撮影モードオプション802Cが強調表示される）は、写真撮影モードオプション802Cが選択されていることを示し得る。
電子デバイス300は、撮影モードオプションに対して実行されたユーザ操作を検出し得、ユーザ操作は、撮影モードを選択するために使用され得る。この操作に応答して、電子デバイス300は、ユーザによって選択された撮影モードを有効にし得る。特に、その他の撮影モードオプション802Eに対してユーザ操作が実行されると、電子デバイス300は、広開口撮影モードオプションおよびスローモーション撮影モードオプションなどのさらなる他の撮影モードオプションをさらに表示し得、その他の撮影機能をユーザに提示し得る。図8Bに示されているものに限定されずに、撮影モードリスト802は、その他の撮影モードオプション802Eを表示しなくてもよく、ユーザは、撮影モードリスト802で左方向／右方向にスワイプすることによって別の撮影モードオプションを閲覧してもよい。
撮影コントロール803は、撮影（写真撮影またはビデオ記録）をトリガするユーザ操作を受け付けるために使用され得る。電子デバイスは、撮影コントロール803に対して実行されたユーザ操作（例えば、撮影コントロール803に対するタップ操作）を検出し得、この操作に応答して、電子デバイス300は撮影画像を記憶し得る。記憶される画像は、ピクチャであってもビデオであってもよい。加えて、電子デバイス300は、記憶された画像のサムネイルを表示領域804にさらに表示し得る。言い換えれば、ユーザは、撮影をトリガするために撮影コントロール803をタップし得る。撮影コントロール803は、ボタンであっても別の形式のコントロールであってもよい。
コントロール805は、カメラ切り替えをトリガするユーザ操作を受け付けるために使用され得る。電子デバイス300は、コントロール805に対して実行されたユーザ操作（例えば、表示領域804に対するタップ操作）を検出し得る。この操作に応答して、電子デバイス300は、カメラを切り替え得る（例えば、背面カメラを前面カメラに切り替えたり、または前面カメラを背面カメラに切り替えたりする）。
表示領域804は、撮影画像のサムネイルを表示し、「ギャラリー」を開くことをトリガするユーザ操作を受け付けるために使用され得る。電子デバイス300は、表示領域804に対して実行されたユーザ操作（例えば、表示領域804に対するタップ操作）を検出し得る。この操作に応答して、電子デバイス300は、「ギャラリー」のユーザインターフェースを表示し得、電子デバイス300によって記憶されているピクチャが、このユーザインターフェースに表示され得る。
前述の画像撮影シナリオに基づいて、以下では、ビューファインダ画面のサムネイルを表示する実施形態について説明する。
例えば、図8Bは、ピクチャを撮影するために使用されるユーザインターフェース81を示す。図8Bに示されているように、ユーザインターフェース81内の表示領域804に表示されているサムネイルは、本出願の実施形態で提供されるトリミング方法で生成されたサムネイルである。このサムネイルは、写真の元のピクチャ内の顕著性領域を含み、サムネイル内の顕著性領域の構成方法は、元のピクチャ内の顕著性領域の構成方法に準拠する。図8Bに示されているように、写真を撮影する処理において、ユーザが撮影コントロール803をタップした後、電子デバイス300は画像を生成し、画像のサムネイルを生成する。表示領域804に表示されるサムネイルのコンテンツは、破線ボックス805に含まれる写真コンテンツである。具体的には、表示領域804に表示されるサムネイルは、元の画像内の顕著性領域807を含む。サムネイル内の顕著性領域807の構成方法は、元の画像内の顕著性領域807の構成方法と同じであり、いずれも縁構成である。サムネイルを生成する詳細な処理については、トリミング方法に関する後続の説明を参照されたい。ここでは詳細は説明されない。
一実施形態では、ユーザインターフェース82内の表示領域801は、ユーザの操作を受け付けるためにさらに使用され、ユーザの操作に応答して、表示領域はフォーカスフレーム806を表示する。電子デバイス300は、フォーカスフレーム806に基づいて、サムネイルに含まれる顕著性領域を決定し得る。図8Aに示されているように、電子デバイス300は、フォーカスフレーム806に基づいて、サムネイルに含まれる顕著性領域は顕著性領域807であると決定し得る。その結果、電子デバイス300によって生成されたサムネイルは、顕著性領域807を含む。通常、フォーカスフレームに含まれ、ユーザ入力に基づいて生成されるピクチャコンテンツは、ユーザが関心を持っているピクチャコンテンツである。このようにして、生成されたサムネイルは、ユーザが関心を持っているピクチャコンテンツを含み得、これにより、サムネイルによって提供される顕著性領域情報の有効性が改善される。
本出願の実施形態で提供されるトリミング方法は、ピクチャをトリミングする実施シナリオにさらに適用され得ることに留意されたい。以下では、このシナリオが説明される。この実施形態において、トリミングボックスを生成する方法については、以下で説明されるトリミング方法を参照されたい。特定の実施処理では、サムネイルのトリミングボックスのものとは異なり、ピクチャをトリミングするためのトリミングボックスの長さおよび幅は、ユーザによって選択されたトリミング比を参照して決定される必要がある。加えて、サムネイルの生成結果は特定のピクチャであり、トリミングボックスの生成結果は、トリミングされるピクチャの境界位置である。
例えば、図9Aおよび図9Bは、ピクチャをトリミングするために使用されるユーザインターフェース91を示す。図9Aおよび図9Bに示されているように、ユーザインターフェース91は、表示領域901、表示領域902、コントロール904、およびコントロール905を含み得る。
表示領域901は、複数のトリミングオプション、例えば、16：9のトリミングオプション、9：16のトリミングオプション、4：3のトリミングオプション、および3：4のトリミングオプションを表示し得る。電子デバイス300が表示領域901で左方向または右方向のスワイプ操作を検出すると、電子デバイス300は、ユーザがその他のトリミングオプションを閲覧するのを助けるために、スワイプ操作に応答して、表示領域901に表示されるトリミングオプションを更新し得る。言い換えれば、ユーザは、その他のトリミングオプションを閲覧するために表示領域901で左方向または右方向にスワイプし得る。表示領域902は、選択されたピクチャ906およびトリミングボックス903を表示し得る。トリミングボックス903の形状およびサイズは、ユーザによって選択されたトリミングオプションによって決定される。トリミングボックスの長さは、選択されたピクチャ906の長さと同じであるか、またはトリミングボックスの幅は、選択されたピクチャ906の幅と同じである。トリミングボックスは、選択されたピクチャ906内の顕著性領域を含む。任意選択で、トリミングボックス内の顕著性領域の構成方法は、元のピクチャ内の顕著性領域の構成方法と同じである。
コントロール904は、ユーザの操作を受け付けるために使用され得、ユーザの操作に応答して、電子デバイス300は、トリミングボックス903に含まれるコンテンツに基づいて新しいピクチャを生成する。
コントロール905は、ユーザの操作を受け付けるために使用され得、ユーザの操作に応答して、電子デバイス300は、ピクチャをトリミングするユーザインターフェース91を出て、前のユーザインターフェースに戻る。可能な実施態様では、表示領域6902は、トリミングオプションを選択するために使用されるユーザ操作を検出し得、ユーザ操作に応答して、表示領域902は、トリミングボックス903を表示する。図9Aに示されているように、ユーザは4：3のトリミングオプションを選択する。ユーザの選択操作に応答して、表示領域902は4：3のトリミングボックス903を表示する。トリミングボックス903の幅は、選択されたピクチャ906の幅と同じである。選択されたピクチャ906内の顕著性領域（観覧車）の構成方法が、最適基準線近傍方法である場合、トリミングボックス内の顕著性領域の構成方法も最適基準線近傍方法である。構成方法を決定するための方法は、前述の内容で説明されており、ここでは詳細は説明されない。図9Bに示されているように、同じピクチャに関して、ユーザが16：9のトリミングオプションを選択した場合、表示領域902は16：9のトリミングボックス907を表示する。トリミングボックス907の長さは、元のピクチャの長さと同じである。トリミングボックス907の位置は、元のピクチャ内の顕著性領域および顕著性領域の構成方法に基づいて決定され得る。
任意選択で、電子デバイス300は、特定のトリミングオプション（例えば、4：3のトリミングオプション）を使用して、選択されたピクチャのトリミングボックスをデフォルトで生成してもよい。
電子デバイス300が、トリミングボックス903に含まれるコンテンツに基づいて新しいピクチャを生成した後、電子デバイス300は、新しいピクチャに基づいて新しいサムネイルを生成することに留意されたい。新しいピクチャのサムネイルを生成する方法については、トリミング方法の後続の説明を参照されたい。ここでは詳細は説明されない。
本出願のこの実施形態における方法によれば、ユーザによってピクチャをトリミングする処理において、電子デバイス300は、顕著性領域を含み、かつ元のピクチャの構成方法に準拠するトリミングボックスを推奨し、これにより、ユーザ操作が低減され得、ユーザによってピクチャをトリミングする効率が改善され得る。
本出願の実施形態で提供されるトリミング方法は、プロフィールピクチャを生成する実施シナリオにさらに適用され得る。以下では、このシナリオが説明される。この実施形態において、プロフィールピクチャを生成する方法は、以下で説明されるトリミング方法に基づき得る。特定の実施処理では、サムネイルのトリミングボックスとは異なり、プロフィールピクチャのトリミングボックスは、システムアプリケーションまたはサードパーティアプリケーションによって指定されたプロフィールピクチャ比を参照して決定される必要がある。
図10Aから図10Eは、本出願の一実施形態による、プロフィールピクチャを変更するいくつかのユーザインターフェースの概略図である。プロフィールピクチャは、システムアプリケーションまたはサードパーティアプリケーションのユーザプロフィールピクチャであってもよい。
例えば、図10Aは、ユーザプロフィールピクチャを表示するために使用されるユーザインターフェース100を示す。図10Aに示されているように、ユーザインターフェース100は、戻るボタン1004、プロンプト1005、コントロール1001、および表示領域1003を含み得る。
戻るボタン1004は、ユーザインターフェース100の上位レベルのユーザインターフェースに戻るために使用され得る。当業者は、ユーザインターフェースの論理的な上位レベルのユーザインターフェースは固定されており、アプリケーション設計時に決定されることを理解し得る。
プロンプト1005は、アプリケーションのどのインターフェースがユーザによって現在閲覧されているユーザインターフェースであるかを示すために使用され得る。
表示領域1003は、ユーザの現在のプロフィールピクチャ1002を表示するために使用され得る。
コントロール1001は、ユーザの操作を受け付けるために使用され得、ユーザの操作に応答して、電子デバイス300は、選択ボックス1006を表示する（図10Bに示されているユーザインターフェース101を参照）。
例えば、図10Bは、プロフィールピクチャに対して実行される操作を選択するユーザインターフェース101を示す。ユーザインターフェース101は、選択ボックス1006を含み得る。選択ボックス1006は、ユーザによって選択され得る複数の操作オプション、例えば、「写真を撮る」、「携帯電話のアルバムから選択する」、「以前のプロフィールピクチャを見る」、「ピクチャを保存する」、および「取り消し」を含む。任意選択で、選択ボックス内の操作オプションは、必要に応じて調整されてもよい。これは、本出願の実施形態では限定されない。選択ボックス1006は、ユーザの命令を受け付けるために使用され得、ユーザの命令に応答して、電子デバイス300は、ユーザ命令に対応する操作オプションを実行する。例えば、ユーザの命令が、操作オプション「写真を撮る」の選択操作である場合、電子デバイス300は、プロフィールピクチャを撮影するためにビューファインダ画面にジャンプする。ユーザの命令が、操作オプション「携帯電話のアルバムから選択する」の選択操作である場合、電子デバイス300は、ギャラリーインターフェースにジャンプする（図10Cに示されているユーザインターフェース102を参照）。
例えば、図10Cは、サムネイルを表示するために使用されるユーザインターフェース102を示す。ユーザインターフェース102は、表示領域1008を含む。表示領域は、1つ以上のサムネイル、例えば、サムネイル1007を表示するために使用される。表示領域1008は、ユーザによってサムネイル1007を選択する操作を受け付けるためにさらに使用され、ユーザによってサムネイル1007を選択する操作に応答して、電子デバイスは、選択されたサムネイル1007に対応する元のピクチャを表示する（図10Dに表示されているユーザインターフェース103を参照）。
任意選択で、複数のサムネイルが、本出願の実施形態で提供されるトリミング方法で生成されてもよい。複数のサムネイルは、複数のサムネイルに対応する元のピクチャ内の顕著性領域を含む。このようにして、ユーザは、比較的大量の顕著性領域に関する情報を取得し得、顕著性領域に関する情報に基づいて、サムネイルに対応する元のピクチャがユーザによって必要とされているピクチャであるかどうかを判定し得る。これは、ターゲットピクチャを速やかに見つけるのを手助けする。任意選択で、複数のサムネイルは、代わりに、従来技術の中央トリミング方法で生成されてもよい。
例えば、図10Dは、サムネイルに対応する元のピクチャを表示するために使用されるユーザインターフェース103を示す。ユーザインターフェース103は、表示領域1009、コントロール1020、コントロール1021、およびコントロール1022を含む。
表示領域1009は、サムネイル1007に対応する元のピクチャ1010を表示するために使用される。表示領域1009は、トリミングボックス1012をさらに含む。トリミングボックス1012に含まれるピクチャコンテンツは、本出願の実施形態で提供されるトリミング操作が実行された後に取得されるピクチャコンテンツである。トリミングボックス1012は、元のピクチャ内の顕著性領域1011を含み、元のピクチャ内の顕著性領域の構成方法は、中心線近傍構成である。したがって、トリミングボックス1012内の顕著性領域の構成方法は、元のピクチャ内の顕著性領域の構成方法と同じであり、すなわち、同様に中心線近傍構成である。このようにして、電子デバイス300は、適切なトリミングボックスをユーザに推奨し得、これにより、ユーザによってプロフィールピクチャを設定する効率が改善される。トリミングボックスは、プロフィールピクチャが元のピクチャ内の顕著性領域を含むことを可能にし得、元のピクチャ内の顕著性領域に関する情報は比較的多く保持される。加えて、トリミングボックス内の顕著性領域の構成方法は、元のピクチャ内の顕著性領域の構成方法と同じである。
本出願の実施形態では、プロフィールピクチャ内の顕著性領域は、人間の顔、動物の顔情報、またはカートゥーンキャラクターの顔情報などであり得ることに留意されたい。図では、人間の顔情報が例として使用されている。これは、本出願の実施形態では限定されない。
コントロール1020は、ユーザの操作を受け付けるために使用され、ユーザの操作に応答して、電子デバイスは、上位レベルのインターフェース（ユーザインターフェース102）に戻り、これにより、ユーザは、ピクチャを再選択する。
コントロール1021は、ユーザの操作を受け付けるために使用され、ユーザの操作に応答して、電子デバイスは、トリミングボックス1012に含まれるピクチャコンテンツに基づいてユーザのプロフィールピクチャを生成する。任意選択で、ユーザの操作に応答して、電子デバイスは、トリミングボックス1012に含まれるピクチャコンテンツに基づいてユーザのプロフィールピクチャを生成し、ユーザのプロフィールピクチャを表示するユーザインターフェース100（図10Eに表示されているユーザインターフェース100）にジャンプする。
コントロール1022は、ユーザの操作を受け付けるために使用され、ユーザの操作に応答して、電子デバイス300は、プロフィールピクチャ領域1012のピクチャコンテンツに対して回転操作、例えば、90度の左回転または90度の右回転を実行する。
例えば、図10Eは、プロフィールピクチャが更新された後に現れるユーザインターフェース100を示す。表示領域1003は、更新されたプロフィールピクチャ1024を表示するために使用され、プロフィールピクチャ1024のピクチャコンテンツは、ユーザインターフェース103内のプロフィールピクチャ領域1012のピクチャコンテンツと同じである。
前述の内容で説明された電子デバイス300およびUIの実施形態に基づいて、以下の実施形態は、本出願で提供されるトリミング方法を説明する。図11に示されているように、トリミング方法は、以下のステップを含むが、これらに限定されない。
S1101：電子デバイスは、ピクチャ内の顕著性領域を決定する。
ピクチャは、電子デバイスのカメラを使用して電子デバイスによって撮影されたピクチャ、インターネットからダウンロードされたピクチャ、または別の電子デバイスから受信されたピクチャなどであってもよい。これは、本出願のこの実施形態では限定されない。ピクチャ内には1つ以上の顕著性領域があり得る。ピクチャ内の顕著性領域を決定するための複数の方法があり得ることに留意されたい。複数の可能な決定方法は、後続の内容でさらに説明され、ここでは詳細は説明されない。
S1102：電子デバイスは、ピクチャのトリミングボックスのサイズを決定する。
具体的には、電子デバイスは、ピクチャのサイズおよびトリミングボックスのアスペクト比に基づいてトリミングボックスのサイズを決定する。ピクチャのサイズは、ピクチャの長さおよび幅を示す。ユーザプロフィールピクチャを生成する、またはサムネイルを生成する適用シナリオでは、トリミングボックスのアスペクト比は、事前設定されたアスペクト比である。ピクチャをトリミングする適用シナリオでは、トリミングボックスのアスペクト比は、ユーザによって入力される選択操作に対応するアスペクト比である。
具体的には、トリミングボックスは、ピクチャに含まれ得る、アスペクト比要求を満たす複数のトリミングボックスのうちで最大の面積を有するトリミングボックスである。具体的には、トリミングボックスの長さはピクチャの長さと等しいか、またはトリミングボックスの幅はピクチャの幅と等しい。トリミングボックスの例については、図9Aおよび図9Bに対応する実施形態を参照されたい。
S1103：電子デバイスは、トリミングボックスのサイズに基づいて第1の対象ボックスを決定し、第1の対象ボックスは、1つ以上の顕著性領域を含む矩形ボックスであって、その面積がトリミングボックスの面積よりも大きくない、矩形ボックスである。
第1のトリミングボックスを決定するための方法は、後続の内容で詳細に説明され、ここでは詳細は説明されない。
S1104：電子デバイスは、ピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法を決定する。
本出願のこの実施形態では、水平方向および垂直方向におけるピクチャ内の顕著性領域の構成方法が決定され得る。水平方向におけるピクチャ内の顕著性領域の構成方法は、縁近傍構成、中心線近傍構成、または基準線近傍構成を含む。垂直方向におけるピクチャ内の顕著性領域の構成方法は、縁近傍構成、中心線近傍構成、または基準線近傍構成を含む。水平方向および垂直方向におけるピクチャ内の顕著性領域の構成方法を決定するための方法は、後続の内容で説明され、ここでは詳細は説明されない。トリミングボックスの基準線が三等分線である場合、第1のピクチャの基準線は三等分線であるか、またはトリミングボックスの基準線が黄金分割線である場合、第1のピクチャの基準線は黄金分割線であるか、またはトリミングボックスの基準線が最適基準線である場合、第1のピクチャの基準線は最適基準線である。
トリミングボックスの幅が画像の幅と等しい場合、トリミングボックスの水平移動は、垂直方向におけるピクチャの構成方法に影響を及ぼさないことに留意されたい。この場合、水平方向におけるピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法が決定される。トリミングボックスの長さがピクチャの長さと等しい場合、トリミングボックスの垂直移動は、水平方向におけるピクチャの構成方法に影響を及ぼさない。この場合、垂直方向におけるピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法が決定される。
S1105：電子デバイスは、トリミングボックス内の第1の対象ボックスに含まれる顕著性領域の構成方法がピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法と同じになるように、トリミングボックスの位置を移動させる。
具体的には、トリミングボックスの幅がピクチャの幅と等しい場合、それは、トリミングボックスが水平方向に移動されることを示す。トリミングボックスの位置は、水平方向におけるピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法に基づいて移動される。最初に、垂直方向におけるトリミングボックスの中心線の位置および垂直方向におけるトリミングボックスの基準線の位置が決定され必要がある。縁近傍構成が実行される場合、第1の対象ボックスに含まれる顕著性領域の重心がトリミングボックスの縁にできるだけ近づくように、トリミングボックスの位置は移動される。中心線近傍構成が実行される場合、第1の対象ボックスに含まれる顕著性領域の重心が垂直方向におけるトリミングボックスの中心線にできるだけ近づくように、トリミングボックスの位置は移動される。基準線近傍構成が実行される場合、第1の対象ボックスに含まれる顕著性領域の重心がトリミングボックスの基準線にできるだけ近づくように、トリミングボックスの位置は移動される。
具体的には、トリミングボックスの長さがピクチャの長さと等しい場合、それは、トリミングボックスが垂直方向に移動されることを示す。トリミングボックスの位置は、垂直方向におけるピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法に基づいて移動される。最初に、水平方向におけるトリミングボックスの中心線の位置および水平方向におけるトリミングボックスの基準線の位置が決定され必要がある。縁近傍構成が実行される場合、第1の対象ボックスに含まれる顕著性領域の重心がトリミングボックスの縁にできるだけ近づくように、トリミングボックスの位置は移動される。中心線近傍構成が実行される場合、第1の対象ボックスに含まれる顕著性領域の重心が垂直方向におけるトリミングボックスの中心線にできるだけ近づくように、トリミングボックスの位置は移動される。基準線近傍構成が実行される場合、第1の対象ボックスに含まれる顕著性領域の重心がトリミングボックスの基準線にできるだけ近づくように、トリミングボックスの位置は移動される。トリミングボックスの移動範囲はピクチャ内であり、トリミングボックスはピクチャの縁を越え得ないことに留意されたい。このようにして、トリミングボックス内の第1の対象ボックスに含まれる顕著性領域の構成方法は、ピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法と同じになり得る。
例えば、図14Aは、本出願の一実施形態による、中心線近傍構成のトリミングボックスの概略図である。垂直方向における元のピクチャ内の顕著性領域の構成方法が中心線近傍構成である場合、トリミングボックス内の顕著性領域の重心がトリミングボックスの中心線にできるだけ近づくように、トリミングボックスの位置は移動される。図14Bは、本出願の一実施形態による、基準線近傍構成のトリミングボックスの概略図である。水平方向における元のピクチャ内の顕著性領域の構成方法が基準線近傍構成である場合、トリミングボックス内の顕著性領域の重心がトリミングボックスの基準線にできるだけ近づくように、トリミングボックスの位置は移動される。
S1106：決定されたトリミングボックスの位置を表示するか、またはトリミングボックスの位置に基づいて新しいピクチャを生成する。
サムネイルが形成される実施形態では、続いて、サムネイルに含まれるピクチャコンテンツが、トリミングボックスの位置に基づいて元のピクチャから決定され得、次に、ピクチャコンテンツは、サムネイルを形成するために圧縮されることに留意されたい。ピクチャをトリミングするためのトリミングボックスが形成される実施形態では、続いて、決定されたトリミングボックスの位置が、元のピクチャに表示され得る。ユーザプロフィールピクチャが形成される実施形態では、続いて、ユーザプロフィールピクチャに含まれるピクチャコンテンツが、トリミングボックスに基づいて元のピクチャから決定され得、次に、ピクチャコンテンツに対応するプロフィールピクチャが生成される。加えて、アプリケーションで指定されたアルゴリズムに従って、プロフィールピクチャに対して事前設定調整（例えば、解像度の低下）がさらに実行されてもよい。これはここでは限定されない。
以下では、前述の方法におけるステップの特定の実施態様の補足説明をさらに提供する。
ステップS1101では、ピクチャ内の顕著性領域を決定するための複数の方法があり得る。以下では、いくつかの可能な決定方法についてさらに説明する。
第1の方法では、ピクチャに対して顕著性検出が実行され、顕著性検出結果が、ピクチャの顕著性領域として使用される。顕著性検出方法については、図1A（1）および図1A（2）で説明された方法を参照されたい。
第2の方法では、N個の領域を取得するためにピクチャに対してセマンティックセグメンテーションが実行され、N≧2であり、N個の領域は、互いに重ならない領域である。N個の領域の各々の面積が決定され、1つの領域は1つのセマンティックカテゴリに対応し、電子デバイスは、セマンティックカテゴリに対応する重みを事前に記憶する。次に、第iの領域のスコアが計算され、第iの領域のスコアは、第iの領域の面積と、第iの領域に対応するセマンティックカテゴリに対応する重みとの積である。N個の領域のうちで最も高いスコアを有する領域が、顕著性領域として決定される。可能な場合、電子デバイスが顕著性検出によってピクチャ内の顕著性領域を決定し得ない場合、電子デバイスは、セマンティックセグメンテーション方法で顕著性領域を決定し得る。
例えば、セマンティックカテゴリは、人、建物、動物、食べ物、花、山、海辺、木、空、または水などを含み得る。任意選択で、これらのカテゴリは3つのレベルに分類されてもよい。第1のレベルは、人、建物、動物、食べ物、および花を含み、第2のレベルは、山、海辺、および木を含み、第3のレベルは、空および水を含む。同じレベルのカテゴリは同じ重みに対応し、第1のレベルのカテゴリに対応する重みは最大であり、第2のレベルのカテゴリに対応する重みは2番目であり、第3のレベルのカテゴリに対応する重みは最小である。例えば、第1のレベルのカテゴリに対応する重みは4であってもよく、第2のレベルのカテゴリに対応する重みは2であってもよく、第3のレベルのカテゴリに対応する重みは1であってもよい。図1B（1）および図1B（2）が例として使用される。領域1は「建物」であり、対応する面積は3平方センチメートルであり、「建物」に対応する重みは4である。この場合、領域1に対応するスコアは12である。領域2は「空」であり、対応する面積は6平方センチメートルであり、「空」に対応する重みは1である。この場合、領域2に対応するスコアは6である。領域3は「植物」であり、対応する面積は5平方センチメートルであり、「植物」に対応する重みは2である。この場合、領域3に対応するスコアは10である。領域4は「水」であり、対応する面積は2平方センチメートルであり、「水」に対応する重みは1である。この場合、領域4に対応するスコアは2である。領域1に対応するスコアが最大値であり、したがって、顕著性領域は領域1である。
第3の方法では、電子デバイスは、顕著性領域に関してユーザによって入力された選択操作を受け付け、選択操作に対応するピクチャコンテンツが顕著性領域であると決定する。この方法については、図7Aから図7Fに対応する実施形態を参照されたい。
第4の方法では、電子デバイスは、顕著性領域に関してユーザによって入力された選択ボックスまたは閉じた図形を受け付け、選択ボックスまたは閉じた図形に含まれるコンテンツが顕著性領域であると決定する。この方法については、図7Gおよび図7Hに対応する実施形態を参照されたい。
第5の方法では、電子デバイスは、写真の撮影時にユーザによって入力された、フォーカスフレームの位置を記録し、フォーカスフレームに含まれるピクチャコンテンツが写真の顕著性領域であると決定する。この方法については、図8Bに対応する実施形態を参照されたい。
第1の方法または第2の方法で決定される顕著性領域は1つ以上であり得、第3の方法から第5の方法の各々で決定される顕著性領域は1つだけであることに留意されたい。
ステップS1103において、トリミングボックスのサイズに基づいて第1の対象ボックスを決定する方法は以下の通りである。
最初に、ピクチャ内の各顕著性領域の対象ボックスが生成される。顕著性領域の対象ボックスは、顕著性領域の境界矩形である。顕著性検出結果はグレースケールピクチャであるため、縁が比較的ぼやけており、顕著性領域と境界矩形との間には事前設定距離が存在する。任意選択で、事前設定距離は、顕著性領域の面積に正比例する。特に、本出願のこの実施形態では、対象ボックスの縁は、ピクチャの縁と平行である。
次に、トリミングボックスが最大面積を有する顕著性領域の第2の対象ボックスを含み得るかどうかが、トリミングボックスのサイズに基づいて判定される。トリミングボックスが第2の対象ボックスを含み得る場合、第2の対象ボックス以外の別の対象ボックスがピクチャ内に存在するかどうかが判定される。他の対象ボックスが存在しない場合、第1の対象ボックスは第2の対象ボックスであると決定される。別の対象ボックスが存在する場合、電子デバイスは、第3の対象ボックスが含まれた後に取得された第2の対象ボックスのサイズがトリミングボックスのサイズを超える（具体的には、第3の対象ボックスが含まれた後に取得された第2の対象ボックスの長さが、トリミングボックスの長さを超えるか、または第3の対象ボックスが含まれた後に取得された第2の対象ボックスの幅が、トリミングボックスの幅を超える）まで、含まれる顕著性領域の面積の降順で対象ボックス内に他の対象ボックスを順次含めるように、第2の対象ボックスを拡張する。この場合、第1の対象ボックスは、第3の対象ボックスが含まれる前に存在していた第2の対象ボックスであると決定される。この方法については、図16Aから図16Cに示されている実施形態を参照されたい。
図16Aから図16Cは、本出願の一実施形態による、第1の対象ボックスを決定するいくつかの概略フローチャートである。ピクチャ1604は、顕著性領域A、顕著性領域B、顕著性領域C、および顕著性領域Dを含む。複数の顕著性領域の面積の降順は、顕著性領域A、顕著性領域B、顕著性領域C、および顕著性領域Dである。線分1605は、トリミングボックスの長さを示す。トリミングボックスの幅はピクチャ1604の幅であることに留意されたい。図16Aに示されているように、対象ボックス1606は、最大面積を有する顕著性領域を含む第2の対象ボックスである。次に、電子デバイスは、顕著性領域Bの対象ボックスを含むように第2の対象ボックスを拡張し、顕著性領域Bの対象ボックスが含まれる第2の対象ボックスは、対象ボックス1607として示されている。対象ボックス1607の長さはトリミングボックスの長さを超えておらず、対象ボックス1607の幅はトリミングボックスの幅を超えていない。したがって、電子デバイスは、顕著性領域Cの対象ボックスを含むように第2の対象ボックスを引き続き拡張する。顕著性領域Cの対象ボックスが含まれる第2の対象ボックスは、対象ボックス1608として示されている。対象ボックス1608の長さはサムネイルの長さを超えている。したがって、対象ボックスの拡張は中止される。最終的に決定された第1の対象ボックスは、顕著性領域Cの対象ボックスが含まれる前に存在していた第2の対象ボックス1607である。
別の可能な実施態様では、電子デバイスは、複数の顕著性領域がすべて横断されるまで、含まれる顕著性領域の面積の降順で対象ボックス内に他の対象ボックスを順次含めるように、第2の対象ボックスを拡張する。第2の対象ボックスのサイズが、第3の対象ボックスが含まれた後にトリミングボックスのサイズを超えた場合、第2の対象ボックスは、第3の対象ボックスが含まれる前に存在していた対象ボックスであると決定される。第2の対象ボックスのサイズが、第3の対象ボックスが含まれた後にトリミングボックスのサイズを超えない（具体的には、対象ボックスの長さがサムネイルの長さを超えず、対象ボックスの幅がサムネイルの幅を超えない）場合、第2の対象ボックスは、第3の対象ボックスが含まれた後に取得された対象ボックスであると決定される。この場合、第1の対象ボックスは、すべての対象ボックスが横断された後に取得される第2の対象ボックスである。この方法については、図16Aから図16Dに示されている実施形態を参照されたい。
図16Aから図16Dは、本出願の一実施形態による、対象ボックスを決定するいくつかの概略フローチャートである。この実施手順では、電子デバイスは、前述の内容の同じ方法で対象ボックス1606、対象ボックス1607、および対象ボックス1608を順次生成することに留意されたい。顕著性領域Cの対象ボックスが含まれる第2の対象ボックスは、対象ボックス1608として示されている。対象ボックス1608の長さはサムネイルの長さを超えている。したがって、電子デバイスは、顕著性領域Cの対象ボックスを第2の対象ボックス内に配置しない。第2の対象ボックスは、顕著性領域Cの対象ボックスが含まれる前に存在していた対象ボックス1607である。次に、電子デバイスは、第2の対象ボックス内に顕著性領域Dの対象ボックスを含める。顕著性領域Dの対象ボックスが含まれる第2の対象ボックスは、対象ボックス1609として示されている。対象ボックス1609の長さはサムネイルの長さを超えていない。電子デバイスは、この場合の第2の対象ボックスは対象ボックス1609であると決定する。ピクチャ1604内の4つの顕著性領域がすべて横断され、電子デバイスによって最終的に決定された第1の対象ボックスは、4つの顕著性領域がすべて横断された後に形成された第2の対象ボックス1609である。
トリミングボックスが第2の対象ボックスを含み得ない場合、最適化された対象ボックスが、第2の対象ボックスに含まれる顕著性領域に基づいて生成される。最適化された対象ボックスは、顕著性領域の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含む矩形ボックスである。図15は、本出願の一実施形態による、顕著性領域、対象ボックス、および最適化された対象ボックスの間の位置関係の概略図である。1501はピクチャであり、1502は対象ボックスであり、1503は最適化された対象ボックスである。
続いて、トリミングボックスが最適化された対象ボックスを含み得るかどうかが判定される。トリミングボックスが最適化された対象ボックスを含み得る場合、第1の対象ボックスが最適化された対象ボックスであると決定される。トリミングボックスが最適化された対象ボックスを含み得ない場合、第2の対象ボックスに対応するピクチャ部分のセマンティックセグメンテーション結果が取得される。セマンティックセグメンテーション結果に基づいて、最高レベルのセマンティックカテゴリに対応する領域から最大面積を有する領域が選択される。第1の対象ボックスが、最大面積を有する領域を含む対象ボックスであると決定される。セマンティックカテゴリのレベルについては、前述の内容の説明を参照されたい。任意選択で、電子デバイスは、トリミングボックスが最大面積を有する領域の対象ボックスを含み得るかどうかを判定してもよい。トリミングボックスが最大面積を有する領域の対象ボックスを含み得ない場合、トリミングボックスは、非制約トリミング方法で形成される。非制約トリミング方法は以下で説明され、ここでは詳細は説明されない。
別の可能な実施態様では、トリミングボックスが最適化された対象ボックスを含み得ない場合、電子デバイスは、顔認識技術を使用して顕著性領域の人間の顔領域を抽出し、次に、第1の対象ボックスは人間の顔領域を含む矩形ボックスであると決定してもよい。
別の可能な実施態様では、トリミングボックスが最適化された対象ボックスを含み得ない場合、電子デバイスは、非制約トリミング方法でトリミングボックスを直接形成してもよい。以下では、非制約トリミング方法について説明する。元のピクチャ内の顕著性領域の構成方法が、縁近傍構成であり、顕著性領域に近い縁が第1の縁であり、第1の縁に垂直な縁が第2の縁であり、サムネイルで第1の縁と同じ位置にある縁が第3の縁であり、第3の縁に垂直な縁が第4の縁であると仮定される。この場合、電子デバイスは、第4の縁の長さに対する、サムネイル内の顕著性領域の重心と第3の縁との間の距離の比率は、第2の縁の長さに対する、元のピクチャ内の顕著性領域の重心と第1の縁との間の距離の比率と等しいと決定する。元のピクチャ内の顕著性領域の構成方法が縁近傍構成でない場合、電子デバイスは、サムネイルの幾何学的中心は元のピクチャの幾何学的中心と一致すると決定する。図17（1）および図17（2）は、本出願の一実施形態による、非制約トリミングによって形成されたトリミングボックスの概略図である。図17（1）は元のピクチャの概略図であり、図17（2）はサムネイルの概略図である。第4の縁1706の長さdに対する、トリミングボックス1702内の顕著性領域の重心Aと第3の縁1705との間の距離cの比率c／dは、第2の縁1704の長さbに対する、元のピクチャ内の顕著性領域の重心Aと第1の縁1703との間の距離aの比率a／bと等しく、すなわち、c／d＝a／bである。
続いて、ステップS1104で水平方向におけるピクチャ内の顕著性領域の構成方法を決定するための方法について説明する。
トリミングボックスの基準線が三等分線である場合、第1のピクチャの基準線は三等分線であるか、またはトリミングボックスの基準線が黄金分割線である場合、第1のピクチャの基準線は黄金分割線であるか、またはトリミングボックスの基準線が最適基準線である場合、第1のピクチャの基準線は最適基準線である。以下では、説明のための例として最適基準線を使用する。基準線が三等分線または黄金分割線である方法については、同様の決定方法を参照されたい。ここでは詳細は説明されない。三等分線は、水平方向におけるピクチャの縁の三等分点の接続線および垂直方向におけるピクチャの縁の三等分点の接続線であり、1つのピクチャは4つの三等分線を有することに留意されたい。
最初に、水平方向に垂直な、ピクチャの中心線の位置が計算され、垂直方向の、ピクチャの最適基準線の位置が、第1の対象ボックスに基づいて計算される。ピクチャの中心線は、ピクチャの中心を通る、水平方向に垂直な線分である。ピクチャの長さに対する、垂直方向の最適基準線とピクチャの左縁との間の距離の比率は、ピクチャの長さに対する第1の対象ボックスの長さの比率と対応関係を有する。この対応関係では、ピクチャの長さに対する対象ボックスの長さの比率が大きくなる（これは、顕著性領域の面積が大きくなることとして理解され得る）につれて、ピクチャの長さに対する、最適基準線とピクチャの左縁との間の距離の比率は大きくなる。この対応関係は、ピクチャに対する第1の対象ボックスの割合が増加するにつれて、最適基準線がピクチャの三等分線から中心線に徐々に近づくことを示すことに留意されたい。
例えば、最適基準線を決定する方法は、以下の式に従って決定され得る。
k＝－0．568・δ3＋0．9598・δ2－0．2453・δ＋0．3522
ただし、δは、ピクチャの長さに対する第1の対象ボックスの長さの比率を表し、kは、ピクチャの長さに対する、最適基準線とピクチャの左縁との間の距離の比率を表す。kの値は1／3から1／2の範囲である。kの値に基づいて、最適基準線の位置が決定され得る。これに対応して、ピクチャの長さに対する、垂直方向の別の最適基準線とピクチャの左縁との間の距離の比率は、1－kである。
水平方向における構成方法を決定するための規則は、以下の通りであり、顕著性領域の重心とピクチャの2つの垂直縁との間の距離、重心と中心線との間の距離、および重心と最適基準線との間の距離が比較され、垂直方向におけるピクチャ内の顕著性領域の構成方法は、重心から最短距離を有する線に基づいて決定される。具体的には、顕著性領域の重心とピクチャの垂直縁との間の距離が最短である場合、水平方向におけるピクチャ内の顕著性領域の構成方法は、縁近傍構成である。重心と中心線との間の距離が最短である場合、水平方向におけるピクチャ内の顕著性領域の構成方法は、中心線近傍構成である。重心と、垂直方向におけるピクチャの最適基準線との間の距離が最短である場合、水平方向におけるピクチャ内の顕著性領域の構成方法は、基準線近傍構成である。
別の可能な実施態様では、顕著性領域の重心の位置と構成方法との対応関係は、決定規則に従って取得されてもよい。この対応関係は図13Aで示され得る。顕著性領域の重心が第1の領域（第1の領域aおよび第1の領域bを含む）内にある場合、顕著性領域の重心とピクチャの垂直縁との間の距離が最短であり、これは、水平方向におけるピクチャ内の顕著性領域の構成方法が縁近傍構成であることを示す。顕著性領域の重心が第2の領域（第2の領域aおよび第2の領域bを含む）内にある場合、重心と、垂直方向におけるピクチャの最適基準線との間の距離が最短であり、これは、水平方向におけるピクチャ内の顕著性領域の構成方法が基準線近傍構成であることを示す。顕著性領域の重心が第3の領域内にある場合、重心と中心線との間の距離が最短であり、これは、水平方向における顕著性領域の構成方法が中心線近傍構成であることを示す。
続いて、ステップS1104で垂直方向におけるピクチャ内の顕著性領域の構成方法を決定するための方法について説明する。
最初に、水平方向に平行な、ピクチャの中心線の位置が計算され、水平公方向の、ピクチャの最適基準線の位置が、第1の対象ボックスに基づいて計算される。ピクチャの中心線は、ピクチャの中心を通る、水平方向に平行な線分である。ピクチャの長さに対する、水平方向の最適基準線とピクチャの上縁との間の距離の比率は、ピクチャの幅に対する第1の対象ボックスの幅の比率と対応関係を有する。この対応関係では、ピクチャの幅に対する対象ボックスの幅の比率が大きくなる（これは、顕著性領域の面積が大きくなることとして理解され得る）につれて、ピクチャの幅に対する、最適基準線とピクチャの上縁との間の距離の比率は大きくなる。この対応関係は、ピクチャに対する第1の対象ボックスの割合が増加するにつれて、最適基準線がピクチャの三等分線から中心線に徐々に近づくことを示すことに留意されたい。
例えば、最適基準線を決定する方法は、以下の式に従って決定され得る。
k＝－0．568・δ3＋0．9598・δ2－0．2453・δ＋0．3522
ただし、δは、元のピクチャの幅に対する対象ボックスの幅の比率を表し、kは、元のピクチャの幅に対する、最適基準線と元のピクチャの上縁との間の距離の比率を表す。kの値は1／3から1／2の範囲である。kの値に基づいて、最適基準線の位置が決定され得る。これに対応して、ピクチャの幅に対する、垂直方向の別の最適基準線とピクチャの上縁との間の距離の比率は、1－kである。
垂直方向における構成方法を決定するための規則は、以下の通りであり、顕著性領域の重心とピクチャの2つの水平縁との間の距離、重心と水平方向の中心線との間の距離、および重心と水平方向の最適基準線との間の距離が比較され、垂直方向におけるピクチャ内の顕著性領域の構成方法は、重心から最短距離を有する線に基づいて決定される。具体的には、顕著性領域の重心とピクチャの水平縁との間の距離が最短である場合、垂直方向におけるピクチャ内の顕著性領域の構成方法は、縁近傍構成である。重心と中心線との間の距離が最短である場合、垂直方向におけるピクチャ内の顕著性領域の構成方法は、中心線近傍構成である。重心と、水平方向におけるピクチャの最適基準線との間の距離が最短である場合、垂直方向におけるピクチャ内の顕著性領域の構成方法は、基準線近傍構成である。
別の可能な実施態様では、顕著性領域の重心の位置と構成方法との対応関係は、決定規則に従って取得されてもよい。この対応関係は図13Bで示され得る。顕著性領域の重心が第4の領域（第4の領域aおよび第4の領域bを含む）内にある場合、顕著性領域の重心とピクチャの水平縁との間の距離が最短であり、これは、垂直方向におけるピクチャ内の顕著性領域の構成方法が縁近傍構成であることを示す。顕著性領域の重心が第5の領域（第5の領域aおよび第5の領域bを含む）内にある場合、重心と、水平方向におけるピクチャの最適基準線との間の距離が最短であり、これは、垂直方向におけるピクチャ内の顕著性領域の構成方法が基準線近傍構成であることを示す。顕著性領域の重心が第6の領域内にある場合、重心と中心線との間の距離が最短であり、これは、垂直方向における顕著性領域の構成方法が中心線近傍構成であることを示す。
以下では、前述の方法の一部の他の可能な実施態様について説明する。
一実施形態では、顕著性検出またはセマンティックセグメンテーションによって顕著性領域が決定され得ない場合、ピクチャに対して線検出が実行され得る。線検出結果に基づいてトリミングボックスの位置を決定する処理では、トリミングボックスがピクチャの範囲を越えないことを保証することを前提として、検出された直線はできるだけトリミングボックスの基準線に配置される。基準線は、三等分線、黄金分割線、または最適基準線であり得る。
別の実施形態では、トリミングボックスの計算された幅がピクチャの幅と等しい場合、トリミングボックスは水平方向に移動される必要がある。直線（例えば、水平線または地平線などの直線）がピクチャ内に存在するかどうかを判定するために、ピクチャに対して線検出がさらに実行され得る。ピクチャ内に直線が存在する場合、その直線が水平方向におけるピクチャの黄金分割線の近傍領域に位置するかどうかが判定される。ピクチャの黄金分割線は、ピクチャを2つの部分に分割し、2つの部分のうちのより大きい部分の面積に対する2つの部分のうちのより小さい部分の面積の比率は、ピクチャ全体の面積に対するより大きい部分の面積の比率と等しい。具体的には、ピクチャ内の直線がピクチャの黄金分割線の近傍領域に位置する場合、第1の対象ボックスの重心を黄金分割線上に位置させる、第1の対象ボックスを含み得るスケーリングされたトリミングボックスが、ピクチャの黄金分割線の位置に基づいて計算される。スケーリングされたトリミングボックスと最初に計算されたトリミングボックスとのサイズ関係は、比較によって取得される。スケーリングされたトリミングボックスが最初に計算されたトリミングボックスよりも大きい場合、最初に計算されたトリミングボックスが、後続の処理で構成方法を決定するために使用される。スケーリングされたトリミングボックスが当初に計算されたトリミングボックスよりも小さい場合、スケーリングされたトリミングボックスが、後続の処理で構成方法を決定するために使用される。具体的には、ステップS1105において、スケーリングされたトリミングボックス内の第1の対象ボックスに含まれる顕著性領域の構成方法がピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法と同じになるように、スケーリングされたトリミングボックスの位置は移動される。垂直方向におけるスケーリングされたトリミングボックス内の構成方法は黄金分割線近傍構成であると決定されているため、スケーリングされたトリミングボックスは、続いて、水平方向にのみ移動されることに留意されたい。このようにして、トリミングボックス内の直線の位置は、黄金分割規則に準拠し得、これにより、サムネイルはより美しくなる。
図12は、本出願の一実施形態による、黄金分割線の近傍領域の概略図である。図12に示されているように、水平方向に2つの黄金分割線1201Aおよび1201Bがあり、グレー領域は、黄金分割線の近傍領域1203Aおよび1203Bである。黄金分割線の近傍領域は、黄金分割線からの距離が第1の事前設定値を超えない点を含む領域である。1つのピクチャ内に4つの黄金分割線があり得ることに留意されたい。図12に示されている水平方向の黄金分割線に加えて、垂直方向にも2つの黄金分割線がある。
任意選択で、スケーリングされたトリミングボックスは、代わりに、最適基準線を使用して計算されてもよい。具体的には、ピクチャ内に直線が存在する場合、その直線が水平方向におけるピクチャの最適基準線の近傍領域に位置するかどうかが判定される。最適基準線を計算する方法については、前述の説明を参照されたい。具体的には、ピクチャ内の直線がピクチャの最適基準線の近傍領域に位置する場合、第1の対象ボックスの重心を最適基準線上に位置させる、第1の対象ボックスを含み得るスケーリングされたトリミングボックスが、ピクチャの最適基準線の位置に基づいて計算される。最適基準線の近傍領域は、最適基準線からの距離が第1の事前設定値を超えない点を含む領域である。同様に、スケーリングされたトリミングボックスは、代わりに、三等分線を使用して計算されてもよい。この方法は前述の方法と同様であり、ここでは詳細を説明されない。
図18は、本出願の一実施形態によるスケーリングされたトリミングボックスの概略図である。元のピクチャ内に直線が存在し、その直線は元のピクチャの最適基準線の近くに位置する。この場合、スケーリングされたトリミングボックスはサムネイルで使用され、ピクチャ内の直線はスケーリングされたトリミングボックスの最適基準線上に位置する。加えて、水平方向における元のピクチャ内の顕著性領域の構成方法が中心線近傍構成であるため、顕著性領域の重心がスケーリングされたトリミングボックスの中心線にできるだけ近づくように、スケーリングされたトリミングボックスの位置は水平方向に移動される。具体的には、スケーリングされたトリミングボックス内の顕著性領域の構成方法は、ピクチャ内の第1の対象ボックスに含まれる顕著性領域の構成方法と同じである。
図11の方法のステップの特定の実施態様については、図1A（1）および図1A（2）から図10Eの前述の実施形態を参照することが理解されよう。ここでは詳細は再び説明されない。
図19は、本出願の一実施形態によるユーザプロフィールピクチャ生成方法の概略フローチャートである。本方法は、以下のステップを含む。
S1901：電子デバイスのディスプレイに少なくとも1つのサムネイルを表示し、少なくとも1つのサムネイルは第1のサムネイルを含み、第1のサムネイルは第1のピクチャに対応し、第1のピクチャは人間の顔領域を含む。
例えば、少なくとも1つのサムネイルを含み、電子デバイスのディスプレイに表示されるユーザインターフェースについては、図10Cに示されているユーザインターフェース102を参照されたい。第1のサムネイルは、サムネイル1007である。第1のピクチャについては、図10Dに示されている元のピクチャ1010を参照されたい。人間の顔領域については、図10Dに示されている顕著性領域1011を参照されたい。
S1902：第1のサムネイルに対して実行された第1の操作を検出し、第1の操作に応答して、電子デバイスは、第1のピクチャを表示し、第1のピクチャにトリミングボックスを表示する。
第1のピクチャは第1のサムネイルに対応し、トリミングボックスは人間の顔領域を含み、トリミングボックス内の人間の顔領域の構成方法は、第1のピクチャ内の人間の顔領域の構成方法と同じである。例えば、この表示方法については、図10Dに示されている実施形態を参照されたい。トリミングボックスについては、トリミングボックス1012を参照されたい。
トリミングボックス内の人間の顔領域の構成方法は、人間の顔領域の重心とトリミングボックスの中心線との間の距離、重心とトリミングボックスの縁との間の距離、および重心とトリミングボックスの基準線との間の距離のうちの最短距離によって決定され、第1のピクチャ内の人間の顔領域の構成方法は、人間の顔領域の重心と第1のピクチャの中心線との間の距離、重心と第1のピクチャの縁との間の距離、および重心と第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、トリミングボックスの基準線は三等分線であり、第1のピクチャの基準線は三等分線であるか、またはトリミングボックスの基準線は黄金分割線であり、第1のピクチャの基準線は黄金分割線である。構成方法を決定するための方法については、図11のステップS1104の説明を参照することに留意されたい。ここでは詳細は再び説明されない。
S1903：トリミングボックスに基づいて、人間の顔領域を含むユーザプロフィールピクチャを生成する。
例えば、生成されるユーザプロフィールピクチャについては、図10Eに示されているプロフィールピクチャ1024を参照されたい。
可能な実施態様では、第1のピクチャは、電子デバイスのカメラを使用して撮影されたピクチャであり、本方法は、第1のピクチャを撮影する処理で、カメラのビューファインダ画面のフォーカスフレームの位置を記録するステップであって、フォーカスフレームに含まれるピクチャコンテンツは、人間の顔領域である、ステップをさらに含む。例えば、図8Bに対応する実施形態が参照され得る。第1のピクチャは、表示領域801に含まれる画像に基づいて生成されるピクチャであり、フォーカスフレームは、フォーカスフレーム806である。図8Bでは例として花の写真撮影のみが使用されており、このような方法が人間の顔領域の決定にも適用可能であることに留意されたい。
可能な実施態様では、第1のピクチャは1つの人間の顔を含み、第1のピクチャにトリミングボックスを表示するステップは、第1のピクチャの長さおよび幅ならびにトリミングボックスのアスペクト比に基づいてトリミングボックスの長さおよび幅を決定するステップと、人間の顔に基づいて第1の対象ボックスを生成するステップであって、第1の対象ボックスは、人間の顔の境界矩形である、ステップと、第1の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第1の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、人間の顔が人間の顔領域であると決定するステップと、トリミングボックス内の人間の顔領域の構成方法が第1のピクチャ内の人間の顔領域の構成方法と同じになるように、トリミングボックスの位置を計算するステップと、トリミングボックスの決定された位置に基づいて第1のピクチャにトリミングボックスを表示するステップとを含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さがトリミングボックスの長さよりも大きいか、または第1の対象ボックスの幅がトリミングボックスの幅よりも大きい場合に、人間の顔に基づいて、最適化された人間の顔を生成するステップであって、最適化された人間の顔は、人間の顔の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含むピクチャ領域である、ステップと、最適化された人間の顔に基づいて第2の対象ボックスを生成するステップであって、第2の対象ボックスは、最適化された人間の顔の境界矩形である、ステップと、第2の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第2の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、最適化された人間の顔が人間の顔領域であると決定するステップとをさらに含む。
可能な実施態様では、第1のピクチャは2つの人間の顔を含み、第1のピクチャにトリミングボックスを表示するステップは、第1のピクチャの長さおよび幅ならびにトリミングボックスのアスペクト比に基づいてトリミングボックスの長さおよび幅を決定するステップと、2つの人間の顔に基づいて第3の対象ボックスおよび第4の対象ボックスを生成するステップであって、第3の対象ボックスは、2つの人間の顔のうちでより大きい面積を有する人間の顔の境界矩形であり、第4の対象ボックスは、2つの人間の顔のうちでより小さい面積を有する人間の顔の境界矩形である、ステップと、第3の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第3の対象ボックスの幅がトリミングボックスの幅よりも大きくなく、第5の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第5の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、2つの人間の顔を含む最小ピクチャ領域が人間の顔領域であると決定するステップであって、第5の対象ボックスは、第4の対象ボックスおよび第5の対象ボックスを含む最小境界矩形である、ステップ、または第3の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第3の対象ボックスの幅がトリミングボックスの幅よりも大きくなく、第5の対象ボックスの長さがトリミングボックスの長さよりも大きいか、もしくは第5の対象ボックスの幅がトリミングボックスの幅よりも大きい場合に、2つの人間の顔のうちでより大きい面積を有する人間の顔が人間の顔領域であると決定するステップと、トリミングボックス内の人間の顔領域の構成方法が第1のピクチャ内の人間の顔領域の構成方法と同じになるように、トリミングボックスの位置を計算するステップと、トリミングボックスの決定された位置に基づいて第1のピクチャにトリミングボックスを表示するステップとを含む。
可能な実施態様では、第1のピクチャは3つ以上の人間の顔を含み、第1のピクチャにトリミングボックスを表示するステップは、第1のピクチャの長さおよび幅ならびにトリミングボックスのアスペクト比に基づいてトリミングボックスの長さおよび幅を決定し、3つ以上の人間の顔に基づいて3つ以上の第6の対象ボックスを生成するステップであって、1つの第6の対象ボックスは、3つ以上の人間の顔のうちの1つの境界矩形であり、第6の対象ボックスのそれぞれは、異なる人間の顔に対応し、3つ以上の第6の対象ボックスのうちで最大面積を有する対象ボックスは、第7の対象ボックスである、ステップと、第7の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第7の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、第8の対象ボックスが含まれた後に取得された第7の対象ボックスの長さがトリミングボックスの長さよりも大きくなるか、もしくは第8の対象ボックスが含まれた後に取得された第7の対象ボックスの幅がトリミングボックスの幅よりも大きくなるまで、第7の対象ボックスのうちの他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、人間の顔領域は、第8の対象ボックスが含まれる前に存在していた第7の対象ボックスに含まれる人間の顔であると決定するステップであって、第8の対象ボックスは、他の対象ボックスのうちの1つであり、他の対象ボックスは、3つ以上の第6の対象ボックスのうちの第7の対象ボックス以外の第6の対象ボックスである、ステップ、または第7の対象ボックスの長さがトリミングボックスの長さよりも大きくなく、第7の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、第7の対象ボックスのうちの他の対象ボックスがすべて横断されるまで、他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、人間の顔領域は、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる人間の顔であると決定するステップであって、第9の対象ボックスが含まれた後、第7の対象ボックスの長さがトリミングボックスの長さよりも大きいか、もしくは第7の対象ボックスの幅がトリミングボックスの幅よりも大きい場合に、第7の対象ボックスは、第3の対象ボックスが含まれる前に存在していた第7の対象ボックスであると決定されるか、または第9の対象ボックスが含まれた後、第7の対象ボックスの長さがトリミングボックスの長さよりも大きくないか、もしくは第7の対象ボックスの幅がトリミングボックスの幅よりも大きくない場合に、第7の対象ボックスは、第9の対象ボックスが含まれた後に取得された第7の対象ボックスであると決定され、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる人間の顔が、人間の顔領域であると決定される、ステップと、トリミングボックス内の人間の顔領域の構成方法が第1のピクチャ内の人間の顔領域の構成方法と同じになるように、トリミングボックスの位置を計算するステップと、トリミングボックスの決定された位置に基づいて第1のピクチャにトリミングボックスを表示するステップとを含む。トリミングボックスの位置を決定する特定の実施態様については、図11に対応する実施形態で説明されたトリミング方法を参照することに留意されたい。
図20は、本出願の一実施形態によるサムネイル生成方法の概略フローチャートである。本方法は、以下のステップを含む。
S2001：電子デバイスは、ギャラリーアプリケーションのユーザインターフェースを表示し、ユーザインターフェースは、少なくとも1つのサムネイルおよび第1のコントロールを表示し、少なくとも1つのサムネイルの各々は、1つのピクチャに対応する。
例えば、ギャラリーアプリケーションのユーザインターフェースについては、図6Aまたは図6Bに示されているユーザインターフェース61を参照されたい。第1のコントロールについては、図6Aまたは図6Bに示されているコントロール601を参照されたい。少なくとも1つのサムネイルは、サムネイル602およびサムネイル603を含んでもよい。
S2002：第1のコントロールに対してユーザによって実行された第1の操作に応答して、第1のサムネイルに対して以下の動作を実行する、すなわち、
第1のピクチャの第1の顕著性領域を決定し、第1のピクチャ内の第1の顕著性領域の構成方法を決定し、第1の顕著性領域、および第1のピクチャ内の第1の顕著性領域の構成方法に基づいて第2のサムネイルを生成し、電子デバイスによって第2のサムネイルを表示する。
第1のサムネイルは、少なくとも1つのサムネイルのうちのいずれか1つである。第1のピクチャ内の第1の顕著性領域の構成方法は、第2のサムネイル内の第1の顕著性領域の構成方法と同じであり、第2のサムネイルは第1のピクチャに対応する。例えば、第1のサムネイルは、図6Aのサムネイル602であってもよい。第2のサムネイルは、図6Bのサムネイル602であってもよい。
可能な実施態様では、第2のサムネイル内の第1の顕著性領域の構成方法は、第1の顕著性領域の重心と第2のサムネイルの中心線との間の距離、重心と第2のサムネイルの縁との間の距離、および重心と第2のサムネイルの基準線との間の距離のうちの最短距離によって決定され、第1のピクチャ内の第1の顕著性領域の構成方法は、第1の顕著性領域の重心と第1のピクチャの中心線との間の距離、重心と第1のピクチャの縁との間の距離、および重心と第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、トリミングボックスの基準線は三等分線であり、第1のピクチャの基準線は三等分線であるか、またはトリミングボックスの基準線は黄金分割線であり、第1のピクチャの基準線は黄金分割線である。構成方法を決定するための方法については、図11のステップS1104の説明を参照することに留意されたい。ここでは詳細は再び説明されない。
可能な実施態様では、第1の操作が受け付けられる前、第1のコントロールは第1の状態にあり、第1の状態は、第1のサムネイルが調整されることが可能であることを示すために使用され、第2の操作が受け付けられた後、第1のコントロールは第2の状態にあり、第2の状態は、第2のサムネイルが調整されていることを示すために使用される。例えば、第1の状態については、図6Aに示されているコントロール601の状態を参照されたく、第2の状態については、図6Bに示されているコントロール601の状態を参照されたい。
可能な実施態様では、第1のピクチャは、電子デバイスのカメラを使用して撮影されたピクチャであり、本方法は、第1のピクチャを撮影する処理で、カメラのビューファインダ画面のフォーカスフレームの位置を記録するステップであって、フォーカスフレームに含まれるピクチャコンテンツは、第1の顕著性領域である、ステップをさらに含む。例えば、図8Bに対応する実施形態が参照され得る。第1のピクチャは、表示領域801に含まれる画像に基づいて生成されるピクチャであり、フォーカスフレームは、フォーカスフレーム806である。
可能な実施態様では、第1のピクチャは1つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、第2のサムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、顕著性領域に基づいて第1の対象ボックスを生成するステップであって、第1の対象ボックスは、顕著性領域の境界矩形である、ステップと、第1の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第1の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、顕著性領域が第1の顕著性領域であると決定するステップと含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さが第2のサムネイルの長さよりも大きいか、または第1の対象ボックスの幅が第2のサムネイルの幅よりも大きい場合に、N個のセマンティックカテゴリを取得するために、最大面積を有する顕著性領域に対応するピクチャ領域に対してセマンティックセグメンテーションを実行するステップであって、N≧2であり、1つのセマンティックカテゴリは1つ以上の領域に対応し、領域は、互いに重ならない領域である、ステップと、N個のセマンティックカテゴリの各々に対応する領域の面積を決定するステップと、第iのセマンティックカテゴリのスコアを計算するステップであって、第iのセマンティックカテゴリのスコアは、第iのセマンティックカテゴリに対応する領域の面積と第iのセマンティックカテゴリに対応する重みとの積であり、電子デバイスは、セマンティックカテゴリに対応する重みを事前に記憶している、ステップと、N個のセマンティックカテゴリのうちで最も高いスコアを有するセマンティックカテゴリに対応する1つ以上の領域を含むピクチャ領域が第1の顕著性領域であると決定するステップとをさらに含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さが第2のサムネイルの長さよりも大きいか、または第1の対象ボックスの幅が第2のサムネイルの幅よりも大きい場合に、顕著性領域に基づいて、最適化された顕著性領域を生成するステップであって、最適化された顕著性領域は、顕著性領域の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含むピクチャ領域である、ステップと、最適化された顕著性領域に基づいて第2の対象ボックスを生成するステップであって、第2の対象ボックスは、最適化された顕著性領域の境界矩形である、ステップと、第2の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第2の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、最適化された顕著性領域が第1の顕著性領域であると決定するステップとをさらに含む。
可能な実施態様では、第1のピクチャは2つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、第2のサムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、2つの顕著性領域に基づいて第3の対象ボックスおよび第4の対象ボックスを生成するステップであって、第3の対象ボックスは、2つの顕著性領域のうちでより大きい面積を有する顕著性領域の境界矩形であり、第4の対象ボックスは、2つの顕著性領域のうちでより小さい面積を有する顕著性領域の境界矩形である、ステップと、第3の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第3の対象ボックスの幅が第2のサムネイルの幅よりも大きくなく、第5の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第5の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、2つの顕著性領域を含む最小ピクチャ領域が第1の顕著性領域であると決定するステップであって、第5の対象ボックスは、第4の対象ボックスおよび第5の対象ボックスを含む最小境界矩形である、ステップ、または第3の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第3の対象ボックスの幅が第2のサムネイルの幅よりも大きくなく、第5の対象ボックスの長さが第2のサムネイルの長さよりも大きいか、もしくは第5の対象ボックスの幅が第2のサムネイルの幅よりも大きい場合に、2つの顕著性領域のうちでより大きい面積を有する顕著性領域が第1の顕著性領域であると決定するステップとを含む。
可能な実施態様では、第1のピクチャは3つ以上の顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、第2のサムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、3つ以上の顕著性領域に基づいて3つ以上の第6の対象ボックスを生成するステップであって、1つの第6の対象ボックスは、3つ以上の顕著性領域のうちの1つの境界矩形であり、第6の対象ボックスのそれぞれは、異なる顕著性領域に対応し、3つ以上の第6の対象ボックスのうちで最大面積を有する対象ボックスは、第7の対象ボックスである、ステップと、第7の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第7の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、第8の対象ボックスが含まれた後に取得された第7の対象ボックスの長さが第2のサムネイルの長さよりも大きくなるか、もしくは第8の対象ボックスが含まれた後に取得された第7の対象ボックスの幅が第2のサムネイルの幅よりも大きくなるまで、第7の対象ボックスのうちの他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、第1の顕著性領域は、第8の対象ボックスが含まれる前に存在していた第7の対象ボックスに含まれる顕著性領域であると決定するステップであって、第8の対象ボックスは、他の対象ボックスのうちの1つであり、他の対象ボックスは、3つ以上の第6の対象ボックスのうちの第7の対象ボックス以外の第6の対象ボックスである、ステップ、または第7の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第7の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、第7の対象ボックスのうちの他の対象ボックスがすべて横断されるまで、他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、第1の顕著性領域は、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる顕著性領域であると決定するステップであって、第9の対象ボックスが含まれた後、第7の対象ボックスの長さが第2のサムネイルの長さよりも大きいか、もしくは第7の対象ボックスの幅が第2のサムネイルの幅よりも大きい場合に、第7の対象ボックスは、第3の対象ボックスが含まれる前に存在していた第7の対
象ボックスであると決定されるか、または第9の対象ボックスが含まれた後、第7の対象ボックスの長さが第2のサムネイルの長さよりも大きくないか、もしくは第7の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、第7の対象ボックスは、第9の対象ボックスが含まれた後に取得された第7の対象ボックスであると決定され、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる顕著性領域が、第1の顕著性領域であると決定される、ステップとを含む。第1の顕著性領域を決定するそれぞれの特定の実施態様については、図11に対応する実施形態で説明されている第1の対象ボックスを決定するための方法を参照することに留意されたい。第1の対象ボックスに含まれる顕著性領域が、第1の顕著性領域である。
可能な実施態様では、本方法は、第3のサムネイルに対してユーザによって実行された第2の操作を検出し、第2の操作に応答して、電子デバイスによって、第2のピクチャを表示し、第2のピクチャに2つ以上のプロンプトを表示するステップであって、2つ以上のプロンプトの各々が、第2のピクチャ内の1つの顕著性領域に対応し、異なるプロンプトは、異なる顕著性領域に対応し、第3のサムネイルは、調整されたサムネイルのうちの1つであり、第3のサムネイルは、第2のピクチャに対応する、ステップと、少なくとも1つのプロンプトに対してユーザによって実行された第3の操作を検出するステップであって、第3の操作は、少なくとも1つのプロンプトを選択するために使用される、ステップと、第3の操作に応答して、電子デバイスによって、少なくとも1つのプロンプトに対応する顕著性領域、および第2のピクチャ内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法に基づいて第4のサムネイルを生成するステップとをさらに含み、第4のサムネイルは、少なくとも1つのプロンプトに対応する顕著性領域を含み、第4のサムネイル内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法は、第2のピクチャ内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法と同じである。例えば、この方法については、図7Aから図7Fに対応する実施形態を参照されたい。第3のサムネイルはサムネイル701であってもよく、第2のピクチャは元のピクチャ705であってもよく、2つ以上のプロンプトは、プロンプト707A、プロンプト707B、およびプロンプト707Cであってもよく、第3の操作は、コントロール708に対してユーザによって入力される操作であってもよく、第4のサムネイルは、生成されたサムネイル711である。
可能な実施態様では、電子デバイスによって、少なくとも1つのプロンプトに対応する顕著性領域、および第2のピクチャ内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法に基づいて第4のサムネイルを生成するステップは、第4のサムネイルの長さおよび幅を、第2のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、少なくとも1つのプロンプトに対応する顕著性領域に基づいて第10の対象ボックスを生成するステップであって、第10の対象ボックスは、少なくとも1つのプロンプトに対応する顕著性領域の境界矩形である、ステップと、第4のサムネイルの長さが第10の対象ボックスの長さよりも小さくなく、第4のサムネイルの幅が第10の対象ボックスの幅よりも小さくない場合に、電子デバイスによって、少なくとも1つのプロンプトに対応する顕著性領域、および第2のピクチャ内の少なくとも1つのプロンプトに対応する顕著性領域の構成方法に基づいて第4のサムネイルを生成するステップとを含むか、または本方法は、第4のサムネイルの長さが第10の対象ボックスの長さよりも小さいか、もしくは第4のサムネイルの幅が第10の対象ボックスの幅よりも小さい場合に、電子デバイスによって、プロンプト情報を表示するステップであって、プロンプト情報は、顕著性領域を再選択するようにユーザを促すために使用される、ステップをさらに含む。例えば、プロンプトメッセージについては、図7Fのプロンプトメッセージ717を参照されたい。
可能な実施態様では、本方法は、第3のサムネイルに対してユーザによって実行された第2の操作を検出し、第2の操作に応答して、電子デバイスによって、第2のピクチャを表示するステップであって、第3のサムネイルは、調整されたサムネイルのうちの1つであり、第3のサムネイルは、第2のピクチャに対応する、ステップと、第2のピクチャに対してユーザによって実行された第4の操作を検出するステップであって、第4の操作は、選択ボックスまたは閉じた図形を入力し、選択ボックスまたは閉じた図形を確認する操作である、ステップと、第4の操作に応答して、電子デバイスによって、選択ボックスまたは閉じた図形に含まれるピクチャ領域が第2の顕著性領域であると決定し、第2の顕著性領域、および第2のピクチャ内の第2の顕著性領域の構成方法に基づいて第5のサムネイルを生成するステップとをさらに含み、第5のサムネイルは第2の顕著性領域を含み、第5のサムネイル内の第2の顕著性領域の構成方法は、第2のピクチャ内の第2の顕著性領域の構成方法と同じである。例えば、この方法については、図7Gおよび図7Hに対応する実施形態を参照されたい。第3のサムネイルはサムネイル701であってもよく、第2のピクチャは元のピクチャ705であってもよく、選択ボックスは選択ボックス722であってもよく、閉じた図形は閉じた図形723であってもよく、第4の操作は、ユーザによって選択ボックスまたは閉じた図形を入力し、コントロール708を操作する操作であってもよい。ユーザによって入力される選択ボックスまたは閉じた図形は、タッチスクリーン上で受け付けられるユーザの指のスライド操作に基づいて決定され得る。
図21は、本出願の一実施形態による別のサムネイル生成方法の概略フローチャートである。本方法は、以下のステップを含む。
S2101：電子デバイスは、カメラアプリケーションのビューファインダ画面を表示し、ビューファインダ画面は、写真撮影対象物の第1の画像、第1の表示領域、および撮影コントロールを表示する。
例えば、この方法については、図8Bに対応する実施形態を参照されたい。ビューファインダ画面については、図8Bに示されているユーザインターフェース82を参照されたい。第1の画像は、表示領域801に含まれる画像である。
S2102：撮影コントロールに対してユーザによって実行された第1の操作を検出し、電子デバイスは、第1の操作に応答して、第1の画像に基づいて第1のピクチャを生成する。
例えば、撮影コントロールは、図8Bに示されている撮影コントロール803であってもよく、第1の操作は、撮影コントロール803に対するタップ操作であってもよい。
S2103：第1のピクチャの第1の顕著性領域を決定し、第1のピクチャ内の第1の顕著性領域の構成方法を決定する。
S2104：第1の顕著性領域、および第1のピクチャ内の第1の顕著性領域の構成方法に基づいてサムネイルを生成し、第1のピクチャ内の第1の顕著性領域の構成方法は、サムネイル内の第1の顕著性領域の構成方法と同じである。
S2105：第1の表示領域にサムネイルを表示する。
例えば、第1の表示領域は、図8Bに示されている表示領域804であってもよい。サムネイルは、表示領域804に表示されるピクチャであってもよい。
可能な実施態様では、サムネイル内の第1の顕著性領域の構成方法は、第1の顕著性領域の重心とサムネイルの中心線との間の距離、重心とサムネイルの縁との間の距離、および重心とサムネイルの基準線との間の距離のうちの最短距離によって決定され、第1のピクチャ内の第1の顕著性領域の構成方法は、第1の顕著性領域の重心と第1のピクチャの中心線との間の距離、重心と第1のピクチャの縁との間の距離、および重心と第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、トリミングボックスの基準線は三等分線であり、第1のピクチャの基準線は三等分線であるか、またはトリミングボックスの基準線は黄金分割線であり、第1のピクチャの基準線は黄金分割線である。構成方法を決定するための方法については、図11のステップS1104の説明を参照することに留意されたい。ここでは詳細は再び説明されない。
可能な実施態様では、第1のピクチャの第1の顕著性領域を決定するステップは、ビューファインダ画面上でユーザによって実行された第2の操作を検出し、第2の操作に応答して、電子デバイスによって、第1の画像にフォーカスフレームを表示し、フォーカスフレームの位置を記録するステップと、フォーカスフレームの位置に基づいて、フォーカスフレームに含まれるピクチャコンテンツを決定するステップと、第1のピクチャの第1の顕著性領域はフォーカスフレームに含まれるピクチャコンテンツであると決定するステップとを含む。例えば、第2の操作は、表示領域801で受け付けられるユーザの操作であってもよく、フォーカスフレームは、フォーカスフレーム806である。
可能な実施態様では、第1のピクチャは1つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、第2のサムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、顕著性領域に基づいて第1の対象ボックスを生成するステップであって、第1の対象ボックスは、顕著性領域の境界矩形である、ステップと、第1の対象ボックスの長さが第2のサムネイルの長さよりも大きくなく、第1の対象ボックスの幅が第2のサムネイルの幅よりも大きくない場合に、顕著性領域が第1の顕著性領域であると決定するステップと含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さがサムネイルの長さよりも大きいか、または第1の対象ボックスの幅がサムネイルの幅よりも大きい場合に、N個のセマンティックカテゴリを取得するために、最大面積を有する顕著性領域に対応するピクチャ領域に対してセマンティックセグメンテーションを実行するステップであって、N≧2であり、1つのセマンティックカテゴリは1つ以上の領域に対応し、領域は、互いに重ならない領域である、ステップと、N個のセマンティックカテゴリの各々に対応する領域の面積を決定するステップと、第iのセマンティックカテゴリのスコアを計算するステップであって、第iのセマンティックカテゴリのスコアは、第iのセマンティックカテゴリに対応する領域の面積と第iのセマンティックカテゴリに対応する重みとの積であり、電子デバイスは、セマンティックカテゴリに対応する重みを事前に記憶している、ステップと、N個のセマンティックカテゴリのうちで最も高いスコアを有するセマンティックカテゴリに対応する1つ以上の領域を含むピクチャ領域が第1の顕著性領域であると決定するステップとをさらに含む。
可能な実施態様では、本方法は、第1の対象ボックスの長さがサムネイルの長さよりも大きいか、または第1の対象ボックスの幅がサムネイルの幅よりも大きい場合に、顕著性領域に基づいて、最適化された顕著性領域を生成するステップであって、最適化された顕著性領域は、顕著性領域の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含むピクチャ領域である、ステップと、最適化された顕著性領域に基づいて第2の対象ボックスを生成するステップであって、第2の対象ボックスは、最適化された顕著性領域の境界矩形である、ステップと、第2の対象ボックスの長さがサムネイルの長さよりも大きくなく、第2の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、最適化された顕著性領域が第1の顕著性領域であると決定するステップとをさらに含む。
可能な実施態様では、第1のピクチャは2つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、サムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、2つの顕著性領域に基づいて第3の対象ボックスおよび第4の対象ボックスを生成するステップであって、第3の対象ボックスは、2つの顕著性領域のうちでより大きい面積を有する顕著性領域の境界矩形であり、第4の対象ボックスは、2つの顕著性領域のうちでより小さい面積を有する顕著性領域の境界矩形である、ステップと、第3の対象ボックスの長さがサムネイルの長さよりも大きくなく、第3の対象ボックスの幅がサムネイルの幅よりも大きくなく、第5の対象ボックスの長さがサムネイルの長さよりも大きくなく、第5の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、2つの顕著性領域を含む最小ピクチャ領域が第1の顕著性領域であると決定するステップであって、第5の対象ボックスは、第4の対象ボックスおよび第5の対象ボックスを含む最小境界矩形である、ステップ、または第3の対象ボックスの長さがサムネイルの長さよりも大きくなく、第3の対象ボックスの幅がサムネイルの幅よりも大きくなく、第5の対象ボックスの長さがサムネイルの長さよりも大きいか、もしくは第5の対象ボックスの幅がサムネイルの幅よりも大きい場合に、2つの顕著性領域のうちでより大きい面積を有する顕著性領域が第1の顕著性領域であると決定するステップとを含む。
可能な実施態様では、第1のピクチャは3つ以上の顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定するステップは、サムネイルの長さおよび幅を、第1のピクチャの長さおよび幅ならびにサムネイルのアスペクト比に基づいて決定するステップと、3つ以上の顕著性領域に基づいて3つ以上の第6の対象ボックスを生成するステップであって、1つの第6の対象ボックスは、3つ以上の顕著性領域のうちの1つの境界矩形であり、第6の対象ボックスのそれぞれは、異なる顕著性領域に対応し、3つ以上の第6の対象ボックスのうちで最大面積を有する対象ボックスは、第7の対象ボックスである、ステップと、第7の対象ボックスの長さがサムネイルの長さよりも大きくなく、第7の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、第8の対象ボックスが含まれた後に取得された第7の対象ボックスの長さがサムネイルの長さよりも大きくなるか、もしくは第8の対象ボックスが含まれた後に取得された第7の対象ボックスの幅がサムネイルの幅よりも大きくなるまで、第7の対象ボックスのうちの他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、第1の顕著性領域は、第8の対象ボックスが含まれる前に存在していた第7の対象ボックスに含まれる顕著性領域であると決定するステップであって、第8の対象ボックスは、他の対象ボックスのうちの1つであり、他の対象ボックスは、3つ以上の第6の対象ボックスのうちの第7の対象ボックス以外の第6の対象ボックスである、ステップ、または第7の対象ボックスの長さがサムネイルの長さよりも大きくなく、第7の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、第7の対象ボックスのうちの他の対象ボックスがすべて横断されるまで、他の対象ボックスを面積の降順で順次含むように第7の対象ボックスを拡張し、第1の顕著性領域は、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる顕著性領域であると決定するステップであって、第9の対象ボックスが含まれた後、第7の対象ボックスの長さがサムネイルの長さよりも大きいか、もしくは第7の対象ボックスの幅がサムネイルの幅よりも大きい場合に、第7の対象ボックスは、第3の対象ボックスが含まれる前に存在していた第7の対象ボックスであると決定されるか、または第9の対象ボックスが含まれた後、第7の対象ボックスの長さがサムネイルの長さよりも大きくないか、もしくは第7の対象ボックスの幅がサムネイルの幅よりも大きくない場合に、第7の対象ボックスは、第9の対象ボックスが含まれた後に取得された第7の対象ボックスであると決定され、他の対象ボックスがすべて横断された後に取得された第7の対象ボックスに含まれる顕著性領域が、第1の顕著性領域であると決定される、ステップとを含む。第1の顕著性領域を決定するそれぞれの特定の実施態様については、図11に対応する実施形態で説明されている第1の対象ボックスを決定するための方法を参照することに留意されたい。第1の対象ボックスに含まれる顕著性領域が、第1の顕著性領域である。
本出願の実施態様は、異なる技術的効果を達成するためにランダムに組み合わされてもよいことに留意されたい。
前述の実施形態の全部または一部は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせを使用して実施されてもよい。ソフトウェアが、実施形態を実施するために使用される場合、実施形態の全部または一部は、コンピュータプログラム製品の形式で実施されてもよい。コンピュータプログラム製品は、1つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータ上でロードされて実行されるとき、本出願による手順または機能が全体的または部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または別のプログラマブル装置であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよいし、または1つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよい。例えば、コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、もしくはデジタル加入者回線）方式またはワイヤレス（例えば、赤外線、無線、もしくはマイクロ波）方式で、あるウェブサイト、コンピュータ、サーバ、またはデータセンタから別のウェブサイト、コンピュータ、サーバ、またはデータセンタに送信されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、または1つ以上の使用可能な媒体を組み込んだ、サーバもしくはデータセンタなどのデータ記憶デバイスであってもよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、もしくは磁気テープ）、光学媒体（例えば、DVD）、または半導体媒体（例えば、ソリッドステートディスク（Solid－State Disk））などであってもよい。
要約すると、前述の説明は、本発明の技術的ソリューションの実施形態にすぎず、本発明の保護範囲を限定することを意図されていない。本発明の開示に従って行われるいかなる修正、同等の置換、または改善も、本発明の保護範囲内にあるものとする。
1 領域、アンテナ
2 領域、アンテナ
3 領域
4 領域
21 ユーザインターフェース
22 ユーザインターフェース
41 ユーザインターフェース
51 ユーザインターフェース
52 ユーザインターフェース
61 ユーザインターフェース
71 ユーザインターフェース
72 ユーザインターフェース
81 ユーザインターフェース
82 ユーザインターフェース
91 ユーザインターフェース
100 ユーザインターフェース
101 ユーザインターフェース
102 ユーザインターフェース
103 ユーザインターフェース
193 カメラモジュール
201 サムネイル
202 元のピクチャ
203 破線ボックス
204 表示領域
205 サムネイル
300 電子デバイス
301 コントロール
310 プロセッサ
320 外部メモリインターフェース
321 内部メモリ、表示領域
330 USBポート
340 充電管理モジュール
341 電力管理モジュール
342 バッテリ
350 移動通信モジュール
360 ワイヤレス通信モジュール
370 オーディオモジュール
370A スピーカ
370B 受話器
370C マイクロフォン
370D ヘッドセットジャック
380 センサモジュール
380A 圧力センサ
380B ジャイロセンサ
380C 気圧センサ
380D 磁気センサ
380E 加速度センサ
380F 距離センサ
380G 近接センサ、指紋センサ
380J 温度センサ
380K タッチセンサ
380L 周囲光センサ
380M 骨伝導センサ
390 ボタン
391 モータ
392 インジケータ
393 カメラモジュール
394 ディスプレイ
395 SIMカードインターフェース
401 ステータスバー
403 信号強度インジケータ
405 信号強度インジケータ
409 バッテリステータスインジケータ
411 時間インジケータ
413 カレンダーウィジェット
415 天気ウィジェット
417 トレイ、プロンプト情報
419 電話アイコン
421 連絡先アイコン、Alipayアイコン
423 メッセージングアイコン
425 カメラアイコン、ギャラリーアイコン
427 Wechatアイコン、設定アイコン
429 QQアイコン
431 Twitterアイコン
433 Facebookアイコン
435 Emailアイコン
437 クラウドアイコン
439 ノートパッドアイコン
501 表示タイプインジケータ
502 写真撮影時間インジケータ
503 写真撮影場所インジケータ
504 「写真」タイプ
505 「アルバム」タイプ
506 「ハイライト」タイプ
507 「発見」タイプ
508 ナビゲーションバー
509 表示領域
510 第1の機能アイコン
511 第2の機能アイコン
512 第3の機能アイコン
531 サムネイル
532 サムネイル
541 破線ボックス
542 元のピクチャ
543 表示領域
550 戻るボタン
551 写真撮影時間インジケータ
552 編集ボタン
601 コントロール
602 サムネイル
603 サムネイル
701 サムネイル、表示領域
702 トリミング標識、表示領域、コントロール
703 表示領域
704 コントロール
705 元のピクチャ
706 プロンプト情報
707A プロンプト
707B プロンプト
707C プロンプト
708 確認コントロール、戻るボタン
709 コントロール
710 戻るボタン
711 サムネイル
713 プロンプト情報
714 確認コントロール
715 取り消しコントロール
717 プロンプト情報
718 確認コントロール
722 選択ボックス
723 閉じた図形
801 表示領域
802 撮影モードリスト
802A ナイトモードオプション
802B ポートレートモードオプション
802C 写真撮影モードオプション
802D ビデオ記録モードオプション
802E その他の撮影モードオプション
803 撮影コントロール
804 表示領域
805 コントロール、破線ボックス
806 フォーカスフレーム
807 顕著性領域
901 表示領域
902 表示領域
903 トリミングボックス
904 コントロール
905 コントロール
906 選択されたピクチャ
907 トリミングボックス
1001 コントロール
1002 現在のプロフィールピクチャ
1003 表示領域
1004 戻るボタン
1005 プロンプト
1006 選択ボックス
1007 サムネイル
1008 表示領域
1009 表示領域
1010 元のピクチャ
1011 顕著性領域
1012 トリミングボック
1020 コントロール
1021 コントロール
1022 コントロール
1024 更新されたプロフィールピクチャ
1201A 黄金分割線
1202B 黄金分割線
1203A 近傍領域
1203B 近傍領域
1401 元のピクチャ
1402 トリミングボックス
1405 トリミングボックス
1406 元のピクチャ
1501 ピクチャ
1502 対象ボックス
1503 最適化された対象ボックス
1604 ピクチャ
1605 線分
1606 対象ボックス
1607 対象ボック
1608 対象ボックス
1609 対象ボックス
1703 第1の縁
1704 第2の縁
1705 第3の縁
1706 第4の縁
1803 スケーリングされたトリミングボックス
1804 元のピクチャ
6902 表示領域

Claims (19)

  1. ユーザプロフィールピクチャ生成方法であって、
    電子デバイスのディスプレイに少なくとも1つのサムネイルを表示するステップであって、前記少なくとも1つのサムネイルは第1のサムネイルを含み、前記第1のサムネイルは第1のピクチャに対応し、前記第1のピクチャは人間の顔領域を含む、ステップと、
    前記第1のサムネイルに対して実行された第1の操作を検出し、前記第1の操作に応答して、前記電子デバイスによって、前記第1のピクチャを表示し、前記第1のピクチャにトリミングボックスを表示するステップであって、前記第1のピクチャは前記第1のサムネイルに対応し、前記トリミングボックスは前記人間の顔領域を含み、前記トリミングボックス内の前記人間の顔領域の構成方法は、前記第1のピクチャ内の前記人間の顔領域の構成方法と同じである、ステップと、
    前記トリミングボックスに基づいて、前記人間の顔領域を含むユーザプロフィールピクチャを生成するステップと
    を含み、
    前記トリミングボックス内の前記人間の顔領域の前記構成方法は、前記人間の顔領域の重心と前記トリミングボックスの中心線との間の距離、前記重心と前記トリミングボックスの縁との間の距離、および前記重心と前記トリミングボックスの基準線との間の距離のうちの最短距離によって決定され、前記第1のピクチャ内の前記人間の顔領域の前記構成方法は、前記人間の顔領域の前記重心と前記第1のピクチャの中心線との間の距離、前記重心と前記第1のピクチャの縁との間の距離、および前記重心と前記第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、前記トリミングボックスの前記基準線は三等分線であり、前記第1のピクチャの前記基準線は三等分線であるか、または前記トリミングボックスの前記基準線は黄金分割線であり、前記第1のピクチャの前記基準線は黄金分割線である、
    ユーザプロフィールピクチャ生成方法。
  2. 前記第1のピクチャは、前記電子デバイスのカメラを使用して撮影されたピクチャであり、
    前記第1のピクチャを撮影する処理で、前記カメラのビューファインダ画面のフォーカスフレームの位置を記録するステップであって、前記フォーカスフレームに含まれるピクチャコンテンツは前記人間の顔領域である、ステップ
    をさらに含む、請求項1に記載のユーザプロフィールピクチャ生成方法。
  3. 前記第1のピクチャは1つの人間の顔を含み、前記第1のピクチャにトリミングボックスを表示する前記ステップは、
    前記第1のピクチャの長さおよび幅ならびに前記トリミングボックスのアスペクト比に基づいて前記トリミングボックスの長さおよび幅を決定するステップと、
    前記人間の顔に基づいて第1の対象ボックスを生成するステップであって、前記第1の対象ボックスは、前記人間の顔の境界矩形である、ステップと、
    前記第1の対象ボックスの長さが前記トリミングボックスの前記長さよりも大きくなく、前記第1の対象ボックスの幅が前記トリミングボックスの前記幅よりも大きくない場合に、前記人間の顔が前記人間の顔領域であると決定するステップと、
    前記トリミングボックス内の前記人間の顔領域の前記構成方法が前記第1のピクチャ内の前記人間の顔領域の前記構成方法と同じになるように、前記トリミングボックスの位置を計算するステップと、
    前記トリミングボックスの前記決定された位置に基づいて前記第1のピクチャに前記トリミングボックスを表示するステップと
    を含む、請求項1または2に記載のユーザプロフィールピクチャ生成方法。
  4. 前記第1の対象ボックスの前記長さが前記トリミングボックスの前記長さよりも大きいか、または前記第1の対象ボックスの前記幅が前記トリミングボックスの前記幅よりも大きい場合に、前記人間の顔に基づいて、最適化された人間の顔を生成するステップであって、前記最適化された人間の顔は、前記人間の顔の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含むピクチャ領域である、ステップと、
    前記最適化された人間の顔に基づいて第2の対象ボックスを生成するステップであって、前記第2の対象ボックスは、前記最適化された人間の顔の境界矩形である、ステップと、
    前記第2の対象ボックスの長さが前記トリミングボックスの前記長さよりも大きくなく、前記第2の対象ボックスの幅が前記トリミングボックスの前記幅よりも大きくない場合に、前記最適化された人間の顔が前記人間の顔領域であると決定するステップと
    をさらに含む、請求項3に記載のユーザプロフィールピクチャ生成方法。
  5. 前記第1のピクチャは2つの人間の顔を含み、前記第1のピクチャにトリミングボックスを表示する前記ステップは、
    前記第1のピクチャの長さおよび幅ならびに前記トリミングボックスのアスペクト比に基づいて前記トリミングボックスの長さおよび幅を決定するステップと、
    前記2つの人間の顔に基づいて第3の対象ボックスおよび第4の対象ボックスを生成するステップであって、前記第3の対象ボックスは、前記2つの人間の顔のうちでより大きい面積を有する人間の顔の境界矩形であり、前記第4の対象ボックスは、前記2つの人間の顔のうちでより小さい面積を有する人間の顔の境界矩形である、ステップと、
    前記第3の対象ボックスの長さが前記トリミングボックスの前記長さよりも大きくなく、前記第3の対象ボックスの幅が前記トリミングボックスの前記幅よりも大きくなく、第5の対象ボックスの長さが前記トリミングボックスの前記長さよりも大きくなく、前記第5の対象ボックスの幅が前記トリミングボックスの前記幅よりも大きくない場合に、前記2つの人間の顔を含む最小ピクチャ領域が前記人間の顔領域であると決定するステップであって、前記第5の対象ボックスは、前記第4の対象ボックスおよび前記第3の対象ボックスを含む最小境界矩形である、ステップ、または
    前記第3の対象ボックスの長さが前記トリミングボックスの前記長さよりも大きくなく、前記第3の対象ボックスの幅が前記トリミングボックスの前記幅よりも大きくなく、第5の対象ボックスの長さが前記トリミングボックスの前記長さよりも大きいか、もしくは前記第5の対象ボックスの幅が前記トリミングボックスの前記幅よりも大きい場合に、前記2つの人間の顔のうちで前記より大きい面積を有する前記人間の顔が前記人間の顔領域であると決定するステップと、
    前記トリミングボックス内の前記人間の顔領域の前記構成方法が前記第1のピクチャ内の前記人間の顔領域の前記構成方法と同じになるように、前記トリミングボックスの位置を計算するステップと、
    前記トリミングボックスの前記決定された位置に基づいて前記第1のピクチャに前記トリミングボックスを表示するステップと
    を含む、請求項1または2に記載のユーザプロフィールピクチャ生成方法。
  6. サムネイル生成方法であって、
    電子デバイスによって、第1のサムネイルを表示するステップであって、前記第1のサムネイルは第1のピクチャに対応し、前記第1のピクチャは第1の顕著性領域を含む、ステップと、
    電子デバイスによって、第1の操作を検出するステップと、
    電子デバイスによって、前記第1の操作に応答して前記第1のピクチャを表示するステップと
    を含み、前記第1のピクチャ内の前記第1の顕著性領域の構成方法は、前記第1のサムネイル内の前記第1の顕著性領域の構成方法と同じであり、
    前記第1のサムネイル内の前記第1の顕著性領域の前記構成方法は、前記第1の顕著性領域の重心と前記第1のサムネイルの中心線との間の距離、前記重心と前記第1のサムネイルの縁との間の距離、および前記重心と前記第1のサムネイルの基準線との間の距離のうちの最短距離によって決定され、
    前記第1のピクチャ内の前記第1の顕著性領域の前記構成方法は、前記第1の顕著性領域の前記重心と前記第1のピクチャの中心線との間の距離、前記重心と前記第1のピクチャの縁との間の距離、および前記重心と前記第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、
    前記第1のサムネイルの前記基準線は三等分線であり、前記第1のピクチャの前記基準線は三等分線であるか、または前記第1のサムネイルの前記基準線は黄金分割線であり、前記第1のピクチャの前記基準線は黄金分割線である、
    サムネイル生成方法。
  7. 前記第1のピクチャは、前記電子デバイスのカメラを使用して撮影されたピクチャであり、
    前記第1のピクチャを撮影する処理で、前記カメラのビューファインダ画面のフォーカスフレームの位置を記録するステップであって、前記フォーカスフレームに含まれるピクチャコンテンツは前記第1の顕著性領域である、ステップ
    をさらに含む、請求項6に記載のサムネイル生成方法。
  8. 前記第1のピクチャは1つの顕著性領域を含み、第1のピクチャの第1の顕著性領域を決定する前記ステップは、
    前記第1のサムネイルの長さおよび幅を、前記第1のピクチャの長さおよび幅ならびに前記サムネイルのアスペクト比に基づいて決定するステップと、
    前記顕著性領域に基づいて第1の対象ボックスを生成するステップであって、前記第1の対象ボックスは、前記顕著性領域の境界矩形である、ステップと、
    前記第1の対象ボックスの長さが前記第1のサムネイルの前記長さよりも大きくなく、前記第1の対象ボックスの幅が前記第1のサムネイルの前記幅よりも大きくない場合に、前記顕著性領域が前記第1の顕著性領域であると決定するステップと
    を含む、請求項6から7のいずれか一項に記載のサムネイル生成方法。
  9. 前記第1の対象ボックスの前記長さが前記第1のサムネイルの前記長さよりも大きいか、または前記第1の対象ボックスの前記幅が前記第1のサムネイルの前記幅よりも大きい場合に、N個のセマンティックカテゴリを取得するために、前記顕著性領域に対応するピクチャ領域に対してセマンティックセグメンテーションを実行するステップであって、N≧2であり、1つの前記セマンティックカテゴリは1つ以上の領域に対応し、前記領域は、互いに重ならない領域である、ステップと、
    前記N個のセマンティックカテゴリの各々に対応する領域の面積を決定するステップと、
    第iのセマンティックカテゴリのスコアを計算するステップであって、前記第iのセマンティックカテゴリの前記スコアは、前記第iのセマンティックカテゴリに対応する領域の面積と前記第iのセマンティックカテゴリに対応する重みとの積であり、前記電子デバイスは、前記セマンティックカテゴリに対応する前記重みを事前に記憶している、ステップと、
    前記N個のセマンティックカテゴリのうちで最も高いスコアを有するセマンティックカテゴリに対応する1つ以上の領域を含むピクチャ領域が前記第1の顕著性領域であると決定するステップと
    をさらに含む、請求項8に記載のサムネイル生成方法。
  10. 前記第1の対象ボックスの前記長さが前記第1のサムネイルの前記長さよりも大きいか、または前記第1の対象ボックスの前記幅が前記第1のサムネイルの前記幅よりも大きい場合に、前記顕著性領域に基づいて、最適化された顕著性領域を生成するステップであって、前記最適化された顕著性領域は、前記顕著性領域の複数の画素のうちでグレースケール値が事前設定値よりも大きい画素を含むピクチャ領域である、ステップと、
    前記最適化された顕著性領域に基づいて第2の対象ボックスを生成するステップであって、前記第2の対象ボックスは、前記最適化された顕著性領域の境界矩形である、ステップと、
    前記第2の対象ボックスの長さが前記第1のサムネイルの前記長さよりも大きくなく、前記第2の対象ボックスの幅が前記第1のサムネイルの前記幅よりも大きくない場合に、前記最適化された顕著性領域が前記第1の顕著性領域であると決定するステップと
    をさらに含む、請求項8に記載のサムネイル生成方法。
  11. 前記第1の顕著性領域は人間の顔領域を含む、請求項6から10のいずれか一項に記載のサムネイル生成方法。
  12. サムネイル生成方法であって、
    電子デバイスによって、カメラアプリケーションのビューファインダ画面を表示するステップであって、前記ビューファインダ画面は、写真撮影される対象物の第1の画像、第1の表示領域、および撮影コントロールを表示する、ステップと、
    前記撮影コントロールに対してユーザによって実行された第1の操作を検出し、前記電子デバイスによって、前記第1の操作に応答して前記第1の画像に基づいて第1のピクチャを生成するステップと、
    前記第1のピクチャの第1の顕著性領域を決定し、前記第1のピクチャ内の前記第1の顕著性領域の構成方法を決定するステップと、
    前記第1の顕著性領域、および前記第1のピクチャ内の前記第1の顕著性領域の前記構成方法に基づいてサムネイルを生成するステップであって、前記第1のピクチャ内の前記第1の顕著性領域の前記構成方法は、前記サムネイル内の前記第1の顕著性領域の構成方法と同じである、ステップと、
    前記第1の表示領域に前記サムネイルを表示するステップと
    を含む、サムネイル生成方法。
  13. 前記サムネイル内の前記第1の顕著性領域の前記構成方法は、前記第1の顕著性領域の重心と前記サムネイルの中心線との間の距離、前記重心と前記サムネイルの縁との間の距離、および前記重心と前記サムネイルの基準線との間の距離のうちの最短距離によって決定され、前記第1のピクチャ内の前記第1の顕著性領域の前記構成方法は、前記第1の顕著性領域の前記重心と前記第1のピクチャの中心線との間の距離、前記重心と前記第1のピクチャの縁との間の距離、および前記重心と前記第1のピクチャの基準線との間の距離のうちの最短距離によって決定され、前記サムネイルの前記基準線は三等分線であり、前記第1のピクチャの前記基準線は三等分線であるか、または前記サムネイルの前記基準線は黄金分割線であり、前記第1のピクチャの前記基準線は黄金分割線である、請求項12に記載のサムネイル生成方法。
  14. 前記第1のピクチャの第1の顕著性領域を決定する前記ステップは、
    前記ビューファインダ画面上で前記ユーザによって実行された第2の操作を検出し、前記第2の操作に応答して、前記電子デバイスによって、前記第1の画像にフォーカスフレームを表示し、前記フォーカスフレームの位置を記録するステップと、
    前記フォーカスフレームの前記位置に基づいて、前記フォーカスフレームに含まれるピクチャコンテンツを決定するステップと、
    前記第1のピクチャの前記第1の顕著性領域は前記フォーカスフレームに含まれる前記ピクチャコンテンツであると決定するステップと
    を含む、請求項12または13に記載のサムネイル生成方法。
  15. 前記第1のピクチャは1つの顕著性領域を含み、前記第1のピクチャの第1の顕著性領域を決定する前記ステップは、
    前記サムネイルの長さおよび幅を、前記第1のピクチャの長さおよび幅ならびに前記サムネイルのアスペクト比に基づいて決定するステップと、
    前記顕著性領域に基づいて第1の対象ボックスを生成するステップであって、前記第1の対象ボックスは、前記顕著性領域の境界矩形である、ステップと、
    前記第1の対象ボックスの長さが前記サムネイルの前記長さよりも大きくなく、前記第1の対象ボックスの幅が前記サムネイルの前記幅よりも大きくない場合に、前記顕著性領域が前記第1の顕著性領域であると決定するステップと
    を含む、請求項12または13に記載のサムネイル生成方法。
  16. 前記第1の対象ボックスの前記長さが前記サムネイルの前記長さよりも大きいか、または前記第1の対象ボックスの前記幅が前記サムネイルの前記幅よりも大きい場合に、N個のセマンティックカテゴリを取得するために、最大面積を有する前記顕著性領域に対応するピクチャ領域に対してセマンティックセグメンテーションを実行するステップであって、N≧2であり、1つの前記セマンティックカテゴリは1つ以上の領域に対応し、前記領域は、互いに重ならない領域である、ステップと、
    前記N個のセマンティックカテゴリの各々に対応する領域の面積を決定するステップと、
    第iのセマンティックカテゴリのスコアを計算するステップであって、前記第iのセマンティックカテゴリの前記スコアは、前記第iのセマンティックカテゴリに対応する領域の面積と前記第iのセマンティックカテゴリに対応する重みとの積であり、前記電子デバイスは、前記セマンティックカテゴリに対応する前記重みを事前に記憶している、ステップと、
    前記N個のセマンティックカテゴリのうちで最も高いスコアを有するセマンティックカテゴリに対応する1つ以上の領域を含むピクチャ領域が前記第1の顕著性領域であると決定するステップと
    をさらに含む、請求項15に記載のサムネイル生成方法。
  17. 電子デバイスであって、前記電子デバイスは、ディスプレイ、メモリ、および1つ以上のプロセッサを備え、前記メモリは、前記1つ以上のプロセッサに結合されており、前記メモリは、コンピュータプログラムコードを記憶するように構成されており、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記1つ以上のプロセッサが前記コンピュータ命令を実行するとき、前記電子デバイスは、請求項1から16のいずれか一項に記載の方法を実行することが可能である、電子デバイス。
  18. 命令を含むコンピュータ可読記憶媒体であって、前記命令が電子デバイス上で実行されるとき、前記電子デバイスは、請求項1から16のいずれか一項に記載の方法を実行することが可能である、コンピュータ可読記憶媒体。
  19. コンピュータ上で実行されると、請求項1から16のいずれか一項に記載の方法を実施するように構成された、コンピュータプログラム。
JP2021577095A 2019-06-30 2020-06-29 ユーザプロフィールピクチャ生成方法および電子デバイス Active JP7302038B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910582266.4A CN110377204B (zh) 2019-06-30 2019-06-30 一种生成用户头像的方法及电子设备
CN201910582266.4 2019-06-30
PCT/CN2020/099002 WO2021000841A1 (zh) 2019-06-30 2020-06-29 一种生成用户头像的方法及电子设备

Publications (2)

Publication Number Publication Date
JP2022538163A JP2022538163A (ja) 2022-08-31
JP7302038B2 true JP7302038B2 (ja) 2023-07-03

Family

ID=68251369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577095A Active JP7302038B2 (ja) 2019-06-30 2020-06-29 ユーザプロフィールピクチャ生成方法および電子デバイス

Country Status (5)

Country Link
US (1) US11914850B2 (ja)
EP (1) EP3964937B1 (ja)
JP (1) JP7302038B2 (ja)
CN (2) CN110377204B (ja)
WO (1) WO2021000841A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377204B (zh) 2019-06-30 2021-07-09 华为技术有限公司 一种生成用户头像的方法及电子设备
CN111263063A (zh) * 2020-02-17 2020-06-09 深圳传音控股股份有限公司 拍摄图像的方法、装置及设备
CN111462121A (zh) * 2020-03-23 2020-07-28 上海携程商务有限公司 基于图像语义理解的图像裁切方法、系统、设备和介质
CN112783382B (zh) * 2020-05-08 2023-05-26 珠海金山办公软件有限公司 一种文档图标的设置方法、装置、终端及存储介质
CN111918131A (zh) * 2020-08-18 2020-11-10 北京达佳互联信息技术有限公司 视频生成方法及装置
CN112884781B (zh) * 2021-02-24 2024-09-03 北京小米松果电子有限公司 图像裁剪方法、装置、电子设备及存储介质
CN113159026A (zh) * 2021-03-31 2021-07-23 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN116107479B (zh) * 2023-03-02 2024-02-13 优视科技有限公司 图片显示方法、电子设备及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261644A (ja) 1999-03-05 2000-09-22 Fuji Photo Film Co Ltd 画像変換方法および装置並びに記録媒体
JP2005269563A (ja) 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 画像処理装置及び画像再生装置
JP2007274017A (ja) 2006-03-30 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム
US20100128986A1 (en) 2008-11-24 2010-05-27 Microsoft Corporation Identifying portions of an image for cropping
JP2014016810A (ja) 2012-07-09 2014-01-30 Nec Casio Mobile Communications Ltd データ交換システム、情報機器、データ交換方法およびプログラム
CN105956999A (zh) 2016-04-28 2016-09-21 努比亚技术有限公司 缩略图生成装置和方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989453B2 (en) * 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7280753B2 (en) * 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
US20100107126A1 (en) * 2008-10-28 2010-04-29 Hulu Llc Method and apparatus for thumbnail selection and editing
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US20120054190A1 (en) 2010-08-27 2012-03-01 Aiv Technology Llc Electronic family tree generation and display system
US9595298B2 (en) * 2012-07-18 2017-03-14 Microsoft Technology Licensing, Llc Transforming data to create layouts
CN102821253B (zh) 2012-07-18 2016-10-19 上海量明科技发展有限公司 即时通信工具实现合影功能的方法及系统
KR102158098B1 (ko) * 2013-01-07 2020-09-22 삼성전자주식회사 이미지 인식을 이용한 이미지 레이아웃 방법 및 장치
CN103164119B (zh) 2013-02-25 2016-06-08 东莞宇龙通信科技有限公司 通信终端及图像的自适应显示方法
KR20140112774A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 이미지 편집 방법, 저장 매체 및 단말
US20140321770A1 (en) * 2013-04-24 2014-10-30 Nvidia Corporation System, method, and computer program product for generating an image thumbnail
JP2014220724A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
EP2916325A1 (en) * 2014-03-06 2015-09-09 Thomson Licensing Method and device for processing a picture
CN103903223B (zh) 2014-04-24 2017-03-01 厦门美图之家科技有限公司 一种基于图像显著性检测的获取缩略图的方法
KR20160033485A (ko) * 2014-09-18 2016-03-28 삼성전자주식회사 전자 장치 및 전자 장치에서 썸네일 생성 방법
US9626584B2 (en) 2014-10-09 2017-04-18 Adobe Systems Incorporated Image cropping suggestion using multiple saliency maps
CN105488132A (zh) 2015-11-25 2016-04-13 小米科技有限责任公司 头像图片获取方法及装置
KR102690524B1 (ko) * 2016-08-01 2024-08-01 삼성전자주식회사 사용자 입력에 대응하는 섬네일을 출력하는 전자 장치 및 방법
CN107146197A (zh) * 2017-03-31 2017-09-08 北京奇艺世纪科技有限公司 一种缩略图生成方法及装置
CN107545576A (zh) 2017-07-31 2018-01-05 华南农业大学 基于构图规则的图像编辑方法
CN109947972A (zh) * 2017-10-11 2019-06-28 腾讯科技（深圳）有限公司 缩略图生成方法及装置、电子设备、存储介质
CN108647590A (zh) 2018-04-25 2018-10-12 董志忠 一种智能头像处理算法
CN109146892B (zh) 2018-07-23 2020-06-19 北京邮电大学 一种基于美学的图像裁剪方法及装置
CN109523503A (zh) 2018-09-11 2019-03-26 北京三快在线科技有限公司 一种图像裁剪的方法和装置
CN109274828B (zh) * 2018-09-30 2021-01-15 华为技术有限公司 一种生成截图的方法、控制方法及电子设备
CN112532869B (zh) * 2018-10-15 2021-11-19 华为技术有限公司 一种拍摄场景下的图像显示方法及电子设备
CN110377204B (zh) * 2019-06-30 2021-07-09 华为技术有限公司 一种生成用户头像的方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261644A (ja) 1999-03-05 2000-09-22 Fuji Photo Film Co Ltd 画像変換方法および装置並びに記録媒体
JP2005269563A (ja) 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 画像処理装置及び画像再生装置
JP2007274017A (ja) 2006-03-30 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム
US20100128986A1 (en) 2008-11-24 2010-05-27 Microsoft Corporation Identifying portions of an image for cropping
JP2014016810A (ja) 2012-07-09 2014-01-30 Nec Casio Mobile Communications Ltd データ交換システム、情報機器、データ交換方法およびプログラム
CN105956999A (zh) 2016-04-28 2016-09-21 努比亚技术有限公司 缩略图生成装置和方法

Also Published As

Publication number Publication date
JP2022538163A (ja) 2022-08-31
WO2021000841A1 (zh) 2021-01-07
EP3964937B1 (en) 2024-08-28
EP3964937A4 (en) 2022-11-09
US11914850B2 (en) 2024-02-27
CN110377204B (zh) 2021-07-09
EP3964937A1 (en) 2022-03-09
CN114008575A (zh) 2022-02-01
US20220350470A1 (en) 2022-11-03
CN110377204A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
JP7302038B2 (ja) ユーザプロフィールピクチャ生成方法および電子デバイス
WO2021036571A1 (zh) 一种桌面的编辑方法及电子设备
US10366519B2 (en) Operating method for image and electronic device supporting the same
CN110362244B (zh) 一种分屏方法及电子设备
CN110476189B (zh) 用于在电子装置中提供增强现实功能的方法和设备
CN110119296B (zh) 切换父页面和子页面的方法、相关装置
WO2020062294A1 (zh) 系统导航栏的显示控制方法、图形用户界面及电子设备
CN111669459B (zh) 键盘显示方法、电子设备和计算机可读存储介质
WO2022068819A1 (zh) 一种界面显示方法及相关装置
CN113132526B (zh) 一种页面绘制方法及相关装置
US12112014B2 (en) Widget display method and electronic device
WO2023138305A9 (zh) 卡片显示方法、电子设备及计算机可读存储介质
CN116088725B (zh) 界面显示方法和装置
CN112068907A (zh) 一种界面显示方法和电子设备
CN113448658A (zh) 截屏处理的方法、图形用户接口及终端
WO2022228042A1 (zh) 显示方法、电子设备、存储介质和程序产品
WO2023083184A1 (zh) 桌面管理方法、图形用户界面及电子设备
WO2022222688A1 (zh) 一种窗口控制方法及其设备
WO2022228043A1 (zh) 显示方法、电子设备、存储介质和程序产品
CN114244951B (zh) 应用程序打开页面的方法及其介质和电子设备
WO2023160455A1 (zh) 删除对象的方法及电子设备
WO2023207682A1 (zh) 一种文本编辑方法及电子设备
WO2024027570A1 (zh) 界面显示方法及相关装置
WO2024120296A1 (zh) 一种专题内容的显示方法及电子设备
CN117406874A (zh) 内容分享方法、图形界面及相关装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R150 Certificate of patent or registration of utility model

Ref document number: 7302038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150