JP7040043B2 - 写真処理装置、写真データの生産方法および写真処理プログラム - Google Patents

写真処理装置、写真データの生産方法および写真処理プログラム Download PDF

Info

Publication number
JP7040043B2
JP7040043B2 JP2018010298A JP2018010298A JP7040043B2 JP 7040043 B2 JP7040043 B2 JP 7040043B2 JP 2018010298 A JP2018010298 A JP 2018010298A JP 2018010298 A JP2018010298 A JP 2018010298A JP 7040043 B2 JP7040043 B2 JP 7040043B2
Authority
JP
Japan
Prior art keywords
face
photo
rectangle
pinch
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018010298A
Other languages
English (en)
Other versions
JP2019129420A (ja
Inventor
正年 松平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018010298A priority Critical patent/JP7040043B2/ja
Priority to US16/254,704 priority patent/US20190230296A1/en
Publication of JP2019129420A publication Critical patent/JP2019129420A/ja
Application granted granted Critical
Publication of JP7040043B2 publication Critical patent/JP7040043B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Description

本発明は、写真処理装置、写真データの生産方法および写真処理プログラムに関する。
従来、写真に含まれる顔を拡大させる技術が知られている(例えば特許文献1)。
特開2003-108979号公報
従来の技術では、顔を中心とした任意の大きさの画像を生成する作業が繁雑であった。
本発明は、顔を中心とした任意の大きさの画像を容易に生成する技術を提供することを目的とする。
上記目的を達成するための写真処理装置は、写真を取得する取得部と、写真から顔を認識する認識部と、写真を表示するタッチパネルと、タッチパネルに表示している写真に対してピンチ動作が行われた場合に、ピンチ動作に連動して顔を枠の中心に移動させる移動処理と、移動後の写真をピンチ動作に連動して顔を枠の中心に維持したまま写真の大きさを変更する変倍処理と、を行う写真処理部と、を備える。この構成によれば、顔を中心とした任意の大きさの画像を容易に生成することができる。
さらに、写真処理部は、移動処理において写真の大きさを維持したままピンチ動作に連動して顔を枠の中心に移動させる構成であっても良い。この構成によれば、顔を中央に移動させた後に大きさを変化させることができる。
さらに、写真処理部は、移動処理において枠と中心が一致するターゲット領域に向けて顔の大きさを変更する構成であっても良い。この構成によれば、移動と変倍とを同時に実行することができる。
さらに、ターゲット領域は枠に内接する構成であっても良い。この構成によれば、枠を基準にして写真を変倍させることができる。
さらに、ターゲット領域は顔を含む矩形に外接する構成であっても良い。この構成によれば、顔を含む矩形を基準にして写真を変倍させることができる。
さらに、ピンチ動作の大きさに応じた領域と大きさの変更前の顔の領域との間を所定数のステップに分割して、ステップごとに写真の大きさを変更する構成であっても良い。この構成によれば、ピンチ動作に追従した大きさの変更を行うことができる。
さらに、写真処理部は、ピンチ動作に応じた処理が行われた後の枠の中の画像を切出す切出処理を行う構成であっても良い。この構成によれば、大きさ変更後の写真データを生成することができる。
写真処理装置の構成を示すブロック図。 動作検出処理を示すフローチャート。 写真処理を示すフローチャート。 ピンチアウト動作を説明する図。 ターゲット矩形を説明する図。 移動処理を説明する図。 拡大処理を説明する図。 ピンチアウトに連動する移動を説明する図。 ピンチアウトに連動する拡大を説明する図。 第2実施形態におけるターゲット矩形を説明する図。 第2実施形態における移動処理および拡大処理を説明する図。 第2実施形態における移動処理および拡大処理を説明する図。 第2実施形態における移動処理および拡大処理を説明する図。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)写真処理装置の構成:
(2)動作検出処理:
(3)写真処理:
(4)第2実施形態:
(5)他の実施形態:
(1)写真処理装置の構成:
図1は、本発明の実施形態にかかる写真処理装置を含むカメラ1の構成を示すブロック図である。カメラ1は、プロセッサー10と撮影部11と外部インターフェース12とユーザーインターフェース13と通信インターフェース14とを備える。プロセッサー10は、CPU,RAM,ROM,不揮発性メモリー等を備えている。プロセッサー10は、ROMや不揮発性メモリーに記録されている各種プログラムをCPUがRAM等を用いて実行することによってカメラ1の各部を制御する。CPUに変えて、ASICを用いたり、CPUとASICとの協働としたりしても良い。各種プログラムには写真を撮影するための撮影処理プログラムや写真の表示等を行うための写真処理プログラム等が含まれる。なおプロセッサー10は「処理部」、「認識部」、「写真処理部」として機能する。
撮影部11は、光学系、エリアイメージセンサー、ASIC、VRAM(いずれも不図示)等を備える。ASICがプロセッサー10の制御に従って光学系やエリアイメージセンサーを制御し、被写体の像を示す写真データを生成する。外部インターフェース12は、プロセッサー10の制御にしたがって、カメラ1に装着されたリムーバブルメモリー4に対して写真データを含む各種データの読み書きを実行する。
ユーザーインターフェース13は、タッチパネル13aや図示しないキーを備え、タッチパネル13aやキーに対して行われたユーザーの操作を検知してプロセッサー10に通知するとともに、タッチパネル13aにプロセッサー10の制御にしたがって各種の画像や文字を表示させる。通信インターフェース14は、プロセッサー10の指示に応じて外部装置にデータを送信するために、通信プロトコルに基づく送信データの変換や伝送路への信号の送出を行う。また、外部装置から送信された信号を受信し通信プロトコルに基づいて受信データを取得しプロセッサー10に通知する。
本実施形態において、プロセッサー10は、撮影処理プログラムを実行して写真を撮影することができる。すなわち、プロセッサー10は、ユーザーインターフェース13に対する利用者の操作を受け付け、撮影部11によってエリアイメージセンサーに結像した画像を写真データとして取得することができる。撮影された写真を示す写真データは、リムーバブルメモリー4に記録される。
また、プロセッサー10は、写真処理プログラムを実行して撮影した写真やリムーバブルメモリー4に記録された写真をタッチパネル13aに表示させることができる。タッチパネル13aに写真が表示された状態で、利用者はタッチパネル13aに対する操作をすることで写真を拡縮や移動をして確認することができる。
すなわち、本実施形態においては、利用者がタッチパネル13aに対してピンチアウト操作を行うことにより、写真を拡大させ、例えば、合焦の程度やぼけの程度等を確認することができる。特に人物写真の場合は、人物の顔に合焦しているか否か、目を開けているか否か等を確認したいという要望がある。本実施形態においては、この際に、写真に含まれる顔をタッチパネル13aの中心に移動させて拡大させることができる。
この処理を実行するため、写真処理プログラムが実行されると、プロセッサー10は、取得部10a、認識部10b、写真処理部10cとして機能する。取得部10aは、写真を取得する機能をプロセッサー10に実行させるプログラムモジュールである。すなわち、プロセッサー10は、利用者によるユーザーインターフェース13の操作を受け付け、リムーバブルメモリー4に記録された写真データの指定を受け付ける。
写真データが指定されると、プロセッサー10は、リムーバブルメモリー4を参照し、指定された写真データを取得する。取得された写真データはRAMに記録される。また、本実施形態において、プロセッサー10は、取得された写真データをタッチパネル13aに表示させる。すなわち、プロセッサー10は、タッチパネル13aに対して制御信号を出力し、RAMに記録された写真データをタッチパネル13aに表示させる。本実施形態においては、デフォルトで写真全体が表示される最大寸法でタッチパネル13aに対して写真を表示させる。なお、本実施形態においては、写真データの拡大、縮小が行われた場合も、行われていない場合も、写真データの画素数とタッチパネル13aの表示範囲の画素数とが一致しないのであれば、間引き処理や大きさの調整が行われてよい。
認識部10bは、写真から顔を認識する機能をプロセッサー10に実行させるプログラムモジュールである。認識のアルゴリズムは様々なものを採用できる。本実施形態においてプロセッサー10は、写真の中から既定のパターンに適合する部分を抽出することによって人の顔を認識する。既定のパターンは、例えば、エッジに囲まれた領域におけるエッジの形状、当該領域内に存在するパーツ(目、鼻、口、眉毛等)が人の顔のパターンに適合するか否かを判定するために定義される。むろん、パターンの定義としてはこれらに限定されず、種々の手法が採用されてよい。本実施形態において、プロセッサー10は、人の顔に外接する矩形(以後、顔矩形と呼ぶ)を特定することによって人の顔を認識する。なお、1枚の写真に人の顔が複数個含まれる場合、人の顔は複数個認識され得る。
写真処理部10cは、タッチパネル13aに表示している写真に対してピンチ動作が行われた場合に、ピンチ動作に連動して顔を枠の中心に移動させる移動処理と、移動後の写真をピンチ動作に連動して顔を枠の中心に維持したまま写真の大きさを変更する変倍処理と、を行う機能をプロセッサー10に実行させる。
本実施形態において変倍処理は、写真の大きさを大きくする拡大処理と、写真の大きさを小さくする縮小処理を含むが、これらのいずれか一方であっても良い。また、これらの処理はピンチ動作に応じて実行されればよいが、本実施形態においては、ピンチアウトに応じて拡大処理が実行され、ピンチインに応じて縮小処理が実行される。このため、本実施形態においては、ピンチ動作と画像処理が直感的に連動する構成となっている。以後、簡略のため、主にピンチアウト操作について説明する。
本実施形態において、枠はタッチパネル13aの表示領域の中心である。すなわち、本実施形態においては、タッチパネル13aに写真が表示される際に、タッチパネル13aの表示領域の全体に写真が表示されるように構成されており、当該表示領域が写真を表示するための枠である。写真内に含まれる顔は任意の位置に存在し得るが、顔を拡大してその写真としての品質を確認する場合において、写真の端に存在する顔が端に存在する状態で拡大されると、利用者が意図している部位が枠外に位置してしまうことがある。
この場合、写真を平行移動させることが可能であれば、利用者が意図している部位をタッチパネル13aに表示させることが可能であるが、当該移動のための操作は煩雑である。また、拡大後に意図している部位が枠外に存在する場合、意図している部位を枠内に移動させることは困難である場合も多い。
そこで、本実施形態においてプロセッサー10は、ピンチアウトによって写真を拡大させる際に、ピンチアウトに連動させて写真を枠の中心に移動させる。この結果、顔を中心とした任意の大きさの画像を容易に生成することができる。また、ピンチ動作を行うのみで写真の大きさの調整に加えて写真のセンタリングも実行することができるため、利用者が意図している顔の部位の撮影状態を容易に確認することができる。
(2)動作検出処理:
次に、図1に示すカメラ1のプロセッサー10が実行する処理を詳細に説明する。図2は、プロセッサー10がピンチ動作の検出のために実行する動作検出処理を示すフローチャートである。なお、ここでは、上述のとおり、ピンチアウトについて主に説明するが、ピンチインの場合であっても処理の手順は同等である。
利用者が写真の表示指示を行うと、プロセッサー10は、取得部10aの機能により、利用者によるユーザーインターフェース13の操作を受け付け、リムーバブルメモリー4に記録された写真データの指定を受け付ける。また、プロセッサー10は、リムーバブルメモリー4を参照し、指定された写真データを取得してタッチパネル13aに表示させる。
図4は、タッチパネル13aに表示された写真を模式的に示す図である。図4に示す例ではタッチパネル13aの表示領域の全面に写真Pが表示されている状態が想定されており、写真P内に人の顔が1個含まれている状態が想定されている。図4においては、当該人の顔を「顔」という文字で示している。以下、当該例を適宜参照しながら処理の例を説明する。
タッチパネル13aに写真が表示された状態において、利用者がタッチパネル13aをタッチすると動作検出処理が開始される。動作検出処理が開始されると、プロセッサー10は、写真処理部10cの機能により、ユーザーインターフェース13の出力信号に基づいて、タッチ位置の検出を開始する。すなわち、タッチパネル13aのタッチ可能領域には予め座標が割り当てられており、タッチパネル13aに対するタッチが行われると、ユーザーインターフェース13がタッチされたタッチ座標を示す情報を出力する。
プロセッサー10は、当該タッチ座標を取得すると、利用者がタッチパネル13aをタッチしていることを認識するとともに、その位置をタッチ座標として取得する。なお、本実施形態において、タッチ位置は複数個取得され得る。すなわち、利用者が複数の指でタッチパネル13aに対してタッチすると、各指によってタッチされた位置がタッチ座標として取得される。ステップS100のタッチ検出が行われると、1カ所以上のタッチが継続している間、タッチの検出処理が継続される。プロセッサー10は、既定の微小時間毎にタッチされた位置を示すタッチ座標を取得する。従って、タッチ位置が変化した場合、プロセッサー10は、タッチ位置の変化を認識することができる。
次に、プロセッサー10は、写真処理部10cの機能により、マルチタッチが行われたか否かを判定する(ステップS105)。すなわち、プロセッサー10は、ステップS100で検出されたタッチ位置が複数である場合にマルチタッチであると判定する。ステップS105において、マルチタッチが行われたと判定されない場合、プロセッサー10は、シングルタッチ処理を実行する。すなわち、タッチが行われたが、マルチタッチではなかった場合、シングルタッチであるため、プロセッサー10は、シングルタッチのための処理を実行する。
なお、シングルタッチ処理は、種々の処理であって良い。例えば、タッチパネル13aがタッチされた状態でタッチされた位置が変化する場合、プロセッサー10が、当該動作をスライド動作やスワイプ動作と見なし、タッチされたオブジェクトの移動等(例えば写真の移動等)を実行する構成等を採用可能である。また、タッチパネル13aがタッチされた後にタッチが解除された場合、プロセッサー10が、当該動作をタップ動作と見なし、タッチされたオブジェクトに関連する指示等(例えば写真の保存等)を実行する構成等を採用可能である。
次に、プロセッサー10は、写真処理部10cの機能により、ピンチアウトが行われたか否かを判定する(ステップS110)。すなわち、プロセッサー10は、ステップS100で検出されたタッチ位置が2カ所であり、互いの距離が遠くなっている場合にピンチアウトであると判定する。ステップS110において、ピンチアウトが行われたと判定されない場合、プロセッサー10は、ピンチアウト以外のマルチタッチ処理を実行する。
なお、ピンチアウト以外のマルチタッチ処理は、種々の処理であって良い。例えば、タッチパネル13aがタッチされた状態でタッチされた位置が平行移動する場合、プロセッサー10が、当該動作を複数タッチによるスライド動作やスワイプ動作と見なし、タッチされたオブジェクトの移動等(例えば写真の移動等)を実行する構成等を採用可能である。
図4に示す例においては、タッチパネル13aに表示された写真P上でピンチアウトが行われたことを模式的に示している。すなわち、図4においては、初期のタッチ位置T1,T2を丸で示し、タッチ位置から延びる矢印によってタッチ位置が変化したことを示している。図4においては、タッチ位置が互いに遠ざかるように変化しているため、ピンチアウトが行われている。
ステップS110において、ピンチアウトが行われたと判定された場合、プロセッサー10は、認識部10bの機能により、顔矩形座標を取得する(ステップS115)。すなわち、プロセッサー10は、タッチパネル13aに表示された写真を示す写真データに基づいて顔認識処理を実行し、写真内に存在する人の顔を認識する。人の顔が認識されると、プロセッサー10は、人の顔の輪郭に外接する矩形を特定し、顔矩形として取得する。そして、プロセッサー10は、当該顔矩形を特定するための顔矩形座標を取得する。なお、顔矩形座標は顔矩形の位置を特定可能な座標であれば良く、本実施形態では、写真を構成する画素の位置を示す座標系において、顔矩形の対角の2個の頂点を示す座標が顔矩形座標である。図4においては、顔矩形Rfを実線によって示しているが、実際のタッチパネル13a上に顔矩形は表示されても良いし、表示されなくても良い。また、図4においては、顔矩形座標Cf1(X1,Y1),Cf2(X2,Y2)が示されている。
次に、プロセッサー10は、写真処理部10cの機能により、顔矩形がピンチアウト対象であるか否かを判定する(ステップS120)。すなわち、プロセッサー10は、ピンチアウト動作が顔の拡大を示す動作であるか否かを、既定の判定基準に基づいて判定する。判定基準は、予め決められた基準であれば良く、例えば、初期のタッチ位置を結ぶ直線上に顔矩形が存在する場合に顔矩形がピンチアウト対象であると判定する基準等が挙げられる。
図4においては、当該判定基準によって顔矩形Rfがピンチアウト対象であると判定される例を示している。すなわち、ピンチアウトにおける初期のタッチ位置T1,T2を結ぶ直線上に顔矩形Rfが存在するため、顔矩形Rfはピンチアウト対象である。
ステップS120において、顔矩形がピンチアウト対象であると判定されない場合、プロセッサー10は、顔以外のピンチアウト処理を実行する。顔以外のピンチアウト処理は種々の処理であって良く、例えば、顔矩形を枠の中心に移動させることなく画像を拡大させる処理等が挙げられる。
ステップS120において、顔矩形がピンチアウト対象であると判定された場合、プロセッサー10は、写真処理部10cの機能により、ターゲット矩形座標を取得する(ステップS125)。ここで、ターゲット矩形は、移動処理および変倍処理のための目標となるターゲット領域であり、形状が矩形であるため、ここではターゲット矩形と呼ぶ。本実施形態において、ターゲット矩形は、顔矩形と合同であり、中心が枠(タッチパネル13aの写真表示領域)の中心と一致する矩形である。なお、ターゲット矩形座標は顔矩形の位置を特定可能な座標であれば良く、本実施形態では、写真を構成する画素の位置を示す座標系において、顔矩形の対角の2個の頂点を示す座標がターゲット矩形座標である。
なお、ターゲット矩形は、移動処理および変倍処理の目標であり、プロセッサー10は、ピンチアウト動作に応じてターゲット矩形に重なるように顔矩形を変化させる。また、ターゲット矩形と顔矩形とが重なった後にピンチアウト動作が継続していると、顔矩形がターゲット矩形より大きくなるように写真を拡大させる。従って、本実施形態のようにターゲット矩形と顔矩形とが合同である場合、ターゲット矩形に重なるように顔矩形を変化させると、写真の大きさを維持したままピンチ動作に連動して顔を枠の中心に移動させる処理が行われることになる(詳細は後述)。図5は、図4に示す例と同一の例であり、ターゲット矩形Rtを太い実線で示した図である。なお、ターゲット矩形は実際のタッチパネル13a上には表示されない。
次に、プロセッサー10は、写真処理部10cの機能により、ピンチアウト継続時間および速度を取得する(ステップS130)。本実施形態においては、利用者がピンチアウト動作を継続している継続時間と同等の時間内に移動処理および変倍処理を実行するように構成されている。そこで、プロセッサー10は、ステップS110でピンチアウトが行われていると判定された後に時間の計測を開始し、ピンチアウトが終了(2カ所のタッチ位置の少なくとも一方に対するタッチが終了)した場合に時間の計測を終了する処理を行う。
ピンチアウト継続時間の計測は既定の時間毎(例えば、後述するステップ時間毎)に実行される。ピンチアウト動作が継続している間は、ピンチアウトの継続時間が順次更新され、RAM等に記録される。ピンチアウト動作が終了すると、ピンチアウト継続時間に対してピンチアウト動作が終了したことを示す情報が対応づけられてRAM等に記録される。
ピンチアウトの速度は、単位時間あたりのタッチ位置の変化に基づいて特定される。すなわち、プロセッサー10は、ステップS100におけるタッチ位置の検出結果に基づいて、2カ所のタッチ位置の距離が単位時間あたりに変化する長さを特定する。単位時間は、種々の長さであって良く、後述するステップ時間以上の時間であれば良い。ここでは、単位時間が所定数(N個)のステップ時間の和に等しいとして説明を行う。なお、ステップ時間は、例えば1/30秒等である。
次に、プロセッサー10は、写真処理部10cの機能により、ステップ毎の頂点移動距離を取得する(ステップS135)。すなわち、本実施形態においてプロセッサー10は、微小ステップ毎に移動や変倍を行うことで顔が移動し、また、変倍する動画を表示させる。これらの移動や変倍の最小単位がステップであり、1ステップに要する時間長がステップ時間である。当該ステップ毎の移動や変倍の程度は、単位時間におけるピンチアウトの速度によって特定される。本実施形態においては、ピンチアウトの速度に対して単位時間における頂点移動距離が予め対応づけられており、プロセッサー10は、当該単位時間における頂点移動距離を所定数Nで除することでステップ毎の頂点移動距離を取得する。当該ステップ毎の頂点移動距離はRAM等に記録される。
次に、プロセッサー10は、写真処理部10cの機能により、所定数のステップの写真処理を実行する(ステップS140)。当該写真処理は後述する(図3)。そして、プロセッサー10は、写真処理部10cの機能により、ピンチアウトが終了したか否かを判定する(ステップS145)。すなわち、プロセッサー10は、2カ所のタッチ位置の少なくとも一方に対するタッチが終了した場合にピンチアウトが終了したと判定する。ステップS145において、ピンチアウトが終了したと判定されない場合、プロセッサー10は、ステップS130以降の処理を繰り返す。ステップS145において、ピンチアウトが終了したと判定された場合、プロセッサー10は、動作検出処理を終了する。
(3)写真処理:
次に、ステップS140における写真処理を説明する。当該写真処理は、所定数のステップに渡る移動や変倍のために実行される割込処理であり、ステップS140が実行されると、ピンチアウトが継続している場合には写真処理が所定数だけ繰り返される。写真処理が開始されると、プロセッサー10は、現ステップにおける顔矩形座標を取得する(ステップS200)。すなわち、移動処理や変倍処理によって顔矩形座標は変化し、変化後の顔矩形座標はRAMに記録されていく。そこで、プロセッサー10は、RAMを参照して顔矩形座標を取得する。図4においては、移動処理および変倍処理が行われていない初期表示状態の顔矩形Rfが示されている。この状態でピンチアウト動作に応じて写真処理が開始されると、ステップS200において顔矩形座標Cf1(X1,Y1),Cf2(X2,Y2)が取得される。
次に、プロセッサー10は、1ステップ後の顔矩形座標を取得する(ステップS205)。本実施形態においてプロセッサー10は、顔矩形が枠の中心に移動する前と、移動した後とで異なる手法で1ステップ後の顔矩形座標を取得する。具体的には、顔矩形が枠の中心に移動する前において、プロセッサー10は、写真の大きさを維持したままピンチ動作に連動して顔を枠の中心に移動させる。
この処理を行うため、プロセッサー10は、初期の顔矩形座標とターゲット矩形座標とを結ぶ直線を取得する。図6においては、図4に示す初期の顔矩形Rfとターゲット矩形Rtとが示されており、初期の顔矩形Rfにおける顔矩形座標Cf1とターゲット矩形Rtにおけるターゲット矩形座標Ct1とを結ぶ直線Lが破線によって示されている。
プロセッサー10は、初期の顔矩形座標とターゲット矩形座標とを結ぶ直線L上で1ステップ後の顔矩形座標を取得する。すなわち、ステップS135においては、ステップ毎の頂点移動距離が取得されているため、プロセッサー10は、当該直線L上で現ステップにおける顔矩形座標よりもステップ毎の頂点移動距離だけターゲット矩形の頂点に近づいた位置を、1ステップ後の顔矩形座標として取得する。図6においては、ステップ毎の頂点移動距離を距離ΔLとして示し、現ステップにおける顔矩形座標が座標Cf1である場合における1ステップ後の顔矩形座標を座標Cf11として示している。また、現ステップにおける顔矩形座標が座標Cf11である場合における1ステップ後の顔矩形座標を座標Cf12として示している。
一方、顔矩形が枠の中心に移動した後において、プロセッサー10は、頂点移動距離がステップS135で取得された1ステップ毎の頂点移動距離となるように、顔矩形を拡大させる拡大処理を行う。この処理を行うため、プロセッサー10は、ターゲット矩形の対角線を取得する。図7においては、図4に示す顔矩形Rfが移動され、とターゲット矩形Rtと一致している状態が示されており、その対角線の一つが対角線Lとして破線によって示されている。
プロセッサー10は、対角線L上で1ステップ後の顔矩形座標を取得する。すなわち、ステップS135においては、ステップ毎の頂点移動距離が取得されているため、プロセッサー10は、当該対角線L上で現ステップにおける顔矩形座標よりもターゲット矩形の頂点からステップ毎の頂点移動距離だけ遠ざかる位置を、1ステップ後の顔矩形座標として取得する。図7においては、ステップ毎の頂点移動距離を距離ΔLとして示し、現ステップにおける顔矩形座標が座標Ct1である場合における1ステップ後の顔矩形座標を座標Ct11として示している。また、現ステップにおける顔矩形座標が座標Ct11である場合における1ステップ後の顔矩形座標を座標Ct12として示している。
1ステップ後の顔矩形座標が取得されると、プロセッサー10は、1ステップ後の顔矩形座標がターゲット矩形座標と一致するまたは超えるか否かを判定する(ステップS210)。すなわち、1ステップ後の顔矩形座標を取得する処理が繰り返されると、顔矩形座標が徐々にターゲット矩形座標に近づく。そして、上述の線Lや対角線L上における初期の顔矩形座標とターゲット矩形座標との距離が、ステップ毎の頂点移動距離の整数倍であれば、1ステップ後の顔矩形座標がターゲット矩形座標と一致し得る。
一方、上述の線Lや対角線L上における初期の顔矩形座標とターゲット矩形座標との距離が、ステップ毎の頂点移動距離の整数倍でなければ、1ステップ後の顔矩形座標がターゲット矩形座標と一致しない。そして、顔矩形座標がターゲット矩形座標に最接近した場合、その1ステップ後の顔矩形座標がターゲット矩形座標を超える。
いずれにしても、ステップS205で取得された、1ステップ後の顔矩形座標がターゲット矩形座標と一致するまたは超える場合、移動処理の最終ステップであり、当該ステップより後に移動を行うと顔矩形がターゲット矩形から離れてしまう。そこで、ステップS210においてプロセッサー10は、1ステップ後の顔矩形座標がターゲット矩形座標と一致するか、または超えるか否かを判定することで、移動処理の最終ステップであるか否かを判定することとしている。
そして、ステップS210において、1ステップ後の顔矩形座標がターゲット矩形座標を超えると判定されない場合、プロセッサー10は、顔矩形座標を1ステップ後の顔矩形座標に一致させる(ステップS215)。すなわち、プロセッサー10は、移動処理または変倍処理を実行する。
具体的には、顔矩形が枠の中心に移動する前であれば、プロセッサー10は、ステップS205で取得された1ステップ後の顔矩形座標が新たな顔矩形座標となるように顔矩形を平行移動させる。すなわち、プロセッサー10は、現ステップにおける顔矩形座標から1ステップ後の顔矩形座標までのベクトルを、移動ベクトルとして写真の画像の表示位置を変化させ、タッチパネル13aに表示させる。例えば、現ステップにおける顔矩形座標が図6に示す座標Cf1であり、1ステップ後の顔矩形座標が座標Cf11である場合、プロセッサー10は、顔矩形Rfが顔矩形Rf11に移動するように写真を移動させる。
顔矩形が枠の中心に移動した後であれば、プロセッサー10は、ステップS205で取得された1ステップ後の顔矩形座標が新たな顔矩形座標となるように顔矩形を拡大させる。すなわち、プロセッサー10は、現ステップにおける顔矩形座標から1ステップ後の顔矩形座標まで顔矩形座標を変化させる拡大を行う場合の拡大率を算出し、補間処理等を利用して写真を拡大させる。そして、プロセッサー10は、元の顔矩形Rfの中心が移動しないように写真の表示位置を設定し、拡大後の写真をタッチパネル13aに表示させる。例えば、現ステップにおける顔矩形座標が図7に示す座標Ct1であり、1ステップ後の顔矩形座標が座標Ct11である場合、プロセッサー10は、顔矩形Rfが顔矩形Rf11に拡大するように拡大および表示を行う。
なお、本実施形態においては、ピンチアウトの速度を取得するための単位時間を所定数のステップに分割し、ステップ毎に写真の大きさを変更する。図7においては、所定数Nが6の場合を例示している。すなわち、この例において、単位時間内のピンチアウトの速度によって特定された頂点移動距離は座標Ct1,Ct16間の距離であり、当該距離が所定数6で除されて得られた1ステップ毎の頂点移動距離が座標Ct1n,Ct1n+1間の距離である(nは1~5の整数)。そして、各ステップにおいて各頂点が頂点移動距離だけ移動するように拡大が行われる。従って、本実施形態においてプロセッサー10は、ピンチ動作の大きさに応じた領域(図7に示すRf16)と大きさの変更前の顔の領域(図7に示すRf)との間を所定数のステップに分割して、ステップごとに写真の大きさを変更する処理を行っていることになる。この構成によれば、ピンチ動作に追従して滑らかに大きさを変化させることができる。
一方、ステップS210において、1ステップ後の顔矩形座標がターゲット矩形座標を超えると判定された場合、プロセッサー10は、顔矩形座標をターゲット矩形座標に一致させる(ステップS220)。すなわち、本実施形態においてプロセッサー10は、移動処理の最終ステップにおいてステップS220を実行することにより、顔矩形がターゲット矩形を超えて移動し、枠の中心から外れてしまわないように移動処理を行う。移動処理の最終ステップでなければ、プロセッサー10は、ステップS215において移動処理または変倍処理を行う。
ステップS220が行われる場合、プロセッサー10は、現ステップにおける顔矩形座標がターゲット矩形座標に一致するように顔矩形を平行移動させる。すなわち、プロセッサー10は、線L上において、現ステップにおける顔矩形座標からターゲット矩形座標まで達するベクトルを、移動ベクトルとして写真の画像の表示位置を変化させ、タッチパネル13aに表示させる。この結果、顔矩形の中心が枠の中心に一致するように写真が移動する。従って、本実施形態においては、写真の大きさを維持したままピンチ動作に連動して顔を枠の中心に移動させる処理が行われる。
以上の構成によれば、顔を中央に移動させた後に大きさを変化させることができる。すなわち、図4に示す例において、ピンチアウト動作が継続された場合、初期においては図8に示すように顔矩形Rfがタッチパネル13aの枠の中心に向けて移動される。図8に示すように顔矩形Rfがタッチパネル13aの枠の中心に達した状態においてもピンチアウトが継続されていると、図9に示すように、タッチパネル13a上での顔矩形Rfの位置が維持された状態で、顔矩形Rfが拡大表示される。
ステップS215またはステップS220が実行されると、プロセッサー10は、全ステップの累積時間がピンチアウト継続時間以上になったか否かを判定する(ステップS225)。すなわち、本実施形態においては、ピンチアウトが継続されている期間において移動処理や拡大処理を実行する。そこで、プロセッサー10は、写真処理を開始してから現在までに処理が終了したステップの数とステップ時間との積によって全ステップの累積時間を取得する。そして、当該全ステップの累積時間がピンチアウト継続時間以上である場合に、処理を終了すべきと見なす。
このため、ステップS225において全ステップの累積時間がピンチアウト継続時間以上になったと判定された場合、プロセッサー10は、ピンチアウトに応じた写真処理を停止させる(ステップS230)。この場合、ステップS140で実行が開始された後、図3に示す写真処理が所定数繰り返されていなくても、これ以後、写真処理の繰り返しは行われずに、ピンチアウトによる処理が終了する。
一方、ステップS225において全ステップの累積時間がピンチアウト継続時間以上になったと判定されない場合、プロセッサー10は写真処理を終了する。この場合、ステップS140で実行が開始された後、図3に示す写真処理が所定数繰り返されていなければ、所定数の繰り返しが行われるまで写真処理の実行が再度開始される。
(4)第2実施形態:
上述の第1実施形態は、移動処理が行われた後に変倍処理が行われる構成であるが、移動処理と変倍処理とは並行して実行されてもよい。すなわち、移動処理において枠と中心が一致するターゲット領域に向けて顔の大きさを変更する処理が行われてもよい。このような構成は、例えば、上述の第1実施形態において、ターゲット矩形の大きさを顔矩形の大きさよりも大きくし、当該ターゲット矩形がターゲット領域であると見なす構成によって実現可能である。
図10は、図4に例示した写真Pと同一の写真Pを例として示し、この例において枠に内接するターゲット矩形Rtが構成されている状態が想定されている。ここでは、当該ターゲット矩形Rtを利用して、図1に示す構成において図2,図3に示す処理を行う構成を想定し、以下においては、図10~図12を参照しながら処理の要部を説明する。
プロセッサー10は、図2のステップS125において、顔矩形Rfと相似形の矩形であり、中心がタッチパネル13aの枠の中心と一致し、枠に内接する矩形をターゲット矩形Rtとする。そして、プロセッサー10は、ステップS125において、ターゲット矩形座標の少なくとも1カ所を取得する。ここでは図10に示すターゲット矩形座標Ct1(X1,Y1)が取得される場合を例にして説明する。図2に示す処理において、ステップS125以外のステップは上述の第1実施形態と同様である。
図11,図12は、第2実施形態におけるステップS205を説明するための図である。顔矩形が枠の中心に移動する前において1ステップ後の顔矩形座標を取得する処理が行われると、プロセッサー10は、初期の顔矩形Rfにおける顔矩形座標Cf1とターゲット矩形Rtにおけるターゲット矩形座標Ct1とを結ぶ図11に示す直線L1を取得する。
また、プロセッサー10は、当該直線L1上で1ステップ後の顔矩形座標を取得する。すなわち、ステップS135においては、ステップ毎の頂点移動距離が取得されているため、プロセッサー10は、当該直線L1上で現ステップにおける顔矩形座標よりもステップ毎の頂点移動距離だけターゲット矩形の頂点に近づいた位置を、1ステップ後の顔矩形座標として取得する。図11においては、ステップ毎の頂点移動距離を距離ΔLとして示し、現ステップにおける顔矩形座標が座標Cf1である場合における1ステップ後の顔矩形座標を座標Cf11として示している。
顔矩形が枠の中心に移動した後において、1ステップ後の顔矩形座標を取得する処理が行われると、プロセッサー10は、図12に示すターゲット矩形の対角線Lを取得する。また、プロセッサー10は、対角線L上で1ステップ後の顔矩形座標を取得する。すなわち、ステップS135においては、ステップ毎の頂点移動距離が取得されているため、プロセッサー10は、当該対角線L上で現ステップにおける顔矩形座標よりもターゲット矩形の頂点からステップ毎の頂点移動距離だけ遠ざかる位置を、1ステップ後の顔矩形座標として取得する。図12においては、ステップ毎の頂点移動距離を距離ΔLとして示し、現ステップにおける顔矩形座標が座標Ct1である場合における1ステップ後の顔矩形座標を座標Ct11として示している。
以上のようにして1ステップ後の顔矩形座標が取得されると、ステップS215またはS220において移動処理や変倍処理が行われるが、第2実施形態においては、顔矩形が枠の中心に移動する前の処理が第1実施形態と異なっている。顔矩形が枠の中心に移動した後の処理は第1実施形態と同様である。
第2実施形態では、顔矩形が枠の中心に移動する前において、移動処理と変倍処理とが同時に行われる。すなわち、プロセッサー10は、ステップS215において顔矩形座標を1ステップ後の顔矩形座標に一致させるが、この際、顔矩形の全ての頂点を同一のベクトルで平行移動させるのではなく、顔矩形の全ての頂点が異なるベクトルに従って移動するように拡大させる。
このための処理としては、種々の処理を採用可能であり、例えば、顔矩形の頂点とターゲット矩形の頂点とを結ぶ直線上に頂点が存在する顔矩形を、1ステップ後の顔矩形とみなすなどの処理によってベクトルを決定可能である。図13はこの処理の一例を示している。すなわち、図13に示す直線L1,L2,L3は顔矩形Rfの頂点とターゲット矩形Rtの対応する頂点とを結ぶ線である。
1ステップ後の顔矩形座標が座標Cf11である場合に、プロセッサー10は、当該座標Cf11から上下左右に線を延ばし、他の直線L2,L3と交わった点を1ステップ後の顔矩形座標Cf12,Cf13として取得する。そして、プロセッサー10は、これらの顔矩形座標Cf11,Cf12,Cf13を頂点とする矩形を1ステップ後の顔矩形Rf11として取得する。
1ステップ後の顔矩形Rf11が取得されると、プロセッサー10は、ステップS205で取得された1ステップ後の顔矩形Rf11が新たな顔矩形座標となるように拡大率を決定して拡大処理を行う。また、プロセッサー10は、拡大後の写真における顔矩形の位置が図13に示す顔矩形Rf11と一致するように写真の位置を決定し、タッチパネル13aに表示させる。この構成によれば、顔矩形のアスペクト比を固定した状態で、ピンチ動作に連動した拡大を行いつつ顔を移動させることができる。
この結果、第2実施形態においては、移動処理と拡大処理とが同時に実行される。以上の構成によれば、ピンチアウトに応じて移動とともに拡大が行われるため、ピンチアウト動作から直感的に連想される拡大が行われ、違和感のない操作性を実現することができる。また、第2実施形態においては、枠に内接するターゲット矩形を目標として拡大処理が行われるため、枠を基準にして写真を変倍させることができる。なお、第2実施形態において、ステップS210やステップS225,S230は第1実施形態と同様である。
(5)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、写真処理装置はカメラ以外の機器に組み込まれていても良いし、タブレット端末やスマートフォン端末などのような汎用コンピューターによって実現されても良い。さらに、以上の実施形態のようにピンチ動作に応じて写真を枠の中心に移動させる移動処理と、顔を枠の中心に維持したまま写真の大きさを変更する変倍処理とを実行させる手法は、プログラムの発明、方法の発明や写真データの生産方法の発明としても実現可能である。
また請求項に記載された各部の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各部の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
さらに、上述の実施形態は一例であり、一部の構成が省略されたり、他の構成が追加されたり、置換されたりする実施形態が採用され得る。例えば、上述の実施形態においては、ピンチアウトとピンチインとの双方において顔を枠の中心に移動させるが、いずれか一方、例えば、ピンチアウトにおいてのみ顔を枠の中心に移動させる処理が行われる構成等が採用されてもよい。
また、例えば、上述の図3に示すステップS210においては、顔が枠の中心に移動したか否か判定される構成、例えば、顔矩形の中心と枠の中心とが一致したか否か判定される構成であっても良い。また、ステップS215において写真の移動処理が行われる際に、顔矩形の中心と枠の中心を結ぶ直線に沿って移動される構成が採用されてもよい。さらに、上述の第1実施形態において、ステップS220が実行されると、当該ステップにおける頂点移動距離が他のステップ(S215)における頂点移動距離よりも短くなり得る。そこで、プロセッサー10は、複数ステップに渡って頂点移動距離が均一化されるように頂点移動距離を再計算し、再計算された頂点移動距離に基づいて移動処理を行ってもよい。
上述の実施形態のように単位時間におけるピンチ動作に応じて単位時間あたりの頂点移動距離を計算し、複数のステップに分割して移動処理や変倍処理を行う構成は一例であり、他の手法で移動処理や変倍処理が行われてもよい。例えば、1ステップ毎にピンチアウトの速度を計測し、次のステップで当該速度に応じた移動や変倍を実行する構成等であっても良い。
さらに、移動処理と拡大処理のターゲットとなる領域は複数個設けられても良い。例えば、大きさが異なる複数のターゲット矩形が予め用意され、大きさが小さいターゲット矩形から順にターゲットとして選択され、段階的に拡大(移動が含まれても良い)が行われる構成であっても良い。この構成によれば、拡大の過程をより詳細に制御することができる。むろん、拡大対象の部分が矩形でないならばターゲット領域が矩形でなくても良い。
さらに、移動処理と拡大処理とのターゲットになるターゲット領域は上述の第2実施形態のような例に限定されず、種々の領域であって良い。例えば、顔を含む矩形に外接する矩形がターゲット矩形となり、ターゲット領域と見なされても良い。この構成によれば顔を含む矩形を基準にして写真を変倍させることができる。顔を含む矩形に外接するターゲット矩形は、種々の手法で決定されて良く、例えば、初期の顔矩形の1辺に接する最小の矩形であり、当該矩形の中心が枠の中心と一致している矩形をターゲット矩形とする構成等を採用可能である。
さらに、移動処理および変倍処理が行われた後の写真データは、写真の品質確認以外にも種々の態様で利用されて良い。例えば、プロセッサー10が写真処理部10cの機能により、ピンチ動作に応じた処理が行われた後の枠の中の画像を切出す切出処理を行う構成が採用されてもよい。この構成によれば、大きさ変更後にタッチパネル13aに表示された写真を切り出して写真データとして利用することができる。例えば、印刷装置に本発明を適用し、印刷装置に装着されたリムーバブルメモリーから読み出した写真から顔を切り出し、切り出した画像を証明写真用に印刷するようにしても良い。
取得部は、写真を取得することができればよい。すなわち、取得部は、移動や変倍の処理対象となる顔が含まれる写真を取得することができればよい。例えば、写真を撮影する撮影機構も取得部とみなすことができる。任意の記憶媒体に記憶されている写真を読み出す回路を取得部とみなしても良く、記憶媒体は写真処理装置に備えられていても良いし、写真処理装置の外部に存在する装置に備えられていても良い。
認識部は、写真から顔を認識することができればよい。すなわち、認識部は、顔と推定される部分が写真に含まれる場合に当該部分を特定することができればよい。顔を認識するための手法は、種々の手法が採用されてよく、パターンマッチングを利用した手法意外にも種々の手法を採用可能である。例えば、写真の画像の特徴量に基づいて顔を認識する手法であっても良いし、ニューラルネットワークを利用した手法であっても良いし、複数の手法を組み合わせた手法であっても良い。また、顔を認識した際に矩形で顔の位置を特定するものには限られず、円形など他の形状で特定しても良い。
顔は、動物の頭部の一部であれば良く、人の顔であっても良いし、他の種の動物の顔であっても良い。すなわち、枠の中心に向けてセンタリングされ、また、変倍される基準となる部位として、顔を認識することができればよい。顔が複数個認識された場合、移動処理や拡大処理の対象となる顔はピンチ動作におけるタッチ位置で特定されても良いし、他の手法で特定されても良い。前者としては、例えば、タッチ位置が示す矩形に含まれる面積が最も大きい顔や、タッチ位置から最も近い顔が処理対象となる構成が挙げられる。後者としては、例えば、利用者がタップ操作等によって指定した顔や、枠の中心に最も近い顔等が処理対象となる構成が挙げられる。
タッチパネルは、写真を表示することができればよい。すなわち、タッチパネルは、移動や変倍の対象となる写真が表示され、移動や変倍の指示を行うためのピンチ動作を受け付けることができればよい。
写真処理部は、タッチパネルに表示している写真に対してピンチ動作が行われた場合に、ピンチ動作に連動して顔を枠の中心に移動させる移動処理と、移動後の写真をピンチ動作に連動して顔を枠の中心に維持したまま写真の大きさを変更する変倍処理と、を行うことができればよい。すなわち、写真処理部は、ピンチ動作という1種類の動作に応じて、移動処理および変倍処理の少なくとも2種類の処理を実行することができればよい。
むろん、ピンチ動作に応じて実行される処理は移動処理と変倍処理に限定されず、より多数でも良いし、移動処理および変倍処理が実行されるタイミングは同時であっても良いし別であっても良い。また、顔の移動と変倍を行わせるためのピンチ動作としては、少なくとも2カ所のタッチ位置の距離が離れるタッチ動作であれば良い。
移動処理によって顔を移動させるターゲットとなる中心を定義するための枠は、種々の枠であって良い。例えば、写真を表示させる表示範囲の外周が枠であっても良いし、タッチパネルの表示可能範囲が枠であっても良いし、写真の外周が枠であっても良い。また、また、タッチパネルに複数のウィンドウが表示される場合に、写真が表示されたウィンドウが枠であっても良いし、利用者が枠を指定可能であっても良い。
移動処理は、顔を枠の中心に移動させることができればよい。枠の中心と一致すべき顔の位置は種々の位置であってよく、顔に外接する矩形の中心や矩形上の一点であっても良いし、顔の特定の部位(例えば、目や鼻等)であっても良い。
変倍処理は、枠の中心に移動した後の写真の大きさを、顔を枠の中心に維持したまま変更することができればよい。すなわち、少なくとも、顔が枠の中心に移動した後には顔を平行移動させずに大きさを変化させることができればよい。従って、顔が枠の中心まで移動する前に大きさの変更を開始しても良いし、顔が枠の中心まで移動した後に大きさの変更を開始しても良い。
当然、顔を用いた変倍や移動以外の明度変更などの画像処理を変倍や移動を行う前や行った後に行うことは可能である。また、顔を用いた変倍や移動を行ったあとに顔を用いない通常の変倍や移動を行うことで、ユーザーの希望にあわせた微調整を行えるようにしても良い。
なお、本発明において枠の中心というのは、枠上又は枠内に存在する変倍処理を行う中心という意味である。本実施形態においては、枠は長方形であり枠の中心は枠の重心であるが、これに限定されるものではない。例えば枠は円形であっても良いし、中心が枠上に存在していていも良い。ただし、変倍を行っても顔ができるだけ枠内から外れないように、枠の中心の位置と枠の中心と一致すべき顔の位置とを決定することが望ましい。例えば、顔と枠を矩形でとる場合に、矩形の下辺の中心を一致させで枠の下辺の中心を沸くの中心とする。
1…カメラ、4…リムーバブルメモリー、6…所定数、10…プロセッサー、10a…取得部、10b…認識部、10c…写真処理部、11…撮影部、12…外部インターフェース、13…ユーザーインターフェース、13a…タッチパネル、14…通信インターフェース

Claims (9)

  1. 写真を取得する取得部と、
    前記写真から顔を認識する認識部と、
    前記写真を表示するタッチパネルと、
    前記タッチパネルに表示している前記写真に対してピンチ動作が行われた場合に、前記ピンチ動作に連動して前記写真の大きさを維持したまま前記顔を枠の中心に移動させる移動処理と、移動後の前記写真を前記ピンチ動作に連動して前記顔を前記枠の中心に維持したまま前記写真の大きさを変更する変倍処理と、を行う写真処理部と、
    を備えた写真処理装置。
  2. 前記ピンチ動作はピンチアウトとピンチインとを含む
    請求項1に記載の写真処理装置。
  3. 前記写真処理部は、
    前記ピンチ動作がピンチアウトであれば前記移動処理を行いピンチインでは前記移動処理を行わない
    請求項1記載の写真処理装置。
  4. 前記認識部が複数の顔を認識した場合は、前記写真処理部は前記ピンチ動作におけるタッチ位置で特定される顔を対象として前記移動処理と前記変倍処理とを行う
    請求項1~3のいずれかに記載の写真処理装置。
  5. 前記認識部が複数の顔を認識した場合は、前記写真処理部は前記枠の中心に最も近い顔を対象として前記移動処理と前記変倍処理とを行う
    請求項1~3のいずれかに記載の写真処理装置。
  6. 前記ピンチ動作の大きさに応じた領域と大きさの変更前の前記顔の領域との間を所定数のステップに分割して、ステップごとに前記写真の大きさを変更する、
    請求項1~請求項5のいずれかに記載の写真処理装置。
  7. 前記写真処理部は、
    前記ピンチ動作に応じた処理が行われた後の前記枠の中の画像を切出す切出処理を行う、
    請求項1~請求項6のいずれかに記載の写真処理装置。
  8. 写真を取得し、
    前記写真から顔を認識し、
    タッチパネルに表示している前記写真に対してピンチ動作が行われた場合に、前記ピンチ動作に連動して前記写真の大きさを維持したまま前記顔を枠の中心に移動させる移動処理と、移動後の前記写真を前記ピンチ動作に連動して前記顔を前記枠の中心に維持したまま前記写真の大きさを変更する変倍処理と、を行って写真データを生産する、
    写真データの生産方法。
  9. コンピューターを、
    写真を取得する取得部、
    前記写真から顔を認識する認識部と、
    タッチパネルに表示している前記写真に対してピンチ動作が行われた場合に、前記ピンチ動作に連動して前記写真の大きさを維持したまま前記顔を枠の中心に移動させる移動処理と、移動後の前記写真を前記ピンチ動作に連動して前記顔を前記枠の中心に維持したまま前記写真の大きさを変更する変倍処理と、を行う写真処理部、
    として機能させる写真処理プログラム。
JP2018010298A 2018-01-25 2018-01-25 写真処理装置、写真データの生産方法および写真処理プログラム Active JP7040043B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018010298A JP7040043B2 (ja) 2018-01-25 2018-01-25 写真処理装置、写真データの生産方法および写真処理プログラム
US16/254,704 US20190230296A1 (en) 2018-01-25 2019-01-23 Picture processing device, method of producing picture data, and picture processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018010298A JP7040043B2 (ja) 2018-01-25 2018-01-25 写真処理装置、写真データの生産方法および写真処理プログラム

Publications (2)

Publication Number Publication Date
JP2019129420A JP2019129420A (ja) 2019-08-01
JP7040043B2 true JP7040043B2 (ja) 2022-03-23

Family

ID=67298835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018010298A Active JP7040043B2 (ja) 2018-01-25 2018-01-25 写真処理装置、写真データの生産方法および写真処理プログラム

Country Status (2)

Country Link
US (1) US20190230296A1 (ja)
JP (1) JP7040043B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210101087A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 그 전자 장치에서 영상을 표시하는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205345A (ja) 2010-03-25 2011-10-13 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
JP2011234234A (ja) 2010-04-28 2011-11-17 Olympus Imaging Corp 撮像装置
WO2015040963A1 (ja) 2013-09-17 2015-03-26 ソニー株式会社 レンズ制御装置、撮像装置、情報処理装置、撮像システムおよび方法とコンピュータ読み取り可能な貯蔵媒体

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528735A (en) * 1993-03-23 1996-06-18 Silicon Graphics Inc. Method and apparatus for displaying data within a three-dimensional information landscape
JP2001211351A (ja) * 2000-01-27 2001-08-03 Fuji Photo Film Co Ltd 画像撮像装置およびその動作制御方法
KR100547992B1 (ko) * 2003-01-16 2006-02-01 삼성테크윈 주식회사 디지털 카메라와 그의 제어 방법
JP2005176136A (ja) * 2003-12-12 2005-06-30 Canon Inc 画像処理装置、画像再生方法、プログラムおよび記憶媒体
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ,画像再生装置および顔画像表示装置ならびにそれらの制御方法
EP1677182B1 (en) * 2004-12-28 2014-04-23 Sony Mobile Communications Japan, Inc. Display method, portable terminal device, and display program
EP2448247A1 (en) * 2005-11-02 2012-05-02 Olympus Corporation An image processor for electronic camera
JP4427515B2 (ja) * 2006-01-27 2010-03-10 富士フイルム株式会社 対象画像検出表示制御装置およびその制御方法
JP4724890B2 (ja) * 2006-04-24 2011-07-13 富士フイルム株式会社 画像再生装置、画像再生方法、画像再生プログラム及び撮像装置
JP4849988B2 (ja) * 2006-07-31 2012-01-11 三洋電機株式会社 撮像装置及び出力画像生成方法
JP4655054B2 (ja) * 2007-02-26 2011-03-23 富士フイルム株式会社 撮像装置
JP4453721B2 (ja) * 2007-06-13 2010-04-21 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP4692550B2 (ja) * 2008-01-21 2011-06-01 ソニー株式会社 画像処理装置、その処理方法およびプログラム
US8711265B2 (en) * 2008-04-24 2014-04-29 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, and storage medium
JP5223644B2 (ja) * 2008-12-15 2013-06-26 パナソニック株式会社 撮像装置
JP2013034167A (ja) * 2011-06-28 2013-02-14 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR101811717B1 (ko) * 2011-11-14 2018-01-25 삼성전자주식회사 줌 제어 방법 및 장치와, 디지털 촬영 장치
GB2499200B (en) * 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
KR102084582B1 (ko) * 2012-02-24 2020-03-04 삼성전자 주식회사 화면에 표시된 개체의 크기 조정 방법 및 장치
JP5450739B2 (ja) * 2012-08-30 2014-03-26 シャープ株式会社 画像処理装置及び画像表示装置
JP6525760B2 (ja) * 2015-06-19 2019-06-05 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
EP3291533A1 (en) * 2016-09-06 2018-03-07 LG Electronics Inc. Terminal and controlling method thereof
CN108184048B (zh) * 2016-12-08 2020-06-23 株式会社摩如富 图像处理装置以及方法
US10521948B2 (en) * 2017-05-16 2019-12-31 Apple Inc. Emoji recording and sending
JP6602361B2 (ja) * 2017-10-16 2019-11-06 キヤノン株式会社 電子機器及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205345A (ja) 2010-03-25 2011-10-13 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
JP2011234234A (ja) 2010-04-28 2011-11-17 Olympus Imaging Corp 撮像装置
WO2015040963A1 (ja) 2013-09-17 2015-03-26 ソニー株式会社 レンズ制御装置、撮像装置、情報処理装置、撮像システムおよび方法とコンピュータ読み取り可能な貯蔵媒体

Also Published As

Publication number Publication date
JP2019129420A (ja) 2019-08-01
US20190230296A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
US9959649B2 (en) Image compositing device and image compositing method
JP5239625B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5197777B2 (ja) インターフェイス装置、方法、およびプログラム
US20070071319A1 (en) Method, apparatus, and program for dividing images
EP3506167B1 (en) Processing method and mobile device
JPH0855232A (ja) 窓を用いてデジタル画像の配置された区域に機能を適用する方法及び装置
KR20210027283A (ko) 얼굴 이미지 처리 방법 및 장치, 이미징 기기 및 저장 매체
US20190297271A1 (en) Virtual makeup device, and virtual makeup method
US9880721B2 (en) Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method
JP7040043B2 (ja) 写真処理装置、写真データの生産方法および写真処理プログラム
JP4957607B2 (ja) 画像における顔領域の検出
JP2017117373A (ja) 操作装置とその制御方法、及びプログラム
CN112840379A (zh) 信息处理装置、信息处理方法及程序
US20150277728A1 (en) Method and system for automatically selecting parameters of interface objects via input devices
CN113810588A (zh) 一种图像合成方法、终端及存储介质
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
CN110852932B (zh) 图像处理方法及装置、图像设备及存储介质
JP5484038B2 (ja) 画像処理装置およびその制御方法
JP2009237857A (ja) 画像における顔の器官の画像に対応する器官領域の設定
CN112804451B (zh) 利用多个摄像头进行拍照的方法和系统以及移动装置
JP7381053B2 (ja) 画像信号処理装置及び処理方法
JP2024032041A (ja) 検出方法、検出装置及びプログラム
JP2024032043A (ja) 検出方法、検出装置及びプログラム
KR20160014414A (ko) 카메라를 구비한 휴대용 디바이스 및 이의 제어방법
EP2237564A1 (en) Display method for determining attribute of image to be projected, according to user's manipulation on image projection screen, and display apparatus using the same

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181121

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210922

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R150 Certificate of patent or registration of utility model

Ref document number: 7040043

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150