JP6231702B2 - ビデオ増進された写真ブラウジングのための装置、方法、及びコンピュータ・プログラム製品 - Google Patents

ビデオ増進された写真ブラウジングのための装置、方法、及びコンピュータ・プログラム製品 Download PDF

Info

Publication number
JP6231702B2
JP6231702B2 JP2016564044A JP2016564044A JP6231702B2 JP 6231702 B2 JP6231702 B2 JP 6231702B2 JP 2016564044 A JP2016564044 A JP 2016564044A JP 2016564044 A JP2016564044 A JP 2016564044A JP 6231702 B2 JP6231702 B2 JP 6231702B2
Authority
JP
Japan
Prior art keywords
video
prerecorded
display
still image
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016564044A
Other languages
English (en)
Other versions
JP2017520819A (ja
Inventor
イーンフェイ リウ
イーンフェイ リウ
Original Assignee
ノキア テクノロジーズ オサケユイチア
ノキア テクノロジーズ オサケユイチア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オサケユイチア, ノキア テクノロジーズ オサケユイチア filed Critical ノキア テクノロジーズ オサケユイチア
Publication of JP2017520819A publication Critical patent/JP2017520819A/ja
Application granted granted Critical
Publication of JP6231702B2 publication Critical patent/JP6231702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/748Hypervideo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7328Query by example, e.g. a complete video frame or video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers

Description

本発明の代表的実施形態は概略的に、ユーザ・デバイスにて写真の如き画像を視認しているときにユーザの体験を増進するためのメカニズムに関する。
モバイル機器の急増により、ユーザは、自身の周りの人々および場所の更に多くのデジタル画像を記録している。これらのデジタル画像は、ユーザが自身のユーザ・デバイスを介してアクセス可能であり得る。結果として、ユーザは、先に記録された画像をブラウズして、使用される特定の画像を見出し、シェアする画像を選択し、または、単に回想するために、相当量の時間を費やすことがある。
従って、ユーザのフォトギャラリーにおける複数の静止画像を調べるときの如く、ユーザのユーザ・デバイス上で先に記録された複数の画像をブラウズするときに、ユーザが更に十分で更に満足する体験を得ることを許容するツールを提供することは好適であり得る。この点に関し、本明細書中に記述される本発明の各実施形態は、視認されつつある静止画像に対して関連付けられた短い関心対象ビデオクリップであって、ブラウズされたシーンに関する更なる情報もしくは状況を表示するというビデオクリップを提供する。
故に、少なくとも一つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも一つのメモリと、を含む装置が提供され得る。上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは、上記少なくとも一つのプロセッサとともに、当該装置に、少なくとも、ディスプレイ上における事前記録静止画像の表示であって、該事前記録静止画像は事前記録ビデオに対して関連付けられているという表示を引き起こさせる様に構成され得る。上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、当該装置に、第一ユーザ入力の受信時に、上記ディスプレイ上における上記事前記録静止画像のズームイン部分の表示を引き起こさせ、且つ、上記事前記録静止画像の上記ズームイン部分を介した第二ユーザ入力の受信時に、上記事前記録静止画像の上記ズームイン部分に対して関連付けられた関心対象ビデオクリップの表示であって、上記関心対象ビデオクリップは事象が生じた上記事前記録ビデオの部分であるという表示を引き起こさせる、ように構成され得る。
幾つかの場合、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、当該装置に、上記事前記録静止画像の上記ズームイン部分が、第一の関心対象ビデオクリップに対して且つ第二の関心対象ビデオクリップに対して関連付けられるという場合には、上記第一の関心対象ビデオクリップおよび上記第二の関心対象ビデオクリップの表示を引き起こさせる、ように構成され得る。表示された上記事前記録静止画像のズームイン部分が、該事前記録静止画像の全体的捕捉済み領域に対応する場合、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、上記事前記録ビデオの表示を引き起こさせるように構成され得る。
上記関心対象ビデオクリップは、上記事前記録ビデオの全体的捕捉済み領域の一部を備えて成り得る。付加的もしくは代替的に、上記関心対象ビデオクリップは、上記事前記録ビデオの全体的持続時間の一部を備えて成り得る。
幾つかの実施形態において、上記事象は、上記事前記録ビデオ中で所定判断基準を満足する検出済み動作を備えて成り得る。上記所定判断基準はユーザにより設定可能であり得る。上記事前記録ビデオは、上記事前記録静止画像の捕捉に先立ち自動的に捕捉され得る。幾つかの場合、上記第二ユーザ入力は二重タップ動作を備えて成り得る。
他の実施形態においては、ディスプレイ上における事前記録静止画像の表示であって、該事前記録静止画像は事前記録ビデオに対して関連付けられているという表示を引き起こし、第一ユーザ入力の受信時に、上記ディスプレイ上における上記事前記録静止画像のズームイン部分の表示を引き起こし、且つ、上記事前記録静止画像の上記ズームイン部分を介した第二ユーザ入力の受信時に、上記事前記録静止画像の上記ズームイン部分に対して関連付けられた関心対象ビデオクリップの表示であって、上記関心対象ビデオクリップは事象が生じた上記事前記録ビデオの部分であるという表示を引き起こす、方法およびコンピュータ・プログラム製品が記述される。
幾つかの場合、上記関心対象ビデオクリップの表示を引き起こす上記段階は、上記事前記録静止画像の上記ズームイン部分が、第一の関心対象ビデオクリップに対して且つ第二の関心対象ビデオクリップに対して関連付けられるという場合には、上記第一の関心対象ビデオクリップおよび上記第二の関心対象ビデオクリップの表示を引き起こす段階を備えて成り得る。更に、表示された上記事前記録静止画像のズームイン部分が、該事前記録静止画像の全体的捕捉済み領域に対応する場合、上記関心対象ビデオクリップの表示を引き起こす上記段階は、上記事前記録ビデオの表示を引き起こす段階を備えて成り得る。上記関心対象ビデオクリップは、上記事前記録ビデオの全体的捕捉済み領域の一部を備えて成り得、且つ/又は、上記関心対象ビデオクリップは、上記事前記録ビデオの全体的持続時間の一部を備えて成り得る。
幾つかの場合、上記事象は、上記事前記録ビデオ中で所定判断基準を満足する検出済み動作を備えて成り得る。上記所定判断基準はユーザにより設定可能であり得る。更に、上記事前記録ビデオは、上記事前記録静止画像の捕捉に先立ち自動的に捕捉され得る。幾つかの場合、上記第二ユーザ入力は二重タップ動作を備えて成り得る。
他の実施形態においては、コンピュータ実行可能プログラム・コード部分を自身内に記憶した少なくとも一つの持続的なコンピュータ可読記憶媒体を備えて成る、コンピュータ・プログラム製品が提供される。上記コンピュータ実行可能プログラム・コード部分は、装置に、上述された各段階の内のいずれかの段階に従い方法を実施させるプログラム・コード命令を備えて成り得る。
更なる他の実施形態においては、上述された各段階の内のいずれかの段階に従い方法を実施する手段を備えて成る装置が提供される。
更なる他の実施形態においては、関心対象ビデオクリップを表示する装置が提供される。該装置は、ディスプレイ上における事前記録静止画像の表示であって、該事前記録静止画像は事前記録ビデオに対して関連付けられているという表示を引き起こす手段と、第一ユーザ入力の受信時に、上記ディスプレイ上における上記事前記録静止画像のズームイン部分の表示を引き起こす手段と、上記事前記録静止画像の上記ズームイン部分を介した第二ユーザ入力の受信時に、上記事前記録静止画像の上記ズームイン部分に対して関連付けられた関心対象ビデオクリップの表示であって、上記関心対象ビデオクリップは事象が生じた上記事前記録ビデオの部分であるという表示を引き起こす手段と、を含み得る。
このように、本発明の代表的実施形態を包括的な語句で記述してきたが、次に、必ずしも縮尺通りではない添付図面に対して参照が為される。
図1は、視認されつつある静止画像のズームイン部分に対して関連付けられたビデオクリップの表示を引き起こす本発明の代表的実施形態に係るユーザ・デバイスの概略的ブロック図である。 図2は、静止画像のズームイン部分に対して関連付けられたビデオクリップの表示を引き起こす本発明の代表的実施形態に係る装置の概略的ブロック図である。 図3は、ユーザによるブラウジングのために事前記録静止画像を自身のディスプレイ上に表示する本発明の代表的実施形態に係るユーザ・デバイスを示す図である。 図4は、関連付けられた事前記録ビデオと、描かれた3個の検証可能領域に対応する3個の関心対象ビデオクリップと、を備えた事前記録静止画像を自身のディスプレイ上に表示している本発明の代表的実施形態に係る図3のユーザ・デバイスを示す図である。 図5は、本発明の代表的実施形態に係る図4のユーザ・デバイス上に表示された画像のズームイン部分を示す図である。 図6は、本発明の代表的実施形態に従い、包囲された検証可能領域に対して関連付けられたビデオクリップを決定するために、図4のオリジナル画像に関して図5のズームイン部分内に表示されつつある領域を決定する方法を示す図である。 図7は、本発明の別実施形態に係る、図4のユーザ・デバイス上に表示された画像のズームイン部分の別の例を示す図である。 図8は、本発明の代表的実施形態に従い、包囲された検証可能領域に対して関連付けられたビデオクリップを決定するために、図4のオリジナル画像に関して図7のズームイン部分内に表示されつつある領域を決定する方法を示す図である。 図9は、本発明の代表的実施形態に係る、静止画像のズームイン部分に対して関連付けられたビデオクリップの表示を引き起こす方法のフローチャートである。
次に、以下においては、発明の全てではないが幾つかの実施形態が示される添付図面を参照して本発明の幾つかの代表的実施形態が更に十分に記述される。実際、本発明の種々の実施形態は、多くの異なる形態で具現され得ると共に、本明細書中に示された実施形態に限定されると解釈されるべきでなく、寧ろ、これらの実施形態は、本開示内容が、該当する法的要件を満足するために提供される。全体に亙り、同様の番号は同様の要素を指している。本明細書中で用いられる如く、“データ”、“コンテンツ”、“情報”という語句、および、同様の語句は、本発明の実施形態に従って送信、受信および/または記憶され得るデータを指すべく互換的に使用され得る。故に、一切の斯かる語句の使用は、本発明の実施形態の精神および有効範囲を制限すると解釈されるべきでない。
付加的に、本明細書中で用いられる如く、“回路機構”という語句は、(a)(たとえば、アナログ回路機構および/またはデジタル回路機構での実施形態などの)ハードウェアのみの回路実施形態、(b)本明細書中に記述された一つ以上の機能を装置に実施させるべく協働して作用する一つ以上のコンピュータ可読メモリ上に記憶されたソフトウェアおよび/またはファームウェア命令を備えて成る回路およびコンピュータ・プログラム製品の組み合わせ、および、(c)たとえば、ソフトウェアまたはファームウェアが物理的に存在しないとしても、動作のために該ソフトウェアまたはファームウェアを必要とする単一もしくは複数のマイクロプロセッサ、または、単一もしくは複数のマイクロプロセッサの一部などの如き回路、を指している。“回路機構”のこの定義は、一切の請求項におけるものを含め、本明細書中におけるこの語句の全ての使用箇所に適用される。更なる例として、本明細書中で用いられる如く、“回路機構”という語句はまた、一つ以上のプロセッサおよび/またはその一部、および、付随するソフトウェアおよび/またはファームウェアを備えて成る実施形態も包含する。別の例として、本明細書中で用いられる如き“回路機構”という語句は、たとえば、携帯電話のためのベースバンド集積回路もしくはアプリケーション・プロセッサ集積回路、または、サーバ内の同様の集積回路、セル式ネットワーク・デバイス、他のネットワーク・デバイス、及び/又は、他の演算デバイスも包含している。
本明細書中で用いられる如く、(たとえば、揮発性もしくは不揮発性のメモリ・デバイスなどの)物理的記憶媒体を指す“コンピュータ可読記憶媒体”は、電磁的信号を指す“コンピュータ可読送信媒体”から区別され得る。
組込式のカメラおよびビデオレコーダを備えるスマートフォンの如き、画像を捕捉するデバイスが更に普及するにつれ、ユーザは、更に多くの画像を捕捉すると共に、他のユーザにより捕捉された画像を、テキスト・メッセージ送信、電子メール、ソーシャル・ネットワーク的なウェブ・サイトなどを介するなどして受信するようになる。一方、ユーザはまた、既に捕捉されて記憶された画像に対して視認のためにアクセスすべく、更に多くの時間も費やしている。ユーザは、使用もしくはシェアするために特定の画像を検索すべく、または、単に特定の対象者もしくは事象を思い出して時を過ごすために、(たとえば写真などの)静止画像の如き多数の事前記録された画像を閲覧するために相当量の時間を費やし得る。
写真の如き静止画像は、時的な瞬間を捕捉し、それは静的である。その画像からユーザが獲得し得る唯一の情報は、捕捉済み画像中の人々が、その画像が記録された瞬間において如何様に見えたかということ(人々が何をしていたか、人々が何を着ていたか、人々の顔の表情など)である。その画像が捕捉された瞬間に至るまでに経過した数秒は、その静止画像中には表現されない。しかし、多くの場合、写真を撮るために参加者を微笑ませるべく愉快な言葉が話され、または、参加者が“フィルムに”収められる寸前であることを理解したときに意外な動作もしくは身振りが為されるのは、静止画像が捕捉される数秒前である。
静止画像内には(たとえば、写真が撮られつつある人々、または、動物などの)種々の参加者が在り得るので、各参加者は、異なる時点において斯かる注目すべきもしくは興味深い動作を行うことがある。更に、各参加者は、異なる物理的スペースを占有していることから、捕捉済み画像内において、2次元画像の異なる領域に表現される。
従って、本明細書中に記述される本発明の実施形態は、静止画像の捕捉の直前に撮られた(たとえば該静止画像中に捕捉されたのと同一のシーンを記録する)ビデオ録画物の内容を解析するメカニズムであって、該ビデオ録画物の持続時間を通して上記シーンの一つ以上の領域にて生ずる動作に基づいて一つ以上の関心対象ビデオクリップを決定するというメカニズムを提供する。故に、各ビデオクリップは、事前記録ビデオよりも短い持続時間を有し得ると共に、捕捉されたシーンの単一もしくは複数の特定領域(たとえば、上記シーンにおける複数の参加者の内のひとり)に焦点を合わせ得る。本発明の実施形態は、当該事前記録ビデオから各ビデオクリップが導出されるという事前記録ビデオに対して関連付けられた静止画像をユーザがブラウジングしているときに、ビデオクリップに対して関連付けられた領域(たとえば、事前記録静止画像のズームイン部分など)におけるユーザ入力の受信時に、そのビデオクリップの表示が引き起こされる如く、各ビデオクリップを、包含された特定領域に対して関連付け得る。この様にして、ユーザは、ブラウジングされつつある静止画像に関する付加的な複数の瞬間が明らかとされることにより、更に豊かな画像視認体験と該静止画像の状況の更に完全な理解とを獲得し得る。
次に、一つの代表的実施形態を提供する図1に移ると、本発明の実施形態から利益を得るであろうユーザ・デバイス50のブロック図が示される。ユーザ・デバイス50は、カメラもしくは他のメディア捕捉要素38であり、それを含み、もしくは、それと通信する任意のデバイス、または、事前捕捉された静止画像もしくはビデオが該ユーザ・デバイス50のディスプレイ68上などで視認されることを許容すべく構成された任意のデバイスであり得る。但し、図示され且つ本明細書で以下において記述されるユーザ・デバイス50は、本発明の実施形態から利益を獲得し得る一つの形式のデバイスを例証するにすぎないことから、本発明の実施形態の有効範囲を制限すると解釈されるべきでないことを理解すべきである。たとえば、幾つかの実施形態において、ユーザ・デバイス50は、携帯型情報端末(PDA)、スマートフォン、ページャ、携帯テレビ、ゲーム用デバイス、ラップトップ・コンピュータ、タブレット・コンピュータ、タッチ表面、ウェアラブル・デバイス、ビデオレコーダ、ビデオプレーヤ、ビデオビューワ、もしくは、上述のものの任意の組合せ、および、他の形式の音声およびテキスト通信システムであり得る。
再び図1を参照すると、ユーザ・デバイス50は、該ユーザ・デバイス50の一つ以上の構成要素の機能を制御するプロセッサ60または他の処理デバイスを含み得る。幾つかの実施形態において、プロセッサ60は、ユーザ・デバイス50の音響および論理の機能を実施するに適した回路機構を含み得る。たとえば、プロセッサ60は、デジタル信号プロセッサ・デバイス、マイクロプロセッサ・デバイス、および、種々のアナログ/デジタル変換器、デジタル/アナログ変換器、および、他の支援回路により構成され得る。ユーザ・デバイス50の制御および信号処理の各機能は、これらのデバイスの夫々の機能に従い、それらの間に割当てられる。プロセッサ60は、メモリ内に記憶され得る一つ以上のソフトウェア・プログラムを動作させる機能性を含み得る。
ユーザ・デバイス50はまた、習用のイヤフォンもしくはスピーカ54、マイクロフォン56、ディスプレイ68の如き出力デバイス、および、ユーザ入力インタフェースを含むユーザ・インタフェースも備えて成り得、その全てはプロセッサ60に対して連結される。ユーザ・デバイス50がデータを受信することを許容する上記ユーザ入力インタフェースとしては、キー・パッド、タッチスクリーン・ディスプレイ(ディスプレイ68は斯かるタッチスクリーン・ディスプレイの一例を提供する)、または、他の入力デバイスの如く、ユーザ・デバイス50がデータを受信することを許容する多数のデバイスの内の任意のものが挙げられる。キー・パッドを含む実施形態において、該キー・パッドは、習用の数値(0〜9)および関連キー(#、*)、ならびに、ユーザ・デバイス50を操作すべく使用される他のハードおよびソフトキーを含み得る。代替的または付加的に、上記キー・パッドは、習用のQWERTYキー・パッド配置を含み得る。上記キー・パッドはまた、関連機能を有する種々のソフトキーも含み得る。付加的もしくは代替的に、ユーザ・デバイス50は、ジョイスティックの如きインタフェース・デバイス、または、他のユーザ入力インタフェースを含み得る。ユーザ・デバイス50は更に、該ユーザ・デバイス50を動作させるために必要とされる種々の回路に給電するための振動バッテリ・パックの如きバッテリ80を含み得る。
ユーザ・デバイス50は更に、データの一時的記憶のためのキャッシュ領域を含む揮発性のランダム・アクセス・メモリ(RAM)の如き揮発性メモリ40を含み得る。ユーザ・デバイス50は他の不揮発性メモリ42も含み得、これは、内蔵され得、且つ/又は、取り外し可能とされ得る。各メモリは、ユーザ・デバイス50により使用されて該ユーザ・デバイス50の機能を実現する任意数の情報およびデータの一切を記憶し得る。更に、各メモリは、ユーザ・デバイス50、または、該ユーザ・デバイスに対してアクセス可能であるかまたはそれと通信する(たとえば、カメラ、または、他のユーザのユーザ・デバイスなどの)デバイスにより捕捉された静止画像およびビデオ録画物などの、一つ以上の捕捉済み画像を記憶し得る。
図1は、関連する複数の静止画像をユーザが視認している間にユーザに対して関心対象ビデオクリップを表示すべく構成されたユーザ・デバイス50の構成の一例を示しているが、本発明の実施形態を実現するために他の多くの構成も使用され得ることも銘記されたい。その故に、幾つかの実施形態においては、各デバイスまたは各要素は相互に通信しているものとして示されるが、本明細書で以下において、斯かるデバイスまたは要素は、同一のデバイスもしくは要素内で具現され得ると見做されるべきであることから、通信すると示されたデバイスもしくは要素は、代替的に、同一のデバイスもしくは要素の一部であると理解されるべきである。
図2を参照すると、ユーザに対して関心対象ビデオクリップの表示を引き起こす装置100が示される。該装置100は、幾つかの実施形態において、図1のユーザ・デバイス50により具現され得る。装置100は、(図1のユーザ・デバイス50のプロセッサ60の如き)プロセッサ70、ユーザ・インタフェース送受信機72、通信インタフェース74、および、メモリ・デバイス76を含み、または、それらと通信し得る。幾つかの実施形態において、プロセッサ70(および/または、該プロセッサ70を支援し、または、それに対して別様に関連付けられたコプロセッサ、もしくは、他の任意の処理回路機構)は、装置100の各構成要素間で情報を受け渡すバスを介し、メモリ・デバイス76と通信し得る。該メモリ・デバイス76は、たとえば、一つ以上の揮発性および/または不揮発性のメモリを含み得る。換言すると、たとえば、メモリ・デバイス76は、(たとえば、プロセッサ70などの演算デバイスなどの)マシンにより読出し可能であり得る(たとえばビットなどの)データを記憶すべく構成された複数のゲートを備えて成る(たとえばコンピュータ可読記憶媒体などの)電子的記憶デバイスであり得る。メモリ・デバイス76は、上記装置が本発明の代表的実施形態に従う種々の機能を実施することを可能とする情報、データ、コンテンツ、アプリケーション、命令などを記憶すべく構成され得る。たとえば、メモリ・デバイス76は、プロセッサ70による処理ために、入力データをバファリングすべく構成され得る。付加的もしくは代替的に、メモリ・デバイス76は、プロセッサ70による実行のための命令、ならびに、画像捕捉デバイスにより捕捉された(たとえば、静止画像およびビデオ画像などの)画像、および/または、各画像の表示に対する変更もしくは改変であって、本明細書中に記述される本発明の実施形態に従い装置100により決定され、且つ/又は、ユーザにより提供された変更もしくは改変(たとえば、切り取り、ズーミング、パンニング、回転、および/または、他の画像改変)を記憶すべく構成され得る。
装置100は、幾つかの実施形態において、(たとえばスマートフォンなどの)画像捕捉機能を備えた(図1のユーザ・デバイスの如き)ユーザ・デバイス50、画像捕捉デバイス、または、本発明の代表的実施形態を採用すべく構成された固定式の通信デバイスもしくはコンピュータ・デバイスであり得る。但し、幾つかの実施形態において、装置100はチップまたはチップ群として具現され得る。換言すると、装置100は、(たとえば基板などの)構造的アセンブリ上の機器、構成要素および/または配線を含む(たとえばチップなどの)一つ以上の物理的パッケージを備えて成り得る。上記構造的アセンブリは、自身上に含まれた構成要素回路機構に対し、物理的強度、サイズの節約、および/または、電気的相互作用の制限を提供し得る。故に装置100は、幾つかの場合、単一チップ上で、または、単一の“チップ上システム”として、本発明の実施形態を実現すべく構成され得る。その故に、幾つかの場合、本明細書中に記述される機能性を提供する一つ以上の動作を実施する手段を、一つのチップまたはチップセットが構成し得る。
プロセッサ70は、多くの異なる様式で具現され得る。たとえば、プロセッサ70は、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ(DSP)、付随するDSPありまたはなしでの処理要素の如き、種々のハードウェア処理手段の内の一つ以上として、または、たとえば、ASIC(特定用途集積回路)、FPGA(フィールド・プログラマブル・ゲート・アレイ)、マイクロコントローラ・ユニット(MCU)、ハードウェア・アクセラレータ、専用コンピュータチップなどの如き、集積回路を含む他の処理回路機構、の内の一つ以上として、具現され得る。その故に、幾つかの実施形態において、プロセッサ70は、独立的に機能すべく構成された一つ以上の処理コアを含み得る。マルチコア・プロセッサは、単一の物理的パッケージ内における多重処理を可能とし得る。付加的もしくは代替的に、プロセッサ70は、バスを介して協働することで命令の独立的な実行、パイプライニング、および/または、マルチスレッディングを可能とすべく構成された一つ以上のプロセッサを含み得る。
代表的実施形態において、プロセッサ70は、メモリ76内に記憶された命令、または、別様に該プロセッサ70に対してアクセス可能な命令を実行すべく構成され得る。代替的または付加的に、プロセッサ70は、ハードコーディングされた機能性を実行すべく構成され得る。その故に、ハードウェアもしくはソフトウェア方法により構成されるか、または、それらの組み合わせにより構成されるかに関わらず、プロセッサ70は、相応に構成され乍ら本発明の実施形態に従う動作を実施し得る(たとえば、回路機構において物理的に具現された)構成体を表し得る。故に、たとえば、プロセッサ70がASIC、FPGAなどとして具現されたとき、該プロセッサ70は、本明細書中に記述された動作を行うべく特に構成されたハードウェアであり得る。代替的に、別の例として、プロセッサ70がソフトウェア命令の実行体として具現されたとき、該命令は詳細には、該命令が実行されたときに本明細書中に記述されたアルゴリズムおよび/または動作を実施すべくプロセッサ70を構成し得る。但し、幾つかの場合、プロセッサ70は、本明細書中に記述されたアルゴリズムおよび/または動作を実施すべく命令により当該プロセッサを更に構成することにより、本発明の実施形態を採用すべく構成された(たとえば、移動端末もしくはネットワーク・デバイスなどの)特定デバイスのプロセッサであり得る。プロセッサ70は、とりわけ、クロック、演算論理ユニット(ALU)、および、該プロセッサ70の動作をサポートすべく構成された論理ゲートを含み得る。
一方、通信インタフェース74は、ハードウェアまたはハードウェアとソフトウェアとの組み合わせにおいて具現されたデバイスまたは回路機構であって、装置100と通信するネットワークおよび/または他のデバイスまたはモジュールからデータを受信し、且つ/又は、それらに対してデータを送信すべく構成されたというデバイスまたは回路機構の如き、任意の手段であり得る。この点に関し、通信インタフェース74は、たとえば、一つのアンテナ(または複数のアンテナ)と、無線通信ネットワークによる通信を可能とする支援ハードウェアおよび/またはソフトウェアと、を含み得る。付加的もしくは代替的に、通信インタフェース74は、上記単一もしくは複数のアンテナと相互作用する回路機構であって、単一もしくは複数のアンテナを介して信号の送信を引き起こし、または、単一もしくは複数のアンテナを介して受信された信号の受け取りを取り扱うという回路機構を含み得る。一定の環境において、通信インタフェース74は付加的にまたは同様に、有線通信をサポートし得る。その故に、たとえば、通信インタフェース74は、ケーブル、デジタル加入者回線(DSL)、汎用シリアルバス(USB)、または、他の機構を介した通信をサポートする通信モデムおよび/または他のハードウェア/ソフトウェアを含み得る。
ユーザ・インタフェース送受信機72はプロセッサ70と通信することで、ユーザ入力の表示を受信し、且つ/又は、ユーザに対する聴覚的、視覚的、機械的もしくは別様な出力の提供を引き起こし得る。その故に、ユーザ・インタフェース送受信機72としては、たとえば、キーボード、マウス、ジョイスティック、ディスプレイ、単一もしくは複数のタッチスクリーン、タッチ領域、ソフトキー、マイクロフォン、スピーカ、または、他の入力/出力機構が挙げられる。たとえば、ユーザ・インタフェース送受信機72は、先に捕捉されたスチル写真およびビデオ画像の如き画像をユーザによる視認のために表示すべく構成された(図1のタッチスクリーン・ディスプレイ68の如き)タッチスクリーン・ディスプレイを含み、または、それと通信し得る。異なる例の場合、タッチスクリーン・ディスプレイ68は、2次元(2D)または3次元(3D)のディスプレイであり得る。タッチスクリーン・ディスプレイ68は、任意の既知のタッチスクリーン・ディスプレイとして具現され得る。故に、たとえば、タッチスクリーン・ディスプレイ68は、抵抗的、容量的、赤外線、歪ゲージ、表面波、光学的結像、散乱信号技術、音響パルス認識、および/または、他の技術の如き、任意の適切な技術によりタッチ認識を可能とすべく構成され得る。ユーザ・インタフェース送受信機72は、タッチスクリーン・ディスプレイ68と通信することで、該タッチスクリーン・ディスプレイ68におけるユーザ入力の表現物を受信し、且つ、該表現物に応じて推定もしくは別様に決定され得るユーザの対応動作に基づき、斯かる表現物に対する応答を改変し得る。
この点に関し、タッチスクリーン・ディスプレイ68におけるタッチまたは近接事象の結果として、ユーザ入力の種々の表現物が受信され得る。たとえば、タッチ事象に関しては、タッチスクリーン・ディスプレイ68に対する接触に起因して付与された力の量を表す力表現物が受信され得る。代替的または付加的に、接触の箇所を記述する(たとえば、x−、y−座標などの)位置表現物が受信され得る。
ユーザ・インタフェース送受信機72は、タッチ事象が、多数の可能的な身振りの内のいずれかとして分類され得る如く、タッチ事象の対応分類を認識および/または決定すべく構成され得る。認識可能な身振りの幾つかの例としては、タッチ、マルチタッチ、ストローク、キャラクタ、シンボル、形状、ピンチ事象(たとえば、ピンチインまたはピンチアウト)が挙げられる。
タッチとは、(タッチスクリーン・ディスプレイ68の表面上における最小限度の動きありで、または、なしで)単一領域を衝撃してから離脱されるタッチ事象として定義され得る。その故に、タッチ入力は、(たとえば、タッチ表面68と接触する箇所などの)接触成分と、(たとえば、該タッチ入力を付与する上でユーザにより及ぼされた力であって、ディスプレイ68における力センサにより測定された如きであるという力の量などの)力成分と、(たとえば、タッチ表面68に対して最初の接触が為された時点から、接触が排除されてタッチ入力が終了するまでの時間の長さなどの)持続時間と、を含み得る。タッチ入力の例は、(たとえば、タッチスクリーン・ディスプレイ68に対し、1秒未満の如き短時間に亙り圧力を付与する単一のタッチ入力などの)タップ動作であり得る。
マルチタッチは、同時的に(または、ほぼ同時的に)感知された複数のタッチ事象として定義され得る。たとえば、上記タッチ入力は、(たとえば、上記タッチスクリーン・ディスプレイに対して各々が1秒未満の如き短時間に亙り圧力を付与するという二つのタッチ入力の迅速な連続物などの)二重タップ動作であり得る。ストロークは、タッチ事象を開始した物体がタッチスクリーン・ディスプレイ68と接触し乍ら、該物体の運動により直ちに追随されるというタッチ事象として定義され得る。換言すると、ストロークは、タッチ事象に追随することにより(たとえば、ドラッグ動作として、または、フリック動作として)移動する一連の瞬間的なタッチ位置を画成する連続的な移動タッチ事象を形成するという運動により定義され得る。複数のストロークおよび/またはタッチは、キャラクタまたはシンボルを画成する特定の形状、または、一連の形状を画成すべく使用され得る。
ピンチ事象は、ピンチアウトまたはピンチインのいずれかとして分類され得る。ピンチは、当該マルチタッチを引き起こしている各タッチ事象は離間されるという、マルチタッチとして定義され得る。少なくとも2つの物体を包含するマルチタッチ事象の最初の発生の後、各物体の一つ以上が、実質的に相互に向けて移動して、ピンチ(ピンチイン)を擬態し得る。一方、ピンチアウトは、当該マルチタッチを引き起こしている各タッチ事象が相互に比較的に接近しており、当該マルチタッチを開始した各物体の相互からの実質的な離間移動により追随されるという、マルチタッチとして定義され得る。幾つかの場合、ピンチアウト上の各物体は、最初は、マルチタッチではない単一タッチであって、その後に、相互から離間する二つの物体の移動により改変されるという単一タッチとして解釈され得る様に接近され得る。幾つかの実施形態において、ピンチイン動作は、ディスプレイ上に表示されつつある画像のズームアウトに帰着し得るが、ピンチアウト動作は、画像のズームインに帰着し得る。
代替的または付加的に、プロセッサ70は、たとえば、スピーカ、マイクロフォン、ディスプレイ、および/または、類似物などの如き一種類以上のユーザ・インタフェース要素の少なくとも幾つかの機能を制御すべく構成されたユーザ・インタフェース回路機構を備えて成り得る。プロセッサ70、および/または、該プロセッサ70を構成するユーザ・インタフェース回路機構は、プロセッサ70に対してアクセス可能な(たとえば、メモリ・デバイス76、および/または、類似物などの)メモリに記憶された(たとえば、ソフトウェアおよび/またはファームウェアなどの)コンピュータ・プログラム命令により一つ以上のユーザ・インタフェース要素の一つ以上の機能を制御すべく構成され得る。
次に、各図を参照して本発明の実施形態が記述される。上述の如く、図1に示されたユーザ・デバイス50の如きユーザ・デバイス50は、図3に示された如く、ユーザによる視認のために画像10を表示すべく構成され得る。画像10は、静止画像またはビデオ画像であり得る。ビデオ画像の場合、画像10の視覚的特性は、たとえば、上記ユーザ・デバイスの一つ以上のスピーカを介して、ユーザに対して表示されたビデオ録画物の音響的特性により付随され得ると共に、該ビデオ画像は、(たとえば10秒などの)一定の持続時間を有し得る。
画像10は、ユーザ・デバイス50のディスプレイ68上に表示され得ると共に、該ディスプレイは、上記画像が当該面積の全体に亙り視認可能であるという一定の最大面積であって、典型的にはディスプレイ画面の面積に対応するという最大面積を有し得る。ユーザが画像10を視認しているとき、該ユーザは、ディスプレイ68の面積(たとえば、該面積は、上記ディスプレイの幅wと高さhとの積に等しい)の全体に亙り、上記画像をその全体にて視認することを選択し得る。しかし、幾つかの場合、ユーザは、画像10の特定部分を相当に詳細に見ることを望み得ると共に、ピンチアウト動作の如きタッチ入力をディスプレイ68に対して付与し、上記画像の一部をズームインすることがある。斯かる動作の結果として、ディスプレイ68の面積w×hは、画像10全体よりも小さい該画像の一部を表示し得、但し、その部分は、更に大きな縦横比にて表示され得る(ズームイン)。
この点に関し、画像10は、該画像の全体的領域内で、ユーザに対して関心対象となり得る所定数の検証可能領域(viewable area)20を含み得る。各検証可能領域20は、全体の画像10の一部分であって、(たとえば、参加者の顔面などの)特定の参加者、画像内で捕捉された一定の動作(たとえば、笑っている、または、拍手している参加者)を示しているという部分、または、(たとえば、画像の背景などよりも関心が高い)ユーザに対して特に関心対象となり得る画像の他の部分であり得る。
画像10を視認しているユーザは、幾つかの場合、上記画像内に表示されている状況に関する更なる情報を獲得することを望み得る。たとえば、ユーザは、参加者の内のひとりが、画像10により捕捉された時点において非常に高らかに笑っていることを認識し得ると共に、該ユーザは、上記画像が捕捉される数秒前に、斯かる笑いを促進し得る何が起きたのかを知りたがることがある。
故に、以下に記述される本発明の実施形態は、静止画像の捕捉の数秒前の如く、静止画像が捕捉される時点にてビデオ録画物を捕捉することにより、増進された画像ブラウジング体験をユーザに対して提供すべく構成される。更に、画像10内に表示されたシーン全体の単一のビデオ録画物を示すのではなく、本発明の実施形態は、上記ビデオ録画物を解析し、且つ、該ビデオ録画物の複数の部分のビデオクリップであって、そのときに、画像10の幾つかの検証可能領域20に対して関連付けられたというビデオクリップを生成すべく構成される。この様にして、特定の検証可能領域20に関してユーザにより提供されたユーザ入力によれば、その特定の検証可能領域に対して関連付けられたビデオクリップの表示が促進されることで、上記画像の他の種々の部分であって、ユーザがそれほど関心を有さないという部分に関する情報を含む更に長いビデオ録画物を視認することをユーザに強いるのではなく、ユーザに対しては、ユーザが最も関心のある画像10の特定部分に関する情報を提供し得る。
この点に関し、装置100は、図2に示された如く、少なくとも一つのプロセッサ70と、コンピュータ・プログラム・コードを含む少なくとも一つのメモリ76とを備えて成り得る。図2および図4を参照すると、少なくとも一つのメモリ76および上記コンピュータ・プログラム・コードは、プロセッサ70とともに、装置100に、事前記録ビデオ30に対して関連付けられて事前記録された静止画像10の表示をディスプレイ68上に引き起こさせるべく構成され得る。ピンチアウト・タッチ動作の如き第一のユーザ入力の受信時に、少なくとも一つのメモリ76および上記コンピュータ・プログラム・コードは、プロセッサ70とともに、上記事前記録静止画像のズームイン部分の表示を上記ディスプレイ上に引き起こすべく構成され得る。以下において相当に詳細に記述される如く、上記事前記録静止画像の上記ズームイン部分を介した第二のユーザ入力の受信時に、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは、上記プロセッサとともに、上記装置に、上記事前記録静止画像のズームイン部分に対して関連付けられた関心対象ビデオクリップであって、事象が生じた事前記録ビデオの部分であるという関心対象ビデオクリップの表示を引き起こさせるべく構成され得る。
幾つかの実施形態において、たとえば、装置100は、事前記録ビデオ30から少なくとも一つの関心対象ビデオクリップ40を生成せしめられ得ることから、上記少なくとも一つの関心対象ビデオクリップは、上記事前記録ビデオの一部であり得る。上記事前記録静止画像の上記ズームイン部分は、該事前記録静止画像の検証可能領域20であり得るか、それを包囲し得る一方、関心対象ビデオクリップ40に対して関連付けられ得る。故に、幾つかの場合、装置100は、ディスプレイ68上に表示された事前記録静止画像の領域(たとえば、ズームイン部分)を決定せしめられ得る。表示されたズームイン部分が関心対象ビデオクリップ40に対して関連付けられる(たとえば、ズームイン部分が検証可能領域20を含む)という場合、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは、上記プロセッサとともに、上記装置に、上記関心対象ビデオクリップの表示を引き起こさせるべく構成され得る。
図4を参照すると、たとえば、静止画像10の捕捉に先立つ比較的に短い時間枠内で、ビデオ録画物30が捕捉され得る。幾つかの実施形態において、上記事前記録ビデオは、該ビデオの捕捉を指示するユーザ入力に応じて捕捉され得るが、他の場合、上記ビデオは、上記事前記録静止画像の捕捉に先立ち自動的に捕捉され得る。たとえば、ユーザ自身のユーザ・デバイス50を使用して、ユーザの甥の最初の誕生日を祝うユーザの家族の静止画像10を捕捉しているユーザは、ユーザ・デバイス上のボタンを起動し、捕捉されようとしている画像に焦点を合わせてから該画像を捕捉することがある。たとえば、時点T0において、ディスプレイ68を介して視認されつつあるシーンの静止画像10の捕捉をユーザが意図していることを(たとえば、捕捉されようとしている画像に焦点を合わせる上記ボタンの最初の起動の受信により)認識すると同時に、ユーザ・デバイス50は、そのシーンのビデオの記録を開始し得る。上記ビデオ録画物は、時点Tnにおいて上記静止画像が捕捉されたときに、終了され得る。描かれた例において、ビデオ録画物30の持続時間は、図4に示された如く、T0〜Tnであり得る。
幾つかの実施形態において、上記装置は、上記プロセッサを介し、ビデオ録画物の内容を解析し、ユーザに対して特に関心対象となり得る幾つかの事象を含む該ビデオ録画物の部分を特定すべく構成され得る。各ビデオクリップ40は、たとえば、上記事前記録ビデオ中で所定判断基準を満足する検出済み動作の如き事象に基づいて生成され得る。たとえば、上記装置は、シーン中の参加者が微笑む理由および時点、大きな身振りが生じた理由および時点(たとえば、参加者が興奮して自身の腕を頭上に挙げた時点)、(たとえば、ひとりの参加者が、手を振り、または、別の参加者の背中を軽く叩くなどの)素早い動作が行われた理由および時点などを特定すべく構成され得る。上記所定判断基準は、幾つかの場合、ユーザ・デバイス50の、または、該ユーザ・デバイスにより実行されるアプリケーションの設定オプションを介する如くして、ユーザにより設定可能であり得る。いずれの場合においても、事前記録ビデオ内で特定された斯かる事象は、各検証可能領域20に対し、および/または、それらが生じたズームイン部分に対して関連付けられた個別的なビデオクリップ40として、抽出かつ記憶され得る。
たとえば、図4において、事前記録ビデオ30を解析すると三つの注目すべき事象が特定され得るので、三つの関心対象ビデオクリップ40が生成され得る。(説明目的で静止画像内に“1”とラベル表示された)一つの検証可能領域20において、ユーザの義弟(捕捉されたシーン中の参加者)は、時間T1〜T3(たとえば、合計で10秒長であり得る事前記録ビデオの時系列に沿い、1秒から3秒までなど)にて微笑んでいる。(“2”とラベル表示された)別の検証可能領域20において、ユーザの妹は、時間T2〜T4(たとえば、事前記録ビデオの時系列に沿い、2秒から4秒までなど)にて微笑んでいる。(“3”とラベル表示された)第三の特定された検証可能領域20において、ユーザの甥は、時間T5〜T6(たとえば、事前記録ビデオの時系列に沿い、5秒から6秒までなど)にて自身の両手を叩いている。故に、これらの特定された事象は、幾つかの実施形態において、完全な事前記録ビデオから抽出され、且つ、対応する各検証可能領域20に対して関連付けられたビデオクリップ40として記憶され得る。
従って、幾つかの実施形態において、関心対象ビデオクリップ40の一つ以上は、事前記録ビデオ30の全体的持続時間の一部を備えて成り得る(たとえば、上記ビデオクリップは、上記事前記録ビデオよりも短時間であり得る)。付加的もしくは代替的に、関心対象ビデオクリップ40の一つ以上は、事前記録ビデオ30の全体的捕捉済み領域の一部を備えて成り得る。たとえば、図4に示された如く、ビデオクリップ40の生成をトリガする事象(たとえば、ユーザの義弟の微笑み)は、(たとえば、全体的捕捉済み領域が、ディスプレイの全体的領域、すなわち、図3に示された如くw×hに対応し、且つ、ビデオをトリガする事象の領域は特定の検証可能領域20に対応する場合などにおいて)ビデオ録画物中に示された捕捉済みシーンの全体的領域の一部のみにおいて生じ得る。故に、幾つかの実施形態において、ビデオクリップ40は、事前記録ビデオ内で捕捉された(捕捉された時間枠の全体に亙り、関心対象となるものが何ら生じない領域を含み得る)全体的シーンを表示するのではなく、事前記録ビデオの全体的捕捉済み領域の内で、関心対象となる事象に焦点を合わせた更に小さな部分を提供し得る。
図4および図5に移ると、ユーザは、図4に示された静止画像10を注視し得ると共に、(検証可能領域“1”内に示された)自身の義弟をズームインし、自身の義弟が何をしつつあったかを更に詳細に調べることを望み得る。故にユーザは、ディスプレイ68に対し、ピンチアウト動作の如き第一ユーザ入力を付与し得る結果、図4に示された画像10はズームインされて、図5に示された如く、所望された検証可能領域(検証可能領域“1”)の更に大きな概観が表示され得る。図5に示されたディスプレイ上の事前記録静止画像のズームイン部分12を注視すると同時に、ユーザは、自身の義弟が、上記静止画像内で捕捉された時点において何故に微笑んでいたか、または、自身の義弟が、捕捉済み静止画像に至るまでの夫々の瞬間において、見て面白い何か他のことをしたか否かを知りたがり得る。故に、ユーザは、事前記録静止画像を表示しているディスプレイ68に対し、二重タップ動作の如き第二ユーザ入力を付与し得る。本明細書中に記述された例においては、トリガ入力として二重タップ動作が使用されるが、所定の接触持続時間を有する単一回のタッチ、単一回のタップなどの如き、他の任意のユーザ入力が、トリガとして構成され得る。
(たとえば、二重タップ動作などの)ユーザ入力の受信に応じて、ディスプレイ上に表示された事前記録静止画像の領域16(たとえば、図5のズームイン部分12に対応する図4のオリジナル画像10の領域)が、図6に示された如く決定され得る。上記ズームイン部分が、関心対象ビデオクリップ40に対して関連付けられた(たとえば、この例における検証可能領域“1”などの)検証可能領域20を備えて成るときの如く、ズームイン部分として表示された領域16が関心対象ビデオクリップ40に対して関連付けられた場合、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは、上記少なくとも一つのプロセッサとともに、上記装置に、表示された領域16により包囲された特定のズームイン部分または検証可能領域に対して関連付けられた関心対象ビデオクリップ40の表示を引き起こさせるべく構成され得る。故に、図6に描かれた例において、検証可能領域“1”は図5に示されたズームイン部分12の表示部分16内であることから、その特定のズームイン部分(たとえば、図4に示された検証可能領域20)に対応するビデオクリップ40が、図5のズームイン部分12を介した(たとえば、二重タップ動作などの)第二ユーザ入力の受信時に表示される。他方、もしユーザが、関心対象ビデオクリップ40に対して関連付けられた検証可能領域20を包囲しない図4の画像10の部分上でズームインした(たとえば、ズームイン領域においては、所定判断基準に従う関心対象事が何も起きなかった)なら、ユーザに対しては、何らのビデオクリップも表示されない。
別の例において、ユーザは、図4に示されたオリジナル静止画像10に対して(たとえば、ピンチアウト動作の形態などの)第一ユーザ入力を付与し、図7に示された静止画像の異なる部分上でズームインし得る。図7のズームイン部分13を介した、二重タップ動作の如き第二ユーザ入力の受信時には、図8に示された如く、ディスプレイ上に表示された事前記録静止画像の領域16(たとえば、図7のズームイン画像13に対応する図4のオリジナル画像10の領域)が決定され得る。表示された事前記録静止画像の領域16が、複数の夫々の関心対象ビデオクリップ40に対して関連付けられた(たとえば、この例における検証可能領域“1”および検証可能領域“3”などの)複数の検証可能領域20を備えて成る場合、ユーザが、ズームイン部分13により包囲された検証可能領域の各々に対して関連付けられたビデオクリップを視認し得る如く、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは、上記少なくとも一つのプロセッサとともに、上記装置に、(たとえば、検証可能領域“1”に対して関連付けられたビデオクリップなどの)第一の関心対象ビデオクリップ、および、(たとえば、検証可能領域“2”に対して関連付けられたビデオクリップなどの)第二の関心対象ビデオクリップの表示を引き起こさせるべく構成され得る。
更なる他の実施形態において、表示された事前記録静止画像のズームイン部分が事前記録された静止画像10の最大領域に対応する(たとえば、実際にはズームインされず、または、非常に僅かだけズームインされた)場合、上記少なくとも一つのメモリおよび上記コンピュータ・プログラム・コードは更に、上記少なくとも一つのプロセッサとともに、上記装置に、事前記録ビデオ30の全体の表示を引き起こさせるべく構成され得る。故に、幾つかの実施形態において、たとえば、静止画像の全体的な捕捉シーンを描く図4に表示された画像10に対して付与された二重タップ動作のユーザの入力は、(上記ビデオ録画物から抽出された各ビデオクリップ40ではなく)事前記録ビデオ30の全体がユーザに対して表示される結果となり得る。故に、この例において、図4において表示された画像を介した第二入力としての二重タップ動作は、ユーザに対するビデオ録画物30の表示に帰着し得る。
幾つかの実施形態においては、上述された如く、ビデオクリップ40は、関連付けられた検証可能領域20が、ディスプレイ上に表示されたズームイン部分により完全に包囲された(たとえば、検証可能領域がその全体においてズームイン画像内に示された)場合に表示され得る。但し、他の場合、関連付けられたビデオクリップ40は、検証可能領域20の所定部分が、ディスプレイ上に表示されたズームイン部分により包囲される場合に表示され得る。たとえば、ユーザに対して表示されたズームイン画像が、(一例として)検証可能領域20の50%超、または、75%超を示すなら、(たとえば、その検証可能領域に対して関連付けられた)ズームイン部分に対して関連付けられたビデオクリップ40が表示され得る。関連付けられたビデオクリップを示すための検証可能領域のスレッショルド割合は、幾つかの場合、ユーザにより設定可能であり得る。
図9は、本発明の代表的実施形態に係るシステム、方法、および、コンピュータ・プログラム製品のフローチャートを示している。フローチャートの各ブロック、および、フローチャートにおける各ブロックの組み合わせは、ハードウェア、ファームウェア、プロセッサ、回路機構、および/または、一つ以上のコンピュータ・プログラム命令を含むソフトウェアの実行に関連付けられた他のデバイスの如き、種々の手段により実現され得ることが理解される。たとえば、上述された手順の内の一つ以上は、コンピュータ・プログラム命令により具現され得る。この点に関し、上述された手順を具現するコンピュータ・プログラム命令は、本発明の代表的実施形態を具現する装置のメモリ・デバイスにより記憶され、且つ、該装置におけるプロセッサにより実行され得る。理解される様に、斯かる一切のコンピュータ・プログラム命令は、コンピュータまたは他のプログラム可能な装置(たとえば、ハードウェア)にロードされて、結果的なコンピュータまたは他のプログラム可能な装置が、単一もしくは複数のフローチャート・ブロックにおいて特定された機能を実現する如く、マシンを生成し得る。これらのコンピュータ・プログラム命令はまた、当該コンピュータ可読メモリ内に記憶された命令が、単一もしくは複数のフローチャート・ブロックにおいて特定された各機能が当該製品の実行により実現されるという製品を生成する如く、コンピュータまたは他のプログラム可能な装置に特定様式で機能することを指示し得るコンピュータ可読メモリ内に記憶され得る。上記コンピュータ・プログラム命令はまた、コンピュータまたは他のプログラム可能な装置にロードされて、該コンピュータまたは他のプログラム可能な装置上で一連の動作を実施させることで、上記コンピュータまたは他のプログラム可能な装置上で実行される命令が、単一もしくは複数のフローチャート・ブロックにおいて特定された機能を実現する動作を提供する如く、コンピュータ実行型プロセスを生成し得る。
従って、上記フローチャートの各ブロックは、特定された機能を実施する手段の組み合わせ、特定された機能を実施する動作の組み合わせ、および、特定された機能を実施するプログラム命令手段をサポートする。フローチャートの一つ以上のブロック、および、フローチャートにおけるブロックの組み合わせは、特定された機能を実施する専用のハードウェア式コンピュータ・システムにより、または、専用のハードウェアおよびコンピュータ命令の組み合わせにより実現され得ることも理解される。
この点に関し、図9には、ユーザに対する関心対象ビデオクリップの表示を引き起こす方法の一つの代表的実施形態が示される。図9は、ブロック200にて、ディスプレイ上における事前記録静止画像の表示であって、該事前記録静止画像は事前記録ビデオに対して関連付けられているという表示を引き起こす段階を含む方法の代表的実施形態を描いている。ブロック210において、第一ユーザ入力の受信時に、上記方法の実施形態は、ディスプレイ上における事前記録静止画像のズームイン部分の表示を引き起こし得ると共に、ブロック230にて、上記事前記録静止画像のズームイン部分を介した第二ユーザ入力の受信時に、上記方法の実施形態は、上記事前記録静止画像のズームイン部分に対して関連付けられた関心対象ビデオクリップの表示を引き起こし得る。上述された如く、上記関心対象ビデオクリップは、事象が生じた事前記録ビデオの部分であり得る。
幾つかの場合、上述された如く、事前記録静止画像のズームイン部分が、第一の関心対象ビデオクリップに対し、且つ、第二の関心対象ビデオクリップに対して関連付けられるという場合には、上記第一の関心対象ビデオクリップおよび上記第二の関心対象ビデオクリップが表示せしめられ得る。表示された事前記録静止画像のズームイン部分が、上記事前記録静止画像の全体的捕捉済み領域に対応する場合には、上記事前記録ビデオの表示が引き起こされ得る。
幾つかの実施形態において、上記関心対象ビデオクリップは、事前記録ビデオの全体的捕捉済み領域の一部を備えて成り得る。付加的もしくは代替的に、上記関心対象ビデオクリップは、事前記録ビデオの全体的持続時間の一部を備えて成り得る。幾つかの場合、上記事象は、事前記録ビデオ中で所定判断基準を満足する検出済み動作を備えて成り得ると共に、幾つかの場合、上記所定判断基準は、上述の如く、ユーザにより設定可能であり得る。上記事前記録ビデオは、幾つかの場合、上記事前記録静止画像の捕捉に先立って自動的に捕捉され得る。更に、各ビデオクリップの表示をトリガする上記第二ユーザ入力は、一例として、二重タップ動作を備えて成り得る。
幾つかの実施形態において、上記の動作の幾つかは、以下に記述される如く、改変または更に拡充され得る。更に、幾つかの実施形態においては、付加的な選択的動作が含まれ得る。上記の各動作は図9において一定の順序で示されるが、幾つかの動作は任意の順序で実施され得る。これに加え、上記の動作に対する改変、拡充または付加は、任意の順序および任意の組み合わせで実施され得る。
代表的実施形態において、上記の図9の方法を実施する装置は、上述された動作(200〜220)の幾つかまたは各々を実施すべく構成された(たとえば、図2のプロセッサ70などの)プロセッサを備えて成り得る。該プロセッサは、たとえば、ハードウェア実施型の論理機能を実施することにより、または、記憶された命令を実行することにより、または、動作(200〜220)の各々を実施するアルゴリズムを実行することにより、各動作を実施すべく構成され得る。
代替的に、上記装置は、上述された動作の各々を実施する手段を備えて成り得る。この点に関し、代表的実施形態に依れば、動作200〜220を実施する手段の実例は、たとえば、プロセッサ70、ユーザ・インタフェース送受信機72、メモリ・デバイス76、および/または、上述された如く命令を実行し、もしくは、情報を処理するアルゴリズムを実行するデバイスもしくは回路を備えて成り得る。
これらの発明が属するという、上述の説明および添付図面において示された教示の利益を有する分野の当業者であれば、本明細書中に示された発明の多くの改変および他の実施形態を想起し得よう。故に、上記発明は、開示された特定実施形態に限られないこと、および、添付の各請求項の有効範囲内には改変および他の実施形態が包含されることが意図されることは理解される。この点に関し、たとえば、添付の各請求項の幾つかにおいて示され得る如く、上記に明示的に記述されたのとは異なる要素および/または機能の組み合わせもまた企図される。本明細書においては特定の語句が採用されたが、それらは、限定の目的でなく、包括的で記述的な意味でのみ使用されている。

Claims (20)

  1. 少なくとも一つのプロセッサと、
    コンピュータ・プログラム・コードを含む少なくとも一つのメモリと、
    を備えて成る装置であって、
    該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは、該少なくとも一つのプロセッサとともに、該装置に、少なくとも、
    ディスプレイ上における事前記録静止画像の表示であって、該事前記録静止画像は事前記録ビデオに対して関連付けられているという表示を引き起こさせ、
    第一ユーザ入力の受信時に、該ディスプレイ上における該事前記録静止画像のズームイン部分の表示を引き起こさせ、
    該事前記録静止画像の該ズームイン部分を介した第二ユーザ入力の受信時に、該事前記録静止画像の該ズームイン部分に対して関連付けられた関心対象ビデオクリップの表示であって、該関心対象ビデオクリップは事象が生じた該事前記録ビデオの部分であるという表示を引き起こさせる、
    ように構成されている、装置。
  2. 該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
    該事前記録静止画像の該ズームイン部分が、第一の関心対象ビデオクリップに対して且つ第二の関心対象ビデオクリップに対して関連付けられるという場合に、該第一の関心対象ビデオクリップおよび該第二の関心対象ビデオクリップの表示を引き起こさせる、
    ように構成されている、請求項1に記載の装置。
  3. 表示された該事前記録静止画像のズームイン部分が、該事前記録静止画像の全体的捕捉済み領域に対応する場合、該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、該事前記録ビデオの表示を引き起こさせるように構成されている、請求項1または請求項2に記載の装置。
  4. 該関心対象ビデオクリップは、該事前記録ビデオの全体的捕捉済み領域の一部を備えて成る、請求項1から請求項3までのいずれか一項に記載の装置。
  5. 該関心対象ビデオクリップは、該事前記録ビデオの全体的持続時間の一部を備えて成る、請求項1から請求項4までのいずれか一項に記載の装置。
  6. 該事象は、該事前記録ビデオ中で所定判断基準を満足する検出済み動作を備えて成る、請求項1から請求項5までのいずれか一項に記載の装置。
  7. 該所定判断基準はユーザにより設定可能である、請求項6に記載の装置。
  8. 該事前記録ビデオは、該事前記録静止画像の捕捉に先立ち自動的に捕捉される、請求項1から請求項7までのいずれか一項に記載の装置。
  9. 該第二ユーザ入力は二重タップ動作を備えて成る、請求項1から請求項8までのいずれか一項に記載の装置。
  10. ディスプレイ上における事前記録静止画像の表示であって、該事前記録静止画像は事前記録ビデオに対して関連付けられているという表示を引き起こす段階と、
    第一ユーザ入力の受信時に、該ディスプレイ上における該事前記録静止画像のズームイン部分の表示を引き起こす段階と、
    該事前記録静止画像の該ズームイン部分を介した第二ユーザ入力の受信時に、該事前記録静止画像の該ズームイン部分に対して関連付けられた関心対象ビデオクリップの表示であって、該関心対象ビデオクリップは事象が生じた該事前記録ビデオの部分であるという表示を引き起こす段階と、
    を備えて成る方法。
  11. 該関心対象ビデオクリップの表示を引き起こす該段階は、該事前記録静止画像の該ズームイン部分が、第一の関心対象ビデオクリップに対して且つ第二の関心対象ビデオクリップに対して関連付けられるという場合に、該第一の関心対象ビデオクリップおよび該第二の関心対象ビデオクリップの表示を引き起こす段階、を備えて成る、請求項10に記載の方法。
  12. 表示された該事前記録静止画像のズームイン部分が、該事前記録静止画像の全体的捕捉済み領域に対応する場合、該関心対象ビデオクリップの表示を引き起こす該段階は、該事前記録ビデオの表示を引き起こす段階を備えて成る、請求項10または請求項11に記載の方法。
  13. 該関心対象ビデオクリップは、該事前記録ビデオの全体的捕捉済み領域の一部を備えて成る、請求項10から請求項12までのいずれか一項に記載の方法。
  14. 該関心対象ビデオクリップは、該事前記録ビデオの全体的持続時間の一部を備えて成る、請求項10から請求項13までのいずれか一項に記載の方法。
  15. 該事象は、該事前記録ビデオ中で所定判断基準を満足する検出済み動作を備えて成る、請求項10から請求項14までのいずれか一項に記載の方法。
  16. 該所定判断基準はユーザにより設定可能である、請求項15に記載の方法。
  17. 該事前記録ビデオは、該事前記録静止画像の捕捉に先立ち自動的に捕捉される、請求項10から請求項16までのいずれか一項に記載の方法。
  18. 該第二ユーザ入力は二重タップ動作を備えて成る、請求項10から請求項17までのいずれか一項に記載の方法。
  19. 請求項10から請求項18までのいずれか一項に記載の方法を装置に実施させるプログラム・コード命令を備えて成るコンピュータ実行可能プログラム・コード部分を自身内に記憶した少なくとも一つの持続的なコンピュータ可読記憶媒体を備えて成る、コンピュータ・プログラム製品。
  20. 請求項10から請求項18までのいずれか一項に記載の方法を実施する手段を備えて成る、請求項1に記載の装置。
JP2016564044A 2014-04-24 2014-04-24 ビデオ増進された写真ブラウジングのための装置、方法、及びコンピュータ・プログラム製品 Active JP6231702B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/076137 WO2015161487A1 (en) 2014-04-24 2014-04-24 Apparatus, method, and computer program product for video enhanced photo browsing

Publications (2)

Publication Number Publication Date
JP2017520819A JP2017520819A (ja) 2017-07-27
JP6231702B2 true JP6231702B2 (ja) 2017-11-15

Family

ID=54331622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016564044A Active JP6231702B2 (ja) 2014-04-24 2014-04-24 ビデオ増進された写真ブラウジングのための装置、方法、及びコンピュータ・プログラム製品

Country Status (3)

Country Link
US (1) US11042588B2 (ja)
JP (1) JP6231702B2 (ja)
WO (1) WO2015161487A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015046636A1 (ko) * 2013-09-24 2015-04-02 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2019079526A1 (en) * 2017-10-17 2019-04-25 Gnommme Llc IMAGE SELECTION BASED ON THE CONTEXT
JP7419723B2 (ja) * 2019-09-25 2024-01-23 株式会社リコー 画像処理システム、画像処理装置および方法
CN111722775A (zh) * 2020-06-24 2020-09-29 维沃移动通信(杭州)有限公司 图像处理方法、装置、设备及可读存储介质
US20220291936A1 (en) * 2021-03-15 2022-09-15 Micro Focus Llc Systems and methods of generating video material

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6307550B1 (en) * 1998-06-11 2001-10-23 Presenter.Com, Inc. Extracting photographic images from video
JP2002259454A (ja) 2001-03-02 2002-09-13 Victor Co Of Japan Ltd オブジェクト管理装置及びオブジェクト管理方法
US7383508B2 (en) * 2002-06-19 2008-06-03 Microsoft Corporation Computer user interface for interacting with video cliplets generated from digital video
US7552387B2 (en) * 2003-04-30 2009-06-23 Hewlett-Packard Development Company, L.P. Methods and systems for video content browsing
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US20050081138A1 (en) * 2003-09-25 2005-04-14 Voss James S. Systems and methods for associating an image with a video file in which the image is embedded
US20060072847A1 (en) * 2004-10-01 2006-04-06 Microsoft Corporation System for automatic image cropping based on image saliency
US8418075B2 (en) * 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
US7796785B2 (en) * 2005-03-03 2010-09-14 Fujifilm Corporation Image extracting apparatus, image extracting method, and image extracting program
US20070237225A1 (en) * 2006-03-30 2007-10-11 Eastman Kodak Company Method for enabling preview of video files
US20090003712A1 (en) * 2007-06-28 2009-01-01 Microsoft Corporation Video Collage Presentation
IL185124A0 (en) * 2007-08-08 2008-11-03 Wave Group Ltd A generic omni directional imaging system & method for vision, orientation and maneuver of robots
US7956848B2 (en) * 2007-09-04 2011-06-07 Apple Inc. Video chapter access and license renewal
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US8195038B2 (en) * 2008-10-24 2012-06-05 At&T Intellectual Property I, L.P. Brief and high-interest video summary generation
US8957920B2 (en) * 2010-06-25 2015-02-17 Microsoft Corporation Alternative semantics for zoom operations in a zoomable scene
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
US20120198319A1 (en) * 2011-01-28 2012-08-02 Giovanni Agnoli Media-Editing Application with Video Segmentation and Caching Capabilities
US10353566B2 (en) * 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US9734167B2 (en) * 2011-09-21 2017-08-15 Horsetooth Ventures, LLC Interactive image display and selection system
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
CN104025610B (zh) * 2011-12-28 2017-11-17 英特尔公司 用于基于一批图像来提供内容的系统、方法和装置
WO2013166322A1 (en) * 2012-05-04 2013-11-07 Skybox Imaging, Inc. Overhead image viewing systems and methods
JP2014050022A (ja) 2012-09-03 2014-03-17 Nikon Corp 画像処理装置、撮像装置、およびプログラム
KR102026717B1 (ko) * 2013-02-08 2019-10-04 삼성전자 주식회사 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말
US10372292B2 (en) * 2013-03-13 2019-08-06 Microsoft Technology Licensing, Llc Semantic zoom-based navigation of displayed content
CN103268323A (zh) 2013-04-26 2013-08-28 杭州跨界科技有限公司 一种对照片添加注释的方法

Also Published As

Publication number Publication date
US11042588B2 (en) 2021-06-22
US20170046053A1 (en) 2017-02-16
JP2017520819A (ja) 2017-07-27
WO2015161487A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
US11711614B2 (en) Digital viewfinder user interface for multiple cameras
US11393067B2 (en) Automatic cropping of video content
TWI600322B (zh) 用於操作具有整合式相機之電子器件之方法及相關電子器件,以及非暫時性電腦可讀取儲存媒體
US9479693B2 (en) Method and mobile terminal apparatus for displaying specialized visual guides for photography
KR102018887B1 (ko) 신체 부위 검출을 이용한 이미지 프리뷰
KR102023179B1 (ko) 듀얼 카메라를 포함하는 전자장치에서 듀얼 리코딩 촬영을 위한 방법 및 장치
JP6231702B2 (ja) ビデオ増進された写真ブラウジングのための装置、方法、及びコンピュータ・プログラム製品
TW201239764A (en) Method and apparatus for providing quick access to media functions from a locked screen
US20150149960A1 (en) Method of generating panorama image, computer-readable storage medium having recorded thereon the method, and panorama image generating device
US9106820B1 (en) Multi-stage trigger for capturing video images
EP3186953B1 (en) Method and apparatus for determining the capture mode following capture of the content
US11551452B2 (en) Apparatus and method for associating images from two image streams
US20150215530A1 (en) Universal capture
US10122905B2 (en) Method and apparatus for capturing and sharing digital content on a computing device
US20150339024A1 (en) Device and Method For Transmitting Information
WO2019095811A1 (zh) 界面展示方法及装置
US9413960B2 (en) Method and apparatus for capturing video images including a start frame
US20240080543A1 (en) User interfaces for camera management
CN116847187A (zh) 拍摄方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171019

R150 Certificate of patent or registration of utility model

Ref document number: 6231702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250