JP6400293B2 - 電子装置でコンテンツを制御する装置及びその方法 - Google Patents

電子装置でコンテンツを制御する装置及びその方法 Download PDF

Info

Publication number
JP6400293B2
JP6400293B2 JP2014000278A JP2014000278A JP6400293B2 JP 6400293 B2 JP6400293 B2 JP 6400293B2 JP 2014000278 A JP2014000278 A JP 2014000278A JP 2014000278 A JP2014000278 A JP 2014000278A JP 6400293 B2 JP6400293 B2 JP 6400293B2
Authority
JP
Japan
Prior art keywords
content
input
playback
moving
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014000278A
Other languages
English (en)
Other versions
JP2014132461A (ja
Inventor
ウー−ヨン・イ
ユン−ソン・ユ
サン−フム・チョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014132461A publication Critical patent/JP2014132461A/ja
Application granted granted Critical
Publication of JP6400293B2 publication Critical patent/JP6400293B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/54—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by adding security routines or objects to programs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Television Signal Processing For Recording (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明の実施例は電子装置でコンテンツを制御するための装置及びその方法に関するのものであり、特に、電子装置でユーザの入力方式に基づいてコンテンツを再生するための装置及びその方法に関するものである。
情報通信技術及び半導体技術の発展で、携帯用電子装置は音声通話サービスだけでなくデータ伝送サービスを利用した多様なマルチメディアサービスを提供するマルチメディア装置として発展しつつある。例えば、携帯用電子装置は放送サービス、無線インターネットサービス、カメラサービス及び音楽再生サービスなどの多様なマルチメディアサービスを提供する。
携帯用電子装置でマルチメディアサービスを提供することによって、携帯用電子装置のユーザは携帯用電子装置を介して更に多様なサービスを必要とする。それによって、携帯用電子装置はユーザの多様な欲求を満足するための一環として動く写真コンテンツを利用したサービスを提供する。ここで、動く写真コンテンツは、連続的に撮影された多数個の写真を一定間隔の多数個のフレームとして指定して再生するように合成された写真コンテンツを示す。
しかし、携帯用電子装置は動く写真コンテンツを繰り返し再生するサービスのみを提供することで、携帯用電子装置のユーザは動く写真コンテンツを利用した制限されたサービスのみを使用している。
韓国特許出願公開第１９９４−７５９８公報
よって、本発明の構成は電子装置で動く写真コンテンツを生成するための装置及びその方法を提供する。
本発明の構成は電子装置で連続に撮影された写真から被写体の動きを推定し、動く写真コンテンツを生成するための動き領域を自動的に設定するための装置及びその方法を提供する。
本発明の構成は電子装置で連続に撮影された写真の動き領域の情報を合成し、動く写真コンテンツを生成するための装置及びその方法を提供する。
本発明の構成は電子装置で動く写真コンテンツを生成する際、ユーザの入力情報に応じた再生方式を設定するための装置及びその方法を提供する。
本発明の構成は電子装置でユーザの入力情報にマッチングする再生方式に応じてコンテンツを再生するための装置及びその方法を提供する。
本発明の構成は電子装置でユーザの入力情報にマッチングする再生方式に応じて動画コンテンツを再生するための装置及びその方法を提供する。
本発明の構成は電子装置でユーザの入力情報にマッチングする再生方式に応じて動く写真コンテンツを再生するための装置及びその方法を提供する。
本発明の構成は電子装置で動く写真コンテンツに含まれた少なくとも一つの動き領域を選択的に再生するための装置及びその方法を提供する。
本発明の構成によると、電子装置でコンテンツを再生するための方法は、コンテンツの基準イメージを表示する過程と、ユーザの入力を感知した場合、前記ユーザの入力にマッチングする再生方式を決定する過程と、前記ユーザの入力にマッチングする再生方式に基づいて前記コンテンツを再生する過程を含む。
本発明の構成において、カメラを利用した連続撮影を介して多数個のイメージを獲得する過程と、前記多数個のイメージで基準領域を決定する過程と、前記多数個のイメージの基準領域に含まれるイメージを合成して動く写真を生成する過程を含む。
本発明の構成によると、電子装置は表示部、入力部及び少なくとも一つのプロセッサを含み、前記プロセッサはコンテンツの基準イメージを前記表示部に表示し、前記入力部を介してユーザの入力を感知した場合、前記ユーザの入力にマッチングする再生方式に応じて前記コンテンツを再生する。
本発明の構成において、プロセッサはカメラを利用した連続撮影を介して多数個のイメージを獲得し、前記多数個のイメージで基準領域を決定し、前記多数個のイメージの基準領域に含まれるイメージを合成して動く写真を生成する。
本発明の実施例による電子装置のブロック構成を示す図である。 本発明の実施例によるプロセッサの詳細なブロック構成を示す図である。 本発明の他の実施例による電子装置で動く写真コンテンツを再生するための手順を示す図である。 本発明の実施例による電子装置で動く写真コンテンツを生成するための手順を示す図である。 本発明の実施例による電子装置で動く写真コンテンツに対する制御情報を設定するための手順を示す図である。 本発明の実施例による電子装置で入力情報に基づいてコンテンツを再生するための手順を示す図である。 本発明の他の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための手順を示す図である。 本発明のまた他の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための手順を示す図である。 本発明の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の他の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の他の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の他の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の他の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の他の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための画面構成を示す図である。 本発明の実施例による電子装置で動く写真コンテンツに対する制御情報を設定するための画面構成を示す図である。
以下、本発明の好ましい実施例を添付した図面を参照して詳細に説明する。そして、本発明を説明するに当たって、関連する公知機能或いは構成に対する具体的な説明が本発明の要旨を不明確にする恐れがあると判断される場合、その詳細な説明を省略する。そして、後述する用語は本発明における機能に基づいて定義された用語であり、これはユーザ、運用者の意図又は慣例などによって異なり得る。よって、その定義は本明細書全般にかかる内容に基づいて下されるべきである。
以下、本発明は電子装置で入力情報に応じて動く写真コンテンツを再生するための技術について説明する。
以下の説明において、電子装置は移動通信端末機、ＰＤＡ、ＰＣ、ラップトップコンピュータ、スマートフォン、ネットブック、テレビジョン、形態インターネット装置（ＭＩＤ）、ウルトラモバイルＰＣ（ＵＭＰＣ）、タブレットＰＣ、ナビゲーション、スマートＴＶ、デジタルカメラ及びＭＰ３のうち一つ以上を含む。
図１は、本発明の実施例による電子装置のブロック構成を示す図である。
図１を参照すると、電子装置１００はメモリ１１０、プロセッサユニット１２０、オーディオ処理部１３０、カメラ部１４０、センシング部１５０、入出力制御部１６０、表示部１７０及び入力装置１８０を含む。ここで、メモリ１１０は多数個存在してもよい。
メモリ１１０は、電子装置１００の動作を制御するためのプログラムを貯蔵するプログラム貯蔵部１１１及びプログラムを行う途中で発生するデータを貯蔵するデータ貯蔵部１１２を含む。
データ貯蔵部１１２は、動く写真コンテンツ及び入力情報に応じた動く写真コンテンツに対する制御情報を貯蔵する。例えば、データ貯蔵部１１２は動く写真生成プログラム１１４を介して生成された動く写真コンテンツを貯蔵する。また、データ貯蔵部１１２は再生制御プログラム１１５を介して生成された入力情報に応じた動く写真コンテンツに対する制御情報を貯蔵する。
プログラム貯蔵部１１１はグラフィックユーザインタフェース（ＧＵＩ）プログラム１１３、動く写真生成プログラム１１４、再生制御プログラム１１５及び少なくとも一つの応用プログラム１１６を含む。ここで、プログラム貯蔵部１１１に含まれるプログラムは命令語の集合であって、命令語セットと表現されてもよい。
ＧＵＩプログラム１１３は、表示部１７０の上にグラフィックでユーザインタフェースを提供するための少なくとも一つのソフトウェア構成要素を含む。例えば、ＧＵＩプログラム１１３はプロセッサ１２２によって駆動される応用プログラムの情報を表示部１７０に表示するように制御する。
動く写真生成プログラム１１４は、動く写真コンテンツを生成するための少なくとも一つのソフトウェア構成要素を含む。例えば、動く写真生成プログラム１１４はカメラ部１４０を介して連続に撮影された多数個のイメージを合成して動く写真コンテンツを生成する。他の例として、動く写真生成プログラム１１４はカメラ部１４０を介して連続に撮影された多数個のイメージのうち入力装置１８０から提供されたユーザの入力情報に応じて設定された動き領域の情報を合成して動く写真コンテンツを生成する。また他の例として、動く写真生成プログラム１１４はカメラ部１４０を介して連続に撮影された多数個のイメージを比較し、動きが発生する領域を抽出して動き領域として設定する。次に、動く写真生成プログラム１１４は連続に撮影されたイメージの動き領域の情報を合成して動く写真コンテンツを生成してもよい。この際、動く写真生成プログラム１１４はイメージをピクセル単位で比較して動き領域を設定する。
再生制御プログラム１１５はマイク１３２、センシング部１５０及び入力装置１８０のうち少なくとも一つを介して提供されたユーザの入力情報に応じて動画コンテンツ又は動く写真コンテンツに対する再生方式を決定するための少なくとも一つのソフトウェア構成要素を含む。例えば、図９ｅに示したように入力装置１８０を介してドラッグ９４１，９４３を感知した場合、再生制御プログラム１１５はデータ貯蔵部１１２に貯蔵された再生方式のうちドラッグ情報にマッチングする動画コンテンツ又は動く写真コンテンツの再生方式を選択する。
他の例として、図１０ｅに示したようにマイク１３２を介して「投げて」という音声命令１０５０を提供された場合、再生制御プログラム１１５はデータ貯蔵部１１２に貯蔵された再生方式のうち「投げて」という音声命令にマッチングする動画コンテンツ又は動く写真コンテンツの再生方式を選択する。
また他の例として、センシング部１５０を介して電子装置１００の揺れが感知された場合、再生制御プログラム１１５はデータ貯蔵部１１２に貯蔵された再生方式のうち電子装置１００の揺れにマッチングする動画コンテンツ又は動く写真コンテンツの再生方式を選択する。ここで、再生方式は１回再生、反復再生、１回逆方向再生及び反復逆方向再生のうち一つ以上を含む。
再生制御プログラム１１５はコンテンツの再生方式がマッチングする入力情報のうち該当動画コンテンツ又は動く写真コンテンツを制御するための少なくとも一つの入力情報を選択する。例えば、再生制御プログラム１１５は図９ｃ及び図１０ｃに示したようにコンテンツの再生方式がマッチングする入力情報９２０，１０３０を表示部１７０に表示するように制御する。次に、再生制御プログラム１１５はコンテンツの再生方式がマッチングする入力情報９２０，１０３０のうち少なくとも一つの入力情報を動画コンテンツ又は動く写真コンテンツを再生するための入力情報として選択する。この場合、再生制御プログラム１１５は動画コンテンツ又は動く写真コンテンツの再生方式がマッチングする入力情報９２０，１０３０のうち選択された少なくとも一つの入力情報に基づいて動画コンテンツ又は動く写真コンテンツを再生するように制御する。
他の例として、再生制御プログラム１１５は図９ｄ及び図１０ｄに示したようにコンテンツの再生方式がマッチングする入力方式９３０，１０４０を表示部１７０に表示するように制御する。次に、再生制御プログラム１１５はコンテンツの再生方式がマッチングする入力方式９３０，１０４０のうち少なくとも一つの入力方式を動画コンテンツ又は動く写真コンテンツを再生するための入力方式として選択する。もし、図９ｄに示したようにタッチ入力方式が選択された場合、再生制御プログラム１１５はコンテンツの再生方式がマッチングする入力情報のうちタッチ入力方式に応じた少なくとも一つ入力情報９３０に基づいて動画コンテンツ又は動く写真コンテンツを再生するように制御する。一方、図１０ｄに示したように音声認識方式が選択された場合、再生制御プログラム１１５はコンテンツの再生方式がマッチングする入力情報のうち音声認識方式に応じた少なくとも一つ入力情報１０４０に基づいて動画コンテンツ又は動く写真コンテンツを再生するように制御する。ここで、入力方式はシングルタッチ、マルチタッチ及びドラッグのようなタッチ入力方式、音声認識方式及びジェスチャー入力方式のうち少なくとも一つを含む。
再生制御プログラム１１５は、動く写真コンテンツに含まれた少なくとも一つの動き領域を選択的に再生するための少なくとも一つのソフトウェア構成要素を含む。例えば、図１０ｄに示した音声認識情報１０４０のうち「投げて」という音声命令を感知した場合、再生制御プログラム１１５は図１０ｂに示した２つの動き領域１０１０，１０２０を含む動く写真コンテンツで第１動き領域１０１０のみを１回再生するように制御する。他の例として、図１０ｄに示した音声認識情報のうち「再生」という音声命令を感知した場合、再生制御プログラム１１５は図１０ｂに示した動く写真コンテンツを１回再生するように制御する。即ち、再生制御プログラム１１５は動く写真コンテンツに含まれた第１動き領域１０１０及び第２動き領域１０２０を１回再生するように制御する。
再生制御プログラム１１５は、動画コンテンツ又は動く写真コンテンツを制御するための少なくとも一つの入力情報にマッチングする再生方式を設定するための少なくとも一つのソフトウェア構成要素を含む。例えば、再生制御プログラム１１５は図５に示したように入力情報設定メニュを利用して動画コンテンツ又は動く写真コンテンツを制御するための入力情報にマッチングする再生方式を設定する。他の例として、再生制御プログラム１１５動く写真生成プログラム１１４を介して動く写真を生成する際、動く写真コンテンツを制御するための入力情報にマッチングする再生装置を設定する。
応用プログラム１１６は、電子装置１００に設置された少なくとも一つの応用プログラムに対するソフトウェア構成要素を含む。
プロセッサユニット１２０はメモリインタフェース１２１、少なくとも一つのプロセッサ（ｐｒｏｃｅｓｓｏｒ）１２２及び周辺装置インタフェース１２３を含む。ここで、プロセッサユニット１２０に含まれるメモリインタフェース１２１、少なくとも一つのプロセッサ１２２及び周辺装置インタフェース１２３は、少なくとも一つの集積化された回路に集積化されるか別途の構成要素として具現される。
メモリインタフェース１２１は、プロセッサ１２２又は周辺装置インタフェース１２３のような構成要素のメモリ１１０接近を制御する。
周辺装置インタフェース１２３は、電子装置１００の入出力周辺装置とプロセッサ１２２及びメモリインタフェース１２１の連結を制御する。
プロセッサ１２２は、少なくとも一つのソフトウェアプログラムを使用して電子装置１００が多様なマルチメディアサービスを提供するように制御する。この際、プロセッサ１２２はメモリ１１０に貯蔵されている少なくとも一つのプログラムを実行して該当プログラムに対応するサービスを提供する。例えば、プロセッサ１２２はプログラム貯蔵部１１１に貯蔵された動く写真生成プログラム１１４を実行して動く写真コンテンツを生成する。他の例として、プロセッサ１２２はプログラム貯蔵部１１１に貯蔵された再生制御プログラム１１５を実行してユーザの入力情報に基づいて動く写真コンテンツの再生方式を決定する。
オーディオ処理部１３０は、スピーカ１３１及びマイク１３２を介してユーザと電子装置１００との間のオーディオインタフェースを提供する。
カメラ部１４０は、被写体に対する撮影を介して獲得した収集映像をプロセッサユニット１２０に提供する。詳しくは、カメラ部１４０は光学的信号を電気的信号に変換するカメラセンサ、アナログ映像信号をデジタル映像信号に変換する映像処理装置及び映像処理装置から出力される映像信号を表示部１７０に表示するように映像処理する信号処理装置などを含む。ここて、カメラ部１４０は電子装置１００の前面に位置する第１カメラと後面に位置する第２カメラのうち少なくとも一つを含む。
カメラ部１４０は、連続撮影を介して少なくとも一つのイメージを獲得してプロセッサユニット１２０に提供する。例えば、カメラ部１４０はシャッターボタンが入力されたことを感知した場合、基準間隔で基準回数だけの連続撮影を介して少なくとも一つのイメージを獲得する。この際、カメラ部１４０はシャッターボタンを感知した時点又はシャッターボタンの入力を感知した後で被写体の動きが感知された時点から連続撮影を開始する。他の例として、カメラ部１４０はシャッターボタンの入力が維持される間、基準間隔で連続撮影を行って少なくとも一つのイメージを獲得する。この際、カメラ部１４０はシャッターボタンを感知した時点又はシャッターボタンの入力を感知した後で被写体の動きが感知された時点から連続撮影を開始する。他の例として、カメラ部１４０は動画を撮影する際、動画撮影のためのフレーム間隔を調節して少なくとも一つのイメージを獲得する。
センシング部１５０は電子装置１００の動きを感知する。例えば、センシング部１５０は加速度センサ、重力センサ、地磁気センサのうち一つ以上を含む。
入出力制御部１６０は、表示部１７０及び入力装置１８０などの入力力装置と周辺装置インタフェース１２３との間にインタフェースを提供する。
表示部１７０は電子装置１００の状態情報、ユーザ入力する文字、動画像及び静画像などを表示する。例えば、表示部１７０はプロセッサ１１２によって駆動される応用プログラムの情報を表示する。
入力装置１８０は、ユーザの選択によって発生する入力データを入出力制御部１６０を介してプロセッサユニット１２０に提供する。この際、入力装置１８０は少なくとも一つのハードウェアボタンを含むキーパッド及びタッチ情報を感知するタッチパッドのうち一つ以上を含む。例えば、入力装置１８０はタッチパッドを介して感知したタッチ情報を入出力制御部１６０を介してプロセッサ１２２に提供する。
追加的に、電子装置１００は音声通信及びデータ通信のための通信機能を行う通信システムを含む。この際、通信システムは互いに異なる通信ネットワークを支援する多数個の通信サブモジュールで区分される。例えば、通信ネットワークはこれらに限らないが、ＧＳＭネットワーク、ＥＧＤＥネットワーク、ＣＤＭＡネットワーク、Ｗ−ＣＤＭＡネットワーク、ＬＴＥネットワーク、ＯＦＤＭＡネットワーク、無線ＬＡＮ，Ｂｌｕｅｔｏｏｔｈネットワーク及びＮＦＣなどを含む。
上述した実施例において、プロセッサ１２２は一つのモジュール内でメモリ１１０に貯蔵されたソフトウェア構成要素を実行し、動く写真コンテンツの生成及びユーザの入力情報に応じて動く写真コンテンツの再生方式を決定する。
他の実施例において、プロセッサ１２２は下記図２に示したように動く写真コンテンツの生成及びユーザの入力情報に応じて動く写真コンテンツの再生方式を決定するための構成要素が別途のモジュールとして含むように構成する。
図２は、本発明の実施例によるプロセッサの詳細なブロック構成を示す図である。
図２を参照すると、プロセッサ１１２は動く写真生成部２００、再生制御部２１０、応用プログラム駆動部２２０及び表示制御部２３０を含む。
動く写真生成部２００はプログラム貯蔵部１１１に貯蔵された動く写真生成プログラム１１４を実行して動く写真コンテンツを生成する。例えば、動く写真生成部２００はカメラ部１４０を介して連続に撮影された多数個のイメージを合成して動く写真コンテンツを生成する。
他の例として、動く写真生成部２００はカメラ部１４０を介して連続に撮影された多数個のイメージのうち入力装置１８０から提供されたユーザの入力情報に応じて設定された動き領域の情報を合成して動く写真コンテンツを生成する。
また他の例として、動く写真生成部２００はカメラ部１４０を介して連続に撮影された多数個のイメージを比較し、動きが発生する領域を抽出して動き領域として設定する。次に、動く写真生成部２００は連続に撮影されたイメージの動き領域の情報を合成して動く写真コンテンツを生成してもよい。この際、動く写真生成部２００はイメージをピクセル単位で比較して動き領域を設定する。
再生制御部２１０は、プログラム貯蔵部１１１に貯蔵された再生制御プログラム１１５を実行してマイク１３２、センシング部１５０及び入力装置１８０のうち少なくとも一つを介して提供されたユーザの入力情報に応じて動画コンテンツ又は動く写真コンテンツに対する再生方式を決定する。例えば、図９ｅに示したように入力装置１８０を介してドラッグ９４１，９４３を感知した場合、プロセッサユニット１２０はデータ貯蔵部１１２に貯蔵された再生方式のうちドラッグ情報にマッチングする動画コンテンツ又は動く写真コンテンツの再生方式を選択する。
他の例として、図１０ｅに示したようにマイク１３２を介して「投げて」という音声命令１０５０を提供された場合、再生制御部２１０はデータ貯蔵部１１２に貯蔵された再生方式のうち「投げて」という音声命令にマッチングする動画コンテンツ又は動く写真コンテンツの再生方式を選択する。
また他の例として、センシング部１５０を介して電子装置１００の揺れが感知された場合、再生制御部２１０はデータ貯蔵部１１２に貯蔵された再生方式のうち電子装置１００の揺れにマッチングする動画コンテンツ又は動く写真コンテンツの再生方式を選択する。
再生制御部２１０はコンテンツの再生方式がマッチングする入力情報のうち該当動画コンテンツ又は動く写真コンテンツを制御するための少なくとも一つの入力情報を選択する。例えば、再生制御部２１０は図９ｃ及び図１０ｃに示したようにコンテンツの再生方式がマッチングする入力情報９２０，１０３０を表示部１７０に表示するように制御する。次に、再生制御部２１０はコンテンツの再生方式がマッチングする入力情報９２０，１０３０のうち少なくとも一つの入力情報を動画コンテンツ又は動く写真コンテンツを再生するための入力情報として選択する。この場合、再生制御部２１０は動画コンテンツ又は動く写真コンテンツの再生方式がマッチングする入力情報９２０，１０３０のうち選択された少なくとも一つの入力情報に基づいて動画コンテンツ又は動く写真コンテンツを再生するように制御する。
他の例として、再生制御部２１０は図９ｄ及び図１０ｄに示したようにコンテンツの再生方式がマッチングする入力情方式９３０，１０４０を表示部１７０に表示するように制御する。次に、再生制御部２１０はコンテンツの再生方式がマッチングする入力方式９３０，１０４０のうち少なくとも一つの入力方式を動画コンテンツ又は動く写真コンテンツを再生するための入力方式として選択する。もし、図９ｄに示したようにタッチ入力方方式が選択された場合、再生制御部２１０はコンテンツの再生方式がマッチングする入力情報のうちタッチ入力方式に応じた少なくとも一つ入力情報９３０に基づいて動画コンテンツ又は動く写真コンテンツを再生するように制御する。一方、図１０ｄに示したように音声認識方式が選択された場合、再生制御部２１０はコンテンツの再生方式がマッチングする入力情報のうち音声認識方式に応じた少なくとも一つ入力情報１０４０に基づいて動画コンテンツ又は動く写真コンテンツを再生するように制御する。
再生制御部２１０は、動く写真コンテンツに含まれた少なくとも一つの動き領域を選択的に再生してもよい。例えば、図１０ｄに示したように音声認識情報１０４０のうち「投げて」という音声命令を感知した場合、再生制御部２１０は図１０ｂに示した２つの動き領域１０１０，１０２０を含む動く写真コンテンツで第１動き領域１０１０のみを１回再生するように制御する。他の例として、図１０ｄに示したように音声認識情報のうち「再生」という音声命令を感知した場合、再生制御部２１０は図１０ｂに示した動く写真コンテンツを１回再生するように制御する。即ち、再生制御部２１０は動く写真コンテンツに含まれた第１動き領域１０１０及び第２動き領域１０２０を１回再生するように制御する。
再生制御部２１０は、動画コンテンツ又は動く写真コンテンツを制御するための少なくとも一つの入力情報にマッチングする再生方式を設定する。例えば、再生制御部２１０は図５に示したように入力情報設定メニュを利用して動画コンテンツ又は動く写真コンテンツを制御するための入力情報にマッチングするための再生方式を設定する。他の例として、再生制御部２１０は動く写真生成プログラム１１４を介して動く写真を生成する際、動く写真コンテンツを制御するための入力情報にマッチングする再生方式を決定する。
応用プログラム駆動部２２０は、プログラム貯蔵部１１１に貯蔵されている少なくとも一つの応用プログラム１１６を実行して該当応用プログラムに応じたサービスを提供する。例えば、応用プログラム駆動部２２０はプログラム貯蔵部１１１に貯蔵された応用プログラム１１６を貯蔵して動く写真コンテンツを再生する。この際、応用プログラム駆動部２２０は再生制御部２１０で決定した再生方式に応じて動く写真コンテンツを再生する。
表示制御部２３０はプログラム貯蔵部１１１に貯蔵されたＧＵＩプログラム１１３を実行し、表示部１７０の上にグラフィックでユーザインタフェースを表示するように制御する。例えば、表示制御部２３０は応用プログラム駆動部２２０で駆動される応用プログラムの情報を表示部１７０に表示するように制御する。
上述したように、再生制御部２１０は動く写真コンテンツに含まれる動き領域のうち一部の動き領域のみを再生するように制御する。例えば、再生制御部２１０は図１０ｂに示した２つの動き領域１０１０，１０２０を含む動く写真コンテンツで第１動き領域１０１０のみを１回再生するように制御する。この場合、表示制御部２３０は動く写真コンテンツと基準イメージと再生される動く写真コンテンツに重畳させて第１動き領域１０１０のみ再生されると表示する。
上述した実施例において、電子装置１００は動く写真生成部２００と再生制御部２１０を含むプロセッサ１２２を利用して動く写真コンテンツの生成及びユーザの入力情報に対応するコンテンツの再生方式を決定する。
他の実施例において、電子装置１００は動く写真コンテンツの生成及びユーザの入力情報に対応するコンテンツの再生方式を決定する別途の制御モジュールを含む。
図３は、本発明の実施例による電子装置で動く写真コンテンツを再生するための手順を示す図である。
図３を参照すると、電子装置はステップ３０１で動く写真コンテンツを生成する。例えば、電子装置は連続に撮影された多数個のイメージを合成して動く写真コンテンツを生成する。この際、電子装置は図４に示したように連続に撮影されたイメージの動き領域を合成して動く写真コンテンツを生成する。
動く写真コンテンツを再生した場合、再生装置はステップ３０３に進行してマイク１３２、センシング部１５０及び入力装置１８０のうち少なくとも一つを介して入力情報を感知する。
次に、電子装置はステップ３０５に進行してステップ３０３で感知した入力情報にマッチングするコンテンツに対する制御情報を決定する。ここで、制御情報は動く写真コンテンツに対する再生方式を含む。
コンテンツに対する制御情報を確認した場合、電子装置はステップ３０７に進行して入力情報にマッチングするコンテンツに対する制御情報に基づいて動く写真コンテンツを再生する。例えば、図９ｅに示したように入力装置１８０を介してドラッグ９４１，９４３を感知した場合、電子装置はドラッグ情報にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツを１回再生する。この際、電子装置はドラッグ距離に応じて動き領域９１０に含まれた「ゴルフスイング」の再生地点を制御する。他の例として、図１０ｅに示したようにマイク１３２を介して「投げて」という音声命令１０５０を提供された場合、電子装置は「投げて」という音声命令にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツの第２動き領域１０２０のみを１回再生する。
上述した実施例において、電子装置はステップ３０１で生成した動く写真コンテンツを入力情報にマッチングする動く写真コンテンツに対する制御情報に応じて再生する。
他の実施例において、電子装置はデータ貯蔵部１１２に貯蔵された動画コンテンツ及び動く写真コンテンツのうち再生するために選択した少なくとも一つのコンテンツを入力情報にマッチングする制御情報に応じて再生する。
図４は、本発明の実施例による電子装置で動く写真コンテンツを生成するための手順を示す図である。
図４を参照すると、電子装置はステップ４０１で連続撮影イベントが発生するのかを確認する。例えば、電子装置は連続撮影モードに設定されたカメラ部１４０に対するシャッターボタンの入力が感知されるのかを確認する。他の例として、電子装置はカメラ部１４０に対するシャッターボタンの入力が基準時間の間に維持されるのかを確認する。
連続撮影イベントが発生した場合、電子装置はステップ４０３に進行して連続撮影された少なくとも一つのイメージを確認する。例えば、電子装置はシャッターボタンが入力されたことを感知した場合、基準間隔で基準回数だけの連続撮影を介して図９ａ又は図１０ａに示したような多数個のイメージ９００，１０００を獲得する。この際、電子装置はシャッターボタンの入力を感知した時点又はシャッターボタンの入力を感知した後で被写体の動きが感知された時点から連続撮影を開始する。他の例として、電子装置はシャッターボタンの入力が維持される間に基準間隔で連続撮影を行って図９ａ又は図１０ａに示したような多数個のイメージ９００，１０００を獲得する。この際、電子装置はシャッターボタンの入力を感知した時点又はシャッターボタンの入力を感知した後で被写体の動きが感知された時点から連続撮影を開始する。また他の例として、電子装置は動画を撮影する際、動画撮影のためのフレーム間隔を調節して多数個のイメージを獲得する。
連続撮影されたイメージを確認した後、電子装置はステップ４０５に進行して連続撮影されたイメージに対する動き領域を決定する。この際、電子装置は図９ｂに示したように一つの動き領域９１０を決定するか、図１０ｂに示したように多数個の動き領域１０１０，１０２０を決定する。例えば、電子装置は連続撮影されたイメージのうちいずれか一つの基準イメージを設定して表示部１７０に表示する。次に、電子装置は基準イメージに対するタッチ情報に基づいて動き領域を設定する。他の例として、電子装置は連続に撮影されたイメージを比較して動きが感知される領域を動き領域として設定する。ここで、電子装置はイメージをピクセル単位で比較して動き領域を設定する。
動き領域を決定した後、電子装置はステップ４０７に進行して連続撮影されたイメージの動き領域を合成して動く写真コンテンツを生成する。
上述したように、電子装置は連続に撮影されたイメージの動き領域を合成して動く写真コンテンツを生成する。この際、電子装置は動く写真コンテンツを再生するための入力情報と再生方式を設定する。例えば、電子装置は動く写真コンテンツを生成した後、図５に示したように制御情報設定メニュを利用して動く写真コンテンツを再生するための入力情報と再生方式を設定する。この際、電子装置は動く写真コンテンツの生成とは関係なく、制御情報設定メニュの選択によってデータ貯蔵部１１２に貯蔵された動画コンテンツ又は動く写真コンテンツを再生するための入力情報と再生方式を図５と同じく設定してもよい。
図５は、本発明の実施例による電子装置で動く写真コンテンツに対する制御情報を設定するための手順を示す図である。
図５を参照すると、電子装置はステップ５０１で制御情報設定イベントが発生するのかを確認する。例えば、電子装置は制御情報設定メニュが選択されるのかを確認する。他の例として、制御情報設定アイコンが選択されるのかを確認する。また他の例として、電子装置は制御情報を設定するための動く写真コンテンツが生成されるのかを確認してもよい。
制御情報設定イベントが発生した場合、電子装置はステップ５０３に進行して動く写真コンテンツに対する制御情報を設定するための制御情報設定画面を表示部１７０に表示する。例えば、表示装置は図１１に示したように構成される制御情報設定画面を表示部１７０に表示する。他の例として、電子装置は表示部１７０に表示された動く写真コンテンツに重畳されるように制御情報を設定するためのポップアップウィンドウを表示してもよい。
次に、電子装置はステップ５０５に進行して制御情報の設定が完了されるのかを確認する。例えば、電子装置は入力装置１８０を介したユーザの入力される動く写真コンテンツを再生するための入力情報と再生方式を制御情報設定画面に表示する。次に、電子装置は入力完了メニュが選択されるのかを確認する。
制御情報の設定が完了された場合、電子装置はステップ５０７に進行して制御情報設定画面を介して設定された動く写真コンテンツを再生するための入力情報と再生方式情報をデータ貯蔵部１１２に貯蔵する。
上述した実施例において、電子装置は動く写真コンテンツを生成した後、制御情報設定メニュを利用して動く写真コンテンツを再生するための入力情報と再生方式を設定する。
他の実施例において、電子装置は既に設定された動く写真コンテンツを再生するための入力情報と再生方式情報のうち生成した動く写真コンテンツの再生に適用するための入力情報と再生方式のマッチング情報を選択する。例えば、電子装置は動く写真コンテンツを生成した後、図９ｃ又は図１０ｃに示したように既に設定された動く写真コンテンツを再生するための入力情報と再生方式情報９２０，１０３０を表示部１７０に表示する。次に、電子装置は表示部１７０に表示された既に設定された動く写真コンテンツを再生するための入力情報と再生方式情報９２０，１０３０のうち動く写真コンテンツの再生に適用するための入力情報と再生方式のマッチング情報を選択する。他の例として、電子装置は動く写真コンテンツを生成した後、図９ｄ又は図１０ｄに示したように既に設定された動く写真コンテンツを再生するための入力情報に応じた再生方式情報９３０，１０４０を表示部１７０に表示する。次に、電子装置は表示部１７０に表示された既に設定された動く写真コンテンツを再生するための入力方式による再生方式情報９２０，１０３０のうち動く写真コンテンツの再生に適用するための入力方式による再生方式のマッチング情報を選択する。
図６は、本発明の実施例による電子装置で入力情報に基づいてコンテンツを再生するための手順を示す図である。
図６を参照すると、電子装置はステップ６０１でコンテンツ実行イベントが発生するのかを確認する。例えば、電子装置はデータ貯蔵部１１２に貯蔵された少なくとも一つの動く写真コンテンツのうち実行するための動く写真コンテンツが選択されるのかを確認する。他の例として、電子装置はデータ貯蔵部１１２に貯蔵された少なくとも一つの動画コンテンツのうち実行するための動画コンテンツが選択されるのかを確認する。
コンテンツ実行イベントが発生した場合、電子装置はステップ６０３に進行して実行するために選択されたコンテンツ情報を表示部１７０に表示する。例えば、電子装置は動く写真コンテンツの基準画面を表示部１７０に表示する。この際、電子装置は動く写真コンテンツを待機状態で維持する。他の例として、電子装置は動画の基準画面を表示部１７０に表示する。ここで、動画の基準画面は動画のサムネール又は動画の再生開始時点のイメージを含む。
次に、電子装置はステップ６０５に進行してマイク１３２、センシング部１５０及び入力装置１８０のうち少なくとも一つを介して入力情報が感知されるのかを確認する。
入力情報を感知した場合、電子装置はステップ６０７に進行してステップ６０５で感知した入力情報にマッチングするコンテンツの制御情報が存在するのかを確認する。ここで、制御情報はコンテンツに対する再生方式を含む。
入力情報にマッチングするコンテンツに対する制御情報が存在しない場合、電子装置はステップ６１１に進行して警告イベントを発生させる。例えば、電子装置は入力情報にマッチングするコンテンツに対する制御情報が存在しないことを示す警告メッセージ及び警告音のうち少なくとも一つを発せさせる。
次に、電子装置はステップ６０５に進行して入力情報が感知されるのかを更に確認する。
一方、入力情報にマッチングするコンテンツに対する制御情報が存在する場合、電子装置はステップ６０９に入力情報にマッチングするコンテンツに対する制御情報に基づいて動画コンテンツ又は動く写真コンテンツを再生する。例えば、図９ｅに示したように入力装置１８０を介してドラッグ９４１，９４３を感知した場合、再生制御部はドラッグ情報にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツを１回再生する。この際、電子装置はドラッグ距離に応じてゴルフスイングの再生地点を制御する。他の例として、図１０ｅに示したようにマイク１３２を介して「投げて」という音声命令１０５０を提供された場合、電子装置は「投げて」という音声命令にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツの第２動き領域１０２０のみを１回再生する。
図７は、本発明の他の実施例による電子装置で入力情報に基づいて動く写真コンテンツを再生するための手順を示す図である。
図７を参照すると、電子装置はステップ７０１で動く写真コンテンツに対する実行イベントが発生するのかを確認する。例えば、電子装置はデータ貯蔵部１１２に貯蔵された少なくとも一つの動く写真コンテンツのうち実行するための動く写真コンテンツが選択されるのかを確認する。
動く写真コンテンツに対する実行イベントが発生した場合、電子装置はステップ７０３に進行して実行するために選択された動く写真コンテンツ情報を表示部１７０に表示する。例えば、電子装置は動く写真コンテンツの基準画面を表示部１７０に表示する。この際、電子装置は動く写真コンテンツを待機状態で維持する。
次に、電子装置はステップ７０５に進行して動く写真コンテンツに含まれた動き領域の個数が多数個であるのかを確認する。
動く写真コンテンツが多数個の動き領域を含む場合、電子装置はステップ７０７に進行してマイク１３２、センシング部１５０及び入力装置１８０のうち少なくとも一つを介して入力情報が感知されるのかを確認する。
入力情報を感知した場合、電子装置はステップ７０９に進行してステップ７０７で感知した入力情報にマッチングする動く写真コンテンツに対する制御情報を確認する。もし、入力情報にマッチングする動く写真コンテンツに対する制御情報が存在しない場合、電子装置は入力情報にマッチングする動く写真コンテンツに対する制御情報が存在しないという警告メッセージ、警告音のうち少なくとも一つを発生させる。
入力情報にマッチングする動く写真コンテンツに対する制御情報を確認した後、電子装置はステップ７１１に進行して入力情報にマッチングする動く写真コンテンツに対する制御情報に基づいて動く写真コンテンツに含まれた少なくとも一つの動き領域を再生する。例えば、図１０ｅに示したようにマイク１３２を介して「投げて」という音声命令１０５０を提供された場合、電子装置は「投げて」という音声命令にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツの第２動き領域１０２０のみを１回再生する。他の例として、図１０ｂに示したように動く写真コンテンツで第１動き領域１０１０に対するドラッグが感知された場合、電子装置はドラッグ情報にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツの第１動き領域１０１０のみ１回再生する。また他の例として、マイク１３２を介して「再生」という音声命令を提供された場合、電子装置は「再生」という音声命令にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツの第１動き領域１０１０及び第２動き領域１０２０を１回再生する。
動く写真コンテンツが一つの動き領域を含む場合、電子装置はステップ７１３に進行してマイク１３２、センシング部１５０及び入力装置１８０のうち少なくとも一つを介して入力情報が感知されるのかを確認する。
入力情報を感知した場合、電子装置はステップ７１５に進行してステップ７１３で感知した入力情報にマッチングする動く写真コンテンツに対する制御情報を確認する。もし、入力情報にマッチングする動く写真コンテンツに対する制御情報が存在しない場合、電子装置は入力情報にマッチングする動く写真コンテンツに対する制御情報が存在しないという警告メッセージ、警告音のうち少なくとも一つを発生させる。
入力情報にマッチングする動く写真コンテンツに対する制御情報を確認した後、電子装置はステップ７１７に進行して入力情報にマッチングする動く写真コンテンツに対する制御情報に基づいて動く写真コンテンツを再生する。例えば、図９ｅに示したように入力装置１８０を介してドラッグ９４１，９４３を感知した場合、電子装置はドラッグ情報にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツの動き領域を１回再生する。
図８は、本発明のまた他の実施例による電子装置で入力情報に基づいてコンテンツを再生するための手順を示す図である。
図８を参照すると、電子装置はステップ８０１でコンテンツ実行イベントが発生するのかを確認する。例えば、電子装置はデータ貯蔵部１１２に貯蔵された少なくとも一つの動く写真コンテンツのうち実行するための動く写真コンテンツが選択されるのかを確認する。他の例として、電子装置はデータ貯蔵部１１２に貯蔵された少なくとも一つの動画コンテンツのうち実行するための動画コンテンツが選択されるのかを確認する。
コンテンツ実行イベントが発生した場合、電子装置はステップ８０３に進行して実行するために選択されたコンテンツ情報を表示部１７０に表示する。例えば、電子装置は動く写真コンテンツの基準画面を表示部１７０に表示する。この際、電子装置は動く写真コンテンツを待機状態で維持する。他の例として、電子装置は動画の基準画面を表示部１７０に表示する。ここで、動画の基準画面は動画のサムネール又は動画の再生開始時点のイメージを含む。
次に、電子装置はステップ８０５に進行してコンテンツを再生するための入力情報を決定する。例えば、電子装置は図９ｃ又は図９ｄ又は図１０ｃ又は図１０ｄに示したように、コンテンツの再生方式がマッチングする入力情報９２０又は９３０又は１０３０又は１０４０を表示部１７０に表示する。次に、電子装置はコンテンツの再生方式がマッチングする入力情報９２０，１０３０のうち少なくとも一つの入力情報をコンテンツを再生するための入力情報として選択する。
コンテンツを再生するための入力情報を決定した後、電子装置はステップ８０７に進行してマイク１３２、センシング部１５０及び入力装置１８０のうち少なくとも一つを介して入力情報が感知されるのかを確認する。
入力情報を感知した場合、電子装置はステップ８０９に進行してステップ８０７で感知した入力情報にマッチングするコンテンツに対する制御情報が存在するのかを確認する。ここで、制御情報はコンテンツに対する再生方式を含む。
入力情報にマッチングするコンテンツに対する制御情報が存在しない場合、電子装置はステップ８１３に進行して警告イベントを発生させる。例えば、電子装置は入力情報にマッチングする動く写真コンテンツに対する制御情報が存在しないことを示す警告メッセージ及び警告音のうち少なくとも一つを発せさせる。
次に、電子装置はステップ８０７に進行して入力情報が感知されるのかを更に確認する。
一方、入力情報にマッチングするコンテンツに対する制御情報が存在する場合、電子装置はステップ８１１に進行して入力情報にマッチングするコンテンツに対する制御情報に基づいて動画コンテンツ又は動く写真コンテンツを再生する。例えば、図９ｅに示したように入力装置１８０を介してドラッグ９４１，９４３を感知した場合、再生制御部はドラッグ情報にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツを１回再生する。この際、電子装置はドラッグ距離に応じてゴルフスイングの再生地点を制御する。他の例として、図１０ｅに示したようにマイク１３２を介して「投げて」という音声命令１０５０を提供された場合、電子装置は「投げて」という音声命令にマッチングする動く写真コンテンツの再生方式に応じて動く写真コンテンツの第２動き領域１０２０のみを１回再生する。
上述した実施例において、電子装置はマイク１３２、センシング部１５０及び入力装置１８０のうち少なくとも一つを介して提供されたユーザの入力情報にマッチングする再生方式に応じて動画コンテンツ又は動く写真コンテンツを再生する。この際、電子装置はユーザの入力情報に応じて動く写真コンテンツの動き領域を拡大又は縮小する。
上述したように、電子装置でユーザの入力情報にマッチングする再生方式に応じて動画コンテンツ又は動く写真コンテンツを再生することで、動画コンテンツ又は動く写真コンテンツに対するユーザの興味を誘発することができる。
また、電子装置で被写体の動きを認識して動く写真コンテンツを生成するための動き領域を自動的に設定することで、動く写真コンテンツを容易に生成することができる。
一方、本発明の詳細な説明では具体的な実施例について説明したが、本発明の範囲を逸脱しない範囲内で多様な変形が可能である。よって、本発明の範囲は説明された実施例に限って決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものによって決められるべきである。
１００ 電子装置
１１０ メモリ
１１１ プログラム貯蔵部
１１２ データ貯蔵部
１１３ プログラム
１１４ 写真生成プログラム
１１５ 再生制御プログラム
１１６ 応用プログラム
１２０ プロセッサユニット
１２１ メモリインタフェース
１２２ プロセッサ
１２３ 周辺装置インタフェース
１３０ オーディオ処理部
１３１ スピーカ
１４０ カメラ部
１５０ センシング部
１６０ 入出力制御部
１７０ 表示部
１８０ 入力装置
２００ 写真生成部
２１０ 再生制御部
２２０ 応用プログラム駆動部
２３０ 表示制御部

Claims (20)

  1. 電子装置でコンテンツを再生するための方法において、
    前記コンテンツの複数の再生方式を、前記コンテンツを再生するための複数の入力方式と連関させる過程と、前記複数の再生方式のそれぞれはお互い異なるタイプの入力方式に対応し、
    前記コンテンツの基準イメージを表示する過程と、
    ユーザの入力を感知した場合、前記感知された入力の方式に対応する再生方式を決定する過程と、
    前記決定された再生方式に基づいて前記コンテンツを再生する過程と、を含む方法。
  2. 前記お互い異なるタイプの入力方式は、タッチ入力方式、音声認識方式及び前記電子装置を振るジェスチャー入力方式のうち二つ以上のユーザの入力を含む請求項１に記載の方法。
  3. 前記再生方式は、前記コンテンツの１回順方向再生、反復順方向再生、１回逆方向再生及び反復逆方向再生のうち二つ以上を含む請求項１に記載の方法。
  4. 前記ユーザの入力の方式に対応する再生方式が存在しない場合、警告メッセージ及び警告音のうち少なくとも一つを発生させる過程を更に含む請求項１に記載の方法。
  5. 前記再生方式は前記コンテンツの一部領域の１回順方向再生、反復順方向再生、１回逆方向再生又は反復逆方向再生のうち二つ以上を含む請求項１に記載の方法。
  6. 前記コンテンツを再生するための複数の入力方式を表示し、
    前記表示された複数の入力方式のうち１つ以上の入力方式を選択するユーザ入力を検出すると、前記選択された入力方式に対応する再生方式を表示する請求項１に記載の方法。
  7. 前記基準イメージを表示する過程の前に動く写真コンテンツを生成する過程を更に含む請求項１に記載の方法。
  8. 前記動く写真コンテンツを生成する過程は、
    カメラを利用した連続撮影を介して多数個のイメージを獲得する過程と、
    前記多数個のイメージで基準領域を決定する過程と、
    前記多数個のイメージの基準領域に含まれるイメージを合成して動く写真コンテンツを生成する過程と、を含む請求項７に記載の方法。
  9. 前記基準領域を決定する過程は、
    前記イメージを比較して被写体の動きが感知される領域を抽出する過程と、
    前記抽出した領域を基準領域として決定する過程と、を含む請求項８に記載の方法。
  10. 前記決定された再生方式によって前記コンテンツを再生する過程は、
    前記入力方式がドラッグ入力方式である場合、ドラッグの距離によって前記コンテンツの再生地点を決定する過程を含む請求項７に記載の方法。
  11. 電子装置において、
    表示部と、
    入力部と、
    少なくとも一つのプロセッサと、を含み、
    前記プロセッサは、
    コンテンツの複数の再生方式を、前記コンテンツを再生するための複数の入力方式と連関させ、前記複数の再生方式のそれぞれは、お互い異なるタイプの入力方式に対応し、
    前記コンテンツの基準イメージを前記表示部に表示し、
    前記入力部を介してユーザの入力を感知した場合、前記感知された入力に対応する再生方式に基づいて前記コンテンツを再生する装置。
  12. 前記お互い異なるタイプの入力方式は、タッチ入力方式、音声認識方式及び前記電子装置を振るジェスチャー入力方式のうち二つ以上のユーザの入力を含む請求項１１に記載の装置。
  13. 前記再生方式は、前記コンテンツの１回順方向再生、反復順方向再生、１回逆方向再生及び反復逆方向再生のうち二つ以上を含む請求項１１に記載の装置。
  14. 前記プロセッサは、前記ユーザの入力の方式に対応する再生方式が存在しない場合、警告メッセージ及び警告音のうち少なくとも一つを発生するように制御する請求項１１に記載の装置。
  15. 前記再生方式は、前記コンテンツの一部領域の１回順方向再生、反復順方向再生、１回逆方向再生及び反復逆方向再生のうち二つ以上を含む請求項１１に記載の装置。
  16. 前記表示部は、前記コンテンツを再生するための複数の入力方式を表示し、
    前記表示された複数の入力方式のうち１つ異様の入力方式を選択するユーザ入力を検出すると、前記選択された入力方式に対応する再生方式を表示する請求項１１に記載の装置。
  17. カメラを更に含み、
    前記プロセッサは、前記カメラを介して撮影した多数個のイメージを利用して動く写真コンテンツを生成する請求項１１に記載の装置。
  18. 前記プロセッサは、前記カメラを利用した連続撮影を介して獲得した多数個のイメージで基準領域を決定し、前記多数個のイメージの基準領域に含まれるイメージを合成して動く写真コンテンツを生成する請求項１７に記載の装置。
  19. 前記プロセッサは、前記多数個のイメージを比較して被写体の動きが感知される領域を抽出し基準領域として決定する請求項１８に記載の装置。
  20. 前記プロセッサは、
    前記入力方式がドラッグ入力方式である場合、ドラッグの距離によって前記コンテンツの再生地点を決定する請求項１１に記載の装置。
JP2014000278A 2013-01-07 2014-01-06 電子装置でコンテンツを制御する装置及びその方法 Expired - Fee Related JP6400293B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0001743 2013-01-07
KR1020130001743A KR102004884B1 (ko) 2013-01-07 2013-01-07 전자 장치에서 움직이는 사진 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2014132461A JP2014132461A (ja) 2014-07-17
JP6400293B2 true JP6400293B2 (ja) 2018-10-03

Family

ID=49999711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014000278A Expired - Fee Related JP6400293B2 (ja) 2013-01-07 2014-01-06 電子装置でコンテンツを制御する装置及びその方法

Country Status (11)

Country Link
US (1) US9607651B2 (ja)
EP (1) EP2753094B1 (ja)
JP (1) JP6400293B2 (ja)
KR (1) KR102004884B1 (ja)
CN (1) CN103916596B (ja)
AU (1) AU2014200042B2 (ja)
BR (1) BR102014000331B1 (ja)
CA (1) CA2838878C (ja)
RU (1) RU2625336C2 (ja)
TW (1) TWI595408B (ja)
WO (1) WO2014107025A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10950140B2 (en) 2017-06-22 2021-03-16 Visyn Inc. Video practice systems and methods
US10679396B2 (en) * 2017-07-13 2020-06-09 Visyn Inc. Holographic multi avatar training system interface and sonification associative training
US20160321833A1 (en) * 2015-04-29 2016-11-03 Seerslab, Inc. Method and apparatus for generating moving photograph based on moving effect
KR20170011870A (ko) * 2015-07-24 2017-02-02 삼성전자주식회사 콘텐트를 제공하는 전자 장치 및 방법
US11017576B2 (en) 2018-05-30 2021-05-25 Visyn Inc. Reference model predictive tracking and rendering
US11615648B2 (en) 2021-05-28 2023-03-28 Sportsbox.ai Inc. Practice drill-related features using quantitative, biomechanical-based analysis

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0573195A (ja) * 1991-07-18 1993-03-26 Personal Joho Kankyo Kyokai 操作方法変換装置
JPH086707A (ja) 1993-12-30 1996-01-12 Xerox Corp スクリーン指向ディスプレー処理システム
JP4110560B2 (ja) * 1998-05-20 2008-07-02 カシオ計算機株式会社 画像処理方法及びその装置
JP2000029585A (ja) * 1998-07-08 2000-01-28 Canon Inc 音声コマンド認識画像処理装置
US8271287B1 (en) 2000-01-14 2012-09-18 Alcatel Lucent Voice command remote control system
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2004061645A (ja) * 2002-07-25 2004-02-26 Casio Comput Co Ltd データ入力装置およびプログラム
JP2004078736A (ja) * 2002-08-21 2004-03-11 Yamatosokki Joho Center Co Ltd 音声データまたは動画像データ等の再生を制御するための再生制御システム
US7487460B2 (en) 2003-03-21 2009-02-03 Microsoft Corporation Interface for presenting data representations in a screen-area inset
KR101039003B1 (ko) 2003-10-13 2011-06-07 삼성전자주식회사 영상파일을 용이하게 검색할 수 있는 파일목록을 생성하는영상재생장치 및 그의 파일목록 생성방법
US20070113200A1 (en) 2004-01-29 2007-05-17 Koninklijke Philips Electronics N.V. On-screen control of a video playback device
US20060114327A1 (en) * 2004-11-26 2006-06-01 Fuji Photo Film, Co., Ltd. Photo movie creating apparatus and program
KR101690164B1 (ko) * 2005-03-04 2016-12-27 애플 인크. 다기능 휴대용 장치
RU2303811C1 (ru) 2005-11-07 2007-07-27 Закрытое акционерное общество Коммерческий банк ПриватБанк Способ дистанционной аутентификации пользователя и система для его осуществления
US8848053B2 (en) * 2006-03-28 2014-09-30 Objectvideo, Inc. Automatic extraction of secondary video streams
KR100837283B1 (ko) 2007-09-10 2008-06-11 (주)익스트라스탠다드 터치스크린을 구비한 휴대용 단말기
US8103134B2 (en) * 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
JP4513894B2 (ja) * 2008-05-16 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、画像再生装置、画像再生方法およびプログラム
JP4752897B2 (ja) 2008-10-31 2011-08-17 ソニー株式会社 画像処理装置、画像表示方法および画像表示プログラム
JP4877319B2 (ja) * 2008-12-24 2012-02-15 カシオ計算機株式会社 画像生成装置、プログラム、画像表示方法、及び、撮像方法
KR101595380B1 (ko) 2009-05-07 2016-02-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US8340654B2 (en) 2009-05-26 2012-12-25 Lextech Labs Llc Apparatus and method for video display and control for portable device
JP2011035636A (ja) * 2009-07-31 2011-02-17 Casio Computer Co Ltd 画像処理装置及び方法
US9232167B2 (en) 2009-08-04 2016-01-05 Echostar Technologies L.L.C. Video system and remote control with touch interface for supplemental content display
JP5533872B2 (ja) * 2009-08-18 2014-06-25 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、および、情報処理プログラム
KR101649637B1 (ko) 2009-11-23 2016-08-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5463973B2 (ja) * 2010-03-10 2014-04-09 株式会社ニコン 表示制御装置、表示制御プログラム、および表示制御システム
JP2011193386A (ja) * 2010-03-16 2011-09-29 Toshiba Corp 電子機器及び画像処理方法
US9009594B2 (en) * 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
JP2012014604A (ja) 2010-07-05 2012-01-19 Panasonic Corp コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
JP5158174B2 (ja) * 2010-10-25 2013-03-06 株式会社デンソー 音声認識装置
JP5636888B2 (ja) * 2010-11-09 2014-12-10 ソニー株式会社 情報処理装置、プログラムおよびコマンド生成方法
JP5754119B2 (ja) * 2010-12-07 2015-07-29 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9363579B2 (en) 2010-12-22 2016-06-07 Google Inc. Video player with assisted seek
JP4874425B1 (ja) * 2010-12-28 2012-02-15 オリンパスイメージング株式会社 再生装置および撮像装置
US8990689B2 (en) * 2011-02-03 2015-03-24 Sony Corporation Training for substituting touch gestures for GUI or hardware keys to control audio video play
JP2012191486A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像合成装置と画像合成方法およびプログラム

Also Published As

Publication number Publication date
AU2014200042A1 (en) 2014-07-24
EP2753094A2 (en) 2014-07-09
KR20140089829A (ko) 2014-07-16
TWI595408B (zh) 2017-08-11
EP2753094A3 (en) 2015-06-17
EP2753094B1 (en) 2020-11-18
BR102014000331B1 (pt) 2022-02-22
TW201428596A (zh) 2014-07-16
US20140193132A1 (en) 2014-07-10
KR102004884B1 (ko) 2019-07-29
RU2625336C2 (ru) 2017-07-13
AU2014200042B2 (en) 2019-01-17
RU2015121356A (ru) 2016-12-27
JP2014132461A (ja) 2014-07-17
US9607651B2 (en) 2017-03-28
CA2838878C (en) 2021-11-30
BR102014000331A2 (pt) 2018-12-11
CA2838878A1 (en) 2014-07-07
WO2014107025A1 (en) 2014-07-10
CN103916596B (zh) 2019-02-22
CN103916596A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
WO2021135655A1 (zh) 生成多媒体资源的方法及设备
CN108900902B (zh) 确定视频背景音乐的方法、装置、终端设备及存储介质
JP6400293B2 (ja) 電子装置でコンテンツを制御する装置及びその方法
EP3125524A1 (en) Mobile terminal and method for controlling the same
KR102076773B1 (ko) 영상 데이터 획득 방법 및 그 방법을 처리하는 전자 장치
KR102018887B1 (ko) 신체 부위 검출을 이용한 이미지 프리뷰
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
EP3136705B1 (en) Mobile terminal and method for controlling the same
KR102023179B1 (ko) 듀얼 카메라를 포함하는 전자장치에서 듀얼 리코딩 촬영을 위한 방법 및 장치
EP3226537A1 (en) Mobile terminal and method for controlling the same
US9930310B2 (en) Audio alteration techniques
CN104243819A (zh) 照片获取方法及装置
CN107800945A (zh) 全景拍照的方法及装置、电子设备
KR20120068078A (ko) 영상 처리 장치 및 그의 영상 데이터와 오디오 데이터의 연결 방법
US20190012129A1 (en) Display apparatus and method for controlling display apparatus
KR20130056529A (ko) 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
JP6149862B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
US20180070043A1 (en) Display apparatus and controlling method thereof
US20160012851A1 (en) Image processing device, image processing method, and program
CN104168422A (zh) 处理图像的方法及装置
US9600160B2 (en) Image processing device, image processing method, and program
KR102138835B1 (ko) 정보 노출 방지 영상 제공 장치 및 방법
WO2021237744A1 (zh) 拍摄方法及装置
KR20140042961A (ko) 다중 셔터 사운드 재생 방법 및 그 전자 장치
CN113095163A (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180905

R150 Certificate of patent or registration of utility model

Ref document number: 6400293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees