JP4853745B2 - REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM - Google Patents

REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM Download PDF

Info

Publication number
JP4853745B2
JP4853745B2 JP2009114859A JP2009114859A JP4853745B2 JP 4853745 B2 JP4853745 B2 JP 4853745B2 JP 2009114859 A JP2009114859 A JP 2009114859A JP 2009114859 A JP2009114859 A JP 2009114859A JP 4853745 B2 JP4853745 B2 JP 4853745B2
Authority
JP
Japan
Prior art keywords
music
time
data
image
reproduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009114859A
Other languages
Japanese (ja)
Other versions
JP2009176416A (en
Inventor
宏昌 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009114859A priority Critical patent/JP4853745B2/en
Publication of JP2009176416A publication Critical patent/JP2009176416A/en
Application granted granted Critical
Publication of JP4853745B2 publication Critical patent/JP4853745B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、再生装置および再生方法、並びにプログラムに関し、特に、画像の再生とともに、例えば、その画像の撮像時に再生されていた音楽を自動的に再生すること等ができるようにした再生装置および再生方法、並びにプログラムに関する。   The present invention relates to a playback device, a playback method, and a program, and more particularly, to a playback device and a playback that can automatically play back, for example, music that was played back when the image was captured. The present invention relates to a method and a program.

従来、音楽および画像を再生する再生装置は、ユーザにより所定の音楽を再生させることが指示されると、その音楽を再生してヘッドフォンなどから出力し、また、ユーザにより所定の画像を再生させることが指示されると、その画像を再生してディスプレイなどに表示する。   2. Description of the Related Art Conventionally, a playback device that plays back music and images plays back the music and outputs it from headphones or the like when the user is instructed to play back the predetermined music, and also plays back the predetermined image by the user. Is displayed, the image is reproduced and displayed on a display or the like.

また、再生装置は、音楽のデータと画像のデータとを対応付けて記憶することができ、ある音楽を再生させることがユーザにより指示された場合、ユーザにより指示された音楽を再生するとともに、その音楽のデータに対応付けられている画像のデータを読み出し、画像を再生する。また、再生装置は、ユーザにより指示された音楽のデータに、画像のデータが対応付けられていなければ、任意の画像を再生する(例えば、特許文献1参照)。   In addition, the playback device can store music data and image data in association with each other. When the user instructs to play a certain music, the playback device plays back the music instructed by the user. The image data associated with the music data is read and the image is reproduced. In addition, if the image data is not associated with the music data instructed by the user, the reproduction device reproduces an arbitrary image (see, for example, Patent Document 1).

特開2006−67269号公報JP 2006-67269 A

しかしながら、従来の再生装置においては、音楽の再生とともに、その音楽に対応する画像を再生したり、画像の再生とともに、その画像に対応する音楽を再生したりするには、ユーザが、再生装置を操作して、音楽のデータと画像のデータとの対応付けを行う必要があった。   However, in the conventional playback device, in order to play back music and play an image corresponding to the music, or play back an image and music corresponding to the image, the user must play the playback device. It was necessary to perform operation to associate music data with image data.

即ち、例えば、ある音楽が再生されながら画像が撮像された場合、その画像の再生とともに、その音楽が再生されるようにするには、その音楽のデータと、その画像のデータとの対応付けが予め行われていなければならず、そのような対応付けを行うことは、ユーザにとって手間であった。   That is, for example, when an image is captured while a certain music is being reproduced, in order to reproduce the music along with the reproduction of the image, the music data and the image data are associated with each other. It has to be performed in advance, and it has been troublesome for the user to perform such association.

本発明は、このような状況に鑑みてなされたものであり、画像の再生とともに、その画像の撮像時に再生されていた音楽を、自動的に再生すること等ができるようにするものである。   The present invention has been made in view of such a situation, and it is possible to automatically reproduce, for example, music that has been reproduced at the time of capturing an image together with the reproduction of the image.

本発明の一側面の再生装置は、音楽データおよび画像データを再生する再生装置であって、再生指示された再生対象の画像データに付加された作成日時を取得する取得手段と、前記音楽データと前記音楽データの再生日時とが対応付けられたデータである再生履歴データを参照し、前記再生履歴データに登録されている前記音楽データの前記再生日時と、前記取得手段により取得した前記再生対象の画像データの作成日時とに基づいて、前記再生対象の画像データとともに再生する音楽データを決定する決定手段とを備え、前記決定手段は、再生中の前記音楽データが最後まで再生された場合、前記再生対象の画像データが更新されていないとき、前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小であれば、再生された前記音楽データを再度再生することを決定し、前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小でなければ、再生された前記音楽データ以外の前記音楽データの前記再生日時と、前記再生対象の画像データの作成日時とに基づいて、次に再生する音楽データを決定する。 One aspect of the reproducing apparatus of the present invention is a reproducing apparatus for reproducing music data and image data, obtaining means for obtaining the added created date and time in the image data to be reproduced which is reproduction instruction, the music data And the reproduction history data that is associated with the reproduction date and time of the music data, the reproduction date and time of the music data registered in the reproduction history data and the reproduction object acquired by the acquisition means Determining means for determining music data to be reproduced together with the image data to be reproduced based on the creation date and time of the image data, and the determining means, when the music data being reproduced has been reproduced to the end, If the reproduction target image data has not been updated and the difference between the creation date and time of the reproduction target image data and the current time is smaller than a predetermined value, the reproduction is performed. Decided to play the music data again, and creation date of the image data of the reproduced, if the difference between the current time is not smaller than a predetermined value, the non-reproduced the music data The music data to be reproduced next is determined based on the reproduction date / time of the music data and the creation date / time of the image data to be reproduced.

本発明の一側面の再生方法またはプログラムは、音楽データおよび画像データを再生する再生方法、または、音楽データおよび画像データの再生処理をコンピュータに実行させるプログラムであって、再生指示された再生対象の前記画像データに付加された作成日時を取得し、前記音楽データと前記音楽データの再生日時とが対応付けられたデータである再生履歴データを参照し、前記再生履歴データに登録されている前記音楽データの再生日時と、前記再生指示された前記再生対象の画像データの作成日時とに基づいて、前記再生対象の画像データとともに再生する前記音楽データを決定するステップを含み、再生中の前記音楽データが最後まで再生された場合、前記再生対象の画像データが更新されていないとき、前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小であれば、再生された前記音楽データを再度再生することが決定され、前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小でなければ、再生された前記音楽データ以外の前記音楽データの前記再生日時と、前記再生対象の画像データの作成日時とに基づいて、次に再生する音楽データが決定される。 A playback method or program according to one aspect of the present invention is a playback method for playing back music data and image data, or a program for causing a computer to execute playback processing of music data and image data. get the appended created date and time in the image data, the said musical data and with reference to the reproduction history data and reproduction time is data associated to said music data is registered in the reproduction history data Determining the music data to be reproduced together with the image data to be reproduced based on the reproduction date and time of the music data and the creation date and time of the image data to be reproduced instructed to be reproduced; When the data has been played back to the end, when the playback target image data has not been updated, the playback target image data has been updated. If the difference between the creation date and time of the data and the current time is smaller than a predetermined value, it is determined that the reproduced music data is reproduced again, and the creation date and time of the image data to be reproduced and the current if the difference between the time is not smaller than a predetermined value, based on said reproduction time of reproducing said music data other than the music data, the creation date and time of the image data of the reproduced next music to be reproduced Data is determined.

本発明の一側面においては、再生指示された再生対象の画像データに付加された作成日時が取得される。また、音楽データと音楽データの再生日時とが対応付けられたデータである再生履歴データを参照し、再生履歴データに登録されている音楽データの再生日時と、再生指示された再生対象の画像データの作成日時とに基づいて、再生対象の画像データとともに再生する音楽データが決定される。そして、再生中の音楽データが最後まで再生された場合、再生対象の画像データが更新されていないとき、再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小であれば、再生された音楽データを再度再生することが決定される。一方、再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小でなければ、再生された音楽データ以外の音楽データの前記再生日時と、再生対象の画像データの作成日時とに基づいて、次に再生する音楽データが決定される。 In one aspect of the present invention, the creation date and time added to the reproduction target image data instructed to be reproduced is acquired. In addition, with reference to the playback history data, which is data in which the music data and the playback date and time of the music data are associated, the playback date and time of the music data registered in the playback history data and the playback target image data for which playback has been instructed The music data to be reproduced together with the image data to be reproduced is determined based on the creation date and time. When the music data being played is played to the end, when the image data to be played is not updated, the difference between the creation date and time of the image data to be played and the current time is smaller than a predetermined value. If there is, it is determined to replay the reproduced music data. On the other hand, if the difference between the creation date and time of the image data to be reproduced and the current time is not smaller than a predetermined value, the reproduction date and time of the music data other than the reproduced music data and the creation of the image data to be reproduced The music data to be reproduced next is determined based on the date and time.

本発明の一側面によれば、画像の再生とともに、その画像の撮像時に再生されていた音楽を、自動的に再生すること等ができる。   According to one aspect of the present invention, along with the reproduction of an image, the music that was being reproduced when the image was captured can be automatically reproduced.

本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。It is a block diagram which shows the structural example of one Embodiment of the reproducing | regenerating apparatus to which this invention is applied. データ格納部22に格納される履歴テーブルの例を示す図である。It is a figure which shows the example of the log | history table stored in the data storage part. 履歴テーブルが更新される処理を説明するフローチャートである。It is a flowchart explaining the process in which a history table is updated. 画像および音楽を再生する処理を説明するフローチャートである。It is a flowchart explaining the process which reproduces | regenerates an image and music. 、再生装置11において再生される画像と音楽の再生時間の例を示す図である。FIG. 4 is a diagram illustrating an example of playback time of images and music played back by the playback device 11. 画像および音楽を再生する処理を説明するフローチャートである。It is a flowchart explaining the process which reproduces | regenerates an image and music. 、再生装置11において再生される画像と音楽の再生時間の例を示す図である。FIG. 4 is a diagram illustrating an example of playback time of images and music played back by the playback device 11. 画像および音楽を再生する処理を説明するフローチャートである。It is a flowchart explaining the process which reproduces | regenerates an image and music. 、再生装置11において再生される画像と音楽の再生時間の例を示す図である。FIG. 4 is a diagram illustrating an example of playback time of images and music played back by the playback device 11. 画像および音楽を再生する処理を説明するフローチャートである。It is a flowchart explaining the process which reproduces | regenerates an image and music. 、再生装置11において再生される画像と音楽の再生時間の例を示す図である。FIG. 4 is a diagram illustrating an example of playback time of images and music played back by the playback device 11. 撮像装置51、音楽再生装置52、画像音楽再生装置53が、ネットワーク54を介して接続されて構成されたシステムを示すブロック図である。1 is a block diagram showing a system in which an imaging device 51, a music playback device 52, and an image music playback device 53 are connected via a network 54. FIG. 撮像装置51の構成例を示すブロック図である。FIG. 25 is a block diagram illustrating a configuration example of an imaging apparatus 51. 音楽再生装置52の構成例を示すブロック図である。3 is a block diagram illustrating a configuration example of a music playback device 52. FIG. 画像音楽再生装置53の構成例を示すブロック図である。3 is a block diagram illustrating a configuration example of an image and music playback device 53. FIG. 一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of the personal computer which performs a series of processes by a program.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.

図1は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。   FIG. 1 is a block diagram showing a configuration example of an embodiment of a playback apparatus to which the present invention is applied.

再生装置11は、例えば、音楽再生機能を備えたデジタルカメラであり、図1において、再生装置11は、レンズ12、撮像部13、USB(Universal Serial Bus)コントローラ14、USBコネクタ15、画像再生部16、LCD(Liquid Crystal Display)コントローラ17,LCD18、ヘッドフォンコネクタ19、音楽再生部20、ヘッドフォンアンプ21、データ格納部22、音楽履歴作成部23、および制御部24から構成される。   The playback device 11 is, for example, a digital camera having a music playback function. In FIG. 1, the playback device 11 includes a lens 12, an imaging unit 13, a USB (Universal Serial Bus) controller 14, a USB connector 15, and an image playback unit. 16, an LCD (Liquid Crystal Display) controller 17, an LCD 18, a headphone connector 19, a music playback unit 20, a headphone amplifier 21, a data storage unit 22, a music history creation unit 23, and a control unit 24.

また、再生装置11には、USBケーブル31を介して、再生装置11に音楽のデータなどを提供するパーソナルコンピュータなどのホストマシン32が接続されている。   A host machine 32 such as a personal computer that provides music data to the playback apparatus 11 is connected to the playback apparatus 11 via a USB cable 31.

レンズ12は、そこに入射する被写体からの光を、撮像部13が備える図示せぬ撮像素子の受光面に集光させる。   The lens 12 condenses light from a subject incident thereon on a light receiving surface of an imaging element (not shown) provided in the imaging unit 13.

撮像部13は、CCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子を備え、画像を撮像する。撮像部13は、画像を撮像した結果得られる画像のデータを、制御部24を介して、データ格納部22に格納する。   The imaging unit 13 includes an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) sensor, and captures an image. The imaging unit 13 stores image data obtained as a result of imaging an image in the data storage unit 22 via the control unit 24.

USBコントローラ14は、制御部24の制御に従い、USBコネクタ15およびUSBケーブル31を介して接続されているホストマシン32と、USBの規格に準拠した通信を行う。USBコントローラ14は、例えば、ホストマシン32から送信されてくる音楽のデータを受信し、制御部24を介して、その音楽のデータをデータ格納部22に格納する。   The USB controller 14 communicates with the host machine 32 connected via the USB connector 15 and the USB cable 31 in accordance with the control of the control unit 24 in accordance with the USB standard. For example, the USB controller 14 receives music data transmitted from the host machine 32, and stores the music data in the data storage unit 22 via the control unit 24.

USBコネクタ15は、再生装置11とホストマシン32を接続するUSBケーブル31が接続される接続部である。   The USB connector 15 is a connection portion to which a USB cable 31 that connects the playback device 11 and the host machine 32 is connected.

画像再生部16には、制御部24がデータ格納部22から読み出した画像のデータが供給される。画像再生部16は、制御部24の制御に従い、制御部24から供給される画像のデータをデコードし、画像を再生してLCDコントローラ17に供給する。   The image reproduction unit 16 is supplied with image data read from the data storage unit 22 by the control unit 24. The image reproduction unit 16 decodes the image data supplied from the control unit 24 under the control of the control unit 24, reproduces the image, and supplies it to the LCD controller 17.

LCDコントローラ17は、LCD18を制御し、画像再生部16から供給される画像を、LCD18に表示させる。   The LCD controller 17 controls the LCD 18 to display the image supplied from the image reproduction unit 16 on the LCD 18.

LCD18は、LCDコントローラ17の制御に従い、画像再生部16が再生した画像を表示する。   The LCD 18 displays the image reproduced by the image reproducing unit 16 under the control of the LCD controller 17.

ヘッドフォンコネクタ19は、音楽を出力するヘッドフォン(図示せず)の端子が接続される接続部である。   The headphone connector 19 is a connection portion to which a headphone (not shown) terminal for outputting music is connected.

音楽再生部20には、制御部24がデータ格納部22から読み出した音楽のデータが供給される。音楽再生部20は、制御部24の制御に従い、制御部24から供給される音楽のデータをデコードし、音楽を再生してヘッドフォンアンプ21に供給する。   Music data read by the control unit 24 from the data storage unit 22 is supplied to the music playback unit 20. The music playback unit 20 decodes music data supplied from the control unit 24 under the control of the control unit 24, plays back the music, and supplies the music to the headphone amplifier 21.

ヘッドフォンアンプ21は、ヘッドフォンコネクタ19に接続されるヘッドフォンから所定の音量で音楽が出力されるように、音楽再生部20から供給される音楽(音楽の信号)を増幅し、ヘッドフォンコネクタ19を介してヘッドフォンから出力させる。   The headphone amplifier 21 amplifies the music (music signal) supplied from the music playback unit 20 so that music is output at a predetermined volume from the headphones connected to the headphone connector 19, and the headphone amplifier 21 passes through the headphone connector 19. Output from headphones.

データ格納部22は、ハードディスクやフラッシュメモリなどの記録媒体からなり、撮像部13が撮像した画像のデータや、USBコントローラ14が受信した音楽のデータなどを格納(記録)する。また、データ格納部22は、音楽再生部20により過去に再生されたことのある音楽と、その音楽の再生時刻(再生日時)(例えば、音楽の再生が開始された時刻など)とが対応付けられて登録された履歴テーブル(図2)を格納する。   The data storage unit 22 includes a recording medium such as a hard disk or a flash memory, and stores (records) image data captured by the imaging unit 13, music data received by the USB controller 14, and the like. In addition, the data storage unit 22 associates music that has been played in the past by the music playback unit 20 with the playback time (playback date and time) of the music (for example, the time at which music playback is started). The registered history table (FIG. 2) is stored.

音楽履歴作成部23は、制御部24の制御に従い、データ格納部22に格納されている履歴テーブルに、音楽再生部20により再生された音楽と、その音楽の再生時刻とを対応付けて登録し、履歴テーブルを更新(作成)する。   Under the control of the control unit 24, the music history creation unit 23 registers the music reproduced by the music reproduction unit 20 and the reproduction time of the music in association with the history table stored in the data storage unit 22. Update (create) the history table.

制御部24は、CPU(Central Processing Unit)25およびメモリ26を備え、CPU25がメモリ26に記録されているプログラムを実行することにより、再生装置11を構成する各部を制御する。   The control unit 24 includes a CPU (Central Processing Unit) 25 and a memory 26, and the CPU 25 executes each program recorded in the memory 26, thereby controlling each unit constituting the playback device 11.

例えば、制御部24は、所定の時間以上、音楽再生部20により音楽が再生された場合、音楽履歴作成部23を制御し、その音楽と再生時刻とを対応付けて、データ格納部22に格納されている履歴テーブルに登録させる。   For example, when music is played back by the music playback unit 20 for a predetermined time or longer, the control unit 24 controls the music history creation unit 23 to associate the music with the playback time and store them in the data storage unit 22. Registered in the history table.

また、制御部24は、撮像部13から画像のデータが供給されると、その画像のデータを、DCF(Design rule for Camera File system)の規格に準拠したExif(Exchangeable Image File Format)形式で、データ格納部22に格納する。Exif形式では、画像が撮像された時刻(以下、適宜、撮像時刻という)が、画像のデータに付加される。   In addition, when image data is supplied from the imaging unit 13, the control unit 24 converts the image data into an Exif (Exchangeable Image File Format) format that conforms to the DCF (Design Rule for Camera File system) standard. Store in the data storage unit 22. In the Exif format, a time at which an image is captured (hereinafter referred to as an imaging time as appropriate) is added to the image data.

さらに、制御部24は、所定の画像を再生させることがユーザにより指示されると、データ格納部22に格納されている画像のデータのうちの、ユーザにより指示された画像のデータを読み出して、画像再生部16に供給し、その画像を再生させる。さらに、制御部24は、データ格納部22に格納されている履歴テーブルを参照し、履歴テーブルに登録されている音楽の再生時刻と、データ格納部22から読み出した画像のデータに付加されている撮像時刻とに基づいて、例えば、ユーザにより指示された画像が撮像された時刻に再生されていた音楽を、画像とともに再生する音楽として決定する。そして、制御部24は、その音楽のデータをデータ格納部22から読み出して、音楽再生部20に供給し、その音楽を再生させる。   Further, when the user instructs to reproduce the predetermined image, the control unit 24 reads out the image data instructed by the user from the image data stored in the data storage unit 22, and The image is supplied to the image reproduction unit 16 to reproduce the image. Further, the control unit 24 refers to the history table stored in the data storage unit 22, and is added to the music reproduction time registered in the history table and the image data read from the data storage unit 22. Based on the imaging time, for example, music that was played back at the time when the image instructed by the user was captured is determined as music to be played back together with the image. Then, the control unit 24 reads the music data from the data storage unit 22, supplies the music data to the music playback unit 20, and plays back the music.

次に、図2は、データ格納部22に格納される履歴テーブルの例を示す図である。   Next, FIG. 2 is a diagram illustrating an example of a history table stored in the data storage unit 22.

履歴テーブルには、過去に再生されたことのある音楽の「ファイル名」と、その音楽が再生された日付および時刻を表す「再生時刻」と、その音楽を提供するアーティストの「アーティスト名」とが対応付けられて登録される。   The history table includes a “file name” of music that has been played in the past, a “play time” that represents the date and time that the music was played, and an “artist name” of the artist that provided the music. Are registered in association with each other.

図2の履歴テーブルの例においては、上から1行目のエントリ(レコード)には、ファイル名「楽曲イ」と、再生時刻「2006/06/20_14:10」と、アーティスト名「アーティストA」とが対応付けられて登録されており、上から2行目のエントリには、ファイル名「楽曲ロ」と、再生時刻「2006/06/20_14:13」と、アーティスト名「アーティストB」とが対応付けられて登録されており、上から3行目のエントリには、ファイル名「楽曲ハ」と、再生時刻「2006/06/20_14:17」と、アーティスト名「アーティストC」とが対応付けられて登録されており、上から4行目のエントリには、ファイル名「楽曲ニ」と、再生時刻「2006/06/20_14:22」と、アーティスト名「アーティストB」とが対応付けられて登録されており、上から5行目のエントリには、ファイル名「楽曲ホ」と、再生時刻「2006/06/20_14:25」と、アーティスト名「アーティストB」とが対応付けられて登録されており、上から6行目のエントリには、ファイル名「楽曲ヘ」と、再生時刻「2006/06/20_14:28」と、アーティスト名「アーティストA」とが対応付けられて登録されている。   In the example of the history table of FIG. 2, the entry (record) on the first line from the top includes a file name “Music A”, playback time “2006/06 / 20_14: 10”, and artist name “Artist A”. Are registered in association with each other, and the entry on the second line from the top contains a file name “music b”, a reproduction time “2006/06 / 20_14: 13”, and an artist name “artist B”. The entry in the third line from the top is associated with the file name “musical song C”, the reproduction time “2006/06 / 20_14: 17”, and the artist name “artist C”. The entry in the fourth line from the top is associated with the file name “Music D”, the playback time “2006/06 / 20_14: 22”, and the artist name “Artist B”. The file name “Easy” is registered in the entry on the fifth line from the top. The song name “art song B”, the reproduction time “2006/06 / 20_14: 25”, and the artist name “artist B” are registered in association with each other. ”, Reproduction time“ 2006/06 / 20_14: 28 ”, and artist name“ artist A ”are registered in association with each other.

このように、履歴テーブルでは、ある音楽が再生されると、登録済みのエントリの下(次)に、新しいエントリが順次作成され、その音楽の「ファイル名」と、「再生時刻」と、「アーティスト名」とが対応付けられて登録される。   In this way, in the history table, when a certain music is played, new entries are sequentially created under the registered entries (next), and the “file name”, “playback time”, “ "Artist name" is registered in association with it.

以上のような履歴テーブルを有する図1の再生装置11では、画像を再生させることがユーザにより指示されると、画像再生部16により、ユーザにより指示された画像が再生されるとともに、その画像の撮像時刻に基づいて履歴テーブルが参照され、制御部24により、その画像の撮像時に再生されていた音楽が検索され、音楽再生部20により、その音楽が再生される。   In the reproducing apparatus 11 of FIG. 1 having the history table as described above, when the user instructs to reproduce an image, the image instructing unit 16 reproduces the image instructed by the user. The history table is referred to based on the imaging time, the music reproduced at the time of imaging of the image is searched by the control unit 24, and the music is reproduced by the music reproducing unit 20.

次に、図3は、図1の再生装置11において、履歴テーブルが更新される処理を説明するフローチャートである。   Next, FIG. 3 is a flowchart for explaining the process of updating the history table in the playback apparatus 11 of FIG.

ユーザにより音楽を再生させることが指示されると、ステップS11において、制御部24は、ユーザにより指示された音楽のデータをデータ格納部22から読み出して、音楽再生部20に供給する。   When the user gives an instruction to play music, in step S11, the control unit 24 reads out the music data instructed by the user from the data storage unit 22, and supplies the data to the music playing unit 20.

ステップS11の処理後、ステップS12に進み、音楽再生部20は、ステップS11で制御部24から供給された音楽のデータをデコードし、音楽を再生して、ステップS13に進む。   After the process of step S11, the process proceeds to step S12, and the music reproduction unit 20 decodes the music data supplied from the control unit 24 in step S11, reproduces the music, and proceeds to step S13.

ステップS13において、制御部24は、一定の時間(例えば、30秒間や1分間など)以上、音楽が再生されたか否かを判定する。例えば、制御部24は、ステップS12で音楽再生部20が音楽の再生を開始してから、一定の時間の間に、ユーザにより、その音楽を停止させたり、次の音楽を再生させたりすることが指示された場合、一定の時間以上、音楽が再生されなかったと判定する。   In step S13, the control unit 24 determines whether or not music has been played for a certain time (for example, 30 seconds or 1 minute) or more. For example, the control unit 24 causes the user to stop the music or to play the next music for a certain period of time after the music playback unit 20 starts playing the music in step S12. Is instructed, it is determined that the music has not been played for a certain period of time.

なお、音楽が再生されたか否かを判定するための一定の時間としては、30秒間や1分間などの、あらかじめ決められた時間を用いる以外に、例えば、音楽再生部20により再生されている音楽の全体の時間に対する所定の割合としての10%等の時間(例えば、6分の音楽であれば、36秒間)などのように、それぞれの音楽に応じて決められる時間を用いることができる。   In addition, as the fixed time for determining whether or not music has been played back, for example, music played back by the music playback unit 20 other than using a predetermined time such as 30 seconds or 1 minute. A time determined according to each music can be used, such as a time of 10% or the like as a predetermined ratio to the total time (for example, 36 seconds for 6-minute music).

ステップS13において、制御部24が、一定の時間以上、音楽が再生されたと判定した場合、ステップS14に進む。   If the control unit 24 determines in step S13 that music has been played for a certain time or longer, the process proceeds to step S14.

ステップS14において、音楽履歴作成部23は、制御部24の制御に従い、データ格納部22に格納されている履歴テーブルに、音楽再生部20により再生されている音楽のファイル名と、その音楽の再生時刻とを対応付けて登録し、履歴テーブルを更新する。ステップS14の処理後、処理は終了される。   In step S <b> 14, the music history creation unit 23 stores the file name of the music being played back by the music playback unit 20 in the history table stored in the data storage unit 22 and the playback of the music according to the control of the control unit 24. Register the time in association with each other, and update the history table. After the process of step S14, the process ends.

一方、ステップS13において、制御部24が、一定の時間以上、音楽が再生されていないと判定した場合、ステップS14をスキップして、履歴テーブルは更新されずに、処理は終了される。   On the other hand, if the control unit 24 determines in step S13 that the music has not been played for a certain time or longer, the process is terminated without skipping step S14 and updating the history table.

次に、図4は、図1の再生装置11において、画像および音楽を再生する処理を説明するフローチャートである。   Next, FIG. 4 is a flowchart for explaining processing for reproducing images and music in the reproduction apparatus 11 of FIG.

ユーザにより画像を再生させることが指示されると、ステップS21において、制御部24は、ユーザにより指示された画像のデータをデータ格納部22から読み出し、ステップS22に進む。   When the user instructs to reproduce the image, in step S21, the control unit 24 reads the image data instructed by the user from the data storage unit 22, and proceeds to step S22.

ステップS22において、制御部24は、ステップS21でデータ格納部22から読み出した画像のデータを画像再生部16に供給するとともに、その画像のデータに付加されている画像の撮像時刻を取得する。また、画像再生部16は、制御部24から供給された画像のデータをデコードして画像を再生する。   In step S <b> 22, the control unit 24 supplies the image data read from the data storage unit 22 in step S <b> 21 to the image reproduction unit 16, and acquires the imaging time of the image added to the image data. The image reproducing unit 16 decodes the image data supplied from the control unit 24 and reproduces the image.

ステップS22の処理後、ステップS23に進み、制御部24は、ステップS22で取得した画像の撮像時刻に基づき、データ格納部22に格納されている履歴テーブルを参照して、ステップS22で再生された画像とともに再生する音楽を決定する。   After the processing in step S22, the process proceeds to step S23, and the control unit 24 refers to the history table stored in the data storage unit 22 based on the image capturing time acquired in step S22, and is reproduced in step S22. Determine the music to play with the image.

例えば、制御部24は、データ格納部22に格納されている履歴テーブルに登録されている再生時刻から、ステップS22で取得した画像の撮像時刻との差分値が最小となる再生時刻を検索し、その検索の結果得られた再生時刻に対応付けられているファイル名の音楽を、画像とともに再生する音楽として決定する。   For example, the control unit 24 searches the reproduction time registered in the history table stored in the data storage unit 22 for the reproduction time that minimizes the difference value from the image capturing time acquired in step S22. The music having the file name associated with the reproduction time obtained as a result of the search is determined as the music to be reproduced together with the image.

具体的には、ステップS22で取得した画像の撮像時刻が、2006年6月20日14時18分であったとすると、制御部24は、図2の履歴テーブルに登録されている再生時刻から、この撮像時刻との差分値が最小となる再生時刻を検索する。そして、制御部24は、その検索の結果得られた再生時刻「2006/06/20_14:17」に対応付けられているファイル名「楽曲ハ」の音楽を、画像とともに再生する音楽として決定する。   Specifically, assuming that the imaging time of the image acquired in step S22 is 14:18 on June 20, 2006, the control unit 24 determines from the reproduction time registered in the history table of FIG. A reproduction time at which the difference value with the imaging time is minimized is searched. Then, the control unit 24 determines the music with the file name “song C” associated with the reproduction time “2006/06 / 20_14: 17” obtained as a result of the search as music to be reproduced together with the image.

ステップS23の処理後、ステップS24に進み、制御部24は、ステップS23で決定した音楽のデータをデータ格納部22から読み出して音楽再生部20に供給する。音楽再生部20は、制御部24から供給された音楽のデータをデコードし、音楽を再生して、ステップS25に進む。   After the processing of step S23, the process proceeds to step S24, and the control unit 24 reads out the music data determined in step S23 from the data storage unit 22 and supplies it to the music playback unit 20. The music reproducing unit 20 decodes the music data supplied from the control unit 24, reproduces the music, and proceeds to step S25.

ステップS25において、制御部24は、直前のステップS24で再生された音楽(以下、適宜、現在の音楽という)が、その最後まで再生されたか否かを判定する。   In step S25, the control unit 24 determines whether or not the music reproduced in the immediately preceding step S24 (hereinafter referred to as current music as appropriate) has been reproduced to the end.

ステップS25において、制御部24が、現在の音楽が最後まで再生されていないと判定した場合、ステップS26に進み、制御部24は、現在の音楽の次に再生される音楽(以下、適宜、次の音楽という)を再生するように、ユーザより指示されたか否かを判定する。   In step S25, when the control unit 24 determines that the current music has not been played to the end, the process proceeds to step S26, where the control unit 24 plays the music to be played next to the current music (hereinafter referred to as “next” as appropriate). It is determined whether or not the user has instructed to play the music.

ステップS26において、制御部24が、次の音楽を再生するようにユーザにより指示されていないと判定した場合、ステップS27に進み、制御部24は、直前のステップS22で再生された画像の次に再生される画像(以下、適宜、次の画像という)を再生するように、ユーザにより指示されたか否かを判定する。   In step S26, when the control unit 24 determines that the user has not instructed to play the next music, the process proceeds to step S27, and the control unit 24 next to the image reproduced in the immediately preceding step S22. It is determined whether or not an instruction has been given by the user to reproduce an image to be reproduced (hereinafter referred to as the next image as appropriate).

ステップS27において、制御部24が、次の画像を再生するようにユーザにより指示されていないと判定された場合、ステップS25に戻る。   If it is determined in step S27 that the control unit 24 has not instructed the user to reproduce the next image, the process returns to step S25.

即ち、制御部24は、ステップS25乃至S27において、現在の音楽が最後まで再生されたと判定されるか、次の音楽を再生させることがユーザにより指示されたと判定されるか、または、次の画像を再生させることがユーザにより指示されたと判定されるまで、処理を待機する。   That is, the control unit 24 determines in steps S25 to S27 that the current music has been played to the end, whether the user has instructed to play the next music, or the next image. The processing is waited until it is determined that the user has instructed to reproduce the content.

そして、ステップS25において、制御部24が、現在の音楽が最後まで再生されたと判定した場合、または、ステップS26において、制御部24が、次の音楽を再生するようにユーザにより指示されたと判定した場合、ステップS28に進む。   In step S25, when the control unit 24 determines that the current music has been played to the end, or in step S26, the control unit 24 determines that the user has instructed to play the next music. If so, the process proceeds to step S28.

ステップS28において、制御部24は、ステップS23の処理と同様に、ステップS22で取得した画像の撮像時刻に基づき、データ格納部22に格納されている履歴テーブルを参照して、次の音楽を決定する。   In step S28, the control unit 24 determines the next music by referring to the history table stored in the data storage unit 22 based on the imaging time of the image acquired in step S22, as in the process of step S23. To do.

例えば、制御部24は、データ格納部22に格納されている履歴テーブルに登録されている再生時刻から、ステップS22で取得した画像の撮像時刻との差分値が、現在の音楽の再生時刻の次に小さい再生時刻を検索し、その検索の結果得られた再生時刻に対応付けられているファイル名の音楽を、画像とともに再生する音楽として決定する。   For example, the control unit 24 determines that the difference value between the reproduction time registered in the history table stored in the data storage unit 22 and the image capturing time acquired in step S22 is the next reproduction time of the current music. The music having the file name associated with the reproduction time obtained as a result of the search is determined as music to be reproduced together with the image.

ステップS28の処理後、ステップS24に戻り、以下、同様の処理が繰り返される。なお、この場合、ステップS24において、制御部24は、ステップS28で再生することが決定された音楽のデータをデータ格納部22から読み出して音楽再生部20に供給する。   After the process of step S28, the process returns to step S24, and the same process is repeated thereafter. In this case, in step S24, the control unit 24 reads out the music data determined to be played back in step S28 from the data storage unit 22 and supplies it to the music playback unit 20.

一方、ステップS27において、制御部24が、次の画像を再生するようにユーザにより指示されたと判定した場合、ステップS29に進み、制御部24は、ユーザにより指定された画像のデータをデータ格納部22から読み出し、ステップS22に戻り、以下、同様の処理が繰り返される。なお、この場合、ステップS22において、制御部24は、ステップS29で読み出した画像のデータを画像再生部16に供給するとともに、その画像のデータに付加されている撮像時刻を取得する。   On the other hand, if it is determined in step S27 that the control unit 24 has instructed the user to reproduce the next image, the process proceeds to step S29, where the control unit 24 stores the image data designated by the user in the data storage unit. The data is read out from step 22, and the process returns to step S22. Thereafter, the same processing is repeated. In this case, in step S22, the control unit 24 supplies the image data read in step S29 to the image reproduction unit 16, and obtains the imaging time added to the image data.

以上のように、再生装置11は、ユーザにより画像を再生させることが指示されると、ユーザにより指定された画像の撮像時刻に基づき、履歴テーブルを参照して、画像とともに再生する音楽を決定する。例えば、再生装置11が、ユーザにより指定された画像の撮像時刻との差分値が最小となる再生時刻の音楽を、画像とともに再生する音楽として決定すると、ユーザにより指定された画像が撮像されたときに再生されていた音楽の再生時刻と、その画像の撮像時刻との差分値が最小となる。従って、再生装置11は、画像が撮像されたときに再生されていた音楽を、画像とともに再生することができる。   As described above, when the user is instructed to reproduce an image, the reproducing device 11 determines music to be reproduced together with the image by referring to the history table based on the image capturing time designated by the user. . For example, when the playback device 11 determines the music at the playback time that minimizes the difference from the image capture time specified by the user as the music to be played back together with the image, the image specified by the user is captured. The difference value between the playback time of the music that was being played and the image capture time of the image is minimized. Therefore, the playback device 11 can play back the music that was being played back when the image was captured along with the image.

また、例えば、従来の再生装置では、ユーザが再生装置を操作して、画像と音楽との対応付けを行わなければ、画像が撮像されたときに再生されていた音楽を再生することができなかった。これに対し、再生装置11は、履歴テーブルを参照することにより、ユーザが画像と音楽との対応付けを行うことなく、自動的に、画像が撮像されたときに再生されていた音楽を再生することができる。   Also, for example, in a conventional playback device, music that was played back when an image was captured cannot be played back unless the user operates the playback device to associate the image with music. It was. On the other hand, the playback device 11 automatically plays back the music that was played back when the image was captured, without referring to the history table, by referring to the history table. be able to.

このように、例えば、ユーザが、音楽を再生させながら画像を撮像したとすると、その画像を再生するときに、その画像の撮像時に再生されていた音楽が再生される。この場合、画像のみが再生される場合よりも、ユーザは、画像を撮像した当時を、より鮮明に思い出すことができる。   Thus, for example, if the user captures an image while reproducing music, the music that was being reproduced when the image was captured is reproduced when the image is reproduced. In this case, the user can more clearly remember the time when the image was captured than when only the image is reproduced.

次に、図5は、図4のフローチャートの処理を実行することにより、再生装置11において再生される画像と音楽の再生時間の例を示す図である。   Next, FIG. 5 is a diagram showing an example of the playback time of images and music played back by the playback device 11 by executing the processing of the flowchart of FIG.

図5の上側には、音楽再生部20により再生される音楽の再生時間が示され、図5の下側には、画像再生部16により再生される画像の再生時間が示されており、図5の横方向の左から右に向かって時刻の経過が表されている。   The upper side of FIG. 5 shows the playback time of music played back by the music playback unit 20, and the lower side of FIG. 5 shows the playback time of images played back by the image playback unit 16. 5 shows the passage of time from left to right in the horizontal direction.

例えば、ユーザが、時刻t11において、画像Aを再生することを指示したとすると、制御部24は、ユーザにより指示された画像Aのデータをデータ格納部22から読み出す(図4のステップS21の処理)。制御部24は、画像Aのデータから画像Aの撮像時刻を取得し、画像再生部16は、画像Aを再生してLCD18に画像Aを表示する(図4のステップS22の処理)。 For example, if the user instructs to reproduce the image A at time t 11 , the control unit 24 reads out the data of the image A instructed by the user from the data storage unit 22 (in step S 21 in FIG. 4). processing). The control unit 24 acquires the imaging time of the image A from the data of the image A, and the image reproduction unit 16 reproduces the image A and displays the image A on the LCD 18 (processing in step S22 in FIG. 4).

そして、制御部24は、データ格納部22に格納されている履歴テーブルを参照し、画像Aの撮像時刻との差分値が最小となる時刻に再生されていた音楽aを、画像Aとともに再生する音楽として決定し(図4のステップS23の処理)、音楽再生部20は、音楽aを再生する(図4のステップS24の処理)。   Then, the control unit 24 refers to the history table stored in the data storage unit 22 and reproduces the music a that has been reproduced at the time when the difference value with the imaging time of the image A is the minimum together with the image A. The music is determined as music (the process of step S23 in FIG. 4), and the music playback unit 20 plays back music a (the process of step S24 in FIG. 4).

その後、時刻t12において、音楽aが、その最後まで再生されたとする。この場合、制御部24は、音楽aが最後まで再生されたと判定し(図4のステップS25の処理)、画像Aの撮像時刻との差分値が、音楽aの次に小さい時刻に再生されていた音楽bを、画像Aとともに再生する音楽として決定し(図4のステップS28の処理)、音楽再生部20は、音楽bを再生する。 Then, at time t 12, the music a is, and has been reproduced to the last. In this case, the control unit 24 determines that the music a has been played back to the end (the process of step S25 in FIG. 4), and the difference value with respect to the image A shooting time is played back at the next smaller time after the music a. The music b is determined as the music to be reproduced together with the image A (the process of step S28 in FIG. 4), and the music reproducing unit 20 reproduces the music b.

さらに、その後、音楽bの再生途中である時刻t13において、画像Aの次に再生する画像として画像Bがユーザにより指定されると、制御部24は、次の画像を再生するようにユーザにより指示されたと判定し(図4のステップS27の処理)、データ格納部22から画像Bのデータを読み出す(図4のステップS29の処理)。 Further, thereafter, at time t 13 is the middle of reproduction of the music b, and the image B as the image to be reproduced next image A is designated by the user, the control unit 24 by the user so as to reproduce the next image It is determined that the instruction has been issued (step S27 in FIG. 4), and the data of the image B is read from the data storage unit 22 (step S29 in FIG. 4).

そして、制御部24は、画像Bのデータから画像Bの撮像時刻を取得し、画像再生部16は、画像Bを再生する(図4のステップS22の処理)。さらに、制御部24は、データ格納部22に格納されている履歴テーブルを参照し、画像Bの撮像時刻との差分値が最小となる時刻に再生されていた音楽cを、画像Bとともに再生する音楽として決定し(図4のステップS23の処理)、音楽再生部20は、音楽bの再生を、その途中で中止して、音楽cを再生する(図4のステップS24の処理)。   And the control part 24 acquires the imaging time of the image B from the data of the image B, and the image reproduction part 16 reproduces | regenerates the image B (process of step S22 of FIG. 4). Further, the control unit 24 refers to the history table stored in the data storage unit 22 and reproduces the music c that was reproduced at the time when the difference value with respect to the imaging time of the image B is the minimum together with the image B. The music is determined as music (the process of step S23 in FIG. 4), and the music playback unit 20 stops the playback of the music b and plays the music c (the process of step S24 in FIG. 4).

このように、再生装置11では、画像Aの再生とともに、画像Aの撮像時刻との差分値が最小となる時刻に再生されていた音楽aが再生され、画像Bの再生とともに、画像Bの撮像時刻との差分値が最小となる時刻に再生されていた音楽cが再生される。   As described above, the playback device 11 plays back the music a that has been played back at the time when the difference value with respect to the shooting time of the image A is the minimum along with the playback of the image A. The music c that was played back at the time when the difference value from the time becomes the minimum is played back.

ところで、再生装置11では、音楽が再生されている途中に、次の画像の再生が指示されると、その音楽の途中で再生が中止され、次の画像の撮像時刻に基づいた音楽が再生される。ここで、例えば、ユーザによっては、音楽の途中で再生が中止されることを好まないことがある。   By the way, in the playback device 11, when playback of the next image is instructed while music is being played back, playback is stopped in the middle of the music, and music based on the imaging time of the next image is played back. The Here, for example, some users may not like to stop playback in the middle of music.

そこで、図6は、図1の再生装置11において、音楽の再生中に次の画像の再生が指示されても、その音楽が最後まで再生された後に、次の音楽を再生する処理を説明するフローチャートである。   Therefore, FIG. 6 illustrates a process of playing the next music after the music is played back to the end even if the playback of the next image is instructed during playback of music in the playback device 11 of FIG. It is a flowchart.

ユーザにより画像を再生させることが指示されると、ステップS31において、制御部24は、音楽の再生中に次の画像が再生されたかどうかを表す1ビットの画像更新フラグを初期化し、画像更新フラグに、音楽の再生中に次の画像が再生されていないことを表す「0」をセットする。なお、画像更新フラグは、例えば、制御部24が備えるメモリ26に記録(記憶)される。   When the user gives an instruction to reproduce an image, in step S31, the control unit 24 initializes a 1-bit image update flag indicating whether or not the next image has been reproduced during the reproduction of music. In addition, “0” indicating that the next image is not reproduced during the reproduction of music is set. The image update flag is recorded (stored) in a memory 26 provided in the control unit 24, for example.

ステップS31の処理後、ステップS32に進み、制御部24は、ユーザにより指示された画像のデータをデータ格納部22から読み出し、ステップS33に進む。   After the process of step S31, the process proceeds to step S32, and the control unit 24 reads the image data instructed by the user from the data storage unit 22, and proceeds to step S33.

ステップS33において、制御部24は、ステップS32でデータ格納部22から読み出した画像のデータを画像再生部16に供給するとともに、その画像のデータに付加されている画像の撮像時刻を取得する。また、画像再生部16は、制御部24から供給された画像のデータをデコードして画像を再生する。   In step S <b> 33, the control unit 24 supplies the image data read from the data storage unit 22 in step S <b> 32 to the image reproduction unit 16, and acquires the imaging time of the image added to the image data. The image reproducing unit 16 decodes the image data supplied from the control unit 24 and reproduces the image.

ステップS33の処理後、ステップS34に進み、制御部24は、ステップS33で取得した画像の撮像時刻に基づき、データ格納部22に格納されている履歴テーブルを参照して、ステップS33で再生された画像とともに再生する音楽を決定する。   After the processing in step S33, the process proceeds to step S34, and the control unit 24 refers to the history table stored in the data storage unit 22 based on the image capturing time acquired in step S33, and is reproduced in step S33. Determine the music to play with the image.

例えば、制御部24は、図4のステップS24の処理と同様に、データ格納部22に格納されている履歴テーブルに登録されている再生時刻から、ステップS33で取得した画像の撮像時刻との差分値が最小となる再生時刻を検索し、その検索の結果得られた再生時刻に対応付けられているファイル名の音楽を、画像とともに再生する音楽として決定する。   For example, similarly to the process of step S24 in FIG. 4, the control unit 24 calculates the difference between the reproduction time registered in the history table stored in the data storage unit 22 and the image capturing time acquired in step S33. The reproduction time having the minimum value is searched, and the music having the file name associated with the reproduction time obtained as a result of the search is determined as the music to be reproduced together with the image.

ステップS34の処理後、ステップS35に進み、制御部24は、ステップS34で決定した音楽のデータをデータ格納部22から読み出して音楽再生部20に供給する。音楽再生部20は、制御部24から供給された音楽のデータをデコードして音楽を再生し、ステップS36に進む。   After the process of step S34, the process proceeds to step S35, and the control unit 24 reads out the music data determined in step S34 from the data storage unit 22 and supplies it to the music playback unit 20. The music reproducing unit 20 decodes the music data supplied from the control unit 24 to reproduce the music, and proceeds to step S36.

ステップS36乃至38において、図4のステップS25乃至27の処理とそれぞれ同様に、制御部24は、現在の音楽が最後まで再生されたと判定されるか、次の音楽を再生させることがユーザにより指示されたと判定されるか、または、次の画像を再生させることがユーザにより指示されたと判定されるまで、処理を待機する。   In steps S36 to S38, as in the processes of steps S25 to S27 in FIG. 4, the control unit 24 determines that the current music has been played to the end, or instructs the user to play the next music. The process waits until it is determined that the user has instructed that the user has instructed to reproduce the next image.

そして、ステップS36において、制御部24が、現在の音楽が最後まで再生されたと判定した場合、または、ステップS37において、制御部24が、次の音楽を再生するようにユーザにより指示されたと判定した場合、ステップS39に進む。   In step S36, when the control unit 24 determines that the current music has been played to the end, or in step S37, the control unit 24 determines that the user has instructed to play the next music. If so, the process proceeds to step S39.

ステップS39において、制御部24は、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされているか否かを判定する。   In step S39, the control unit 24 determines whether or not “1” indicating that the next image is reproduced during reproduction of music is set in the image update flag.

例えば、現在の音楽の再生中に、次の画像を再生することがユーザにより指示されていれば、ステップS38で次の画像を再生させることがユーザにより指示されたと判定されており、後述するステップS42において、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされるので、制御部24は、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされていると判定する。   For example, if the user has instructed to reproduce the next image during reproduction of the current music, it is determined in step S38 that the user has instructed to reproduce the next image, and will be described later. In S <b> 42, “1” indicating that the next image is reproduced during music playback is set in the image update flag, so that the control unit 24 sets the next image during music playback in the image update flag. Is determined to be set to “1” indicating that has been reproduced.

一方、例えば、現在の音楽の再生中に、次の画像を再生することがユーザにより指示されていなければ、画像更新フラグには、ステップS31でセットされたままの「0」がセットされているので、制御部24は、画像更新フラグに、現在の音楽の再生中に次の画像が再生されたことを表す「1」がセットされていないと判定する。   On the other hand, for example, during playback of the current music, if the user has not instructed playback of the next image, the image update flag is set to “0” that has been set in step S31. Therefore, the control unit 24 determines that “1” indicating that the next image is reproduced during reproduction of the current music is not set in the image update flag.

ステップS39において、制御部24が、画像更新フラグに、現在の音楽の再生中に次の画像が再生されたことを表す「1」がセットされていないと判定した場合、ステップS40に進む。   In step S39, when the control unit 24 determines that “1” indicating that the next image is reproduced during reproduction of the current music is not set in the image update flag, the process proceeds to step S40.

ステップS40において、制御部24は、図4のステップS28と同様に、次に再生する音楽を決定し、ステップS35に戻り、以下、同様の処理が繰り返される。なお、この場合、ステップS35において、制御部24は、ステップS40で再生することが決定された音楽のデータをデータ格納部22から読み出して音楽再生部20に供給する。   In step S40, the control unit 24 determines the music to be played next, similarly to step S28 of FIG. 4, returns to step S35, and thereafter the same processing is repeated. In this case, in step S35, the control unit 24 reads out the music data determined to be played back in step S40 from the data storage unit 22 and supplies it to the music playback unit 20.

一方、ステップS39において、制御部24が、画像更新フラグに、現在の音楽の再生中に次の画像が再生されたことを表す「1」がセットされていると判定した場合、ステップS41に進む。   On the other hand, if the control unit 24 determines in step S39 that the image update flag is set to “1” indicating that the next image has been reproduced during reproduction of the current music, the process proceeds to step S41. .

ステップS41において、制御部24は、画像更新フラグをリセットし、つまり、画像更新フラグに、現在の音楽の再生中に次の画像が再生されていないことを表す「0」をセットして、ステップS34に戻り、以下、同様の処理が繰り返される。即ち、制御部24は、その後のステップS35で次の音楽が新しく再生されるので、画像更新フラグをリセットする。なお、この場合、ステップS34において、制御部24は、現在の音楽の再生中に再生された次の画像の撮像時刻(後述するステップS44で取得する撮像時刻)に基づいて、次の音楽を決定する。   In step S41, the control unit 24 resets the image update flag, that is, sets “0” in the image update flag to indicate that the next image is not played back during playback of the current music. Returning to S34, the same processing is repeated thereafter. That is, the control unit 24 resets the image update flag because the next music is newly reproduced in the subsequent step S35. In this case, in step S34, the control unit 24 determines the next music based on the imaging time of the next image reproduced during reproduction of the current music (imaging time acquired in step S44 described later). To do.

一方、ステップS38において、制御部24が、ユーザにより、次の画像を再生するように指示されたと判定した場合、ステップS42に進み、制御部24は、画像更新フラグに、現在の音楽の再生中に次の画像が再生されたことを表す「1」をセットする。   On the other hand, if it is determined in step S38 that the control unit 24 has been instructed by the user to reproduce the next image, the process proceeds to step S42, and the control unit 24 sets the image update flag to the current music being reproduced. Is set to “1” indicating that the next image has been reproduced.

ステップS42の処理後、ステップS43に進み、制御部24は、ユーザにより指定された次の画像のデータをデータ格納部22から読み出し、ステップS44に進む。   After the process of step S42, the process proceeds to step S43, and the control unit 24 reads the data of the next image designated by the user from the data storage unit 22, and proceeds to step S44.

ステップS44において、制御部24は、ステップS43でデータ格納部22から読み出した画像のデータを画像再生部16に供給して再生させるとともに、その画像のデータに付加されている撮像時刻を取得し、ステップS36に戻り、以下、同様の処理が繰り返される。なお、ステップS44で取得した撮像時刻は、上述したように、ステップS39において、制御部24が、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされていると判定された後のステップS34の処理で用いられる。   In step S44, the control unit 24 supplies the image data read from the data storage unit 22 in step S43 to the image reproduction unit 16 for reproduction, and acquires the imaging time added to the image data. Returning to step S36, the same processing is repeated thereafter. Note that, as described above, in step S39, the control unit 24 sets “1” representing that the next image is played back during playback of the music to the imaging time acquired in step S44. It is used in the process of step S34 after it is determined that it has been performed.

以上のように、再生装置11は、画像の再生とともに音楽を再生するにあたり、音楽の再生中に次の画像が再生されても、一度再生が開始された音楽を最後まで再生した後に、次の画像の撮像時刻に応じた音楽を再生する。これにより、音楽の再生が途中で中止されることを回避することができる。   As described above, when the playback device 11 plays back music together with the playback of an image, even if the next image is played back during the playback of the music, Play music according to the image capture time. As a result, it is possible to prevent the music playback from being interrupted in the middle.

次に、図7は、図6のフローチャートの処理を実行することにより、再生装置11において再生される画像と音楽の再生時間の例を示す図である。   Next, FIG. 7 is a diagram showing an example of the playback time of images and music played back by the playback device 11 by executing the processing of the flowchart of FIG.

図7の上側には、音楽再生部20により再生される音楽の再生時間が示され、図7の下側には、画像再生部16により再生される画像の再生時間が示されており、図7の横方向の左から右に向かって時刻の経過が表されている。   The upper side of FIG. 7 shows the playback time of music played back by the music playback unit 20, and the lower side of FIG. 7 shows the playback time of images played back by the image playback unit 16. 7 shows the passage of time from left to right in the horizontal direction.

例えば、ユーザが、時刻t21において、画像Aを再生することを指示したとすると、制御部24は、画像更新フラグに「0」をセットし(図6のステップS31の処理)、ユーザにより指示された画像Aのデータをデータ格納部22から読み出す(図6のステップS32の処理)。制御部24は、画像Aのデータから画像Aの撮像時刻を取得し、画像再生部16は、画像Aを再生してLCD18に画像Aを表示する(図6のステップS33の処理)。 For example, if the user gives an instruction to reproduce the image A at time t 21 , the control unit 24 sets “0” to the image update flag (step S 31 in FIG. 6), and the user gives an instruction. The data of the image A that has been read is read out from the data storage unit 22 (step S32 in FIG. 6). The control unit 24 acquires the imaging time of the image A from the data of the image A, and the image reproduction unit 16 reproduces the image A and displays the image A on the LCD 18 (processing in step S33 in FIG. 6).

そして、制御部24は、データ格納部22に格納されている履歴テーブルを参照し、画像Aの撮像時刻との差分値が最小となる時刻に再生されていた音楽aを、画像Aとともに再生する音楽として決定し(図6のステップS34の処理)、音楽再生部20は、音楽aを再生する(図6のステップS35の処理)。   Then, the control unit 24 refers to the history table stored in the data storage unit 22 and reproduces the music a that has been reproduced at the time when the difference value with the imaging time of the image A is the minimum together with the image A. The music is determined as music (step S34 in FIG. 6), and the music playback unit 20 plays back music a (step S35 in FIG. 6).

その後、時刻t22において、音楽aが、その最後まで再生されたとする。この場合、制御部24は、音楽aが最後まで再生されたと判定する(図6のステップS36の処理)。そして、音楽aの再生時間である時刻t21からt22までの間において画像は更新されてなく、画像更新フラグには「0」がセットされたままであるので、制御部24は、画像更新フラグに「1」がセットされていないと判定し(図6のステップS39の処理)、画像Aの撮像時刻との差分値が、音楽aの次に小さい時刻に再生されていた音楽bを、画像Aとともに再生する音楽として決定し(図6のステップS40の処理)、音楽再生部20は、音楽bを再生する。 Then, at time t 22, the music a is, and has been reproduced to the last. In this case, the control unit 24 determines that the music a has been played to the end (the process of step S36 in FIG. 6). Then, the image is not updated during a period from the time t 21 is the playback time of the music a to t 22, since the image update flag remains "0" is set, the control unit 24, the image update flag It is determined that “1” is not set in the process (the process of step S39 in FIG. 6), and the music b reproduced at the time when the difference value with the imaging time of the image A is the next smaller than the music a is The music is determined to be reproduced together with A (the process of step S40 in FIG. 6), and the music reproducing unit 20 reproduces the music b.

さらに、その後、音楽bの再生途中である時刻t23において、画像Aの次に再生する画像として画像Bがユーザにより指定されると、制御部24は、次の画像を再生するようにユーザにより指示されたと判定し(図6のステップS38の処理)、画像更新フラグに「1」をセットし(図6のステップS42の処理)、データ格納部22から画像Bのデータを読み出す(図6のステップS43の処理)。そして、制御部24は、画像Bのデータから画像Bの撮像時刻を取得し、画像再生部16は、画像Bを再生する(図6のステップS44の処理)。 Further, thereafter, at time t 23 is the middle of reproduction of the music b, and the image B as the image to be reproduced next image A is designated by the user, the control unit 24 by the user so as to reproduce the next image It is determined that it has been instructed (step S38 in FIG. 6), the image update flag is set to “1” (step S42 in FIG. 6), and the image B data is read from the data storage unit 22 (in FIG. 6). Step S43). And the control part 24 acquires the imaging time of the image B from the data of the image B, and the image reproduction part 16 reproduces | regenerates the image B (process of FIG.6 S44).

また、音楽bの再生途中である時刻t24において、画像Bの次に再生する画像として画像Cがユーザにより指定されると、時刻t23で画像Bが再生された処理と同様に処理が行われ、画像Cが再生される。 Further, when the user designates the image C as the image to be reproduced next to the image B at the time t 24 during the reproduction of the music b, the processing is performed in the same manner as the processing in which the image B is reproduced at the time t 23. Image C is reproduced.

その後、時刻t25において、音楽bが、その最後まで再生されたとする。この場合、制御部24は、音楽bが最後まで再生されたと判定する(図6のステップS36の処理)。そして、音楽bの再生時間である時刻t22からt25までの間において画像が更新されており、画像更新フラグには「1」がセットされているので、制御部24は、画像更新フラグに「1」がセットされていると判定し(図6のステップS39の処理)、時刻t24で取得した画像Cの撮像時刻との差分値が、最も小さい時刻に再生されていた音楽dを、画像Cとともに再生する音楽として決定し(図6のステップS40の処理)、音楽再生部20は、音楽dを再生する。 Thereafter, at time t 25 , it is assumed that music b has been played to the end. In this case, the control unit 24 determines that the music b has been played to the end (the process of step S36 in FIG. 6). Then, are the image to be updated during the period from time t 22 is the playback time of the music b to t 25, since the image update flag is set to "1", the control unit 24, the image update flag determines that "1" is set (in step S39 in FIG. 6), a difference value between the imaging time of the image C acquired at time t 24 is the music d, which has been reproduced to the smallest time, The music is determined to be reproduced together with the image C (the process of step S40 in FIG. 6), and the music reproducing unit 20 reproduces the music d.

また、時刻t25の後の時刻t26において、制御部24は、ユーザの操作に応じて、画像Dを再生させる。 At time t 26 after the time t 25, the control unit 24, in accordance with a user operation, to reproduce an image D.

このように、再生装置11では、音楽bの再生中に次の画像Bまたは画像Cが再生されても、音楽bを最後まで再生した後に、画像Cの撮像時刻に応じた音楽dが再生される。   Thus, even if the next image B or image C is played back during playback of the music b, the playback device 11 plays back the music d corresponding to the imaging time of the image C after playing back the music b. The

また、図5および図7を参照して説明したように、再生装置11では、例えば、画像Aの再生時間中に、画像Aの撮像時刻との差分値が最小となる時刻に再生されていた音楽aが最後まで再生されると、その次に、画像Aの撮像時刻との差分値が、音楽aの次に小さい時刻に再生されていた音楽bが再生される。   Further, as described with reference to FIGS. 5 and 7, in the playback device 11, for example, during the playback time of the image A, the playback is performed at the time when the difference value from the imaging time of the image A is minimum. When the music a is played back to the end, the music b that has been played back at the time when the difference value from the image A shooting time is the next smaller than the music a is played.

ところで、例えば、画像Aの撮像時刻が、ユーザが画像Aを再生することを指示した時刻(即ち、例えば、図5の時刻t11または図7の時刻t21)(以下、適宜、画像再生時刻という)よりも、例えば、1年以上離れていれば、ユーザは、音楽aの再生時刻と音楽bの再生時刻との差も気にならないと考えられ、画像Aの再生時に、音楽aの再生に続いて音楽bが再生されても、ユーザが画像Aを撮像したときを思い出すことに対して、障害にならないと考えられる。 Incidentally, for example, the imaging time of the image A is the time when the user has instructed to reproduce the image A (ie, for example, the time t 11 in FIG. 5 or the time t 21 in FIG. 7) (hereinafter referred to as the image reproduction time as appropriate). For example, if the user is more than one year away, it is considered that the user does not care about the difference between the playback time of music a and the playback time of music b. Even if the music b is reproduced subsequently, it is considered that it does not become an obstacle for the user to remember when the image A was captured.

これに対し、例えば、画像Aの撮像時刻と画像再生時刻とが数日しか離れていなければ、ユーザは、音楽aの再生時刻と音楽bの再生時刻との差が気になってしまうと考えられ、画像Aの再生時に、音楽aの再生に続いて、画像Aの撮像時には再生されていなかった音楽bが再生されると、ユーザが画像Aを撮像したときを思い出すことに対して、障害になると考えられる。   On the other hand, for example, if the imaging time of the image A and the image playback time are separated by only a few days, the user thinks that the difference between the playback time of music a and the playback time of music b is concerned If the music b that was not played back at the time of image A is played following the playback of the music a at the time of playback of the image A, it is difficult for the user to remember when the image A was shot. It is thought that it becomes.

つまり、例えば、画像Aの撮像時刻と画像再生時刻とが数日程度の、ある一定の期間以内であれば、画像Aとともに再生された音楽aが最後まで再生されると、再度、音楽aを再生した方が、音楽aの次に音楽bを再生するよりも、ユーザは、画像Aの撮像時を、より鮮明に思い出すことができると考えられる。   That is, for example, if the imaging time of the image A and the image playback time are within a certain period of about several days, when the music a played back with the image A is played back to the end, the music a is played again. It is considered that the user can more clearly remember the time when the image A was captured than the user who reproduces the music b after the music a.

そこで、図8乃至図11を参照して、再生装置11において、画像の撮像時刻と画像再生時刻との差に基づいて、音楽が決定される処理を説明する。   Therefore, with reference to FIG. 8 to FIG. 11, processing in which music is determined in the playback device 11 based on the difference between the image capturing time and the image playback time will be described.

図8は、再生装置11において、画像の撮像時刻と画像再生時刻との差に基づいて、音楽が決定される処理であって、図4での処理と同様に、音楽の再生中に次の画像の再生が指示されると、音楽の再生が中止されて、次の画像の撮像時刻に応じた音楽が再生される処理を説明するフローチャートである。   FIG. 8 shows a process of determining music based on the difference between the image capturing time and the image playback time in the playback device 11. The process is similar to the process in FIG. FIG. 10 is a flowchart for describing processing in which when reproduction of an image is instructed, reproduction of music is stopped and music is reproduced according to the imaging time of the next image.

再生装置11では、ステップS51乃至S54において、図4のステップS21乃至S24の処理とそれぞれ同様に、ユーザにより指定された画像の撮像時刻との差分値が最小となる再生時刻の音楽が再生される。   In steps S51 to S54, the playback device 11 plays back music at a playback time that minimizes the difference value from the image capture time specified by the user, as in steps S21 to S24 of FIG. .

また、ステップS55乃至S57において、図4のステップS25乃至27の処理とそれぞれ同様に、制御部24は、現在の音楽が最後まで再生されたと判定されるか、次の音楽を再生させることがユーザにより指示されたと判定されるか、または、次の画像を再生させることがユーザにより指示されたと判定されるまで、処理を待機する。   In steps S55 to S57, similarly to the processes in steps S25 to S27 in FIG. 4, the control unit 24 determines that the current music has been played to the end, or allows the user to play the next music. The process waits until it is determined that the instruction is issued or the instruction to reproduce the next image is determined by the user.

そして、ステップS55において、制御部24が、現在の音楽が最後まで再生されたと判定した場合、ステップS58に進む。   If the control unit 24 determines in step S55 that the current music has been played to the end, the process proceeds to step S58.

ステップS58において、制御部24は、現在の画像の撮像時刻と、画像再生時刻との差が、所定の設定値以下であるか否かを判定する。なお、この所定の設定値は、例えば、数日や、1ヶ月、または、1年などの任意の期間を、ユーザが設定することができる。   In step S58, the control unit 24 determines whether or not the difference between the current image capturing time and the image reproduction time is equal to or smaller than a predetermined set value. The predetermined set value can be set by the user for an arbitrary period such as several days, one month, or one year.

ステップS58において、制御部24が、現在の画像の撮像時刻と、画像再生時刻との差が、所定の設定値以下である判定した場合、ステップS59に進み、制御部24は、音楽再生部20を制御し、現在の音楽を再度再生させ、ステップS55に戻り、以下、同様の処理を繰り返す。   In step S58, when the control unit 24 determines that the difference between the current image capturing time and the image reproduction time is equal to or less than a predetermined set value, the process proceeds to step S59, and the control unit 24 performs the music reproduction unit 20. , The current music is reproduced again, the process returns to step S55, and the same processing is repeated thereafter.

一方、ステップS58において、制御部24が、現在の画像の撮像時刻と、画像再生時刻との差が、所定の設定値以下でない(所定の設定値より大である)と判定した場合、ステップS60に進む。   On the other hand, when the control unit 24 determines in step S58 that the difference between the current image capturing time and the image reproduction time is not less than or equal to the predetermined set value (greater than the predetermined set value), step S60 is performed. Proceed to

ステップS60において、制御部24は、図4のステップS28の処理と同様に、現在の音楽の次の音楽を決定して、ステップS54に戻る。   In step S60, the control unit 24 determines the next music after the current music, similarly to the process of step S28 of FIG. 4, and returns to step S54.

また、ステップS56において、制御部24が、次の音楽を再生させることがユーザにより指示されたと判定した場合も、ステップS60に進み、上述した処理と同様の処理が行われる。   Also, in step S56, when the control unit 24 determines that the user has instructed to reproduce the next music, the process proceeds to step S60, and the same processing as described above is performed.

一方、ステップS57において、制御部24が、次の画像を再生させることがユーザにより指示されたと判定した場合、ステップS61に進み、制御部24は、図4のステップS29の処理と同様に、次の画像のデータをデータ格納部22から読み出して、ステップS52に戻る。   On the other hand, if it is determined in step S57 that the control unit 24 has instructed the user to reproduce the next image, the process proceeds to step S61, and the control unit 24 performs the next processing in the same manner as in step S29 in FIG. Is read from the data storage unit 22, and the process returns to step S52.

以上のように、再生装置11は、現在の画像の撮像時刻と、画像再生時刻との差が、所定の設定値以下であれば、現在の音楽を繰り返して再生することができる。これにより、画像を撮像した時刻と再生する時刻が近いときには、画像の撮像時に再生されていた音楽が繰り返して再生されるので、ユーザは、その画像を撮像したときを、より鮮明に思い出すことができる。   As described above, the playback device 11 can repeatedly play back the current music if the difference between the current image capture time and the image playback time is equal to or less than a predetermined set value. As a result, when the time at which the image was captured is close to the time at which the image is reproduced, the music that was being reproduced at the time of image capture is reproduced repeatedly, so that the user can clearly remember when the image was captured. it can.

次に、図9は、図8のフローチャートの処理を実行することにより、再生装置11において再生される画像と音楽の再生時間の例を示す図である。   Next, FIG. 9 is a diagram showing an example of the playback time of images and music played back by the playback device 11 by executing the processing of the flowchart of FIG.

図9の上側には、音楽再生部20により再生される音楽の再生時間が示され、図9の下側には、画像再生部16により再生される画像の再生時間が示されており、図9の横方向の左から右に向かって時刻の経過が表されている。なお、図9では、画像再生時刻と、画像Aの撮像時刻との差が、所定の設定値以下である場合の例が示されている。   The upper side of FIG. 9 shows the playback time of music played back by the music playback unit 20, and the lower side of FIG. 9 shows the playback time of images played back by the image playback unit 16. 9 shows the passage of time from left to right in the horizontal direction. FIG. 9 shows an example in which the difference between the image reproduction time and the image A imaging time is equal to or less than a predetermined set value.

例えば、ユーザが、時刻t31において、画像Aを再生することを指示したとすると、制御部24は、ユーザにより指示された画像Aのデータをデータ格納部22から読み出す(図8のステップS51の処理)。制御部24は、画像Aのデータから画像Aの撮像時刻を取得し、画像再生部16は、画像Aを再生してLCD18に画像Aを表示する(図8のステップS52の処理)。 For example, if the user instructs to reproduce the image A at time t 31 , the control unit 24 reads the data of the image A instructed by the user from the data storage unit 22 (in step S51 in FIG. 8). processing). The control unit 24 acquires the imaging time of the image A from the data of the image A, and the image reproduction unit 16 reproduces the image A and displays the image A on the LCD 18 (processing in step S52 in FIG. 8).

そして、制御部24は、データ格納部22に格納されている履歴テーブルを参照し、画像Aの撮像時刻との差分値が最小となる時刻に再生されていた音楽aを、画像Aとともに再生する音楽として決定し(図8のステップS53の処理)、音楽再生部20は、音楽aを再生する(図8のステップS54の処理)。   Then, the control unit 24 refers to the history table stored in the data storage unit 22 and reproduces the music a that has been reproduced at the time when the difference value with the imaging time of the image A is the minimum together with the image A. The music is determined as music (step S53 in FIG. 8), and the music playback unit 20 plays back music a (step S54 in FIG. 8).

その後、時刻t32において、音楽aが、その最後まで再生されたとする。この場合、制御部24は、音楽aが最後まで再生されたと判定する(図8のステップS55の処理)とともに、画像再生時刻と、画像Aの撮像時刻との差が、所定の設定値以下であると判定する(図8のステップS58の処理)。従って、制御部24は、音楽再生部20を制御して、音楽aを再度再生させる。 Thereafter, at time t 32 , it is assumed that music a has been played to the end. In this case, the control unit 24 determines that the music a has been reproduced to the end (the process of step S55 in FIG. 8), and the difference between the image reproduction time and the image A imaging time is equal to or less than a predetermined set value. It is determined that it exists (the process in step S58 in FIG. 8). Therefore, the control unit 24 controls the music playback unit 20 to play back music a again.

さらに、その後、音楽aの再生途中である時刻t33において、画像Aの次に再生する画像として画像Bがユーザにより指定されると、制御部24は、次の画像を再生するようにユーザにより指示されたと判定し(図8のステップS57の処理)、データ格納部22から画像Bのデータを読み出す(図8のステップS61の処理)。 Further, thereafter, at time t 33 is the middle of reproduction of the music a, if an image B as the image to be reproduced next image A is designated by the user, the control unit 24 by the user so as to reproduce the next image It is determined that the instruction has been issued (step S57 in FIG. 8), and the data of the image B is read from the data storage unit 22 (step S61 in FIG. 8).

そして、制御部24は、画像Bのデータから画像Bの撮像時刻を取得し、画像再生部16は、画像Bを再生する(図8のステップS52の処理)。さらに、制御部24は、データ格納部22に格納されている履歴テーブルを参照し、画像Bの撮像時刻との差分値が最小となる時刻に再生されていた音楽cを、画像Bとともに再生する音楽として決定し(図8のステップS53の処理)、音楽再生部20は、音楽aの再生を、その途中で中止して音楽cを再生する。   And the control part 24 acquires the imaging time of the image B from the data of the image B, and the image reproduction part 16 reproduces | regenerates the image B (process of FIG.8 S52). Further, the control unit 24 refers to the history table stored in the data storage unit 22 and reproduces the music c that was reproduced at the time when the difference value with respect to the imaging time of the image B is the minimum together with the image B. The music is determined as music (the process of step S53 in FIG. 8), and the music playback unit 20 stops the playback of the music a and plays back the music c.

このように、再生装置11では、画像再生時刻と、画像Aの撮像時刻との差が、所定の設定値以下であれば、音楽aが、繰り返して再生される。   As described above, in the playback device 11, if the difference between the image playback time and the imaging time of the image A is equal to or smaller than a predetermined set value, the music a is repeatedly played back.

次に、図10は、再生装置11において、画像の撮像時刻と画像再生時刻との差に基づいて、音楽が決定される処理であって、図6の処理と同様に、音楽の再生中に次の画像の再生が指示されても、その音楽が最後まで再生された後、次の画像の撮像時刻に応じた音楽が再生される処理を説明するフローチャートである。   Next, FIG. 10 is a process in which music is determined based on the difference between the image capturing time and the image playback time in the playback device 11, and during the playback of music, as in the process of FIG. FIG. 10 is a flowchart for describing processing in which music corresponding to the imaging time of the next image is played after the music has been played to the end even when playback of the next image is instructed.

再生装置11では、ステップS71乃至S75において、図6のステップS31乃至S35の処理とそれぞれ同様に、画像更新フラグに、音楽の再生中に次の画像が再生されていないことを表す「0」がセットされ、ユーザにより指定された画像の撮像時刻との差分値が最小となる再生時刻の音楽が再生される。   In the playback device 11, in steps S71 to S75, similarly to the processing of steps S31 to S35 of FIG. 6, “0” indicating that the next image is not played back during playback of music is displayed in the image update flag. The music at the reproduction time that is set and has the smallest difference value from the image capturing time specified by the user is reproduced.

また、ステップS76乃至S78において、図6のステップS36乃至S38の処理とそれぞれ同様に、制御部24は、現在の音楽が最後まで再生されたと判定されるか、次の音楽を再生させることがユーザにより指示されたと判定されるか、または、次の画像を再生させることがユーザにより指示されたと判定されるまで、処理を待機する。   Further, in steps S76 to S78, similarly to the processing of steps S36 to S38 in FIG. 6, the control unit 24 determines that the current music has been played to the end, or causes the user to play the next music. The process waits until it is determined that the instruction is issued or the instruction to reproduce the next image is determined by the user.

そして、ステップS76において、制御部24が、現在の音楽が最後まで再生されたと判定した場合、ステップS79に進み、制御部24は、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされているか否かを判定する。   If the control unit 24 determines in step S76 that the current music has been played to the end, the process proceeds to step S79, and the control unit 24 uses the image update flag to play the next image during music playback. It is determined whether or not “1” representing that is set.

ステップS79において、制御部24が、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされていると判定した場合、ステップS80に進み、制御部24は、図6のステップS41の処理と同様に、現在の音楽の再生中に次の画像が再生されていないことを表す「0」をセットして、ステップS74に戻り、以下、同様の処理を繰り返す。   If the control unit 24 determines in step S79 that the image update flag is set to “1” indicating that the next image has been reproduced during music reproduction, the process proceeds to step S80, where the control unit 24 Is set to “0” indicating that the next image is not reproduced during the reproduction of the current music, and returns to step S74, and the same processing is performed thereafter, as in the process of step S41 of FIG. repeat.

一方、ステップS79において、制御部24が、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされていないと判定した場合、ステップS81に進み、制御部24は、現在の画像の撮像時刻と、画像再生時刻との差が、所定の設定値以下であるか否かを判定する。   On the other hand, if the control unit 24 determines in step S79 that the image update flag is not set to “1” indicating that the next image has been reproduced during music reproduction, the process proceeds to step S81 and the control is performed. The unit 24 determines whether or not the difference between the current image capturing time and the image reproduction time is equal to or less than a predetermined set value.

ステップS81において、制御部24が、現在の画像の撮像時刻と、画像再生時刻との差が、所定の設定値以下であると判定した場合、ステップS82に進み、制御部24は、現在の音楽を再度再生し、ステップS76に戻り、以下、同様の処理を繰り返す。   In step S81, when the control unit 24 determines that the difference between the current image capturing time and the image reproduction time is equal to or less than a predetermined set value, the process proceeds to step S82, where the control unit 24 Is again reproduced, and the process returns to step S76, and thereafter the same processing is repeated.

一方、ステップS81において、制御部24が、現在の画像の撮像時刻と、画像再生時刻との差が、所定の設定値以下でない(所定の設定値より大である)と判定した場合、ステップS83に進み、制御部24は、図6のステップS40の処理と同様に、現在の音楽の次の音楽を決定して、ステップS75に戻り、以下、同様の処理を繰り返す。   On the other hand, when the control unit 24 determines in step S81 that the difference between the current image capturing time and the image reproduction time is not less than or equal to the predetermined set value (greater than the predetermined set value), step S83 is performed. The control unit 24 determines the next music after the current music, similarly to the process of step S40 of FIG. 6, returns to step S75, and thereafter repeats the same process.

一方、ステップS77において、制御部24が、次の音楽を再生するようにユーザにより指示されたと判定された場合、ステップS84に進み、ステップS79の処理と同様に、制御部24は、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされているか否かを判定する。   On the other hand, if it is determined in step S77 that the control unit 24 has been instructed by the user to play the next music, the process proceeds to step S84, and the control unit 24 selects the image update flag in the same manner as in step S79. In addition, it is determined whether or not “1” indicating that the next image is reproduced during reproduction of music is set.

ステップS84において、制御部24が、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされていると判定した場合、ステップS85に進み、制御部24は、図6のステップS41の処理と同様に、現在の音楽の再生中に次の画像が再生されていないことを表す「0」をセットして、ステップS74に戻り、以下、同様の処理を繰り返す。   If the control unit 24 determines in step S84 that the image update flag is set to “1” indicating that the next image has been reproduced during music reproduction, the process proceeds to step S85, and the control unit 24 Is set to “0” indicating that the next image is not reproduced during the reproduction of the current music, and returns to step S74, and the same processing is performed thereafter, as in the process of step S41 of FIG. repeat.

一方、ステップS84において、制御部24が、画像更新フラグに、音楽の再生中に次の画像が再生されたことを表す「1」がセットされていないと判定した場合、ステップS83に進み、以下、上述した処理が行われる。   On the other hand, when the control unit 24 determines in step S84 that the image update flag is not set to “1” indicating that the next image is played back during music playback, the process proceeds to step S83, and the following steps are performed. The above-described processing is performed.

また、ステップS78において、制御部24が、ユーザにより、次の画像を再生するように指示されたと判定した場合、ステップS86乃至S88において、図6のステップS42乃至44の処理と同様の処理が行われる。   In step S78, when the control unit 24 determines that the user has instructed to reproduce the next image, in steps S86 to S88, the same processing as that in steps S42 to S44 in FIG. 6 is performed. Is called.

以上のように、再生装置11は、現在の画像の撮像時刻と、画像再生時刻との差が、所定の設定値以下であれば、現在の音楽を繰り返して再生することができる。これにより、画像を撮像した時刻と再生する時刻が近いときには、画像の撮像時に再生されていた音楽が繰り返して再生されるので、ユーザは、その画像を撮像したときを、より鮮明に思い出すことができる。   As described above, the playback device 11 can repeatedly play back the current music if the difference between the current image capture time and the image playback time is equal to or less than a predetermined set value. As a result, when the time at which the image was captured is close to the time at which the image is reproduced, the music that was being reproduced at the time of image capture is reproduced repeatedly, so that the user can clearly remember when the image was captured. it can.

次に、図11は、図10のフローチャートの処理を実行することにより、再生装置11において再生される画像と音楽の再生時間の例を示す図である。   Next, FIG. 11 is a diagram showing an example of the playback time of images and music played back by the playback device 11 by executing the processing of the flowchart of FIG.

図11の上側には、音楽再生部20により再生される音楽の再生時間が示され、図11の下側には、画像再生部16により再生される画像の再生時間が示されており、図11の横方向の左から右に向かって時刻の経過が表されている。なお、図11では、画像再生時刻と、画像Aの撮像時刻との差が、所定の設定値以下である場合の例が示されている。   The upper side of FIG. 11 shows the playback time of music played by the music playback unit 20, and the lower side of FIG. 11 shows the playback time of images played by the image playback unit 16. 11 shows the passage of time from left to right in the horizontal direction. FIG. 11 shows an example in which the difference between the image reproduction time and the image A imaging time is equal to or less than a predetermined set value.

例えば、ユーザが、時刻t41において、画像Aを再生することを指示したとすると、制御部24は、画像更新フラグに「0」をセットし(図10のステップS71の処理)、ユーザにより指示された画像Aのデータをデータ格納部22から読み出す(図10のステップS72の処理)。制御部24は、画像Aのデータから画像Aの撮像時刻を取得し、画像再生部16は、画像Aを再生してLCD18に画像Aを表示する(図10のステップS73の処理)。 For example, if the user gives an instruction to reproduce the image A at time t 41 , the control unit 24 sets “0” to the image update flag (step S 71 in FIG. 10), and the user gives an instruction. The data of the image A thus read is read from the data storage unit 22 (the process of step S72 in FIG. 10). The control unit 24 acquires the imaging time of the image A from the data of the image A, and the image reproduction unit 16 reproduces the image A and displays the image A on the LCD 18 (processing in step S73 in FIG. 10).

そして、制御部24は、データ格納部22に格納されている履歴テーブルを参照し、画像Aの撮像時刻との差分値が最小となる時刻に再生されていた音楽aを、画像Aとともに再生する音楽として決定し(図10のステップS74の処理)、音楽再生部20は、音楽aを再生する(図10のステップS75の処理)。   Then, the control unit 24 refers to the history table stored in the data storage unit 22 and reproduces the music a that has been reproduced at the time when the difference value with the imaging time of the image A is the minimum together with the image A. The music is determined as music (step S74 in FIG. 10), and the music playback unit 20 plays back music a (step S75 in FIG. 10).

その後、時刻t42において、音楽aが、その最後まで再生されたとする。この場合、制御部24は、音楽aが最後まで再生されたと判定する(図10のステップS76の処理)。そして、音楽aの再生時間である時刻t41からt42までの間において画像は更新されてなく、画像更新フラグには「0」がセットされたままであるので、制御部24は、画像更新フラグに「1」がセットされていないと判定する(図10のステップS79の処理)とともに、画像再生時刻と、画像Aの撮像時刻との差が、所定の設定値以下であると判定する(図10のステップS81の処理)。従って、制御部24は、音楽再生部20を制御して、音楽aを再度再生させる(図10のステップS82の処理)。 Then, at time t 42, the music a is, and has been reproduced to the last. In this case, the control unit 24 determines that the music a has been played to the end (the process of step S76 in FIG. 10). Then, since the image is not updated during the time t 41 to t 42 which is the reproduction time of the music a and “0” is still set in the image update flag, the control unit 24 sets the image update flag. Is determined not to be set to “1” (the process of step S79 in FIG. 10), and the difference between the image reproduction time and the image A imaging time is determined to be equal to or smaller than a predetermined set value (FIG. 10). (Step S81 of 10). Therefore, the control unit 24 controls the music reproduction unit 20 to reproduce the music a again (processing in step S82 in FIG. 10).

さらに、その後、音楽aの再生途中である時刻t43において、画像Aの次に再生する画像として画像Bがユーザにより指定されると、制御部24は、次の画像を再生するようにユーザにより指示されたと判定し(図10のステップS78の処理)、画像更新フラグに「1」をセットし(図10のステップS86の処理)、データ格納部22から画像Bのデータを読み出す(図10のステップS87の処理)。そして、制御部24は、画像Bのデータから画像Bの撮像時刻を取得し、画像再生部16は、画像Bを再生する(図10のステップS88の処理)。 Further, thereafter, at time t 43 is the middle of reproduction of the music a, if an image B as the image to be reproduced next image A is designated by the user, the control unit 24 by the user so as to reproduce the next image It is determined that it has been instructed (step S78 in FIG. 10), the image update flag is set to “1” (step S86 in FIG. 10), and the image B data is read from the data storage unit 22 (in FIG. 10). Processing in step S87). And the control part 24 acquires the imaging time of the image B from the data of the image B, and the image reproduction part 16 reproduces | regenerates the image B (process of step S88 of FIG. 10).

また、音楽aの再生途中である時刻t44において、画像Bの次に再生する画像として画像Cがユーザにより指定されると、時刻t43で画像Bが再生された処理と同様に処理が行われ、画像Cが再生される。 At time t 44 is the middle of reproduction of the music a, if an image C is designated by the user, the processing similar to the processing performed by the image B is reproduced at time t 43 is the line as an image to be reproduced next image B Image C is reproduced.

その後、時刻t45において、音楽aが、その最後まで再生されたとする。この場合、制御部24は、音楽aが最後まで再生されたと判定する(図10のステップS76の処理)。そして、音楽aの再生時間である時刻t42からt45までの間において画像が更新されており、画像更新フラグには「1」がセットされているので、制御部24は、画像更新フラグに「1」がセットされていると判定し(図10のステップS79の処理)、画像更新フラグをリセットして(図10のステップS80の処理)、時刻t44で取得した画像Cの撮像時刻との差分値が、最も小さい時刻に再生されていた音楽dを、画像Cとともに再生する音楽として決定し(図10のステップS74の処理)、音楽再生部20は、音楽dを再生する。 Thereafter, at time t 45 , it is assumed that music a has been played to the end. In this case, the control unit 24 determines that the music a has been played to the end (the process of step S76 in FIG. 10). Since the image has been updated between time t 42 and t 45 which is the playback time of music a and “1” is set in the image update flag, the control unit 24 sets the image update flag. "1" is determined to be set (in step S79 in FIG. 10), (processing of step S80 of FIG. 10) resets the image update flag, the imaging time of the image C acquired at time t 44 The music d played back at the time with the smallest difference value is determined as the music to be played back together with the image C (step S74 in FIG. 10), and the music playback unit 20 plays back the music d.

また、時刻t45の後の時刻t46において、制御部24は、ユーザの操作に応じて、画像Dを再生させる。 At time t 46 after the time t 45, the control unit 24, in accordance with a user operation, to reproduce an image D.

このように、再生装置11では、画像再生時刻と、画像Aの撮像時刻との差が、所定の設定値以下であれば、音楽aが、繰り返して再生される。   As described above, in the playback device 11, if the difference between the image playback time and the imaging time of the image A is equal to or smaller than a predetermined set value, the music a is repeatedly played back.

ところで、図1の再生装置11は、画像を撮像し、画像を再生し、音楽を再生することができるが、例えば、画像を撮像する装置、画像を再生する装置、または、画像および音楽を再生する装置が、ネットワークを介して互いに接続されたシステムにおいて、それぞれの装置により処理が実行されることで、再生装置11と同様の機能を実現することがでる。   Incidentally, the playback device 11 in FIG. 1 can capture an image, play an image, and play music. For example, the playback device 11 plays an image, plays an image, or plays an image and music. In a system in which the devices to be connected to each other via a network are processed by the respective devices, the same functions as the playback device 11 can be realized.

即ち、図12は、撮像装置51、音楽再生装置52、画像音楽再生装置53が、ネットワーク54を介して接続されて構成されるシステムを示すブロック図である。   In other words, FIG. 12 is a block diagram showing a system in which an imaging device 51, a music playback device 52, and an image music playback device 53 are connected via a network.

撮像装置51は、例えば、デジタルカメラなどであり、自身が撮像した画像のデータを、ネットワーク54を介して、画像音楽再生装置53に供給する。   The imaging device 51 is, for example, a digital camera, and supplies image data captured by the imaging device 51 to the image music reproduction device 53 via the network 54.

音楽再生装置52は、例えば、ポータブルオーディオプレーヤなどであり、音楽を再生するとともに、自身が再生した音楽の履歴テーブル(図2)を作成し、ネットワーク54を介して、音楽のデータと履歴テーブルを、画像音楽再生装置53に供給する。   The music playback device 52 is, for example, a portable audio player and the like, and plays back music, creates a history table (FIG. 2) of music played by itself, and stores the music data and history table via the network 54. , And supplied to the image music playback device 53.

画像音楽再生装置53は、例えば、テレビジョン受像機などのようにモニタとスピーカを備えた装置であり、画像音楽再生装置53には、ネットワーク54を介して、撮像装置51から画像のデータが供給されるとともに、音楽再生装置52から音楽のデータと履歴テーブルが供給される。   The image music playback device 53 is a device including a monitor and a speaker such as a television receiver, for example, and image data is supplied from the imaging device 51 to the image music playback device 53 via the network 54. At the same time, music data and a history table are supplied from the music playback device 52.

例えば、ユーザが、音楽再生装置52に音楽を再生させながら、撮像装置51で画像を撮像したとする。そして、画像音楽再生装置53が、撮像装置51から供給された画像を再生するようにユーザにより操作されると、画像音楽再生装置53は、その画像を再生するとともに、音楽再生装置52から供給された履歴テーブルを参照し、撮像装置51により画像が撮像されたときに、音楽再生装置52により再生されていた音楽を再生する。   For example, it is assumed that the user captures an image with the imaging device 51 while the music playback device 52 plays back music. When the image music playback device 53 is operated by the user to play back the image supplied from the imaging device 51, the image music playback device 53 plays back the image and is supplied from the music playback device 52. With reference to the history table, the music played back by the music playback device 52 is played back when the image is picked up by the image pickup device 51.

ネットワーク54は、例えば、有線または無線により構成されるLAN(Local Area Network)である。   The network 54 is, for example, a LAN (Local Area Network) configured by wire or wireless.

次に、図13は、図12の撮像装置51の構成例を示すブロック図である。   Next, FIG. 13 is a block diagram illustrating a configuration example of the imaging device 51 of FIG.

撮像装置51は、レンズ61、撮像部62、データ格納部63、制御部64、および通信部65から構成される。   The imaging device 51 includes a lens 61, an imaging unit 62, a data storage unit 63, a control unit 64, and a communication unit 65.

撮像装置51が備えるレンズ61、撮像部62、データ格納部63、または制御部64は、図1の再生装置11が備えるレンズ12、撮像部13、データ格納部22、または制御部24と、それぞれ同様に構成される。また、通信部65は、制御部64の制御に従い、ネットワーク54(図12)を介しての通信を行う。   The lens 61, the imaging unit 62, the data storage unit 63, or the control unit 64 included in the imaging device 51 are respectively the lens 12, the imaging unit 13, the data storage unit 22, or the control unit 24 included in the reproduction device 11 of FIG. It is comprised similarly. Further, the communication unit 65 performs communication via the network 54 (FIG. 12) under the control of the control unit 64.

即ち、撮像装置51では、被写体からの光がレンズ61を介して、撮像部62が備える撮像素子の受光面に集光され、撮像部62により画像が撮像される。撮像部62により撮像された画像のデータは、制御部64を介して、データ格納部63に格納される。また、撮像装置51では、制御部64が通信部65を制御し、ネットワーク54を介して、画像音楽再生装置53(図12)との通信が行われ、データ格納部63に格納された画像のデータが画像音楽再生装置53に送信される。   That is, in the imaging device 51, light from the subject is condensed on the light receiving surface of the imaging element included in the imaging unit 62 via the lens 61, and an image is captured by the imaging unit 62. Data of an image captured by the imaging unit 62 is stored in the data storage unit 63 via the control unit 64. In the imaging device 51, the control unit 64 controls the communication unit 65 to communicate with the image music reproduction device 53 (FIG. 12) via the network 54, and to store the image stored in the data storage unit 63. Data is transmitted to the image and music playback device 53.

次に、図14は、図12の音楽再生装置52の構成例を示すブロック図である。   Next, FIG. 14 is a block diagram illustrating a configuration example of the music playback device 52 of FIG.

音楽再生装置52は、USBコントローラ71、USBコネクタ72、ヘッドフォンコネクタ73、音楽再生部74、ヘッドフォンアンプ75、データ格納部76、音楽履歴作成部77、制御部78、および通信部79から構成される。   The music playback device 52 includes a USB controller 71, a USB connector 72, a headphone connector 73, a music playback unit 74, a headphone amplifier 75, a data storage unit 76, a music history creation unit 77, a control unit 78, and a communication unit 79. .

音楽再生装置52が備えるUSBコントローラ71、USBコネクタ72、ヘッドフォンコネクタ73、音楽再生部74、ヘッドフォンアンプ75、データ格納部76、音楽履歴作成部77、または制御部78は、図1の再生装置11が備えるUSBコントローラ14、USBコネクタ15、ヘッドフォンコネクタ19、音楽再生部20、ヘッドフォンアンプ21、データ格納部22、音楽履歴作成部23、または制御部24と、それぞれ同様に構成される。また、通信部79は、制御部78の制御に従い、ネットワーク54(図12)を介しての通信を行う。   The USB controller 71, USB connector 72, headphone connector 73, music playback unit 74, headphone amplifier 75, data storage unit 76, music history creation unit 77, or control unit 78 included in the music playback device 52 is the playback device 11 of FIG. The USB controller 14, USB connector 15, headphone connector 19, music playback unit 20, headphone amplifier 21, data storage unit 22, music history creation unit 23, or control unit 24 are configured in the same manner. The communication unit 79 performs communication via the network 54 (FIG. 12) according to the control of the control unit 78.

また、音楽再生装置52には、再生装置11と同様に、USBケーブル81を介して、音楽再生装置52に音楽のデータなどを提供するパーソナルコンピュータなどのホストマシン82が接続されている。   Similarly to the playback device 11, a host machine 82 such as a personal computer that provides music data to the music playback device 52 is connected to the music playback device 52 via the USB cable 81.

即ち、音楽再生装置52では、ホストマシン82からUSBケーブル81を介して音楽のデータが送信されてくると、制御部78がUSBコントローラ71を制御し、ホストマシン82から送信されてくる音楽のデータが受信されてデータ格納部76に格納される。また、音楽再生装置52では、データ格納部76から音楽のデータが読み出され、音楽再生部74により音楽が再生されると、制御部78が音楽履歴作成部77を制御し、音楽再生部74により再生された音楽の履歴テーブルが作成され、データ格納部76に格納される。   That is, in the music playback device 52, when music data is transmitted from the host machine 82 via the USB cable 81, the control unit 78 controls the USB controller 71, and music data transmitted from the host machine 82. Is received and stored in the data storage unit 76. In the music playback device 52, when music data is read from the data storage unit 76 and music is played back by the music playback unit 74, the control unit 78 controls the music history creation unit 77, and the music playback unit 74. The history table of the music reproduced by the above is created and stored in the data storage unit 76.

そして、音楽再生装置52では、制御部78が通信部79を制御し、ネットワーク54を介して、画像音楽再生装置53(図12)との通信が行われ、データ格納部63に格納された音楽のデータおよび履歴テーブルが、画像音楽再生装置53に送信される。   In the music playback device 52, the control unit 78 controls the communication unit 79 to communicate with the image music playback device 53 (FIG. 12) via the network 54, and the music stored in the data storage unit 63. And the history table are transmitted to the image music reproducing device 53.

次に、図15は、図12の画像音楽再生装置53の構成例を示すブロック図である。   Next, FIG. 15 is a block diagram illustrating a configuration example of the image music reproduction device 53 of FIG.

画像音楽再生装置53は、画像再生部91、LCDコントローラ92,LCD93、音楽再生部94、アンプ95、スピーカ96、データ格納部97、制御部98、および通信部99から構成される。   The image and music playback device 53 includes an image playback unit 91, an LCD controller 92 and an LCD 93, a music playback unit 94, an amplifier 95, a speaker 96, a data storage unit 97, a control unit 98, and a communication unit 99.

画像音楽再生装置53が備える画像再生部91、LCDコントローラ92,LCD93、音楽再生部94、データ格納部97、または制御部98は、図1の再生装置11が備える画像再生部16、LCDコントローラ17,LCD18、音楽再生部20、データ格納部22、または制御部97と、それぞれ同様に構成される。   The image playback unit 91, the LCD controller 92, the LCD 93, the music playback unit 94, the data storage unit 97, or the control unit 98 included in the image music playback device 53 are the image playback unit 16 and the LCD controller 17 included in the playback device 11 of FIG. , LCD 18, music playback unit 20, data storage unit 22, or control unit 97, respectively.

また、アンプ95は、音楽再生部94により再生された音楽(音楽の信号)を増幅してスピーカ96に供給し、スピーカ96は、アンプ95から供給された音楽を出力する。また、通信部99は、制御部98の制御に従い、ネットワーク54(図12)を介しての通信を行う。   The amplifier 95 amplifies the music (music signal) reproduced by the music reproducing unit 94 and supplies the amplified music to the speaker 96, and the speaker 96 outputs the music supplied from the amplifier 95. Further, the communication unit 99 performs communication via the network 54 (FIG. 12) under the control of the control unit 98.

即ち、画像音楽再生装置53では、ネットワーク54を介して、撮像装置51から画像のデータが送信されてくると、制御部98が通信部99を制御し、撮像装置51からの画像のデータが受信され、データ格納部97に格納される。また、画像音楽再生装置53では、ネットワーク54を介して、音楽再生装置52から音楽のデータと履歴テーブルが送信されてくると、制御部98が通信部99を制御し、音楽再生装置52からの音楽のデータと履歴テーブルが受信され、データ格納部97に格納される。   That is, in the image music playback device 53, when image data is transmitted from the imaging device 51 via the network 54, the control unit 98 controls the communication unit 99 and receives image data from the imaging device 51. And stored in the data storage unit 97. In the image music playback device 53, when music data and a history table are transmitted from the music playback device 52 via the network 54, the control unit 98 controls the communication unit 99, and the music playback device 52 Music data and a history table are received and stored in the data storage unit 97.

そして、画像音楽再生装置53では、ユーザにより画像を再生させることが指示されると、画像再生部91により、ユーザにより指示された画像が再生されるとともに、制御部98が、データ格納部97に格納されている履歴テーブルを参照し、ユーザに指示された画像が撮像装置51により撮像されたときに、音楽再生装置52により再生されていた音楽を、その画像とともに再生される音楽として決定し、その音楽が、音楽再生部94により再生される。   In the image music playback device 53, when the user instructs to play back the image, the image playback unit 91 plays back the image specified by the user, and the control unit 98 stores the data in the data storage unit 97. With reference to the stored history table, when the image instructed by the user is picked up by the image pickup device 51, the music played back by the music playback device 52 is determined as the music played back together with the image, The music is reproduced by the music reproduction unit 94.

このように、本発明は、ネットワーク54を介して、撮像装置51、音楽再生装置52、画像音楽再生装置53が接続されて構成されるシステムに適用することができる。   Thus, the present invention can be applied to a system configured by connecting the imaging device 51, the music playback device 52, and the image music playback device 53 via the network 54.

さらに、本発明は、このようなネットワークを介して接続されるシステムの他、例えば、撮像装置および音楽再生装置が、リムーバブルメディアを着脱可能なドライブを備えていれば、そのリムーバブルメディアを介して、画像のデータ、音楽のデータ、および履歴テーブルを受け取ることができるパーソナルコンピュータと、撮像装置と、音楽再生装置とからなるシステムに適用することができる。そして、例えば、パーソナルコンピュータにインストールされたスライドショーなどのソフトウエアにより、上述した一連の処理を実行させることができる。   Furthermore, the present invention, in addition to the system connected via such a network, for example, if the imaging device and the music playback device have a removable media removable drive, via the removable media, The present invention can be applied to a system including a personal computer that can receive image data, music data, and a history table, an imaging device, and a music playback device. For example, the above-described series of processing can be executed by software such as a slide show installed in a personal computer.

このように、上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。   As described above, when the above-described series of processing is executed by software, a program constituting the software is installed in a dedicated hardware or by installing various programs. For example, a general-purpose personal computer or the like that can execute various functions is installed from the program recording medium.

図16は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)101は、ROM(Read Only Memory)102、または記憶部108に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)103には、CPU101が実行するプログラムやデータなどが適宜記憶される。これらのCPU101、ROM102、およびRAM103は、バス104により相互に接続されている。   FIG. 16 is a block diagram showing an example of the configuration of a personal computer that executes the above-described series of processing by a program. A CPU (Central Processing Unit) 101 executes various processes according to a program stored in a ROM (Read Only Memory) 102 or a storage unit 108. A RAM (Random Access Memory) 103 appropriately stores programs executed by the CPU 101 and data. These CPU 101, ROM 102, and RAM 103 are connected to each other by a bus 104.

CPU101にはまた、バス104を介して入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107が接続されている。CPU101は、入力部106から入力される指令に対応して各種の処理を実行する。そして、CPU101は、処理の結果を出力部107に出力する。   An input / output interface 105 is also connected to the CPU 101 via the bus 104. Connected to the input / output interface 105 are an input unit 106 made up of a keyboard, mouse, microphone, and the like, and an output unit 107 made up of a display, a speaker, and the like. The CPU 101 executes various processes in response to commands input from the input unit 106. Then, the CPU 101 outputs the processing result to the output unit 107.

入出力インタフェース105に接続されている記憶部108は、例えばハードディスクからなり、CPU101が実行するプログラムや各種のデータを記憶する。通信部109は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。   The storage unit 108 connected to the input / output interface 105 includes, for example, a hard disk and stores programs executed by the CPU 101 and various data. The communication unit 109 communicates with an external device via a network such as the Internet or a local area network.

また、通信部109を介してプログラムを取得し、記憶部108に記憶してもよい。   A program may be acquired via the communication unit 109 and stored in the storage unit 108.

入出力インタフェース105に接続されているドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部108に転送され、記憶される。   The drive 110 connected to the input / output interface 105 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and drives the program or data recorded therein. Get etc. The acquired program and data are transferred to and stored in the storage unit 108 as necessary.

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図16に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111、または、プログラムが一時的もしくは永続的に格納されるROM102や、記憶部108を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部109を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。   As shown in FIG. 16, a program recording medium for storing a program that is installed in a computer and can be executed by the computer is a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only). Memory, DVD (Digital Versatile Disc), a magneto-optical disk, a removable medium 111 which is a package medium made of a semiconductor memory, or the like, a ROM 102 in which a program is temporarily or permanently stored, or a storage unit 108 It is comprised by the hard disk etc. which comprise. The program is stored in the program recording medium using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via a communication unit 109 that is an interface such as a router or a modem as necessary. Done.

なお、図2の履歴テーブルには、音楽のファイル名が登録されているが、音楽のファイル名以外に、例えば、音楽のデータが格納されている領域を示すアドレスなどが登録されてもよい。また、履歴テーブルには、アーティスト名は登録されていなくてもよい。   Note that the music file name is registered in the history table of FIG. 2, but in addition to the music file name, for example, an address indicating an area in which music data is stored may be registered. The artist name may not be registered in the history table.

また、再生装置11により撮像される画像は、静止画像または動画像のいずれでもよく、再生装置11は、静止画像または動画像のどちらも再生することができる。   The image captured by the playback device 11 may be either a still image or a moving image, and the playback device 11 can play back either a still image or a moving image.

また、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。   In addition, the processes described with reference to the flowcharts described above do not necessarily have to be processed in time series in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).

さらに、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   Furthermore, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

11 再生装置, 12 レンズ, 13 撮像部, 14 USBコントローラ, 15 USBコネクタ, 16 画像再生部, 17 LCDコントローラ, 18 LCD, 19 ヘッドフォンコネクタ, 20 音楽再生部, 21 ヘッドフォンアンプ, 22 データ格納部, 23 音楽履歴作成部, 24 制御部, 25 CPU, 26 メモリ, 31 USBケーブル, 32 ホストマシン   DESCRIPTION OF SYMBOLS 11 Playback apparatus, 12 Lens, 13 Imaging part, 14 USB controller, 15 USB connector, 16 Image playback part, 17 LCD controller, 18 LCD, 19 Headphone connector, 20 Music playback part, 21 Headphone amplifier, 22 Data storage part, 23 Music history creation unit, 24 control unit, 25 CPU, 26 memory, 31 USB cable, 32 host machine

Claims (15)

音楽データおよび画像データを再生する再生装置において、
再生指示された再生対象の画像データに付加された作成日時を取得する取得手段と、
前記音楽データと前記音楽データの再生日時とが対応付けられたデータである再生履歴データを参照し、前記再生履歴データに登録されている前記音楽データの前記再生日時と、前記取得手段により取得した前記再生対象の画像データの作成日時とに基づいて、前記再生対象の画像データとともに再生する音楽データを決定する決定手段と
を備え、
前記決定手段は、再生中の前記音楽データが最後まで再生された場合、前記再生対象の画像データが更新されていないとき、
前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小であれば、再生された前記音楽データを再度再生することを決定し、
前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小でなければ、再生された前記音楽データ以外の前記音楽データの前記再生日時と、前記再生対象の画像データの作成日時とに基づいて、次に再生する音楽データを決定する
再生装置。
In a playback device for playing back music data and image data,
Obtaining means for obtaining the added created date and time in the image data to be reproduced which is reproduction instruction,
The reproduction history data, which is data in which the music data and the reproduction date / time of the music data are associated with each other, is referenced, and the reproduction date / time of the music data registered in the reproduction history data is acquired by the acquisition unit. Determining means for determining music data to be reproduced together with the image data to be reproduced based on the creation date and time of the image data to be reproduced;
The determining means, when the music data being played is played to the end, when the image data to be played is not updated,
If the difference between the creation date and time of the image data to be played back and the current time is smaller than a predetermined value, it is decided to play back the played music data again,
And creation date of the image data of the reproduced, if the difference between the current time is not smaller than a predetermined value, and the playback time of the reproduced the music data other than the music data, image data of the reproduced A playback device that determines music data to be played next based on the date and time of the creation.
前記決定手段は、前記再生対象の画像データの作成日時との差分値が最小となる前記再生日時に再生された音楽データを、前記画像データとともに再生する音楽データとして決定する
請求項1に記載の再生装置。
The said determination means determines the music data reproduced on the said reproduction | regeneration date and time when the difference value with the creation date and time of the said image data of the reproduction | regeneration object becomes the minimum as music data reproduced | regenerated with the said image data. Playback device.
前記決定手段は、再生中の前記音楽データが最後まで再生された場合、前記再生対象の画像データが更新されていないとき、前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より大であれば、前記差分値が、再生された前記音楽データの次に小さい前記再生日時に再生された音楽データを、次に再生する音楽データとして決定する
請求項2に記載の再生装置。
When the music data being played has been played to the end, the determination means determines that the difference between the creation date and time of the playback target image data and the current time is when the playback target image data has not been updated. The music data reproduced at the reproduction date and time that is the next smaller than the reproduced music data is determined as music data to be reproduced next if the difference value is larger than a predetermined value. Playback device.
音楽データを再生する音楽再生手段により再生された音楽データと、前記音楽データが再生された日時とを対応付けて、前記再生履歴データを作成する再生履歴作成手段をさらに備える
請求項1に記載の再生装置。
The reproduction history creation means for creating the reproduction history data by associating the music data reproduced by the music reproduction means for reproducing the music data with the date and time when the music data was reproduced. Playback device.
前記再生履歴作成手段は、前記音楽再生手段により前記音楽データが所定の時間以上再生された場合に、前記音楽データと、前記音楽データが再生された日時とを対応付けて、前記再生履歴データを作成する
請求項4に記載の再生装置。
The reproduction history creation means associates the music data with the date and time when the music data was reproduced when the music data was reproduced by the music reproduction means for a predetermined time or longer, and the reproduction history data The playback device according to claim 4.
他の装置と通信する通信手段と、
前記通信手段により受信した、前記他の装置から送信された前記音楽データ、または前記再生履歴データを格納するデータ格納手段と
をさらに備える請求項1に記載の再生装置。
Communication means for communicating with other devices;
The playback apparatus according to claim 1, further comprising: data storage means for storing the music data transmitted from the other apparatus or the playback history data received by the communication means.
画像を撮像する撮像手段をさらに備え、
前記画像データの前記作成日時は、前記撮像手段による前記画像データの撮像日時である
請求項1に記載の再生装置。
It further comprises imaging means for taking an image,
The playback device according to claim 1, wherein the creation date and time of the image data is an imaging date and time of the image data by the imaging unit.
音楽データおよび画像データを再生する再生方法において、
再生指示された再生対象の前記画像データに付加された作成日時を取得し、
前記音楽データと前記音楽データの再生日時とが対応付けられたデータである再生履歴データを参照し、前記再生履歴データに登録されている前記音楽データの再生日時と、前記再生指示された前記再生対象の画像データの作成日時とに基づいて、前記再生対象の画像データとともに再生する前記音楽データを決定する
ステップを含み、
再生中の前記音楽データが最後まで再生された場合、前記再生対象の画像データが更新されていないとき、
前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小であれば、再生された前記音楽データを再度再生することが決定され、
前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小でなければ、再生された前記音楽データ以外の前記音楽データの前記再生日時と、前記再生対象の画像データの作成日時とに基づいて、次に再生する音楽データが決定される
再生方法。
In a playback method for playing back music data and image data,
Get the appended created date and time in the image data to be reproduced which is reproduction instruction,
With reference to reproduction history data, which is data in which the music data and the reproduction date / time of the music data are associated with each other, the reproduction date / time of the music data registered in the reproduction history data and the reproduction instructed to be reproduced Determining the music data to be played back together with the playback target image data based on the creation date and time of the target image data;
When the music data being played has been played to the end, when the image data to be played has not been updated,
If the difference between the creation date and time of the image data to be reproduced and the current time is smaller than a predetermined value, it is determined to reproduce the reproduced music data again,
And creation date of the image data of the reproduced, if the difference between the current time is not smaller than a predetermined value, and the playback time of the reproduced the music data other than the music data, image data of the reproduced A music playback method in which music data to be played next is determined on the basis of the creation date and time.
前記再生対象の画像データの作成日時との差分値が最小となる前記再生日時に再生された音楽データを、前記画像データとともに再生する前記音楽データとして決定する
請求項8に記載の再生方法。
The music data reproduced at the reproduction date and time at which the difference value from the creation date and time of the image data to be reproduced is minimized is determined as the music data to be reproduced together with the image data.
The reproduction method according to claim 8 .
再生中の前記音楽データが最後まで再生された場合、前記再生対象の画像データが更新されていないとき、前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より大であれば、前記差分値が、再生された前記音楽データの次に小さい前記再生日時に再生された音楽データが、次に再生する音楽データとして決定される
請求項9に記載の再生方法。
When the music data being played is played to the end, when the image data to be played is not updated, the difference between the creation date and time of the image data to be played and the current time is greater than a predetermined value. If so, the music data reproduced at the reproduction date and time that is the next smaller than the music data reproduced is determined as the music data to be reproduced next.
The reproduction method according to claim 9 .
音楽データを再生する音楽再生手段により再生された音楽データと、前記音楽データの再生日時とを対応付けて、前記再生履歴データを作成するステップをさらに含む
請求項8に記載の再生方法。
The method further includes the step of creating the reproduction history data by associating the music data reproduced by the music reproducing means for reproducing the music data with the reproduction date and time of the music data.
The reproduction method according to claim 8 .
前記音楽再生手段により、前記音楽データが所定の時間以上再生された場合に、前記所音楽データと前記音楽データの再生日時とが対応付けられて、前記再生履歴データが作成される
請求項11に記載の再生方法。
When the music data is reproduced for a predetermined time or more by the music reproducing means, the reproduction history data is created by associating the music data with the reproduction date and time of the music data.
The reproduction method according to claim 11 .
他の装置と通信する通信手段により受信した、前記他の装置から送信された前記音楽データ、または前記再生履歴データがデータ格納手段に格納される
請求項8に記載の再生方法。
The music data or the playback history data transmitted from the other device, received by the communication unit communicating with the other device, is stored in the data storage unit.
The reproduction method according to claim 8 .
前記画像データの前記作成日時は、撮像手段により撮像された前記画像データの撮像日時である
請求項8に記載の再生方法。
The creation date and time of the image data is the imaging date and time of the image data captured by the imaging unit
The reproduction method according to claim 8 .
音楽データおよび画像データの再生処理をコンピュータに実行させるプログラムにおいて、
再生指示された再生対象の前記画像データに付加された作成日時を取得し、
前記音楽データと前記音楽データの再生日時とが対応付けられたデータである再生履歴データを参照し、前記再生履歴データに登録されている前記音楽データの再生日時と、前記再生指示された前記再生対象の画像データの作成日時とに基づいて、前記再生対象の画像データとともに再生する前記音楽データを決定する
ステップを含み、
再生中の前記音楽データが最後まで再生された場合、前記再生対象の画像データが更新されていないとき、
前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小であれば、再生された前記音楽データを再度再生することが決定され、
前記再生対象の画像データの作成日時と、現在の時刻との差が所定の値より小でなければ、再生された前記音楽データ以外の前記音楽データの前記再生日時と、前記再生対象の画像データの作成日時とに基づいて、次に再生する音楽データが決定される
プログラム。
In a program for causing a computer to execute reproduction processing of music data and image data,
Get the appended created date and time in the image data to be reproduced which is reproduction instruction,
With reference to reproduction history data, which is data in which the music data and the reproduction date / time of the music data are associated with each other, the reproduction date / time of the music data registered in the reproduction history data and the reproduction instructed to be reproduced Determining the music data to be played back together with the playback target image data based on the creation date and time of the target image data;
When the music data being played has been played to the end, when the image data to be played has not been updated,
If the difference between the creation date and time of the image data to be reproduced and the current time is smaller than a predetermined value, it is determined to reproduce the reproduced music data again,
And creation date of the image data of the reproduced, if the difference between the current time is not smaller than a predetermined value, and the playback time of the reproduced the music data other than the music data, image data of the reproduced A program that determines the music data to be played next based on the creation date and time.
JP2009114859A 2009-05-11 2009-05-11 REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM Expired - Fee Related JP4853745B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009114859A JP4853745B2 (en) 2009-05-11 2009-05-11 REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009114859A JP4853745B2 (en) 2009-05-11 2009-05-11 REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006287742A Division JP4379742B2 (en) 2006-10-23 2006-10-23 REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2009176416A JP2009176416A (en) 2009-08-06
JP4853745B2 true JP4853745B2 (en) 2012-01-11

Family

ID=41031326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009114859A Expired - Fee Related JP4853745B2 (en) 2009-05-11 2009-05-11 REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP4853745B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002093119A (en) * 2000-09-08 2002-03-29 Aiwa Co Ltd Recording and reproducing device and file management method
US6639649B2 (en) * 2001-08-06 2003-10-28 Eastman Kodak Company Synchronization of music and images in a camera with audio capabilities
JP2006134146A (en) * 2004-11-08 2006-05-25 Fujitsu Ltd Data processor, information processing system, selection program and selection program-recorded computer-readable recording medium
JP3922385B2 (en) * 2004-12-21 2007-05-30 船井電機株式会社 Disc reproducing apparatus and information reproducing apparatus

Also Published As

Publication number Publication date
JP2009176416A (en) 2009-08-06

Similar Documents

Publication Publication Date Title
JP2006504980A (en) Voice-based alerting for imaging devices
JP4804465B2 (en) Recording device
JP4379742B2 (en) REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM
WO2004095451A1 (en) Input data recorder and input data recording method
JP5683301B2 (en) Image recording device
JP6229356B2 (en) Imaging apparatus, imaging method, and program
JP4853745B2 (en) REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM
JP2012178814A (en) Moving image recording apparatus
US8275236B2 (en) Information-processing device, content-reproduction-propriety-determination-notification method, and content-reproduction-propriety-determination-notification program
US20070274682A1 (en) Image processing apparatus
JP2007235432A (en) Image sound recorder and image sound recording control program
JP2007067949A (en) Image reproducing system image reproducing apparatus, imaging device and information processor
JP2007104405A (en) Apparatus, method and program for processing video data with sound
JP2008042455A (en) Recording device and method
JP5419539B2 (en) Playback device
JP2007157256A (en) Recording system
JP4895392B2 (en) IMAGING DEVICE, IMAGE PROCESSING METHOD THEREOF, REPRODUCTION DEVICE, PROGRAM, AND STORAGE MEDIUM
JP6439563B2 (en) Imaging apparatus, imaging method, and program
US20090282082A1 (en) Recorder
JP2006080637A (en) Image recording and reproducing apparatus, sound reproducing method, and program
JP5348285B2 (en) Image / audio recording apparatus, image / audio recording method, and image / audio recording control program
JP2014204235A (en) Content recording and reproducing device, content management method and program
KR100718083B1 (en) Av device for recording/reproducing linked files and the recording/reproducing method
JP2008288951A (en) Video recording and playback device
JP2005079859A (en) Photographing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees