WO2005106839A1 - 楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット - Google Patents

楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット Download PDF

Info

Publication number
WO2005106839A1
WO2005106839A1 PCT/JP2005/007252 JP2005007252W WO2005106839A1 WO 2005106839 A1 WO2005106839 A1 WO 2005106839A1 JP 2005007252 W JP2005007252 W JP 2005007252W WO 2005106839 A1 WO2005106839 A1 WO 2005106839A1
Authority
WO
WIPO (PCT)
Prior art keywords
tone
image data
tone generation
semiconductor device
generation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/007252
Other languages
English (en)
French (fr)
Inventor
Shunsuke Nakamura
Masamichi Ishihara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
Original Assignee
Kyushu Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC filed Critical Kyushu Institute of Technology NUC
Priority to US10/586,443 priority Critical patent/US20080223196A1/en
Publication of WO2005106839A1 publication Critical patent/WO2005106839A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • Semiconductor device having a tone generation function and portable electronic device using the same, mobile phone device, eyeglasses and eyeglasses set
  • the present invention relates to a semiconductor device provided with a tone generation function for automatically generating tone data corresponding to image data, a portable electronic device using the same, a mobile telephone device, an eyeglass instrument, and an eyeglass instrument set.
  • Patent Document 1 discloses a technique for controlling a tempo or the like using a contour of a subject as a technique for controlling performance according to an image.
  • the input video signal power is also separated into R (red), G (green) and B (blue) color signals, and gradation data representing gradations is generated as digital data for each color.
  • the subject is identified based on the gradation data of each color and the predetermined threshold data, the contour of the subject is detected, and the performance is controlled in accordance with the complexity of the detected contour.
  • Patent Document 2 In the technique disclosed in Patent Document 1, it is necessary to identify the subject and to detect the contour, so that there is a problem that the processing burden is large. Therefore, as a technique for solving this problem, for example, in Patent Document 2, a plurality of motion vectors are extracted from a supplied image, and one control vector is calculated from the extracted plurality of motion vectors. There is disclosed a technique of controlling a performance based on the control vector.
  • Patent Document 1 Patent No. 2629740
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2000-276139
  • Patent Documents 1 and 2 both perform musical tone control by performing control according to a video image when reproducing the musical tone from performance information or the like indicating the content of the performance separately supplied. It is something that can be arranged. That is, these techniques do not generate musical tones even when there is no performance information. Therefore, to use these technologies, It is necessary to prepare both the performance information and the video image in advance.
  • a semiconductor device provided with a tone generation function that automatically generates tone data from image data input without preparing performance information etc. in advance, a portable electronic device using the same, and a portable electronic device
  • the purpose is to provide a telephone device, eyeglasses and eyeglasses set.
  • each subject has motion within a frame from image data in which the subject is continuously imaged and input as image data for each frame.
  • a tone generation means for producing tone data corresponding to the position identified by the motion portion identification means.
  • the subject is continuously imaged, and based on the image data input for each frame, the operation unit specifying means performs processing within the frame. The respective positions at which the movement of the subject has occurred are identified. Then, the tone generation means generates tone data corresponding to the specified position in the frame, that is, tone data corresponding to the moving position of the object.
  • the operation part identification means identify the position by comparing image data among a plurality of frames. By comparing the image data between the plurality of frames, if there is a change in the image data between the plurality of frames, it means that the subject has a motion between the plurality of frames, so the position where the change occurred Can be easily identified as a part of the subject that has moved.
  • the tone generation means generate tone data from the tone generator of the musical instrument according to the position specified by the operation part specifying means. As a result, it is possible to obtain musical tone data generated by the sound sources of different musical instruments according to the moving position of the subject.
  • the tone generation means generate the tone data by a scale corresponding to the position specified by the operation part specifying means. Thereby, it is possible to obtain musical tone data generated by different scales according to the moving position of the subject.
  • the tone generation means generate the tone data by volume balance according to the position specified by the operation part specifying means. This makes the subject move In accordance with the above, it is possible to obtain tone data whose volume balance has been adjusted.
  • the following portable electronic device, cellular phone device, eyeglasses and eyeglasses set can be obtained using the semiconductor device having the tone generation function of the present invention. That is, the portable electronic device of the present invention can be configured to include the semiconductor device provided with the tone generation function of the present invention and an imaging means for inputting image data. According to this portable electronic device, musical tone data is generated according to the moving position of the object captured by the image data input by the imaging means.
  • the portable electronic device of the present invention includes means for outputting the musical tone data generated by the musical tone generating means, the musical tone data generated by the portable electronic device is directly output. be able to.
  • the portable electronic device of the present invention performs image processing for processing the image data input by the imaging unit according to the position specified by the operation unit specifying unit specified by the operation unit specifying unit.
  • the image processing apparatus further comprises: means and display means for displaying the image data subjected to the image processing by the image processing means.
  • the image processing means may change the color arrangement of the image data in accordance with the position specified by the operation part specifying means.
  • the color arrangement can be changed according to the moving position of the subject rather than the image of the subject being displayed on the display means as it is. Arranged and displayed.
  • a mobile telephone device comprises a semiconductor device provided with the tone generation function according to the present invention, an imaging means for inputting image data, and a means for outputting tone data generated by the tone generation means. It can be set as equipped. According to this mobile telephone device, musical tone data corresponding to the moving position of the object to be picked up is generated and outputted according to the image data inputted by the image pickup means.
  • the eyeglass device of the present invention comprises the semiconductor device provided with the tone generation function of the present invention, an imaging means for inputting image data, and a means for outputting tone data generated by the tone generation means.
  • musical tone data corresponding to the moving position of the subject imaged by the image data inputted by the imaging means is generated and outputted.
  • the eyeglass appliance set of the present invention comprises a semiconductor device provided with the tone generation function of the present invention, a tone output device for outputting tone data generated by the tone generation means, an imaging means for inputting image data
  • the apparatus may also be configured as an eyeglass instrument having means for transmitting image data input by the imaging means to the semiconductor device. According to the spectacles instrument set, image data input by the imaging means of the spectacles instrument is transmitted to the semiconductor device, and the semiconductor device generates and outputs musical tone data according to the moving position of the imaged subject. .
  • Operation part specifying means for specifying each position where the subject has moved within a frame from image data in which the subject is continuously imaged and input as image data for each frame
  • the portable electronic device is carried by a portable electronic device provided with a semiconductor device provided with a musical tone generation function for generating musical tone data according to the position, and an imaging device for inputting image data. If a subject is imaged by the imaging device, musical tone data corresponding to the operation of the subject can be automatically generated at any place. In addition, by providing the means for outputting the musical tone data generated by the musical tone generation means, the portable electronic device can directly output the musical tone data generated by the portable electronic device for enjoyment. It becomes.
  • Mobile phone device comprising a semiconductor device having a tone generation function for generating tone data according to the position, an imaging means for inputting image data, and a means for outputting tone data generated by the tone generation means Therefore, if this portable telephone device is carried and the subject is imaged by the imaging device, musical tone data according to the operation of the subject is automatically generated and output at any place and enjoyed. it can.
  • a semiconductor device having a tone generation function for generating tone data according to a position, an imaging means for inputting image data, and an eyeglass appliance comprising a means for outputting tone data generated by the tone generation means. Wearing the glasses and capturing an image of the subject with the imaging device automatically generates, outputs and enjoys musical tone data according to the movement of the subject at any place. it can.
  • a semiconductor device having a tone generation function for generating tone data according to the position, a tone output device for outputting the tone data generated by the music generation means, an image pickup means for inputting image data, and
  • This spectacles instrument set is worn by the spectacles instrument set which also has a means for transmitting spectacles image data to the semiconductor device, and if the subject is imaged by the imaging device according to the operation of the subject Tone data can be automatically generated, output and enjoyed anywhere.
  • FIG. 1 is a perspective view of a portable electronic device having a tone generation function according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the portable electronic device of FIG.
  • FIG. 3 is a diagram showing an example of horizontal division of a frame.
  • FIG. 4 is a diagram showing an example of vertical division of a frame.
  • FIG. 5 is a diagram showing how motion determination is performed.
  • FIG. 6 is a diagram showing an example of scale setting based on music theory.
  • FIG. 7 is a diagram showing an example of setting of volume balance.
  • FIG. 8 is a view showing a use state of the portable electronic device 1 in the present embodiment.
  • FIG. 9 is a flow chart showing a tone generation procedure in the present embodiment.
  • FIG. 10 is a view showing a mobile phone device having a tone generation function according to a second embodiment of the present invention.
  • FIG. 11 is a diagram showing an eyeglass device provided with a tone generation function according to a third embodiment of the present invention.
  • FIG. 12 is a view showing a wearing state of the spectacles device of FIG.
  • FIG. 13 is a diagram showing an eyeglass appliance set having a tone generation function according to a fourth embodiment of the present invention.
  • FIG. 1 is a perspective view of a portable electronic device having a tone generation function according to a first embodiment of the present invention
  • FIG. 2 is a block diagram showing the configuration of the portable electronic device of FIG.
  • a portable electronic device 1 having a tone generation function according to the first embodiment of the present invention is, as shown in FIG. 1, a CD (compact disc) reproducing device, an MD (mini disc) reproducing device, a DVD (Digital Video Disc)
  • a portable video playback device 2 such as a playback device or a music file playback device is connected between an earphone 3 as its musical tone output device.
  • the portable electronic device 1 includes a small camera 11 for imaging an object, a semiconductor device 12 (see FIG. 2) having a tone generation function in a housing 10 thereof, and a display device 13.
  • the small-sized camera 11 captures an object continuously for eight frames per second, for example, and inputs the image as image data to the semiconductor device 12 for each frame.
  • the semiconductor device 12 includes an operation unit specifying unit 21 that specifies a portion in which each subject has a motion in each frame from the image data input by the small camera 11; A musical tone generating means 22 for generating musical tone data according to the portion of the frame specified by the operation part specifying means 21, a musical tone output means 23 for outputting the musical tone data generated by the musical tone generating means 22,
  • the image processing unit 24 performs image processing on the input image data, and the display unit 25 displays the image data subjected to the image processing by the image processing unit 24 on the display device 13.
  • the operation part identification unit 21 identifies, from the image data input by the small camera 11, each position at which the movement of the subject has occurred in the frame.
  • the motion part identification unit 21 identifies the position at which the movement of the subject has occurred by the position of the section in the frame divided in advance.
  • 3 and 4 show examples of frame division.
  • Figure 3 shows an example of horizontal division, where the horizontal division is divided into five parts of A, B, C, D, and E.
  • Figure 4 shows section A This is an example of vertical division in which the musical range of the instrument assigned to the vertical section A is divided by scale. In the vertical direction of the sections B to E, the musical range of the instrument to be assigned to each section B to E is also divided by scale.
  • the motion section identification means 21 identifies the positions of the vertical and horizontal sections in the frame by comparing image data among a plurality of frames.
  • FIG. 5 shows the movement determination by the movement part identification means 21.
  • the operation part identification means 21 uses the image data input by the small camera 11 to generate all the pixels of the image of the current frame and the image (or background image) of the immediately preceding frame. The brightness of (pixels) is compared, and if the difference is greater than a predetermined value, it is determined that the pixel has motion.
  • the motion part identification unit 21 determines to which of the vertical and horizontal divisions the centroid (X coordinate, Y coordinate) of the pixel group having motion belongs.
  • the tone generation means 22 generates tone data (for example, data of MIDI (Musical Instrument Digital Interface) standard) according to the positions of the vertical and horizontal divisions in the frame specified by the operation part specifying means 21. It is. As shown in FIG. 3, when the frame is divided into five in the horizontal direction, the tone generation means 22 corresponds to the musical instrument corresponding to the portion where the movement of the subject is among these sections A to E (for example, A : Piano, B: Guitar, C: Bass, D: Drum, E: Music box etc.) The tone generator generates tone data.
  • tone data for example, data of MIDI (Musical Instrument Digital Interface) standard
  • the tone generation means 22 generates tone data from the tones of the scale corresponding to the portions of the middle sections of the vertical sections in the sections A to E in which the subject moves.
  • the tone generation means 22 sets a reference code, and selects only the scale on the code based on music theory. For example, if the chord is "C", as shown in Fig. 6, the reference chord (base) is a multiple of 12, and a value obtained by adding 0, 4, 7 to this is the scale (note number).
  • the timing of sound generation is set according to each instrument, such as sounding every time, sounding every two times, and sounding twice and resting four times. Also, note that since the percussion instrument is special, the note number is not the scale but the kind of percussion instrument that sounds.
  • changes in vertical movement result in changes in the type of percussion instrument.
  • the reference code changes as time elapses or some operation is triggered (trigger).
  • the change in the reference code makes the music beautifully played.
  • the timing of the change can be changed according to the movement of the subject, such as switching according to the amount of movement of the subject, as well as the change due to the passage of time.
  • the tone generation means 22 generates tone data with volume balance according to the position of the section in the frame.
  • FIG. 7 shows an example of volume balance setting. As shown in FIG. 7, the tone generation means 22 has tone data output so that sounds are output from the left and right earphones 3 with a volume balance according to the horizontal position in the frame specified by the operation part specification means 21. Generate
  • the tone output means 23 converts the tone data generated by the tone generation means 22 into a signal for reproduction as a sound by the earphone 3 and outputs the signal to the earphone 3.
  • the musical tone output means 23 outputs sound data for outputting a sound to an externally connected sound source (external MIDI sound source etc.) in addition to outputting to a speaker such as the earphone 3. It may output tone data to other external devices.
  • the image processing means 24 performs image processing on the image data input by the small camera 11 by changing the color arrangement according to the movement position of the subject specified by the operation part specifying means 21. For example, it is possible to color only a portion where the subject has a motion, or to color a portion where a motion has been made to paint over the surface, or to change the color or order of coloring.
  • FIG. 8 is a view showing a use state of the portable electronic device 1 in the present embodiment.
  • the portable electronic device 1 in the present embodiment is fixed to the chest portion of the clothes so that the small camera 11 faces forward.
  • the earphones 3 are worn on both ears.
  • the portable music player 2 is not shown.
  • a tone generation procedure by the portable electronic device 1 configured as described above will be described based on the flowchart of FIG.
  • the motion part identification unit 21 extracts a motion (specifies each position at which the subject has a motion).
  • the tone generation means 22 calculates the position of movement of the subject and the amount of change.
  • the tone generation means 22 generates tone data (MIDI standard data) from the position of movement of the subject and the amount of change. At this time, the tone generation means 22 determines the volume of the tone data in accordance with the amount of change in movement of the subject.
  • tone data MIDI standard data
  • the generated MIDI standard data is sent to the tone output means 23 and output from the earphone 3.
  • the image processing unit 24 paints the pixel of the portion where the subject has moved with the designated color in the image data input from the small camera 11.
  • the steps (S102) to (S110) are repeated, for example, eight times per second at the speed of the tempo set by the initial setting. Note that this tempo can also be changed according to the movement of the subject during the above processing.
  • musical tone data is automatically generated from image data input by the small camera 11 connected to the semiconductor device 12 and output by the earphone 3. . That is, as the subject operates in front of the compact camera 11 connected to the semiconductor device 12 which does not prepare performance information and the like in the conventional manner, a musical tone according to the operation of the subject is automatically made. Generated and with the tone of various instruments Will be played.
  • this portable electronic device 1 Since this portable electronic device 1 is small in size, if it is carried along with the portable music reproduction device 2 and an object is imaged by the small camera 11, the musical tone data corresponding to the operation of the object is It can be generated automatically at any place. Further, since the portable electronic device 1 is provided with the earphone 3 for outputting the musical tone data generated by the musical tone generating means 22 as a sound, it is possible to directly output the generated musical tone data by the earphone 3 for enjoyment. It becomes possible.
  • the portable electronic device 1 in the present embodiment the image data force inputted by the small camera 11 is arranged according to the movement of the subject and displayed on the display device 13 together with the performance of the musical tone. Ru. Therefore, the portable electronic device 1 according to the present embodiment can enjoy the generated musical tones not only by hearing but also by sight, and can combine sounds and images and use them in various fields.
  • the small camera 11 may be separately connected externally. It is also possible to connect a plurality of small cameras 11 and simultaneously input a plurality of image data for simultaneous performance.
  • FIG. 10 is a view showing a portable telephone apparatus provided with a tone generation function according to a second embodiment of the present invention.
  • a portable telephone apparatus 4 having a tone generation function according to a second embodiment of the present invention is a compact camera 41 similar to that of the first embodiment, and a case 40 thereof.
  • musical tone data is automatically generated from image data input by the small camera 41, and is output by the speaker. That is, when the subject operates in front of the small camera 41 which prepares performance information etc. in advance as in the prior art, musical tones corresponding to the movement of the subject are automatically generated, and various musical instruments are It is played with the tone. Since the mobile telephone device 4 is easy to carry, this mobile telephone device If a small camera 41 captures an image of a subject by carrying it, musical tone data corresponding to the movement of the subject can be automatically generated, output, and enjoyed anywhere.
  • the mobile telephone device 4 since the mobile telephone device 4 has a communication function, the mobile telephone device 4 having the same tone generation function is disposed at a plurality of distant places, and is generated by connecting them through a network. It is also possible to mutually exchange the stored tone data and make it possible to play simultaneously from a plurality of places.
  • FIG. 11 is a view showing an eyeglass device having a tone generation function according to a third embodiment of the present invention
  • FIG. 12 is a view showing a wearing state of the eyeglass device shown in FIG.
  • an eyepiece 5 having a tone generation function is a miniature camera 51 similar to the first embodiment fixed to a frame 50;
  • a semiconductor device (not shown) having a tone generation function similar to that of the first embodiment built in the frame 50 and an earphone 52 fixed to the frame 50 are provided.
  • the silicone 52 is fixed at a position just placed on the wearer's ear.
  • musical tone data is also automatically generated as to image data power input by the small camera 51, and output by the earphone 52. That is, when the subject operates in front of the small camera 51 which does not prepare performance information and the like in the conventional manner, a musical tone corresponding to the operation of the subject is automatically generated, and various musical instruments are It is played with the tone. Since the eyewear 5 is always worn, if the subject is imaged with the small camera 51 by wearing the eyewear 5, musical tone data according to the movement of the subject can be automatically used anywhere. Can be generated, output, and enjoyed.
  • FIG. 13 is a view showing an eyeglass appliance set having a tone generation function according to a fourth embodiment of the present invention.
  • an eyepiece set having a tone generation function has an eye in which a small camera 61 is fixed to a frame 60 as in the third embodiment. It comprises a mirror device body 6a, a control box 6b incorporating a semiconductor device (not shown) having a tone generation function similar to that of the first embodiment, and an earphone 6c connected to the control box 6b. .
  • the small camera 61 of the spectacles instrument body 6a has a function of transmitting to the semiconductor device of the control box 6b by wireless communication or wired communication.
  • musical tone data is automatically generated from image data input by the small camera 61, and is output by the earphone 6c.
  • the earphone 6c and the control box 6b are configured separately from the eyeglasses main body 6a, so the eyeglasses main body 6a can be reduced in weight and there is no loss of lightness when worn. If no musical tone is generated, the spectacle device body 6a can be used alone as a simple spectacle device.
  • the semiconductor device provided with the tone generation function of the present invention is incorporated in a compact device such as a portable electronic device, a portable telephone device, an eyeglass instrument, an eyeglass instrument set, etc. It is useful as a device that adds a tone generation function that automatically generates the generated tone data.

Landscapes

  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Eyeglasses (AREA)

Abstract

　演奏情報などを予め準備することなく、入力した画像データから楽音データを自動生成する楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セットの提供。 　被写体を連続的に撮像し、フレームごとに画像データとして入力する小型カメラ１１と、小型カメラ１１により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置により特定する動作部特定手段２１と、動作部特定手段２１により特定された位置に応じた楽音データを生成する楽音生成手段２２と、楽音生成手段２２により生成された楽音データを出力する楽音出力手段２３とを備え、小型カメラ１１の前で被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で演奏される。

Description

明 細 書
楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器 、携帯電話装置、眼鏡器具並びに眼鏡器具セット
技術分野
[0001] 本発明は、画像データに対応した楽音データを自動生成する楽音生成機能を備え た半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並び に眼鏡器具セットに関する。
背景技術
[0002] 画像に対応して演奏の制御を行う技術として、例えば特許文献 1には、被写体の輪 郭を利用してテンポ等を制御する技術が開示されている。この技術では、入力された ビデオ信号力も R (赤）、 G (緑)、 B (青)の各色信号を分離し、各色毎にデジタルデー タとして階調を表す階調データを生成する。そして、各色の階調データと予め定めた 閾値データとに基づいて被写体を特定し、当該被写体の輪郭を検出し、この検出し た輪郭の複雑さに応じて演奏を制御する。
[0003] し力しながら、この特許文献 1に開示の技術では、被写体を特定し、輪郭を検出す る必要があるため、処理に力かる負担が大きいという問題がある。そこで、この問題を 解決するための技術として、例えば特許文献 2には、供給された画像から複数の動き ベクトルを抽出し、この抽出した複数の動きベクトルから一つの制御ベクトルを算出し 、この算出した制御ベクトルに基づいて、演奏を制御する技術が開示されている。
[0004] 特許文献 1：特許第 2629740号公報
特許文献 2：特開 2000 - 276139号公報
発明の開示
発明が解決しょうとする課題
[0005] 上記特許文献 1, 2記載の技術は、いずれも別途供給された演奏の内容を示す演 奏情報等から楽音を再生する際に、ビデオ画像に応じた制御を行うことにより、楽音 にアレンジをカ卩えるものである。すなわち、これらの技術は演奏情報が何もない状態 力も楽音を生成するものではない。したがって、これらの技術を利用するためには、 予め演奏情報とビデオ画像の両方をそれぞれ準備しておく必要がある。
[0006] そこで、本発明においては、演奏情報などを予め準備することなぐ入力した画像 データから楽音データを自動生成する楽音生成機能を備えた半導体装置およびこ れを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セットを提 供することを目的とする。
課題を解決するための手段
[0007] 本発明の楽音生成機能を備えた半導体装置は、被写体が連続的に撮像され、フレ ームごとに画像データとして入力された画像データから、フレーム内で被写体の動き が有ったそれぞれの位置を特定する動作部特定手段と、動作部特定手段により特定 された位置に応じた楽音データを生成する楽音生成手段とを有するものである。
[0008] 本発明の楽音生成機能を備えた半導体装置によれば、被写体が連続的に撮像さ れ、フレームごとに入力された画像データに基づいて、動作部特定手段により、フレ ーム内で被写体の動きが有ったそれぞれの位置が特定される。そして、楽音生成手 段により、この特定されたフレーム内の位置に応じた楽音データ、すなわち被写体の 動く位置に応じた楽音データが生成される。
[0009] 動作部特定手段は、位置の特定を、複数のフレーム間の画像データの比較により 行うものとするのが望ましい。複数のフレーム間の画像データを比較することにより、 複数のフレーム間の画像データに変化があれば、その複数のフレーム間で被写体に 動きが有ったことになるため、その変化があった位置を被写体に動きが有った部分と して容易に特定することができる。
[0010] 楽音生成手段は、動作部特定手段により特定された位置に応じた楽器の音源によ り楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に 応じて、それぞれ異なる楽器の音源により生成した楽音データを得ることができる。
[0011] 楽音生成手段は、動作部特定手段により特定された位置に応じた音階により楽音 データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて 、それぞれ異なる音階により生成した楽音データを得ることができる。
[0012] 楽音生成手段は、動作部特定手段により特定された位置に応じた音量バランスに より楽音データを生成するものであることが望ましい。これにより、被写体の動く位置 に応じて、音量バランスを調整した楽音データを得ることができる。
[0013] 上記本発明の楽音生成機能を備えた半導体装置を用いて、以下の携帯型電子機 器、携帯電話装置、眼鏡器具並びに眼鏡器具セットを得ることができる。すなわち、 本発明の携帯型電子機器は、上記本発明の楽音生成機能を備えた半導体装置と、 画像データを入力する撮像手段とを備えた構成とすることができる。この携帯型電子 機器によれば、撮像手段により入力された画像データにより撮像した被写体の動く位 置に応じた楽音データが生成される。ここで、本発明の携帯型電子機器が、楽音生 成手段により生成された楽音データを出力する手段を備えたものであれば、この携 帯型電子機器により生成された楽音データを直接出力することができる。
[0014] また、本発明の携帯型電子機器は、撮像手段により入力された画像データを、動作 部特定手段により特定された動作部特定手段により特定された位置に応じて画像処 理する画像処理手段と、画像処理手段により画像処理された画像データを表示する 表示手段とを備えたものとすることが望ましい。例えば、画像処理手段は、動作部特 定手段により特定された位置に応じて画像データの配色を変えるものとすることがで きる。
[0015] これにより、被写体の動く位置に応じて生成される楽音データに加えて、被写体の 映像が、そのまま表示手段に表示されるのではなぐその被写体の動く位置に応じて 配色が変えられる等のアレンジが施されて表示される。
[0016] 本発明の携帯電話装置は、上記本発明の楽音生成機能を備えた半導体装置と、 画像データを入力する撮像手段と、楽音生成手段により生成された楽音データを出 力する手段とを備えた構成とすることができる。この携帯電話装置によれば、撮像手 段により入力された画像データにより撮像した被写体の動く位置に応じた楽音データ が生成され、出力される。
[0017] 本発明の眼鏡器具は、上記本発明の楽音生成機能を備えた半導体装置と、画像 データを入力する撮像手段と、楽音生成手段により生成された楽音データを出力す る手段とを備えた構成とすることができる。この眼鏡器具によれば、撮像手段により入 力された画像データにより撮像した被写体の動く位置に応じた楽音データが生成さ れ、出力される。 [0018] 本発明の眼鏡器具セットは、上記本発明の楽音生成機能を備えた半導体装置と、 楽音生成手段により生成された楽音データを出力する楽音出力装置と、画像データ を入力する撮像手段および撮像手段により入力した画像データを半導体装置へ送 信する手段とを備えた眼鏡器具力もなる構成とすることができる。この眼鏡器具セット によれば、眼鏡器具の撮像手段により入力された画像データが半導体装置へ送信さ れ、この半導体装置により撮像した被写体の動く位置に応じた楽音データが生成さ れ、出力される。
発明の効果
[0019] (1)被写体が連続的に撮像され、フレームごとに画像データとして入力された画像デ ータから、フレーム内で被写体の動きが有ったそれぞれの位置を特定する動作部特 定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽 音生成手段とを有する楽音生成機能を備えた半導体装置により、従来のように演奏 情報などを予め準備することなぐ被写体が動作をすることによって、その被写体の 動作に応じた楽音データを自動的に生成することが可能な小型の楽音生成装置が 得られる。これにより、生成された楽音データに基づいてスピーカや音源等により音 を出力することができ、被写体の動作だけ力 自動的に生成された楽音を楽しむこと が可能となる。
[0020] (2)被写体が連続的に撮像され、フレームごとに画像データとして入力された画像デ ータから、フレーム内で被写体の動きが有ったそれぞれの位置を特定し、この特定さ れた位置に応じた楽音データを生成する楽音生成機能を備えた半導体装置と、画 像データを入力する撮像装置とを備えた携帯型電子機器により、この携帯型電子機 器を携帯して、その撮像装置により被写体を撮像すれば、その被写体の動作に応じ た楽音データをどのような場所においても自動的に生成することができる。また、この 携帯型電子機器が、楽音生成手段により生成された楽音データを出力する手段を備 えることにより、この携帯型電子機器により生成された楽音データを直接出力して、楽 しむことが可能となる。
[0021] (3)さらに、フレームごとに入力された画像データを、特定された位置に応じて画像 処理し、この処理された画像データを表示する構成により、被写体の動作に応じてァ レンジされた被写体の画像が出力される。これにより、生成された楽音を映像でも楽 しむことが可能となる。
[0022] (4)被写体が連続的に撮像され、フレームごとに画像データとして入力された画像デ ータから、フレーム内で被写体の動きが有ったそれぞれの位置を特定し、この特定さ れた位置に応じた楽音データを生成する楽音生成機能を備えた半導体装置と、画 像データを入力する撮像手段と、楽音生成手段により生成された楽音データを出力 する手段とを備えた携帯電話装置により、この携帯電話装置を携帯して、その撮像 装置により被写体を撮像すれば、その被写体の動作に応じた楽音データをどのよう な場所においても自動的に生成し、出力して、楽しむことができる。
[0023] (5)被写体が連続的に撮像され、フレームごとに画像データとして入力された画像デ ータから、フレーム内で被写体の動きが有ったそれぞれの位置を特定し、この特定さ れた位置に応じた楽音データを生成する楽音生成機能を備えた半導体装置と、画 像データを入力する撮像手段と、楽音生成手段により生成された楽音データを出力 する手段とを備えた眼鏡器具により、この眼鏡器具を着用して、その撮像装置により 被写体を撮像すれば、その被写体の動作に応じた楽音データをどのような場所にお いても自動的に生成し、出力して、楽しむことができる。
[0024] (6)被写体が連続的に撮像され、フレームごとに画像データとして入力された画像デ ータから、フレーム内で被写体の動きが有ったそれぞれの位置を特定し、この特定さ れた位置に応じた楽音データを生成する楽音生成機能を備えた半導体装置と、楽 音生成手段により生成された楽音データを出力する楽音出力装置と、画像データを 入力する撮像手段および撮像手段により入力した画像データを半導体装置へ送信 する手段とを備えた眼鏡器具力もなる眼鏡器具セットにより、この眼鏡器具セットを着 用して、その撮像装置により被写体を撮像すれば、その被写体の動作に応じた楽音 データをどのような場所においても自動的に生成し、出力して、楽しむことができる。 図面の簡単な説明
[0025] [図 1]本発明の第 1の実施の形態における楽音生成機能を備えた携帯型電子機器の 斜視図である。
[図 2]図 1の携帯型電子機器の構成を示すブロック図である。 [図 3]フレームの横方向の分割例を示す図である。
[図 4]フレームの縦方向の分割例を示す図である。
[図 5]動き判定の様子を示す図である。
[図 6]音楽理論に基づいた音階設定の例を示す図である。
[図 7]音量バランスの設定例を示す図である。
[図 8]本実施形態における携帯型電子機器 1の使用状態を示す図である。
[図 9]本実施形態における楽音生成手順を示すフロー図である。
[図 10]本発明の第 2の実施の形態における楽音生成機能を備えた携帯電話装置を 示す図である。
[図 11]本発明の第 3の実施の形態における楽音生成機能を備えた眼鏡器具を示す 図である。
[図 12]図 11の眼鏡器具の着用状態を示す図である。
[図 13]本発明の第 4の実施の形態における楽音生成機能を備えた眼鏡器具セットを 示す図である。
符号の説明
1 携帯型電子機器
2 携帯型音楽再生装置
3, 52, 6c イヤホン
4 携帯電話装置
5 眼鏡器具
6a 眼鏡器具本体
6b 制御ボックス
10, 40 筐体
50, 60 フレーム
11, 41, 51, 61 小型カメラ
12 半導体装置
13, 42 表示装置
21 動作部特定手段 22 楽音生成手段
23 楽音出力手段
24 画像処理手段
25 表示手段
発明を実施するための最良の形態
[0027] (実施の形態 1)
図 1は本発明の第 1の実施の形態における楽音生成機能を備えた携帯型電子機 器の斜視図、図 2は図 1の携帯型電子機器の構成を示すブロック図である。
[0028] 本発明の第 1の実施の形態における楽音生成機能を備えた携帯型電子機器 1は、 図 1に示すように、 CD (コンパクトディスク）再生装置、 MD (ミニディスク)再生装置、 DVD (デジタルビデオディスク)再生装置や、音楽ファイル再生装置等の携帯型音 楽再生装置 2とその楽音出力装置としてのイヤホン 3との間に接続されるものである。 この携帯型電子機器 1は、被写体を撮像するための小型カメラ 11と、その筐体 10内 に楽音生成機能を備えた半導体装置 12 (図 2参照。）と、表示装置 13とを有する。小 型カメラ 11は、被写体を例えば 1秒間に 8フレーム連続的に撮像し、フレームごとに 画像データとして半導体装置 12へ入力するものである。
[0029] 図 2に示すように、半導体装置 12は、小型カメラ 11により入力された画像データか らそれぞれのフレーム内で被写体の動きが有った部分を特定する動作部特定手段 2 1と、動作部特定手段 21により特定されたフレーム内の部分に応じた楽音データを 生成する楽音生成手段 22と、楽音生成手段 22により生成された楽音データを出力 する楽音出力手段 23と、小型カメラ 11により入力された画像データを画像処理する 画像処理手段 24と、画像処理手段 24により画像処理された画像データを表示装置 13に表示する表示手段 25とを備える。
[0030] 動作部特定手段 21は、小型カメラ 11により入力された画像データから、フレーム内 で被写体の動きが有ったそれぞれの位置を特定するものである。例えば、動作部特 定手段 21は、この被写体の動きが有った位置を予め分割されたフレーム内の区画の 位置により特定する。図 3および図 4はフレームの分割例を示している。図 3は横方向 の分割例であり、横方向の区画を A, B, C, D, Eの 5分割としている。図 4は区画 A の縦方向の分割例であり、縦方向の区画 Aに割り当てる楽器の音域を音階ごとに分 割したものである。区画 B〜Eの縦方向につ!、ても同様に各区画 B〜Eに割り当てる 楽器の音域を音階ごとに分割する。
[0031] 動作部特定手段 21は、このフレーム内の縦横の区画の位置の特定を、複数のフレ ーム間の画像データの比較により行う。図 5は、動作部特定手段 21による動きの判 定の様子を示している。図 5に示すように、動作部特定手段 21は、小型カメラ 11によ り入力された画像データから、現在のフレームの画像とその直前のフレームの画像（ または背景画像)のすベての画素 (ピクセル)の明るさを比較し、その差が既定値以 上ならば動き有りの画素であると判断する。このとき、動作部特定手段 21は、動き有 りの画素群の重心 (X座標， Y座標）が縦横のどの区画に属するものであるかを判定 する。なお、この動作部特定手段 21によるフレームの分割については、分割方向を 縦横入れ替えて構成することも可能である。さら〖こ、縦横を組み合わせたり、斜め方 向、半径方向、円周方向に分割したりすることも可能である。
[0032] 楽音生成手段 22は、動作部特定手段 21により特定されたフレーム内の縦横の区 画の位置に応じた楽音データ（例えば、 MIDI (Musical Instrument Digital Interface) 規格のデータ）を生成するものである。図 3に示すように、フレームが横方向に 5分割 されている場合、楽音生成手段 22は、これらの区画 A〜Eの中から被写体の動きが 有った部分に対応する楽器 (例えば、 A:ピアノ、 B :ギター、 C :ベース、 D:ドラム、 E : オルゴール等。）の音源により楽音データを生成する。
[0033] また、楽音生成手段 22は、各区画 A〜E中の縦方向の区画の中力 被写体の動き 力あった部分に対応する音階の音により楽音データを生成する。このとき、楽音生成 手段 22は、基準となるコードを設定し、音楽理論に基づいてそのコード上の音階の みを選択する。例えば、コードが「C」の場合は、図 6に示すように基準コード (ベース) は 12の倍数で、これに 0, 4, 7を加えた値を音階 (ノートナンバー）とする。なお、発 音のタイミングは、毎回発音、 2回ごとに発音、 2回発音して 4回休むなど、各楽器に 応じて設定する。また、打楽器については特殊であるため、ノートナンバーは音階で はなく鳴らす打楽器の種類とする。すなわち、縦方向の動きの変化は打楽器の種類 の変化となる。 [0034] なお、基準コードは時間の経過や何らかの動作をきつかけ（トリガー）として変化させ る。この基準コードの変化 (コード進行）によって音楽として美しく奏でられるようになる 。この変化には、予め順番やタイミング等を指定しておく方法や、ランダムで進行させ る方法などがある。変化のタイミングとしては、時間の経過による変化の他、被写体の 動きの量によって切り替えるなど、被写体の動きに合わせて変化させることも可能で ある。
[0035] さらに、楽音生成手段 22は、フレーム内の区画の位置に応じた音量バランスにより 楽音データを生成する。図 7は音量バランスの設定例を示している。楽音生成手段 2 2は、図 7に示すように、動作部特定手段 21により特定されたフレーム内の横の位置 に応じた音量バランスで、左右のイヤホン 3から音が出力されるように楽音データを生 成する。
[0036] 図 2に戻って、楽音出力手段 23は、楽音生成手段 22により生成された楽音データ をイヤホン 3により音として再生するための信号へ変換し、イヤホン 3へ出力するもの である。なお、楽音出力手段 23は、イヤホン 3のようなスピーカに対して出力する他、 外部接続される音源 (外部 MIDI音源等）に対して音を出力するための音データを出 力するものや、その他の外部機器に対して楽音データを出力するものであってもよ 、
[0037] 画像処理手段 24は、小型カメラ 11により入力された画像データを、動作部特定手 段 21により特定された被写体の動き位置に応じて配色を変えることにより画像処理 するものである。例えば、被写体の動きが有った部分だけ着色したり、動きが有った 部分を着色して上力 重ねて塗ったり、着色する色や順番を変えたりする構成とする ことができる。
[0038] 図 8は本実施形態における携帯型電子機器 1の使用状態を示す図である。図 8に 示すように、本実施形態における携帯型電子機器 1は、着衣の胸の部分に小型カメ ラ 11が前方を向くように固定する。イヤホン 3は、両耳に着用しておく。なお、図 8に おいて、携帯型音楽再生装置 2は図示していない。以下、上記構成の携帯型電子機 器 1による楽音生成手順について、図 9のフロー図に基づき説明する。
[0039] (S101)初期設定として、生成する楽音のテンポ、楽器の数と種類、音楽コード進行 、色の変化などの設定を行う。
(5102)小型カメラ 11の前で被写体としての使用者の両手を動かす力、あるいは、被 写体としての対面に居る他人が体を動かし、この様子を撮像した小型カメラ 11から半 導体装置 12へ現在の画像データを入力する。
(5103)動作部特定手段 21により、動きを抽出 (被写体の動きが有ったそれぞれの 位置を特定)する。
[0040] (S104)音処理では、楽音生成手段 22により被写体の動きの位置と変化量を算出 する。
(5105)被写体の動きの変化量が大きい場合には、コード進行に変化を付ける。な お、変化量が極小で続く場合には、動きがなくなつたと判断 (S108)し、（S101)へ 戻る。
(5106)楽音生成手段 22は、被写体の動きの位置と変化量から楽音データ (MIDI 規格データ）を生成する。このとき、楽音生成手段 22は、被写体の動きの変化量に 応じて楽音データの音量を決定する。
(5107)生成された MIDI規格データは、楽音出力手段 23へ送り、イヤホン 3から出 力する。
[0041] (S109)画像処理では、小型カメラ 11から入力された画像データの、画像処理手段 24により被写体の動きが有った部分の画素 (ピクセル)を指定された色で塗る。
(S110)画像処理手段 24により画像処理された画像データを表示手段 25により表 示装置 13へ表示する。
(S102)から（S110)のステップは、例えば 1秒間に 8回、初期設定により設定したテ ンポの速さで繰り返す。なお、このテンポは、上記処理の途中で被写体の動きに応じ て変化させる構成とすることも可能である。
[0042] 以上のように、本実施形態における携帯型電子機器 1によれば、半導体装置 12に 接続された小型カメラ 11により入力した画像データから楽音データが自動生成され、 イヤホン 3により出力される。すなわち、従来のように演奏情報などを予め準備するこ となぐ半導体装置 12に接続された小型カメラ 11の前で被写体が動作をすることに よって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で 演奏される。
[0043] この携帯型電子機器 1は、小型であるため、携帯型音楽再生装置 2とともに携帯し て、その小型カメラ 11により被写体を撮像すれば、その被写体の動作に応じた楽音 データをどのような場所においても自動的に生成することができる。また、この携帯型 電子機器 1は、楽音生成手段 22により生成された楽音データを音により出力するィ ャホン 3を備えるので、生成された楽音データを直接イヤホン 3により出力して、楽し むことが可能となる。
[0044] また、本実施形態における携帯型電子機器 1によれば、楽音の演奏とともに、小型 カメラ 11により入力された画像データ力 被写体の動きに応じてアレンジされて、表 示装置 13に表示される。したがって、本実施形態における携帯型電子機器 1は、生 成された楽音を聴覚だけでなく視覚でも楽しむことができ、音と映像を合わせて様々 な分野で利用することが可能である。
[0045] なお、本実施形態においては、小型カメラ 11を携帯型電子機器 1に内蔵した構成 について説明したが、小型カメラ 11を別体として外部接続する構成とすることも可能 である。また、小型カメラ 11を複数台接続して複数の画像データを同時に入力し、同 時演奏させることも可能である。
[0046] (実施の形態 2)
図 10は本発明の第 2の実施の形態における楽音生成機能を備えた携帯電話装置 を示す図である。
[0047] 図 10に示すように、本発明の第 2の実施の形態における楽音生成機能を備えた携 帯電話装置 4は、第 1実施形態と同様の小型カメラ 41と、その筐体 40内に第 1実施 形態と同様の楽音生成機能を備えた半導体装置 (図示せず。）と、表示装置 42と、楽 音出力装置としてのスピーカ（図示せず。）とを備える。
[0048] このような携帯電話装置 4においても、小型カメラ 41により入力した画像データから 楽音データが自動生成され、スピーカにより出力される。すなわち、従来のように演 奏情報などを予め準備することなぐ小型カメラ 41の前で被写体が動作をすることに よって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で 演奏される。携帯電話装置 4は、持ち運びが容易であることから、この携帯電話装置 4を携帯して小型カメラ 41により被写体を撮像すれば、その被写体の動作に応じた 楽音データをどのような場所においても自動的に生成し、出力して、楽しむことができ る。
[0049] また、携帯電話装置 4は、通信機能を備えることから、同様の楽音生成機能を備え た携帯電話装置 4を複数の離れた場所に配置し、互いにネットワークを通じて接続す ることにより、生成された楽音データを相互に交換して、複数の場所からの同時演奏 を行わせることも可能である。
[0050] (実施の形態 3)
図 11は本発明の第 3の実施の形態における楽音生成機能を備えた眼鏡器具を示 す図、図 12は図 11の眼鏡器具の着用状態を示す図である。
[0051] 図 11に示すように、本発明の第 3の実施の形態における楽音生成機能を備えた眼 鏡器具 5は、フレーム 50に固定された第 1実施形態と同様の小型カメラ 51と、フレー ム 50に内蔵した第 1実施形態と同様の楽音生成機能を備えた半導体装置（図示せ ず。）と、フレーム 50に固定されたイヤホン 52とを備える。図 12に示すように、ィャホ ン 52は、眼鏡器具 5を着用した際、ちょうど着用者の耳に配置される位置に固定され ている。
[0052] このような眼鏡器具 5においても、小型カメラ 51により入力した画像データ力も楽音 データが自動生成され、イヤホン 52により出力される。すなわち、従来のように演奏 情報などを予め準備することなぐ小型カメラ 51の前で被写体が動作をすることによ つて、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で 演奏される。眼鏡器具 5は、常時着用するものであることから、この眼鏡器具 5を着用 して小型カメラ 51により被写体を撮像すれば、その被写体の動作に応じた楽音デー タをどのような場所においても自動的に生成し、出力して、楽しむことができる。
[0053] (実施の形態 4)
図 13は本発明の第 4の実施の形態における楽音生成機能を備えた眼鏡器具セット を示す図である。
[0054] 図 13に示すように、本発明の第 4の実施の形態における楽音生成機能を備えた眼 鏡器具セットは、第 3実施形態と同様に小型カメラ 61がフレーム 60に固定された眼 鏡器具本体 6aと、第 1実施形態と同様の楽音生成機能を備えた半導体装置 (図示せ ず。）が内蔵された制御ボックス 6bと、制御ボックス 6bに接続されたイヤホン 6cとから 構成される。眼鏡器具本体 6aの小型カメラ 61は、制御ボックス 6bの半導体装置へ無 線通信または有線通信により送信する機能を備える。
[0055] このような眼鏡器具セットにおいても、小型カメラ 61により入力した画像データから 楽音データが自動生成され、イヤホン 6cにより出力される。イヤホン 6cおよび制御ボ ックス 6bは、眼鏡器具本体 6aと別体に構成されているので、眼鏡器具本体 6aを軽量 化することができ、着用時の軽快さを損なうことがない。また、楽音生成しない場合に は、眼鏡器具本体 6aをそれ単体で単なる眼鏡器具としても使用することができる。 産業上の利用可能性
[0056] 本発明の楽音生成機能を備えた半導体装置は、携帯型電子機器、携帯電話装置 、眼鏡器具並びに眼鏡器具セット等の小型機器に内蔵して、これらの小型機器に、 画像データに対応した楽音データを自動生成する楽音生成機能を付加する装置と して有用である。

Claims

請求の範囲
[I] 被写体が連続的に撮像され、フレームごとに画像データとして入力された画像デー タから、フレーム内で前記被写体の動きが有ったそれぞれの位置を特定する動作部 特定手段と、
同動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成 手段と
を有する楽音生成機能を備えた半導体装置。
[2] 前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた楽器の 音源により前記楽音データを生成するものである請求の範囲 1記載の楽音生成機能 を備えた半導体装置。
[3] 前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた音階に より前記楽音データを生成するものである請求の範囲 1記載の楽音生成機能を備え た半導体装置。
[4] 前記動作部特定手段は、前記位置の特定を、複数のフレーム間の画像データの比 較により行うものである請求の範囲 1記載の楽音生成機能を備えた半導体装置。
[5] 前記動作部特定手段は、前記位置の特定を、複数のフレーム間の画像データの比 較により行うものである請求の範囲 2記載の楽音生成機能を備えた半導体装置。
[6] 前記動作部特定手段は、前記位置の特定を、複数のフレーム間の画像データの比 較により行うものである請求の範囲 3記載の楽音生成機能を備えた半導体装置。
[7] 請求の範囲 1記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段とを備えた携帯型電子機器。
[8] 請求の範囲 2記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段とを備えた携帯型電子機器。
[9] 請求の範囲 3記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段とを備えた携帯型電子機器。
[10] 請求の範囲 4記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段とを備えた携帯型電子機器。
[II] 請求の範囲 5記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段とを備えた携帯型電子機器。
[12] 請求の範囲 6記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段とを備えた携帯型電子機器。
[13] 前記楽音生成手段により生成された楽音データを出力する手段を備えた請求の範 囲 7記載の携帯型電子機器。
[14] 前記撮像手段により入力された画像データを、前記動作部特定手段により特定され た位置に応じて画像処理する画像処理手段と、
同画像処理手段により画像処理された画像データを表示する表示手段と を備えた請求の範囲 7記載の携帯型電子機器。
[15] 前記楽音生成手段により生成された楽音データを出力する手段を備えた請求の範 囲 10記載の携帯型電子機器。
[16] 前記撮像手段により入力された画像データを、前記動作部特定手段により特定され た位置に応じて画像処理する画像処理手段と、
同画像処理手段により画像処理された画像データを表示する表示手段と を備えた請求の範囲 10記載の携帯型電子機器。
[17] 請求の範囲 1記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段と を備えた携帯電話装置。
[18] 請求の範囲 2記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段と を備えた携帯電話装置。
[19] 請求の範囲 3記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段と を備えた携帯電話装置。
[20] 請求の範囲 4記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段と を備えた携帯電話装置。
[21] 請求の範囲 5記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段と を備えた携帯電話装置。
[22] 請求の範囲 6記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段と を備えた携帯電話装置。
[23] 請求の範囲 1記載の楽音生成機能を備えた半導体装置と、前記画像データを入力 する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段と を備えた眼鏡器具。
[24] 請求の範囲 1記載の楽音生成機能を備えた半導体装置と、前記楽音生成手段によ り生成された楽音データを出力する楽音出力装置と、前記画像データを入力する撮 像手段および同撮像手段により入力した画像データを前記半導体装置へ送信する 手段とを備えた眼鏡器具力もなる眼鏡器具セット。
[25] 請求の範囲 3記載の楽音生成機能を備えた半導体装置と、前記楽音生成手段によ り生成された楽音データを出力する楽音出力装置と、前記画像データを入力する撮 像手段および同撮像手段により入力した画像データを前記半導体装置へ送信する 手段とを備えた眼鏡器具力もなる眼鏡器具セット。
[26] 請求の範囲 4記載の楽音生成機能を備えた半導体装置と、前記楽音生成手段によ り生成された楽音データを出力する楽音出力装置と、前記画像データを入力する撮 像手段および同撮像手段により入力した画像データを前記半導体装置へ送信する 手段とを備えた眼鏡器具力もなる眼鏡器具セット。
[27] 請求の範囲 5記載の楽音生成機能を備えた半導体装置と、前記楽音生成手段によ り生成された楽音データを出力する楽音出力装置と、前記画像データを入力する撮 像手段および同撮像手段により入力した画像データを前記半導体装置へ送信する 手段とを備えた眼鏡器具力もなる眼鏡器具セット。
PCT/JP2005/007252 2004-04-30 2005-04-14 楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット Ceased WO2005106839A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US10/586,443 US20080223196A1 (en) 2004-04-30 2005-04-14 Semiconductor Device Having Music Generation Function, and Mobile Electronic Device, Mobile Telephone Device, Spectacle Instrument, and Spectacle instrument Set Using the Same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-136333 2004-04-30
JP2004136333A JP2005316300A (ja) 2004-04-30 2004-04-30 楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット

Publications (1)

Publication Number Publication Date
WO2005106839A1 true WO2005106839A1 (ja) 2005-11-10

Family

ID=35241894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/007252 Ceased WO2005106839A1 (ja) 2004-04-30 2005-04-14 楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット

Country Status (4)

Country Link
US (1) US20080223196A1 (ja)
JP (1) JP2005316300A (ja)
TW (1) TW200535787A (ja)
WO (1) WO2005106839A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008165098A (ja) * 2006-12-29 2008-07-17 Sounos Co Ltd 電子楽器
JP5272599B2 (ja) * 2008-09-12 2013-08-28 ヤマハ株式会社 電子音楽装置及びプログラム
DE102010052527A1 (de) * 2010-11-25 2012-05-31 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur verbesserten Tondarstellung von Geräuschen bei einer Videoaufzeichnung
KR101198401B1 (ko) 2011-04-27 2012-11-07 주식회사 에프나인 무선 통신기능을 갖는 고글
US20130106689A1 (en) * 2011-10-25 2013-05-02 Kenneth Edward Salsman Methods of operating systems having optical input devices
GB201119447D0 (en) * 2011-11-11 2011-12-21 Fictitious Capital Ltd Computerised percussion instrument
JP2013190690A (ja) * 2012-03-14 2013-09-26 Casio Comput Co Ltd 演奏装置及びプログラム
US9595932B2 (en) 2013-03-05 2017-03-14 Nike, Inc. Adaptive music playback system
US9542919B1 (en) * 2016-07-20 2017-01-10 Beamz Interactive, Inc. Cyber reality musical instrument and device
CZ309241B6 (cs) * 2017-05-30 2022-06-15 Univerzita Tomáše Bati ve Zlíně Způsob vytváření tónů na základě snímané polohy těles v prostoru
WO2021038833A1 (ja) * 2019-08-30 2021-03-04 ソニフィデア合同会社 音響空間生成装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281666A (ja) * 1994-04-05 1995-10-27 Casio Comput Co Ltd 画像制御装置
JPH1026978A (ja) * 1996-07-10 1998-01-27 Yoshihiko Sano 楽音自動発生装置
JP2000276138A (ja) * 1999-03-23 2000-10-06 Yamaha Corp 楽音制御装置
WO2002089496A2 (en) * 2001-04-30 2002-11-07 Qr Spex, Inc. Eyewear with exchangeable temples housing bluetooth enabled apparatus
JP2004096573A (ja) * 2002-09-02 2004-03-25 Nec Saitama Ltd 折り畳み式携帯電話機
JP2004205738A (ja) * 2002-12-25 2004-07-22 Shunsuke Nakamura 楽音生成装置、楽音生成プログラムおよび楽音生成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0306602B1 (en) * 1984-03-06 1994-01-26 3Dis Pty. Ltd. Self-controlled vision system
US5159140A (en) * 1987-09-11 1992-10-27 Yamaha Corporation Acoustic control apparatus for controlling musical tones based upon visual images
JPH04333182A (ja) * 1991-05-09 1992-11-20 Toshiba Corp 画像２値化装置
US5689078A (en) * 1995-06-30 1997-11-18 Hologramaphone Research, Inc. Music generating system and method utilizing control of music based upon displayed color
JP3578464B2 (ja) * 1996-09-13 2004-10-20 株式会社日立製作所 自動作曲方法
JP3603629B2 (ja) * 1998-12-24 2004-12-22 カシオ計算機株式会社 画像処理装置及び画像処理方法
JP3705000B2 (ja) * 1999-03-23 2005-10-12 ヤマハ株式会社 楽音生成方法
JP4497264B2 (ja) * 2001-01-22 2010-07-07 株式会社セガ ゲームプログラム、ゲーム装置、効果音の出力方法及び記録媒体
TR200601222T1 (tr) * 2003-08-18 2012-10-22 Kilki� ���R Karşılıklı ses ve ışık bağlılaşımı için evrensel metot ve aparat
JP4457983B2 (ja) * 2005-06-27 2010-04-28 ヤマハ株式会社 演奏操作援助装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281666A (ja) * 1994-04-05 1995-10-27 Casio Comput Co Ltd 画像制御装置
JPH1026978A (ja) * 1996-07-10 1998-01-27 Yoshihiko Sano 楽音自動発生装置
JP2000276138A (ja) * 1999-03-23 2000-10-06 Yamaha Corp 楽音制御装置
WO2002089496A2 (en) * 2001-04-30 2002-11-07 Qr Spex, Inc. Eyewear with exchangeable temples housing bluetooth enabled apparatus
JP2004096573A (ja) * 2002-09-02 2004-03-25 Nec Saitama Ltd 折り畳み式携帯電話機
JP2004205738A (ja) * 2002-12-25 2004-07-22 Shunsuke Nakamura 楽音生成装置、楽音生成プログラムおよび楽音生成方法

Also Published As

Publication number Publication date
JP2005316300A (ja) 2005-11-10
US20080223196A1 (en) 2008-09-18
TW200535787A (en) 2005-11-01

Similar Documents

Publication Publication Date Title
CN112312297B (zh) 音频带宽减小
JP6904963B2 (ja) 拡張現実システムにおいてオーディオを指向させるための技法
JP6017854B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN108156561B (zh) 音频信号的处理方法、装置及终端
US11096006B1 (en) Dynamic speech directivity reproduction
JP6016322B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2016089133A1 (ko) 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치
CN104811687A (zh) 一种虚拟现实头盔的电路系统和虚拟现实头盔
CN115150716B (zh) 基于设备位置确定音频滤波器的音频系统和方法
WO2005106839A1 (ja) 楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット
CN114422935B (zh) 音频处理方法、终端及计算机可读存储介质
CN116347320B (zh) 音频播放方法及电子设备
CN114270877A (zh) 非重合视听捕获系统
CN115696172B (zh) 声像校准方法和装置
JP7428763B2 (ja) 情報取得システム
KR20210124340A (ko) 연골 트랜듀서
CN114339582B (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
CN108196813B (zh) 添加音效的方法和装置
JP2022022871A (ja) 処理装置および没入度導出方法
US10764707B1 (en) Systems, methods, and devices for producing evancescent audio waves
JP3643829B2 (ja) 楽音生成装置、楽音生成プログラムおよび楽音生成方法
CN115623156B (zh) 音频处理方法和相关装置
JP2015233284A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20240009090A (ko) 음원의 탐지 및 시각화가 가능한 증강현실 글래스 장치
CN117676002B (zh) 音频处理方法及电子设备

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10586443

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase