WO2006027915A1 - 画像再生方法 - Google Patents

画像再生方法 Download PDF

Info

Publication number
WO2006027915A1
WO2006027915A1 PCT/JP2005/014284 JP2005014284W WO2006027915A1 WO 2006027915 A1 WO2006027915 A1 WO 2006027915A1 JP 2005014284 W JP2005014284 W JP 2005014284W WO 2006027915 A1 WO2006027915 A1 WO 2006027915A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
parameter
network camera
terminal
Prior art date
Application number
PCT/JP2005/014284
Other languages
English (en)
French (fr)
Inventor
Kensuke Sumitomo
Original Assignee
Megachips System Solutions Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Megachips System Solutions Inc. filed Critical Megachips System Solutions Inc.
Publication of WO2006027915A1 publication Critical patent/WO2006027915A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Definitions

  • the present invention relates to a technique for acquiring and displaying an image captured by a network camera via a network in a mobile terminal such as a mobile phone or a PDA.
  • a device called a network camera or a WEB camera has an image pickup sensor as well as a WEB server function and a network function, and various types of terminals can receive image data captured by the image pickup sensor via a network such as the Internet. It can be delivered to.
  • Non-Patent Document 1 there is a service that enables browsing of images distributed by a network camera using a mobile phone terminal.
  • Non-Patent Document 1 Matsushita Electric Industrial Co., Ltd., “Home network-related products”, [July 30, 2004, Searching], Internet ⁇ Net ⁇ URL nttp: / 1 Panasonic. Co.jp/pec/ products / hnetwk / suppor t / technic / mbl—phn—list- c 10.html>
  • the present invention has been made to solve the above-described problems, and is a technique for continuously reproducing images distributed by a network camera in a mobile terminal device having restrictions on resources, communication buffer size, and the like.
  • the purpose is to provide
  • a first aspect of the present invention is a method for reproducing an image distributed via a network having a network connection function and a server function on a mobile terminal, the mobile terminal and the image capturing A first step of establishing a communication session with the device, and a still image of a plurality of frames from the image pickup device to the portable terminal while the communication session established in the first step is maintained.
  • a second aspect of the present invention is a method for playing back an image distributed via a network having a network connection function and a server function on a mobile terminal, the mobile terminal and the image capturing A first step of establishing a communication session with the device; and while the communication session established in the first step is being maintained, moving image data And a third step of reproducing the moving image data received in the second step by the mobile terminal, and the first step force is repeated by repeating the steps up to the third step. It is characterized by continuously reproducing moving image data.
  • a communication session is established between a mobile terminal and an image capturing device. While the session is maintained, still image data of a plurality of frames is distributed. As a result, the mobile terminal can reproduce the pseudo moving image by continuously switching and reproducing the still image data of a plurality of frames. By repeating such processing, it is possible to continuously reproduce the pseudo moving image by sequentially switching the pseudo moving image.
  • the mobile terminal can smoothly reproduce a high-quality image.
  • FIG. 1 is an overall view of an image distribution system.
  • FIG. 2 is a block diagram of a network camera in the first and second embodiments.
  • FIG. 3 is a block diagram of a mobile phone terminal in the first and second embodiments.
  • FIG. 4 is a functional block diagram related to parameter transmission processing in the first embodiment.
  • FIG. 5 is a diagram showing parameter classification.
  • FIG. 6 is a functional block diagram related to parameter transmission processing in the second embodiment.
  • FIG. 7 is a block diagram of a network camera in a third embodiment.
  • FIG. 8 is a block diagram of a mobile phone terminal in the third embodiment.
  • FIG. 1 is an overall view of an image distribution system that works according to each embodiment of the present invention.
  • the network camera 1 is a device having an image capturing function, a network connection function, and a WEB server function, and is generally a device called a WEB camera.
  • the mobile phone terminal 5 has a network connection function in addition to a voice call function as a basic function of the mobile phone.
  • the network camera 1 is connected to the Internet 2, the mobile phone terminal 5 is connected to the mobile phone network 3 via the base station 4, and moreover, the Internet 2 and the mobile phone network 3 are connected.
  • the network camera 1 and the mobile phone terminal 5 can communicate with each other.
  • the network camera 1 displays a captured image as a WEB server. It is distributed to various terminals using a bar function or other image distribution functions. In other words, the network camera 1 can deliver captured images to terminals connected to the Internet 2 and various terminals connected to various networks connected via the Internet 2. It is said.
  • the mobile phone terminal 5 has a browsing function for web contents and a browsing function for images, and can browse images distributed by the network camera 1.
  • FIG. 2 is a block diagram of the network camera 1.
  • the network camera 1 includes an image sensor 11, an image processing unit 12, a communication unit 13, a memory 14, and a CPU 15.
  • the image sensor 11 includes an optical lens, a CCD image sensor, and the like, and can capture a subject image.
  • the image data output from the image sensor 11 is subjected to various image processing in the image processing unit 12.
  • Image processing includes image compression processing and the like.
  • the CPU 15 executes various programs stored in the memory 14.
  • the memory 14 stores a web server program and other application programs (not shown), and the CPU 15 can implement the web server function in the network camera 1 by executing the web server program. is there.
  • the communication unit 13 has a function of transmitting / receiving data to / from the Internet 2.
  • FIG. 3 is a block diagram of the mobile phone terminal 5.
  • the cellular phone terminal 5 includes an antenna 51, a communication unit 52, a CPU 53, a memory 54, an operation unit 55, and a display unit 56.
  • the communication unit 52 has a function of transmitting and receiving data to and from the base station 4 via the antenna 51.
  • the communication unit 52 includes a buffer memory 57, and has a function of temporarily storing received data.
  • the CPU 53 executes various programs stored in the memory 54.
  • the memory 54 stores a web browser program and other application programs (not shown), and the CPU 53 can browse web content by executing the web browser program.
  • the memory 54 stores an image acquisition program 61.
  • Image acquisition program 61 is a program that operates on HTTP, and for example, a JAVA (registered trademark) application program can be used.
  • a specific example is a program called i-appli for mobile phones made by NTT DoCoMo, and EZ app for mobile phones made by KDDI Corporation.
  • the image acquisition program 61 has a function of transmitting parameters to the network camera 1, a function of downloading an image from the network camera 1, a function of causing the display unit 56 to display the downloaded image, and the like.
  • the operation unit 55 includes operation buttons for executing various functions of the mobile phone terminal 5, a cruciform force, and the like. By operating the operation unit 55, the user can input various characters such as a telephone number and an e-mail address, and can perform a process of connecting to a network, a browsing operation of WEB contents, and the like.
  • the display unit 56 is composed of an LCD and the like, and displays web contents and images. The display unit 56 is used for displaying telephone numbers and mails.
  • FIG. 4 is a block diagram showing a part of the processing contents of the image acquisition program 61.
  • the image acquisition program 61 includes a parameter setting unit 611 and an external factor acquisition unit 612 as functional blocks related to parameter setting and transmission.
  • the parameter setting unit 611 and the external factor acquisition unit 612 are a part of the functions realized when the image acquisition program 61 is executed using hardware resources such as the CPU 53 and the memory 54.
  • the mobile phone terminal 5 stores fixed parameters for determining attributes of received image data in the initial setting storage unit 58.
  • the attribute of the image data includes a compression rate, a resolution, and the like if it is still image data.
  • the block size (number of frames) and the like are also included in the attributes of image data for still image data of a plurality of frames that are continuously captured.
  • the compression rate, sampling rate, video data size, etc. are included in the image data attributes.
  • the attribute of image data is a condition of processing executed until image information power still image data or moving image data output from the image sensor 11 is generated, and the quality and data size of the generated image data are determined. Is to determine.
  • the fixed parameter is a parameter that is fixedly set depending on the model of the mobile phone terminal 5. For example, when the mobile phone 5 is shipped, the initial setting storage unit 58 is fixed. Constant parameters are written. Alternatively, the user may freely rewrite the fixed parameters.
  • FIG. 5 is a diagram showing the contents of the parameters.
  • the parameters are classified into a first parameter 71 and a second parameter 72.
  • the first parameter includes, for example, terminal model information, terminal resource information, and terminal associated information.
  • the terminal model information is information that identifies the terminal model, such as the product number and manufacturing number of the mobile phone terminal 5.
  • the terminal resource information is information for specifying the CPU processing capacity and memory size of the mobile phone terminal 5.
  • the terminal-associated information is, for example, location information if the mobile phone terminal 5 is a terminal capable of acquiring location information, or information on a fee structure with which the user of the mobile phone terminal 5 is contracted.
  • the second parameter is, for example, resolution information, compression rate information, sampling rate, still image block size, moving image size, and the like.
  • the second parameter is a parameter that directly determines the attribute of the image data distributed from the network camera 1 to the mobile phone terminal 5, and the first parameter determines the second parameter. It is a parameter that becomes a factor for
  • the terminal model information corresponds to the fixed parameter.
  • a fixed parameter may be configured from terminal model information and terminal resource information.
  • the first parameter is converted into a second parameter by the parameter converter 7.
  • the parameter conversion unit 7 may be provided in the mobile phone terminal 5 or may be provided in the network camera 1.
  • the parameter setting unit 611 is provided with the parameter conversion unit 7.
  • the parameter conversion unit 7 When the parameter conversion unit 7 is provided in the cellular phone terminal 5, the fixed parameter as the first parameter 71 stored in the initial setting storage unit 58 is converted into the second parameter by the parameter conversion unit 7. Sent to network camera 1. Alternatively, the initial setting storage unit 58 may store a fixed parameter as the second parameter 72 by force. In this case, the fixed parameter as the second parameter is transmitted to the network camera 1 without being converted. [0033] When the network camera 1 receives the second parameter, the image processing unit 12 executes image processing based on the received parameter, and sequentially stores the still image data Bl, B2, ⁇ , BN in the memory 14 To store. For example, the compression rate, resolution, block size, etc. of still image data are determined based on the second parameter.
  • the image acquisition program 61 acquires the image on the mobile phone terminal 5. Execute the process. Specifically, first, a process for establishing a communication session between the mobile phone terminal 5 and the network camera 1 is executed, and subsequently, a plurality of still image data are stored while the established communication session is maintained. Perform the download.
  • the communication session establishment process is a session establishment process in HTTP.
  • the still image data Bl, B2,..., BN stored in the network camera 1 are data generated based on the second parameter transmitted from the mobile phone terminal 5, the mobile phone The terminal 5 can receive and play back still image data smoothly.
  • Still image data received from the network camera 1 is stored in the memory 54 via the buffer memory 57 of the communication unit 52.
  • the still image data CI, C2, ⁇ , CK in Fig. 3 correspond to any of the still image data Bl, B2, ⁇ ⁇ .
  • the still image data to be distributed among the plurality of still image data stored in the network camera 1 is determined according to a predetermined algorithm. For example, the latest ⁇ still image data may be distributed.
  • the total data size of still image data to be distributed while an established communication session is maintained must not exceed the maximum communication buffer size defined by the communication protocol. In other words, here, the size must not exceed the maximum communication buffer size specified in HTTP.
  • the cellular phone terminal 5 Upon receiving the still image data CI, C2, ⁇ , CK, the cellular phone terminal 5 continuously switches these still image data CI, C2, ⁇ , CK while sequentially switching at the set frame rate Target It is displayed on the display unit 56. As a result, the pseudo moving image can be reproduced on the mobile phone terminal 5.
  • the network camera 1 includes the parameter conversion unit 7, a fixed parameter as the first parameter is transmitted from the mobile phone terminal 5 to the network camera 1, and the network camera 1 In 1, the first parameter is converted to the second parameter.
  • the subsequent processing is the same as the processing described above. Still image data is generated and stored based on the second parameter.
  • the cellular phone terminal 5 can receive an image having an attribute determined based on a fixed parameter and reproduce it as a pseudo moving image.
  • the respective communication sessions are maintained, and the received pseudo moving images are connected and played back, and the pseudo moving images are played back continuously as a whole. It is possible.
  • a plurality of frames of images are acquired while maintaining a certain Nth communication session, and the images of the plurality of frames are reproduced as simulated moving images from the time of acquisition.
  • the new multiple frame image is reproduced as a pseudo moving image.
  • the image acquisition program 61 includes an external factor acquisition unit 612 as a functional block.
  • the external factor acquisition unit 612 is a functional unit that acquires information for dynamically correcting parameters during communication of image data.
  • the external factor acquisition unit 61 has a function of measuring the current communication speed, for example.
  • the communication speed of communication using a mobile phone varies depending on the load state of the Internet 2 and the load state of the mobile phone network 3. Therefore, the image attributes determined based on the fixed parameters may not be appropriate. Therefore, the external factor acquisition unit 612 notifies the parameter setting unit 611 of a parameter correction instruction. [0041]
  • the parameter setting unit 611 corrects the parameter in response to an instruction from the external factor acquisition unit 612, and transmits the correction parameter to the network controller 1 as the first parameter or the second parameter.
  • the image processing unit 12 executes image processing based on the correction parameters. In this way, parameters can be corrected dynamically during communication, enabling smooth image distribution and smooth image reproduction.
  • the external factor acquisition unit 612 corrects the parameter according to the external changing environment, separately from the capability of the mobile phone terminal 5 itself.
  • FIG. 6 is a block diagram showing a part of the processing contents of the image acquisition program 61.
  • the image acquisition program 61 includes a parameter setting unit 611, an external factor acquisition unit 612, a terminal information acquisition unit 613, and an accompanying information acquisition unit 614 as function blocks related to parameter setting and transmission.
  • Each of these functional units 611 to 614 is a part of a function realized when the image acquisition program 61 is executed using hardware resources such as the CPU 53 and the memory 54.
  • the mobile phone terminal 5 stores the fixed parameter for determining the attribute of the image data to be received in the initial setting storage unit 58, but the second embodiment In, fixed parameters are not memorized.
  • the terminal information acquisition unit 613 and the accompanying information acquisition unit 614 determine parameters according to the current state information of the mobile phone terminal 5.
  • Terminal information acquisition section 613 determines terminal resource information as the first parameter among the first parameters shown in FIG. For example, CPU processing capacity and memory size are generated as the first parameter.
  • the terminal-accompanying information acquisition unit 614 obtains terminal-accompanying information from the first parameter shown in FIG. Determine as the first parameter. For example, the location information and fee structure information described above are generated as the first parameter.
  • the reason for determining the parameter based on the position information is to cope with the case where the communication speed varies depending on the position of the mobile phone terminal 5.
  • the reason for determining the parameters based on the fee structure information is to consider the user burden. For example, if there is a fee structure that does not limit the amount of packet communication, the parameter value is increased and high-resolution images are distributed. On the other hand, in the pay-as-you-go system, parameters are set such that the charge is not high.
  • parameter setting unit 611 transmits the first parameter to network camera 1.
  • the first parameter is converted to the second parameter and then transmitted to the network camera 1, or the first parameter is transmitted as it is. Is converted to The subsequent processing is the same as in the first embodiment.
  • the image attributes are determined based on the parameters generated by the terminal information acquisition unit 613 and the terminal-accompanying information acquisition unit 61 4, and a plurality of still image data is distributed during one communication session.
  • the pseudo moving image is played back. By repeatedly executing such processing, it is possible to continuously reproduce the pseudo moving images one after another.
  • a plurality of frames of images are acquired while maintaining a certain Nth communication session, and the images of the plurality of frames are reproduced as pseudo moving images from the time of acquisition. Then, when the next N + 1 first communication session is established and a new multiple frame image is acquired, the new multiple frame image is reproduced as a pseudo moving image. By repeating such processing, it is possible to continuously reproduce pseudo moving images.
  • the parameter is determined according to the current state information of the mobile phone terminal 5 that is not a fixed parameter.
  • the external factor acquisition unit 612 corrects a parameter based on an external factor such as a communication speed. This makes it possible to dynamically correct parameters and maintain an optimal playback environment even during communication.
  • an external factor such as a communication speed.
  • the image acquisition program 61 sets the parameters as high as possible based on the current status information in order to provide high-quality images to the viewer (where high resolution and A parameter value that increases the quality of an image, such as a high frame rate, is called a high parameter value.)
  • parameters are set so as to make maximum use of the environment related to the distribution of image data and the environment related to the reproduction of image data.
  • the image may not be reproduced smoothly from the initial time due to changes in the external environment. For example, there may be a delay in the delivery of high-resolution images due to a decrease in communication speed.
  • the parameter setting unit 611 reduces the amount of load so as not to give the maximum load to the environment related to the distribution and reproduction of image data.
  • the parameter is set.
  • the image quality may be slightly inferior at the initial time when the image is started to be viewed.
  • the image reproduction waiting time does not occur, and the image can be reproduced smoothly. is there.
  • the parameter setting unit 611 gradually increases the parameter value. For example, gradually increase the resolution of the image, decrease the compression rate of the image, or increase the frame rate. In this way, at the initial stage, the focus is on smooth image playback rather than high quality, and by adjusting gradually to improve the image quality, the optimal image playback environment can be prepared. It is.
  • a fixed parameter is set in the initial setting storage unit 58.
  • the parameter setting unit 611 corrects the fixed parameter and sets a parameter with a slight suppression at the initial stage. You may make it do.
  • the fixed parameter itself may be set so as not to give the maximum load to the environment. Similarly, it is possible to smoothly reproduce high-quality images by gradually adjusting the parameter value to be higher. Noh.
  • the network camera 1 distributes still image data of a plurality of frames, and the mobile phone terminal 5 continuously switches and reproduces the still image data.
  • the pseudo moving image can be reproduced.
  • the mobile phone terminal 5 reproduces the moving image data by distributing the moving image data with a relatively small data size during a single communication session.
  • FIG. 7 is a functional block diagram of the network camera 1. Unlike the first and second embodiments, the image processing unit generates moving image data D using a plurality of frames of image data sequentially input from the imaging sensor 11. The generated moving image data D is stored in the memory 14.
  • FIG. 8 is a functional block diagram of the mobile phone terminal 5.
  • the processing contents of the image acquisition program 1 are the same as those in the first or second embodiment. That is, the fixed parameters are transmitted to the network camera 1 as in the first embodiment.
  • the terminal information acquisition unit 613 and the accompanying information acquisition unit 614 determine parameters according to the current terminal status information and transmit them to the network camera 1.
  • the first parameter may be converted into the second parameter and the force may be transmitted to the network camera 1.
  • the first parameter may be directly transmitted to the network camera 1, and the second parameter may be transmitted to the network camera 1. This also applies to the points that may be converted to.
  • the external factor acquisition unit 612 can acquire information on changes in the external environment and modify the meter.
  • the image processing unit 12 determines the attributes of the moving image data based on the received parameters, and executes image processing based on the parameters. Specifically, video data D is generated based on parameters including compression rate, sampling rate, video size, and the like.
  • video data D is stored in notch memory 57 and then stored in memory 61.
  • the image acquisition program 61 reproduces the moving image data D. By repeating this process, video data of a relatively small size is acquired during a single communication session, and video data can be played back even on the mobile phone 5 by continuously playing back the video data. It becomes.
  • the moving image data is acquired while maintaining a certain Nth communication session, and the moving image data is reproduced from the time of acquisition. Then, when the next N + 1 first communication session is established and new video data is acquired, the new video data is played back. By repeating such processing, it is possible to continuously reproduce the moving image data.
  • the image acquisition program 61 has been described as operating on HTTP.
  • the protocol in which the image acquisition program 61 operates in the present invention is not particularly limited. HTTP is an example.
  • the present invention can also be applied to other protocols that are proprietary protocols of mobile phone carriers. For example, Even so, the present invention can be applied.
  • the parameter setting unit 611 is initially set in the environment related to the distribution or reproduction of image data. In the initial state of image reproduction, smooth image reproduction is ensured by setting parameters of the restraining eye so as not to give a load and gradually increasing the value of the parameter to ensure smooth image reproduction. It is possible to smoothly reproduce high quality images.
  • the “mobile terminal” referred to in the present invention includes a mobile information terminal such as a PDA (Personal Digital Assistant) in addition to a mobile phone (mobile phone terminal).
  • a mobile information terminal such as a PDA (Personal Digital Assistant) in addition to a mobile phone (mobile phone terminal).
  • PDA Personal Digital Assistant
  • the subject of the present invention is suitable, for example, when viewing an image captured by a network camera using a mobile terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)

Abstract

　本発明はネットワークカメラの分野に属しており、その課題は、リソースの制約や通信バッファサイズの制限のある携帯電話端末においても、ネットワークカメラが撮像した画像をスムーズに再生することにある。携帯電話端末のパラメータ設定部（６１１）は、初期設定記憶部（５８）から固定パラメータを入力する。固定パラメータはパラメータ設定部（６１１）によってネットワークカメラ（１）に送信される。ネットワークカメラ（１）は、受信したパラメータに従って画像の圧縮処理などを行い、複数フレームの静止画データを蓄積する。次に、携帯電話端末とネットワークカメラ（１）との間で通信セッションが確立されると、このセッションが維持されている間に複数フレームの静止画データが配信される。携帯電話端末はこの静止画データを切り替えて連続的に再生する。これにより擬似動画像を再生可能である。この様な処理を繰り返し実行することで、擬似動画像を次々に再生する。

Description

明 細 書
画像再生方法
技術分野
[0001] 本発明は、携帯電話機や PDAなどの携帯端末において、ネットワークカメラが撮像 した画像をネットワークを介して取得し、表示するための技術に関する。
背景技術
[0002] ネットワークカメラあるいは WEBカメラと呼ばれる機器は、画像撮像センサを備える とともに WEBサーバ機能およびネットワーク機能を備えており、画像撮像センサで撮 像した画像データをインターネット等のネットワークを介して各種の端末に配信可能と している。
[0003] 一方、現在の携帯電話端末はネットワーク機能を備えるとともにカラー画像表示機 能も備えており、マルチメディア端末として利用される場面が増えている。
[0004] そこで、下記非特許文献 1に示すように、携帯電話端末を用いてネットワークカメラ が配信する画像を閲覧可能としたサービスが存在する。
[0005] 非特許文献 1：松下電器産業、 "ホームネットワーク関連商品"、 [平成 16年 7月 30日 恢索」、インタ ~~ネット < URL nttp:/ 1 Panasonic. co.jp/ pec/ products/hnetwk/ suppor t/ technic/ mbl—phn—list- c 10. html >
[0006] 上記非特許文献 1で示したサービスを含めネットワークカメラが撮像する画像を携 帯電話等の端末に配信するサービスにおいては、画像を更新するために携帯電話 端末のユーザ自身が「更新」ボタンを操作する必要がある。そして、ユーザによる「更 新」ボタン操作に応答して取得できる画像の枚数は 1枚の画像である。したがって、 新たな画像を閲覧するたびに「更新」ボタンを操作する必要があり、利便性が悪かつ た。
[0007] ここで、画像を自動更新する方法として、リフレッシュ機能を行う方法が考えられる 力 携帯電話等の端末によっては、 HTMLにおけるリフレッシュ機能が制限されてい る場合があり、これらの端末において画像を更新するためには、やはり、「更新」ボタ ンなどを操作する必要がある。 [0008] また、 PCなどにぉ 、ては、ネットワークカメラが配信する画像を動画像として再生す ることが可能である。これは、 PC等においては充分なバッファメモリが確保できる場 合がある力もである。あるいは、 PC等においては UDP上のアプリケーションを利用す ることが可能であることが理由である。一方、携帯電話等の端末によっては、 UDP上 で動作するアプリケーションが許可されていない場合がある。また、 HTTP上で動作 するアプリケーションを利用する場合であっても、最大通信バッファサイズの制限が 厳しぐ動画像をそのまま再生するということが困難であった。
発明の開示
[0009] 本発明は、上記の問題点を解決するためになされたものであり、リソースや通信バ ッファサイズなどの制限のある携帯端末機器において、ネットワークカメラが配信する 画像を連続的に再生する技術を提供することを、その目的とする。
[0010] 本発明の第 1局面は、ネットワーク接続機能及びサーバ機能を有する画像撮像装 置力 ネットワークを介して配信された画像を携帯端末において再生する方法であつ て、前記携帯端末と前記画像撮像装置との間で通信セッションを確立する第 1工程と 、前記第 1工程において確立された通信セッションが維持されている間に、前記画像 撮像装置から前記携帯端末に対して、複数フレームの静止画像データを配信する第
2工程と、前記携帯端末が前記第 2工程にぉ 、て受信した複数フレームの静止画像 データを連続的に再生する第 3工程とを備え、前記第 1工程から前記第 3工程までの 工程を繰り返し行うことにより、連続的に画像データを再生することを特徴とする。
[0011] 本発明の第 2局面は、ネットワーク接続機能及びサーバ機能を有する画像撮像装 置力 ネットワークを介して配信された画像を携帯端末において再生する方法であつ て、前記携帯端末と前記画像撮像装置との間で通信セッションを確立する第 1工程と 、前記第 1工程において確立された通信セッションが維持されている間に、前記画像 撮像装置カゝら前記携帯端末に対して、動画像データを配信する第 2工程と、前記携 帯端末が前記第 2工程において受信した動画像データを再生する第 3工程とを備え 、前記第 1工程力 前記第 3工程までの工程を繰り返し行うことにより、連続的に動画 像データを再生することを特徴とする。
[0012] 本発明の主題によれば、携帯端末と画像撮像装置との間で通信セッションを確立し 、このセッションが維持されている間に複数フレームの静止画データを配信する。こ れにより、携帯端末は、複数フレームの静止画データを連続的に切り替えて再生す ることにより、擬似動画像を再生可能である。そして、このような処理が繰り返されるこ とにより、擬似動画像を次々に切り替えて、連続的に擬似動画像を再生可能である。
[0013] また、配信される画像データの属性は、携帯端末から送信されたパラメータによつ て決定されるので、携帯端末は、高品質の画像をスムーズに再生させることが可能で ある。
[0014] 本発明の目的、特徴、局面及び利点は、以下の詳細な説明と添付図面とによって 、より明白となる。
図面の簡単な説明
[0015] [図 1]画像配信システムの全体図である。
[図 2]第 1及び第 2の実施の形態におけるネットワークカメラのブロック図である。
[図 3]第 1及び第 2の実施の形態における携帯電話端末のブロック図である。
[図 4]実施の形態 1におけるパラメータ送信処理に関わる機能ブロック図である。
[図 5]パラメータの分類を示す図である。
[図 6]実施の形態 2におけるパラメータ送信処理に関わる機能ブロック図である。
[図 7]実施の形態 3におけるネットワークカメラのブロック図である。
[図 8]実施の形態 3における携帯電話端末のブロック図である。
発明を実施するための最良の形態
[0016] 以下、図面を参照しつつ本発明の実施の形態について説明する。図 1は、本発明 の各実施の形態に力かる画像配信システムの全体図である。ネットワークカメラ 1は、 画像撮像機能と、ネットワーク接続機能と、 WEBサーバ機能とを備えた機器であり、 一般に、 WEBカメラとも呼ばれる機器である。携帯電話端末 5は、携帯電話の基本 機能としての音声通話機能のほかに、ネットワーク接続機能を備えている。そして、ネ ットワークカメラ 1は、インターネット 2に接続され、携帯電話端末 5は、基地局 4を介し て携帯電話網 3に接続され、さら〖こ、インターネット 2と携帯電話網 3とが接続されるこ とにより、ネットワークカメラ 1と携帯電話端末 5は互いに通信可能となっている。
[0017] このようなシステム構成において、ネットワークカメラ 1は、撮像した画像を WEBサー バ機能あるいはその他の画像配信機能を用いて各種の端末に配信する。つまり、ネ ットワークカメラ 1は、インターネット 2に接続された端末や、インターネット 2を介して接 続された様々なネットワークに接続された各種の端末に対して、撮像した画像を配信 することを可能としている。そして、携帯電話端末 5は、 WEBコンテンツの閲覧機能 や画像の閲覧機能を備えており、ネットワークカメラ 1の配信する画像を閲覧可能とし ている。
[0018] <第 1の実施の形態 >
次に、本発明の第 1の実施の形態について図 1ないし図 5を参照しながら説明する
[0019] 図 2は、ネットワークカメラ 1のブロック図である。ネットワークカメラ 1は、撮像センサ 1 1、画像処理部 12、通信部 13、メモリ 14、 CPU15を備えている。撮像センサ 11は、 光学レンズ、 CCD撮像素子等カゝら構成されており、被写体画像を撮像可能としてい る。撮像センサ 11から出力された画像データは、画像処理部 12において、各種の画 像処理が施される。画像処理には、画像の圧縮処理などが含まれる。
[0020] CPU15は、メモリ 14に格納された各種のプログラムを実行する。メモリ 14には、 W EBサーバプログラムその他のアプリケーションプログラム（図示省略）が格納されてお り、 CPU15は、 WEBサーバプログラムを実行することで、ネットワークカメラ 1に WEB サーバ機能を実装させることが可能である。通信部 13は、インターネット 2との間でデ ータの送受信を行う機能を備えて 、る。
[0021] 図 3は、携帯電話端末 5のブロック図である。携帯電話端末 5は、アンテナ 51、通信 部 52、 CPU53、メモリ 54、操作部 55、表示部 56を備えている。通信部 52は、アン テナ 51を介して基地局 4との間でデータの送受信を行う機能を備える。また、通信部 52は、バッファメモリ 57を備え、受信したデータなどを一時的に格納する機能を備え ている。 CPU53は、メモリ 54に格納された各種のプログラムを実行する。メモリ 54に は、 WEBブラウザプログラムその他のアプリケーションプログラム（図示省略）が格納 されており、 CPU53は、 WEBブラウザプログラムを実行することで、 WEBコンテンツ を閲覧可能としている。
[0022] また、メモリ 54には、画像取得プログラム 61が格納されて 、る。画像取得プログラム 61は、 HTTP上で動作するプログラムであり、たとえば、 JAVA (登録商標）アプリケ ーシヨンプログラムを利用することが可能である。具体例としては、 NTTドコモ株式会 社製の携帯電話であれば iアプリ、 KDDI株式会社製の携帯電話であれば EZアプリ と呼ばれるプログラムが該当する。画像取得プログラム 61は、ネットワークカメラ 1に対 してパラメータを送信する機能、ネットワークカメラ 1から画像をダウンロードする機能 、そして、ダウンロードした画像を表示部 56に表示させる機能などを備えている。
[0023] 操作部 55は、携帯電話端末 5の各種の機能を実行するための操作ボタン、十字力 一ソル等カゝら構成されている。ユーザは、操作部 55を操作することにより、電話番号 やメールアドレスなど、各種文字の入力操作を行うことや、ネットワークに接続する処 理ゃ WEBコンテンツのブラウジング操作などを行うことが可能である。表示部 56は、 LCD等力 構成されており、 WEBコンテンツや画像の表示が行われる。また、表示 部 56は、電話番号やメールの表示用に用いられる。
[0024] 図 4は、画像取得プログラム 61の処理内容の一部を示すブロック図である。画像取 得プログラム 61は、パラメータの設定および送信に関わる機能ブロックとして、パラメ ータ設定部 611および外部要因取得部 612を備えて 、る。これらパラメータ設定部 6 11および外部要因取得部 612は、画像取得プログラム 61が CPU53、メモリ 54等の ハードウェア資源を利用して実行されることにより実現される機能の一部である。
[0025] また、携帯電話端末 5は、受信する画像データの属性を決定するための固定パラメ ータを初期設定記憶部 58に格納している。ここで、画像データの属性とは、静止画 データであれば、圧縮率、解像度などが含まれる。また、連続して撮像された複数フ レームの静止画データに対してはブロックサイズ（フレーム数）なども画像データの属 性に含まれる。また、動画データに対しては、圧縮率、サンプリングレート、動画デー タのデータサイズなどが画像データの属性に含まれる。つまり、画像データの属性と は、撮像センサ 11から出力された画像情報力 静止画データや動画データを生成 するまでに実行される処理の条件であり、生成された画像データの品質やデータサ ィズを決定するものである。
[0026] また、固定パラメータとは、携帯電話端末 5の機種によって固定的に設定されてい るパラメータである。たとえば、携帯電話端末 5の出荷時に、初期設定記憶部 58に固 定パラメータが書き込まれる。あるいは、ユーザが自由に固定パラメータを書き換える ようにしてもよい。
[0027] 図 5は、パラメータの内容を示す図である。パラメータは、第 1のパラメータ 71と第 2 のパラメータ 72に分類される。第 1のパラメータは、たとえば、端末機種情報、端末リ ソース情報、端末付随情報が含まれる。端末機種情報は、携帯電話端末 5の製品番 号、製造番号など、端末機種を特定する情報である。端末リソース情報は、携帯電話 端末 5の CPU処理能力やメモリサイズなどを特定する情報である。端末付随情報は 、たとえば、携帯電話端末 5が位置情報を取得可能な端末であれば位置情報であり 、あるいは、携帯電話端末 5のユーザが契約している料金体系の情報などである。
[0028] これに対して第 2のノ ラメータは、たとえば、解像度情報、圧縮率情報、サンプリン グレート、静止画ブロックサイズ、動画サイズなどである。
[0029] つまり、第 2のノ ラメータは、ネットワークカメラ 1から携帯電話端末 5に配信する画 像データの属性を直接決定するパラメータであり、第 1のパラメータは、第 2のパラメ ータを決定するための要因となるパラメータである。
[0030] この第 1の実施の形態において、初期設定記憶部 58に格納されるパラメータは、固 定パラメータであるので、端末機種情報が固定パラメータに対応している。あるいは、 端末機種情報と端末リソース情報とから固定パラメータが構成されていてもよい。
[0031] この第 1のパラメータは、パラメータ変換部 7によって第 2のパラメータに変換される 。ここで、パラメータ変換部 7は、携帯電話端末 5に備えられていてもよいし、ネットヮ ークカメラ 1に備えられていてもよい。パラメータ変換部 7が携帯電話端末 5に備えら れて 、る場合には、パラメータ設定部 611がパラメータ変換部 7を備えて 、るものとす る。
[0032] 再び図 4を参照する。パラメータ変換部 7が携帯電話端末 5に備えられている場合、 初期設定記憶部 58に格納されている第 1のパラメータ 71としての固定パラメータは、 ノ ラメータ変換部 7において第 2のパラメータに変換された後、ネットワークカメラ 1に 送信される。あるいは、初期設定記憶部 58には、あら力じめ第 2のパラメータ 72とし ての固定パラメータが格納されていてもよい。この場合には、変換されることなく第 2 のパラメータとしての固定パラメータがネットワークカメラ 1に送信される。 [0033] ネットワークカメラ 1が第 2のパラメータを受信すると、画像処理部 12は、受信したパ ラメータに基づいて画像処理を実行し、順次静止画データ Bl, B2, · · · , BNをメモリ 14に格納する。たとえば、第 2のパラメータに基づいて、静止画データの圧縮率、解 像度、ブロックサイズなどが決定される。
[0034] ネットワークカメラ 1が複数の静止画データ Bl, B2, · · · , BNをメモリ 14に格納して V、る状態で、携帯電話端末 5にお 、ては画像取得プログラム 61が画像取得処理を 実行する。具体的には、まず、携帯電話端末 5とネットワークカメラ 1との間における通 信セッションの確立処理を実行し、続いて、この確立した通信セッションが維持されて いる間に複数の静止画データのダウンロードを実行するのである。この実施の形態で は、通信セッションの確立処理は、 HTTPにおけるセッション確立処理である。この際 、ネットワークカメラ 1において蓄積されている静止画データ Bl, B2, · · · , BNは、携 帯電話端末 5から送信した第 2のパラメータに基づいて生成されたデータであるので 、携帯電話端末 5は、静止画データをスムーズに受信し再生することが可能である。
[0035] 携帯電話端末 5における再生処理方法について説明する。ネットワークカメラ 1から 受信した静止画データは、通信部 52のバッファメモリ 57を介してメモリ 54に格納され る。図 3における静止画データ CI, C2, · · · , CKは、静止画データ Bl, B2, · ' ·ΒΝ の中のいずれかのデータに対応している。つまり、ここでは、ネットワークカメラ 1が蓄 積している Ν枚の静止画データ Bl, Β2, · · · , ΒΝのうち、確立された通信セッション が維持されている間に Κ枚の静止画データ CI, C2, · · · , CNを受信しているものと する。ここで、ネットワークカメラ 1が蓄積している複数の静止画データの中で、どの静 止画データを配信するかについては、所定のアルゴリズムに従って決定される。たと えば、最新の Κ枚の静止画データを配信するようにしてもよい。また、確立された通信 セッションが維持されている間に配信する静止画データの総データサイズは、通信プ ロトコルによって規定されている最大通信バッファサイズを超えないサイズとする必要 がある。つまり、ここでは、 HTTPにおいて規定されている最大通信バッファサイズを 超えな 、サイズとする必要がある。
[0036] 携帯電話端末 5は、静止画データ CI, C2, · · · , CKを受信すると、これら静止画 データ CI, C2, · · · , CKを、設定されたフレームレートで順次切り替えながら連続的 に表示部 56に表示するのである。これにより、携帯電話端末 5において擬似動画像 を再生可能である。
[0037] 一方、パラメータ変換部 7がネットワークカメラ 1に備えられて 、る場合には、携帯電 話端末 5からネットワークカメラ 1に対して第 1のパラメータとしての固定パラメータが送 信され、ネットワークカメラ 1において第 1のパラメータが第 2のパラメータに変換される 。この後の処理は、上述した処理と同様である。第 2のパラメータに基づいて静止画 データが生成、蓄積されるのである。
[0038] このような方法をとることにより、携帯電話端末 5は、固定パラメータに基づいて決定 された属性の画像を受信し、擬似動画像として再生することが可能である。そして、こ のような処理を繰り返し実行することで、それぞれの通信セッションを維持して 、る間 に受信した擬似動画像を繋ぎ合わせて再生し、全体としては連続して擬似動画像を 再生することが可能である。具体的には、ある N回目の通信セッションを維持している 間に複数フレームの画像を取得し、取得した時点から当該複数フレームの画像を擬 似動画像として再生する。そして、次の N + 1回目の通信セッションが確立され、新た な複数フレームの画像を取得した時点で、新たな複数フレームの画像を擬似動画像 として再生するのである。このような処理を繰り返すことで、連続的に擬似動画像を再 生することが可能である。これにより、リソースの制限、プロトコル上の制限、あるいは 、最大通信バッファサイズに制限のある携帯電話端末 5を用いながら、端末上で擬似 動画像を閲覧することが可能となるのである。
[0039] 次に、第 1の実施の形態の画像配信システムが備える付加機能について説明する 。図 4に示すように、画像取得プログラム 61は、外部要因取得部 612を機能ブロック として備えている。外部要因取得部 612は、画像データの通信中において、動的に パラメータを修正するための情報を取得する機能部である。
[0040] 外部要因取得部 61は、たとえば、現在の通信速度を測定する機能を備えている。
携帯電話を用いた通信は、インターネット 2の負荷状態や携帯電話網 3の負荷状態 によって、その通信速度が変動する。したがって、固定パラメータに基づいて決定さ れた画像の属性が適切でない状態となる場合がある。そこで、外部要因取得部 612 は、パラメータ設定部 611に対してパラメータの修正指示を通知するのである。 [0041] パラメータ設定部 611は、外部要因取得部 612からの指示を受けてパラメータを修 正し、第 1のパラメータあるいは第 2のパラメータとして修正パラメータをネットワーク力 メラ 1に送信する。これにより、ネットワークカメラ 1では、画像処理部 12が、修正パラメ ータに基づいて画像処理を実行するのである。このようにして、通信中においても動 的にパラメータを修正し、スムーズな画像の配信と、スムーズな画像の再生を可能と しているのである。
[0042] このように、外部要因取得部 612は、携帯電話端末 5自身の能力とは別に、外部の 変動する環境に応じてパラメータを修正する。
[0043] <第 2の実施の形態 >
次に、本発明の第 2の実施の形態について図 1ないし図 6を参照しながら説明する
。なお、第 2の実施の形態については、第 1の実施の形態と異なる部分のみ説明する
[0044] 第 2の実施の形態においては、画像取得プログラム 61の処理内容が第 1の実施の 形態と一部異なる。図 6は、画像取得プログラム 61の処理内容の一部を示すブロック 図である。画像取得プログラム 61は、パラメータの設定および送信に関わる機能プロ ックとして、パラメータ設定部 611、外部要因取得部 612、端末情報取得部 613、お よび付随情報取得部 614を備えている。これら各機能部 611〜614は、画像取得プ ログラム 61が CPU53、メモリ 54等のハードウェア資源を利用して実行されることによ り実現される機能の一部である。
[0045] 第 1の実施の形態では、携帯電話端末 5は、受信する画像データの属性を決定す るための固定パラメータを初期設定記憶部 58に格納していたが、第 2の実施の形態 においては、固定パラメータはあら力じめ記憶されていない。第 2の実施の形態では 、端末情報取得部 613および付随情報取得部 614が、携帯電話端末 5の現在の状 態情報に応じてパラメータを決定するのである。
[0046] 端末情報取得部 613は、図 5に示す第 1のパラメータのうち、端末リソース情報を、 第 1のパラメータとして決定する。たとえば、 CPUの処理能力や、メモリサイズを第 1 のパラメータとして生成する。
[0047] 端末付随情報取得部 614は、図 5に示す第 1のパラメータのうち、端末付随情報を 、第 1のパラメータとして決定する。たとえば、前述した位置情報や料金体系情報を 第 1のパラメータとして生成する。ここで、位置情報に基づいてパラメータを決定する 理由は、携帯電話端末 5の位置によって通信速度が異なる場合に対応するためであ る。また、料金体系情報に基づいてパラメータを決定する理由は、ユーザ負担を考慮 するためである。たとえば、パケット通信量に制限のない料金体系であれば、パラメ一 タ値を高くして高解像度の画像を配信するという設定が行われる。一方、従量制の料 金体系であれば、料金が高額とならな 、ようなパラメータ設定が行われる。
[0048] 端末情報取得部 613および端末付随情報取得部 614が第 1のパラメータを生成す ると、この第 1のパラメータがパラメータ設定部 611によってネットワークカメラ 1に送信 される。第 1の実施の形態と同様に、第 1のパラメータは第 2のパラメータに変換され た後ネットワークカメラ 1に送信される力、あるいは、第 1のパラメータがそのまま送信 され、ネットワークカメラ 1において第 2のパラメータに変換される。その後の処理は第 1の実施の形態と同様である。端末情報取得部 613および端末付随情報取得部 61 4によって生成されたパラメータに基づいて画像の属性が決定され、 1回の通信セッ シヨン中に複数の静止画データが配信され、携帯電話端末 5で擬似動画像が再生さ れるのである。そして、このような処理を繰り返し実行することで、擬似動画像を次々 に連続して再生することが可能となるのである。具体的には、ある N回目の通信セッ シヨンを維持している間に複数フレームの画像を取得し、取得した時点から当該複数 フレームの画像を擬似動画像として再生する。そして、次の N+ 1回目の通信セッショ ンが確立され、新たな複数フレームの画像を取得した時点で、新たな複数フレームの 画像を擬似動画像として再生するのである。このような処理を繰り返すことで、連続的 に擬似動画像を再生することが可能である。
[0049] このように第 2の実施の形態においては、固定的なパラメータではなぐ携帯電話端 末 5の現在の状態情報に応じてパラメータが決定される。
[0050] また、第 2の実施の形態においても、第 1の実施の形態と同様に、外部要因取得部 612が通信速度などの外部要因に基づいてパラメータを修正する。これにより、通信 中においても、動的にパラメータを修正し、最適な再生環境を維持することが可能で ある。 [0051] 次に、第 2の実施の形態の画像配信システムが備える付加機能について説明する 。第 2の実施の形態においては、画像取得プログラム 61が携帯電話端末 5の現在の 状態情報に基づいてパラメータを設定することを説明した。基本的に画像取得プログ ラム 61は、閲覧者に対して高品質の画像を提供するために、現在の状態情報に基 づ 、て可能な範囲でパラメータを高く設定する (ここで、高解像度や高フレームレート など、画像の品質を高くさせるパラメータの度合いを、パラメータ値が高いと言うものと する。）。言い換えれば、画像データの配信に関わる環境や、画像データの再生に関 わる環境の能力を最大限に利用するようなパラメータを設定する。
[0052] しかし、このようなパラメータを設定した場合、外部環境の変動などによって、初期 時点から画像の再生がスムーズに行われない場合がある。たとえば、通信速度が低 下したために、高解像度の画像の配信に遅延を生じる場合などがある。
[0053] そこで、パラメータ設定部 611は、現在の状態情報に基づいてパラメータを設定す る際に、画像データの配信や再生に関わる環境に最大の負荷を与えないように、少 し抑え目のパラメータを設定するのである。これにより、画像を閲覧し始めた初期時 点においては、多少画像の品質が劣る場合がある力 画像の再生待ち時間などが発 生せず、スムーズに画像の再生を行うことが可能となるのである。
[0054] そして、このように初期時にぉ 、ては抑え目のパラメータを設定した後、パラメータ 設定部 611は、除々にパラメータの値を大きくしていくのである。たとえば、除々に、 画像の解像度を高くしたり、画像の圧縮率を下げたり、フレームレートを上げたりする 。このようにして、初期時には、高品質よりもスムーズな画像の再生に重点を起き、除 々に、画像の品質が向上するように調整することで、最適な画像再生環境を整えるこ とができるのである。
[0055] なお、第 1の実施の形態においても、同様の制御を行うようにしてもよい。第 1の実 施の形態においては、初期設定記憶部 58に固定パラメータが設定されているが、パ ラメータ設定部 611が、初期時において、固定パラメータを修正し、少し抑え目のパ ラメータを設定するようにしてもよい。あるいは、固定パラメータ自体が環境に最大負 荷を与えないように設定されていてもよい。そして、同様に、除々に、パラメータの値 が高くなるように調整することにより、高品質の画像をスムーズに再生させることが可 能である。
[0056] <第 3の実施の形態 >
次に、本発明の第 3の実施の形態について、図 7、図 8およびその他の図面を参照 しながら説明する。第 3の実施の形態については、第 1および第 2の実施の形態と異 なる部分のみ説明する。
[0057] 第 1および第 2の実施の形態においては、ネットワークカメラ 1は、複数フレームの静 止画データを配信し、携帯電話端末 5は、静止画データを連続的に切り替えて再生 することにより、擬似動画像を再生可能とした。第 3の実施の形態においては、 1回の 通信セッション中にぉ 、て、比較的データサイズの小さ!/、動画データを配信すること により、携帯電話端末 5において動画データを再生する。
[0058] 図 7は、ネットワークカメラ 1の機能ブロック図である。第 1および第 2の実施の形態と は異なり、画像処理部は、撮像センサ 11より順次入力する複数フレームの画像デー タを用いて動画データ Dを生成する。生成された動画データ Dは、メモリ 14に格納さ れる。
[0059] 図 8は、携帯電話端末 5の機能ブロック図である。画像取得プログラム 1の処理内容 は、第 1あるいは第 2の実施の形態と同様である。すなわち、第 1の実施の形態と同 様に固定パラメータがネットワークカメラ 1に送信される。あるいは、第 2の実施の形態 と同様に、端末情報取得部 613および付随情報取得部 614によってパラメータが現 在の端末の状態情報に応じて決定されてネットワークカメラ 1に送信される。また、第 1のパラメータを第 2のパラメータに変換して力もネットワークカメラ 1に送信してもよい し、第 1のパラメータをそのままネットワークカメラ 1に送信し、ネットワークカメラ 1にお いて第 2のパラメータに変換してもよい点なども同様である。さらに、外部要因取得部 612によって外的環境の変動情報を取得し、ノ メータを修正可能な点も同様である
[0060] ネットワークカメラ 1では、画像処理部 12が、受信したパラメータに基づいて動画デ ータの属性を決定し、パラメータに基づいた画像処理を実行する。具体的には、圧縮 率やサンプリングレート、動画サイズなどを含むパラメータに基づいて動画データ Dを 生成する。 [0061] 携帯電話端末 5は、ネットワークカメラ 1から動画データ Dをダウンロードすると、動 画データ Dは、ー且、ノ ッファメモリ 57に格納された後、メモリ 61に格納される。そし て、画像取得プログラム 61は、動画データ Dを再生するのである。このような処理を 繰り替えし、 1回の通信セッション中に、比較的小さなサイズの動画データを取得し、 動画データの再生を連続的に行うことで、携帯電話端末 5においても動画データを 再生可能となるのである。具体的には、ある N回目の通信セッションを維持している 間に動画データを取得し、取得した時点から当該動画データを再生する。そして、次 の N + 1回目の通信セッションが確立され、新たな動画データを取得した時点で、新 たな動画データを再生するのである。このような処理を繰り返すことで、連続的に動 画データを再生することが可能である。
[0062] なお、上述した実施の形態においては、画像取得プログラム 61は、 HTTP上で動 作するとして説明した。しかし、本発明において画像取得プログラム 61が動作するプ ロトコルは、特に限定されるものではなぐ HTTPは一例である。他のプロトコルゃ携 帯電話キャリアの独自仕様プロトコルであってももちろん本発明を適用可能である。 たとえば、
Figure imgf000015_0001
ヽても 本発明を適用することが可能である。
[0063] また、第 3の実施の形態においても、第 2の実施の形態で説明したように、パラメ一 タ設定部 611は、初期時においては、画像データの配信あるいは再生に関わる環境 に最大負荷を与えないような抑え目のパラメータを設定し、除々に、ノ ラメータの値を 高くするように制御することで、画像再生の初期状態においては、スムーズな画像の 再生を確保し、最終的には、高品質な画像をスムーズに再生することが可能である。
[0064] <付記 >
本発明で言う「携帯端末」には、携帯電話機 (携帯電話端末)の他に、 PDA (Perso nal Digital Assistant)の様な携帯情報端末も含まれる。
[0065] 以上、本発明の実施の形態を詳細に開示し記述した力 以上の記述は本発明の 適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。 即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲力も逸脱する ことの無い範囲内で考えることが可能である。 産業上の利用可能性
本発明の主題は、例えば、携帯端末によってネットワークカメラが撮像した画像を閲 覧する場合に好適である。

Claims

請求の範囲
[1] ネットワーク接続機能及びサーバ機能を有する画像撮像装置力 ネットワークを介し て配信された画像を携帯端末において再生する方法であって、
前記携帯端末と前記画像撮像装置との間で通信セッションを確立する第 1工程と、 前記第 1工程において確立された通信セッションが維持されている間に、前記画像 撮像装置から前記携帯端末に対して、複数フレームの静止画像データを配信する第
2工程と、
前記携帯端末が前記第 2工程において受信した複数フレームの静止画像データを 連続的に再生する第 3工程と、
を備え、
前記第 1工程カゝら前記第 3工程までの工程を繰り返し行うことにより、連続的に画像 データを再生することを特徴とする画像再生方法。
[2] ネットワーク接続機能及びサーバ機能を有する画像撮像装置力 ネットワークを介し て配信された画像を携帯端末において再生する方法であって、
前記携帯端末と前記画像撮像装置との間で通信セッションを確立する第 1工程と、 前記第 1工程において確立された通信セッションが維持されている間に、前記画像 撮像装置カゝら前記携帯端末に対して、動画像データを配信する第 2工程と、 前記携帯端末が前記第 2工程において受信した動画像データを再生する第 3工程 と、
を備え、
前記第 1工程から前記第 3工程までの工程を繰り返し行うことにより、連続的に動画 像データを再生することを特徴とする画像再生方法。
[3] 請求項 1または請求項 2に記載の画像再生方法にぉ 、て、
前記第 2工程にお 、て配信される画像データの属性は、あらかじめ前記携帯端末 に対して固定的に設定されたパラメータによって決定されることを特徴とする画像再 生方法。
[4] 請求項 1または請求項 2に記載の画像再生方法にぉ 、て、
前記第 2工程にお 、て配信される画像データの属性は、前記携帯端末の状態情報 に基づくパラメータによって決定されることを特徴とする画像再生方法。
[5] 請求項 1又は請求項 2に記載の画像再生方法において、
前記第 2工程において配信される画像データの属性は、外部要因に応じて動的に 修正されるパラメータによって決定されることを特徴とする画像再生方法。
[6] 請求項 1又は請求項 2に記載の画像再生方法において、
前記第 2工程において配信される画像データの属性は、初期状態においては、画 像データの配信および再生に関わる環境に対して可能とされる最大負荷を与えない ように設定されることを特徴とする画像再生方法。
[7] 請求項 6に記載の画像再生方法において、
前記第 2工程にお 、て配信される画像データの属性は、画像データの配信および 再生に関わる環境に対して除々に負荷が高くなるように動的に修正されることを特徴 とする画像再生方法。
PCT/JP2005/014284 2004-09-10 2005-08-04 画像再生方法 WO2006027915A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004263749A JP4654463B2 (ja) 2004-09-10 2004-09-10 画像再生方法およびシステム
JP2004-263749 2004-09-10

Publications (1)

Publication Number Publication Date
WO2006027915A1 true WO2006027915A1 (ja) 2006-03-16

Family

ID=36036209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/014284 WO2006027915A1 (ja) 2004-09-10 2005-08-04 画像再生方法

Country Status (3)

Country Link
JP (1) JP4654463B2 (ja)
CN (1) CN1765131A (ja)
WO (1) WO2006027915A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012121411A1 (en) * 2011-03-07 2012-09-13 Ricoh Company, Limited Video processing apparatus, video processing system, and video processing method
EP2963929A1 (en) * 2014-07-03 2016-01-06 Axis AB A method for configuration of video stream output from a digital video camera

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007122811A1 (ja) * 2006-04-19 2007-11-01 Nikon Corporation 画像再生装置およびカメラ並びに画像再生システム
KR100899742B1 (ko) * 2006-09-30 2009-05-27 삼성전자주식회사 통신 시스템에서 단말기 정보 이용 시스템 및 방법
JP5655896B2 (ja) * 2013-06-10 2015-01-21 株式会社リコー ネットワークシステム、画像形成装置、プログラム、画像データ送受方法
JP7187638B2 (ja) * 2020-04-30 2022-12-12 マクセル株式会社 表示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040185A (ja) * 1996-07-23 1998-02-13 Canon Inc サーバ及び端末及びその制御方法
JPH1042185A (ja) * 1996-07-23 1998-02-13 Canon Inc 撮像サーバ及びその方法及び媒体
JPH11161322A (ja) * 1997-11-26 1999-06-18 Omron Corp 生産ライン監視システム
JP2003085074A (ja) * 2001-09-11 2003-03-20 Hitachi Information Systems Ltd 定期更新型画像閲覧システム及びその画像更新方法並びにその画像更新プログラム
WO2003073763A1 (fr) * 2002-02-28 2003-09-04 Sony Corporation Serveur de camera et procede de distribution d'image
JP2004164098A (ja) * 2002-11-11 2004-06-10 Fuji Photo Film Co Ltd ウェブカメラ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344913A (ja) * 2001-05-16 2002-11-29 Nec Yonezawa Ltd ネットワークにおける映像データの変換処理装置及び変換処理方法並びに変換処理サービス
JP2004222124A (ja) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd 動画配信サーバ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040185A (ja) * 1996-07-23 1998-02-13 Canon Inc サーバ及び端末及びその制御方法
JPH1042185A (ja) * 1996-07-23 1998-02-13 Canon Inc 撮像サーバ及びその方法及び媒体
JPH11161322A (ja) * 1997-11-26 1999-06-18 Omron Corp 生産ライン監視システム
JP2003085074A (ja) * 2001-09-11 2003-03-20 Hitachi Information Systems Ltd 定期更新型画像閲覧システム及びその画像更新方法並びにその画像更新プログラム
WO2003073763A1 (fr) * 2002-02-28 2003-09-04 Sony Corporation Serveur de camera et procede de distribution d'image
JP2004164098A (ja) * 2002-11-11 2004-06-10 Fuji Photo Film Co Ltd ウェブカメラ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012121411A1 (en) * 2011-03-07 2012-09-13 Ricoh Company, Limited Video processing apparatus, video processing system, and video processing method
JP2012186719A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び映像装置
US9369627B2 (en) 2011-03-07 2016-06-14 Ricoh Company, Ltd. Video processing apparatus, video processing system, and video processing method
EP2963929A1 (en) * 2014-07-03 2016-01-06 Axis AB A method for configuration of video stream output from a digital video camera
JP2016015726A (ja) * 2014-07-03 2016-01-28 アクシス アーベー デジタルビデオカメラからのビデオストリーム出力の構成のための方法
US9948903B2 (en) 2014-07-03 2018-04-17 Axis Ab Method for configuration of video stream output from a digital video camera

Also Published As

Publication number Publication date
JP4654463B2 (ja) 2011-03-23
JP2006080959A (ja) 2006-03-23
CN1765131A (zh) 2006-04-26

Similar Documents

Publication Publication Date Title
US8379073B2 (en) Method for storing data of video telephony call in mobile terminal and system thereof
TWI488489B (zh) 數位電視接收終端與移動終端交互方法、裝置和系統
TWI474712B (zh) 數位電視接收終端與移動終端交互方法、裝置和系統
EP2175647A1 (en) Apparatus and method for providing emotion expression service in mobile communication terminal
US8499088B1 (en) Parallel multiple format downloads
WO2006027915A1 (ja) 画像再生方法
GB2435146A (en) Group communications
CN108920120B (zh) 一种信息显示控制方法及装置
WO2020151570A1 (zh) 一种拥塞控制方法、装置、电子设备及存储介质
KR20060097920A (ko) 휴대단말기에서의 사진슬라이드의 동영상 변환방법
CN111787111B (zh) 一种基于云游戏的数据传输方法及装置
JP4692138B2 (ja) 携帯端末からのパン＆チルト機能搭載型ネットワークカメラ画像の閲覧方法及びパン＆チルト機能搭載型ネットワークカメラ
JP2006523070A (ja) 携帯端末におけるマルチメディアサービス提供方法及びその装置
EP2447860A2 (en) Methods, systems and computer program products for managing memory usage on a computing device
JP2008136044A (ja) 動画分割サーバおよびその制御方法
WO2006013794A1 (ja) 画像閲覧方法及び画像配信方法
KR100475953B1 (ko) 이동 영상 전화에서의 대체 영상 서비스 방법 및 시스템
KR100595654B1 (ko) 이동통신단말기의 대기화면 설정 방법
US20020080092A1 (en) Method for transmitting information
JP2008136057A (ja) 動画ファイル生成装置およびその制御方法
WO2024160031A1 (zh) 一种数字人通信方法及装置
JP4406438B2 (ja) 情報処理装置
CN115955665A (zh) 数据传输方法、装置、设备及计算机可读存储介质
JP5534485B2 (ja) 端末装置及びプログラム
US20120151082A1 (en) Apparatus and method for providing streaming service in a portable terminal

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2005800098X

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase