WO2006013794A1 - 画像閲覧方法及び画像配信方法 - Google Patents

画像閲覧方法及び画像配信方法 Download PDF

Info

Publication number
WO2006013794A1
WO2006013794A1 PCT/JP2005/013965 JP2005013965W WO2006013794A1 WO 2006013794 A1 WO2006013794 A1 WO 2006013794A1 JP 2005013965 W JP2005013965 W JP 2005013965W WO 2006013794 A1 WO2006013794 A1 WO 2006013794A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
browsing
images
frames
program
Prior art date
Application number
PCT/JP2005/013965
Other languages
English (en)
French (fr)
Inventor
Kensuke Sumitomo
Tsukasa Fujiwara
Original Assignee
Megachips System Solutions Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Megachips System Solutions Inc. filed Critical Megachips System Solutions Inc.
Publication of WO2006013794A1 publication Critical patent/WO2006013794A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to a technique for acquiring and displaying an image captured by a camera on a terminal such as a mobile phone via a network.
  • a device called a network camera or a WEB camera has an image pickup sensor and a WEB server function and a network function. Image data captured by the image sensor can be distributed to various terminals via a network such as the Internet.
  • a method of automatically updating an image a method of performing a refresh function can be considered.
  • the refresh function in HTML hypertext makeup language
  • HTML hypertext makeup language
  • HTTP hypertext transfer protocol
  • object transfer is performed once. Each time you do this, the HTTP connection is disconnected. Therefore, in order to acquire a new image, it is necessary to connect an HTTP connection again. This is a factor that delays the time until the next image is displayed when the user operates the “Update” button.
  • the present invention provides a technique for allowing a new image to be browsed without requiring a complicated operation in a method for browsing an image distributed by a network camera. It is another object of the present invention to provide a technique that enables browsing of moving images as well as still images.
  • the first to third aspects of the image browsing method according to the present invention are methods for browsing an image acquired via a network.
  • the browsing terminal operates a program incorporated in the browsing terminal to obtain a first image from the image capturing device via a network, and the browsing terminal In parallel with the second step of displaying the first image on the display device of the viewing terminal and the second step, the program operates according to a set schedule, whereby the browsing terminal In parallel with the third step of executing a connection process with the image capturing device and the second step, the browsing terminal causes the browsing terminal to receive the second image from the image capturing device.
  • a second aspect of the image browsing method according to the present invention is the first aspect, wherein the program is a program that operates on HTTP, and the connection processing is based on HTTP. Connection establishment process.
  • a third aspect of the image browsing method according to the present invention is the first aspect or the second aspect, and further, the viewing terminal issues a save instruction from an operation input unit provided in the viewing terminal. And a step of storing an image currently displayed on the display device by input and stored in a storage device.
  • the fourth to tenth aspects of the image browsing method according to the present invention are methods for browsing an image acquired via a network from an image capturing apparatus that always captures an image at a predetermined frame rate.
  • the browsing terminal operates a program incorporated in the browsing terminal to acquire N frames of images stored in the image capturing apparatus via the network.
  • a schedule that is set in parallel with the first step, the second step in which the browsing terminal displays the image for the N frames as a video on the display device of the browsing terminal, and the second step.
  • the browsing terminal executes a connection process with the image capturing device, and the program operates in parallel with the second process.
  • a fourth step in which the browsing terminal acquires images for a new N frames stored in the image capturing device; and the browsing terminal displays the images for the new N frames as moving images on the display device. And a fifth step.
  • a fifth aspect of the image browsing method according to the present invention is the fourth aspect thereof, wherein the images for the N frames do not exceed the maximum communication buffer size of the program, and the maximum of the range. It is an image of the number of frames.
  • a sixth aspect of the image browsing method according to the present invention is the fourth aspect, in which the number N of frames of an image acquired by the viewing terminal in one step is dynamically changed.
  • a seventh aspect of the image browsing method according to the present invention is any one of the fourth aspect to the sixth aspect, wherein the second step is to display a moving image for the N frames.
  • An eighth aspect of the image browsing method useful for the present invention is the fourth aspect to the seventh aspect.
  • the fourth step is still finished.
  • a message indicating that the image is being acquired is displayed to the display device. Displaying.
  • a ninth aspect of the image browsing method according to the present invention is any one of the fourth to eighth aspects, wherein the program is a program operating on HTTP, and the connection The process is a connection establishment process in HTTP.
  • a tenth aspect of the image browsing method according to the present invention is any one of the fourth to ninth aspects, wherein the browsing terminal further includes an operation input unit included in the browsing terminal. Storing a frame image currently displayed on the display device as a still image in a storage device by inputting a save instruction.
  • the image distribution method is a method in which an image capturing apparatus that always captures images at a predetermined frame rate distributes images via a network.
  • the first aspect is the first step in which the image capturing device stores and distributes N frames of images selected according to a predetermined algorithm from among the stored images; and And a second step of distributing images for a new N frames selected in accordance with the algorithm from the stored images after a lapse of a set time for the first process power.
  • a second aspect of the image distribution method according to the present invention is the first aspect thereof, wherein the N frames of images do not exceed the maximum communication buffer size of the program, and the maximum frame in the range. It is a number of images.
  • a connection process from the terminal to the image capturing device is performed in parallel with the process of displaying the first image on the display device of the terminal. Then, the second image is acquired. As a result, the display image is automatically switched without the user having to operate the update button or the like, which is convenient.
  • the fourth to tenth aspects of the image browsing method a process of displaying a moving image on a terminal using a plurality of images acquired from an image capturing device, and In parallel, a connection process is executed from the terminal camera to the image capturing apparatus, and a plurality of images are acquired.
  • a connection process is executed from the terminal camera to the image capturing apparatus, and a plurality of images are acquired.
  • the first and second aspects of the image distribution method according to the present invention are suitable for the fourth to tenth aspects of the image browsing method according to the present invention.
  • FIG. 1 is an overall view of an image distribution system.
  • FIG. 2 is a block diagram of a network camera that is helpful in the first embodiment.
  • FIG. 3 is a block diagram of a mobile phone terminal that works on the first embodiment.
  • FIG. 4 is a diagram showing a processing flow that is helpful for the first embodiment.
  • FIG. 5 is a block diagram of a network camera that is helpful in the second embodiment.
  • Fig. 6 is a block diagram of a mobile phone terminal that is helpful in the second embodiment.
  • Fig. 7 is a diagram showing a processing flow that is helpful for the second embodiment.
  • FIG. 8 is a diagram showing a processing flow for displaying a still image after moving image display is completed.
  • FIG. 1 is an overall view of an image browsing system that is useful for an embodiment of the present invention.
  • the network camera 1 is generally called a WEB camera and includes an image capturing function, a network connection function, and a WEB server function.
  • the network camera 1 is connected to the Internet 2.
  • the mobile phone terminal 5 has a network connection function in addition to a voice call function as a basic function of the mobile phone.
  • the mobile phone terminal 5 is connected to the mobile phone network 3 via the base station 4.
  • the network camera 1 and the mobile phone terminal 5 can communicate with each other.
  • the network camera 1 distributes an image captured by itself to various terminals using the W EB server function.
  • the network camera 1 distributes captured images to terminals connected to the Internet 2 and various terminals connected to various networks connected via the Internet 2. It is possible.
  • the mobile phone terminal 5 has a web content browsing function. The images distributed by Kucamera 1 can be viewed.
  • FIG. 2 is a block diagram of the network camera 1.
  • the network camera 1 includes an imaging sensor 11, an image processing unit 12, a communication unit 13, a memory 14, and a CPU 15.
  • the image sensor 11 includes an optical lens, a CCD image sensor, and the like, and can capture a subject image.
  • the image data output from the imaging sensor 11 is subjected to various types of image processing in the image processing unit 12.
  • the communication unit 13 has a function of transmitting / receiving data to / from the Internet 2.
  • the CPU 15 executes various programs stored in the memory 14.
  • the memory 14 stores a Web server program (not shown), and the CPU 15 can implement the WEB Sano function in the network camera 1 by executing the WEB server program.
  • FIG. 3 is a block diagram of the mobile phone terminal 5.
  • the cellular phone terminal 5 includes an antenna 51, a communication unit 52, a CPU 53, a memory 54, an operation unit 55, and a display unit 56.
  • the communication unit 52 has a function of transmitting and receiving data to and from the base station 4 via the antenna 51.
  • the communication unit 52 includes a buffer memory 57 and has a function of temporarily storing received data.
  • the CPU 53 executes various programs stored in the memory 54.
  • the memory 54 stores a WEB browser program (not shown), and the CPU 53 can browse web contents by executing the web browser program.
  • the memory 54 stores an image acquisition program 61.
  • Image acquisition program 61 Image acquisition program
  • 61 is a program that operates on HTTP, and for example, a JAVA (registered trademark) application program can be used.
  • JAVA registered trademark
  • Specific examples of such programs include i-appli (i-appli) for mobile phones manufactured by NTT Docomo and EZ-appli (EZ-Appli) for mobile phones manufactured by KDDI.
  • the operation unit 55 includes operation buttons and a cross force for executing various functions of the mobile phone terminal 5. It is composed of one sol etc.
  • the user can input various characters such as a telephone number and an e-mail address, and can perform a process of connecting to a network, a browsing operation of WEB contents, and the like.
  • the display unit 56 is configured by an LCD, for example, and displays WEB content.
  • the display unit 56 is also used for displaying telephone numbers and mails.
  • FIG. 4 is a diagram showing a flow of processing for browsing an image distributed by the network camera 1 in the mobile phone terminal 5.
  • the cellular phone terminal 5 displays an image captured by the network camera 1 as a still image.
  • step S 1 is a step in which image A 1 is displayed on display unit 56 of mobile phone terminal 5.
  • this step S1 is a step of displaying the image A1 stored in the web browser program power memory 54 operating on the CPU 53. The user can view the image A1 by referring to the display unit 56.
  • Step S2 is a step in which the mobile phone terminal 5 establishes an HTTP connection with the network camera 1, and is a step executed in parallel with step S1. That is, step S2 is a step that is executed in parallel in the knock ground while the image A1 is being displayed.
  • step S 3 the mobile phone terminal 5 acquires the image A 2 from the network camera 1.
  • Step S2 and step S3 are steps in which the image acquisition program 61 is executed in accordance with a set schedule. For example, if one still image is displayed on the display unit 56 and the time is assumed to be T1, and the time required for HTTP connection processing and image acquisition processing is assumed to be T2, the disclosure time of step S1 From step (Tl-T2), step S2 can be started.
  • a schedule that assumes such a time Tl and ⁇ 2 is set as a default setting. However, these schedules can be freely changed by the user.
  • step S4 the mobile phone terminal 5 switches the display content on the display unit 56 from the image A1 to the image ⁇ 2.
  • the web browser Switch the display image from image Al to image A2.
  • step S4 an HTTP connection is established between mobile phone terminal 5 and network camera 1 in step S5, and the next image A3 is acquired in step S6. In this way, each time an image is to be acquired, an HTTP connection establishment process is performed.
  • step S6 ends and acquisition of image A3 is completed
  • step S7 mobile phone terminal 5 switches the display content on display unit 56 from image A2 to image A3.
  • Step 8 and Step 9 are executed in parallel with Step S7, and the image A4 is acquired.
  • the image acquisition program 61 automatically starts operating in the knock ground while displaying an image on the display unit 56 of the mobile phone terminal 5, and the network camera. Execute connection processing and image acquisition processing with 1. Therefore, the user of the mobile phone terminal 5 does not need to perform an operation for updating an image in order to view a new image.
  • a protocol such as HTTP is used in which disconnection processing is performed each time an object is transmitted. Even in this case, according to the present invention, since the connection process is performed in the background during image display, it is possible to shorten the time until image display.
  • Still images are sequentially switched and displayed on the display unit 56 of the mobile phone terminal 5 as described above. While the still image is being displayed, the user can operate the operation unit 55 to input an image storage instruction. When the CPU 53 inputs the image saving instruction, the display unit 56 The displayed image is stored in the memory 54 for storage. As a result, the user can browse through the images that are displayed in turn and save the images immediately after finding a favorite image.
  • an operation button for instructing image saving is associated with one of the operation buttons on the operation unit 55, and the position of the associated operation button is displayed on the display unit. If it is displayed on 56, it is convenient. For example, it is convenient to display operation buttons for instructing image saving on the display unit 56 with a title such as “snap”.
  • the mobile phone terminal 5 has switched to display still images, but in this embodiment, the mobile phone terminal 5 continuously displays a plurality of images. .
  • FIG. 5 is a block diagram of the network camera 1. This network camera 1 also has a configuration similar to that of the network camera 1 in the first embodiment.
  • the image sensor 11 always performs an image capturing operation at a predetermined frame rate, and the captured images are sequentially stored in the memory 14. Therefore, the memory 14 in the first embodiment does not require a large area in addition to the area for storing the program, but the memory 14 in the second embodiment has a buffer for storing a plurality of frame images. The difference is that it requires an area.
  • M is an integer
  • the number of image frames that can be stored varies depending on the frame rate and resolution.
  • the imaging sensor 11 always performs an imaging operation.
  • the image data output from the image sensor 11 is sequentially subjected to image processing in the image processing unit 12 and is sequentially stored in the memory 14.
  • the memory 14 is configured, for example, as a ring buffer. When storing a new image, the oldest image is erased, so that the latest image Bl, ⁇ 2 is always stored. , ⁇ ' ⁇ Try to accumulate ⁇ .
  • FIG. 6 is a block diagram of the mobile phone terminal 5. This mobile phone terminal 5 has the same configuration as the mobile phone terminal 5 in the first embodiment.
  • the mobile phone terminal 5 acquires a plurality of images at a time from the network camera 1 and reproduces the plurality of images as moving images.
  • the memory 57 and the memory 54 are also required to have a larger size than that of the first embodiment.
  • the memory 54 can buffer K images, and the CPU 53 reproduces the images C 1 to CK buffered in the memory 54 as moving images (image C 1 to CK is one of the images B1 to BM stored in the network camera 1
  • the image received from the network camera 1 is stored in the buffer memory 57 of the communication unit 52, and when an empty area is generated in the buffer area of the memory 54, the image is transferred from the buffer memory 57 to the memory 54. Is transferred and played.
  • the noffer area of the memory 54 performs the same function as the ring buffer. In other words, when a new frame image is input, the old frame image power is also deleted in sequence. Therefore, the occurrence of an empty area in the noffer area indicates that the playback of the frame image stored in the noffer area has been completed and the erasable state has been reached.
  • FIG. 7 is a diagram showing a flow of processing for browsing an image distributed by the network camera 1 in the mobile phone terminal 5.
  • the cellular phone terminal 5 displays an image captured by the network camera 1 as a pseudo moving image.
  • step S 11 is a step in which images B 1 to BN are continuously displayed as moving images on the display unit 56 of the mobile phone terminal 5. That is, N images B 1 to BN received from the network camera 1 are stored as images C 1 to CK in the buffer area of the memory 54 via the buffer memory 57. These images are displayed as moving images on the display unit 56 by a web browser and other programs operating on the CPU 53. By referring to the display unit 56, the user can view the images B1 to BN as moving images.
  • Step S12 is an HTTP connection between the mobile phone terminal 5 and the network camera 1. Is a step that is executed in parallel with step S11. In other words, step S12 is a step that is executed in parallel in the knock ground while the moving image is being displayed.
  • step S 13 the mobile phone terminal 5 acquires new images B 1 to BN from the network camera 1.
  • the acquired images B1 to BN are stored in the buffer memory 57 of the communication unit 57 and then transferred to the memory 54.
  • the network camera 1 always performs image capturing, and accumulates the latest M images B 1 to BM in the memory 14.
  • the image acquisition program 61 is a program that operates on the HTTP, and the maximum communication buffer size is specified for one data transfer.
  • step S 13 the maximum number of images not exceeding the maximum communication buffer size is transferred.
  • N (N is an integer not exceeding M) images is the maximum number of images not exceeding the maximum communication buffer size. Therefore, the network camera 1 transmits the latest N images of the M images stored in the memory 14 to the mobile phone terminal 5.
  • Step S12 and step S13 are steps in which the image acquisition program 61 is executed according to the set schedule. For example, if the time required to display N moving images is assumed to be T3, and the time required for HTTP connection processing and image acquisition processing is assumed to be T4, the time from the disclosure time of step S11 to (T3-T4) time Step S12 may be started after elapse.
  • step S14 the mobile phone terminal 5 uses the newly acquired images ⁇ 1 to ⁇ as moving images on the display unit 56. indicate. That is, the web browser and other programs operating on the CPU 53 display the images C1 to CK stored in the memory 54 via the nother memory 57 on the display unit 56 as moving images.
  • step S14 an HTTP connection is established between mobile phone terminal 5 and network camera 1 at step SI5, and new images B1 to BN are acquired at step S16. Is called. In this way, each time an image is to be acquired, the HTTP connection establishment process is performed, and new images B1 to BN are sequentially acquired.
  • the image acquisition program 61 automatically starts operating in the knock ground while the moving image is displayed on the display unit 56 of the mobile phone terminal 5. Then, connection processing and image acquisition processing with the network camera 1 are executed. Therefore, the user of the mobile phone terminal 5 does not need to perform an operation for updating an image in order to view a new moving image. Since multiple images are acquired at a single transfer timing, it is possible to reduce the number of HTTP connections and improve the playback speed.
  • the network camera 1 since the network camera 1 always captures and stores images, when receiving an image acquisition request from the mobile phone terminal 5, the network camera 1 can immediately deliver the image and transfer the image. It is possible to improve the feeding speed.
  • a plurality of images are acquired and displayed by a WEB browser and an image acquisition program (for example, JAVA (registered trademark) application) operating on the WEB browser. Therefore, even in a V environment where a streaming data playback application does not operate, it is possible to play a moving image in a pseudo manner.
  • an image acquisition program for example, JAVA (registered trademark) application
  • the time for acquiring N images is longer than the time for displaying moving images using N images. This is influenced by the bandwidth of the communication line, but if the communication is performed using a mobile phone terminal as in the present embodiment, the time required for the image transfer speed becomes long. That is, when step S11 is completed, it is assumed that step S13 is completed.
  • step S11 after the moving image display for the images B1 to BN is completed, the image BN that is the last frame is continuously displayed until step S13 is completed. Further, while this last frame is continuously displayed, a message indicating that an image is being acquired is displayed on the display unit 56. Make it. For example, a message such as “NOW LOADING” or “acquiring image” is displayed on the display unit 56.
  • the still image state continues for a while and the moving image can be continuously displayed. Therefore, the user can simulate using the mobile phone terminal 5. It is possible to browse a moving image. For example, it is possible to display a moving image of about 3 frames / second, display a still image for a while, and then display a moving image of about 3 frames / second again. Also, while still images are displayed, a message indicating that images are being acquired is displayed, so there is no misunderstanding for the user.
  • the moving image performance (ft) S ) indicating the moving image playback speed in the mobile phone terminal 5 has a correlation with the wait time of image acquisition, and if the weight is generated frequently, the moving image performance is improved. It is also possible to make it. For example, instead of lengthening the wait time, play the moving image in about 5 frames Z seconds.
  • a moving image is displayed on the display unit 56 of the mobile phone terminal 5 as described above. While the moving image is displayed, the user can input an image saving instruction by operating the operation unit 55.
  • the CPU 53 stores the frame image currently displayed on the display unit 56 in the memory 54 as a still image. As a result, the user can save the frame image immediately upon finding a favorite scene while browsing the moving image.
  • an operation button for instructing image storage is associated with one of the operation buttons on the operation unit 55, and the position of the associated operation button is displayed on the display unit. If it is displayed on 56, it is convenient. For example, it is convenient to display operation buttons for instructing image saving on the display unit 56 with a title such as “snap”.
  • the CPU 53 sequentially reproduces the images C1 to CK stored in the buffer area of the memory 54.
  • the communication speed is very fast and the speed force buffered in the buffer memory 57 is faster than the playback speed of the moving image, there is not enough free space in the buffer area of the memory 54. Therefore, in such a case, the process of acquiring an image by communication is stopped.
  • the maximum communication buffer size that can be transferred by the image acquisition program 61 corresponds to the data size that can be transferred in one data transfer in HTTP.
  • the maximum communication buffer size is 150 KB and an image of 150 KB is transmitted from the network camera 1 in one transfer, if the bandwidth of the communication network is very narrow, the maximum communication buffer size I can't get the right performance.
  • the cellular phone terminal 5 can dynamically change the maximum communication buffer size.
  • the maximum communication buffer size can be changed automatically according to the traffic conditions of the network, and can be set manually by the user! Moyo! / ⁇
  • the process of changing the maximum communication buffer size may be controlled from the mobile phone terminal 5 side, or the network camera 1 side power may be controlled.
  • the image acquisition program 61 has been described as operating on HTTP.
  • the protocol that the image acquisition program 61 operates in the present invention is not particularly limited. HTTP is an example. is there.
  • the present invention can be applied to other protocols and protocols that are proprietary to mobile phone carriers. Even in the case of these other protocols, the connection processing of the protocol is executed in the background while displaying a still image or playing back a moving image, and the image acquisition program 61 operates on the protocol, and a new It is only necessary to acquire correct images.
  • the present invention can be applied to a program called BREW (Binary Runtime Environment for Wireless) that operates on a mobile phone of KDDI.
  • BREW Binary Runtime Environment for Wireless
  • the network camera 1 transmits a plurality of images in response to an image acquisition request from the mobile phone terminal 5.
  • the network camera 1 may transmit an image according to a predetermined schedule without using the acquisition request from the mobile phone terminal 5 as a trigger.
  • the network camera 1 may transmit the maximum number of images in a range that does not exceed the maximum communication buffer size of the destination terminal.
  • This transmission timing may be, for example, the time T3 and T4 as described above registered in advance as default values, or information that specifies the transmission schedule only once from the mobile phone terminal 5 for the first time. Even if you receive it.
  • which frame of images to transmit among a plurality of images stored in the network camera 1 may be set in accordance with a set algorithm.
  • a plurality of algorithms may be selected and an instruction for selecting an algorithm may be sent from the mobile phone terminal 5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Telephonic Communication Services (AREA)

Abstract

 ステップS1において、携帯電話端末は画像A1を表示部に表示させる。このステップS1と並行して、画像取得プログラムが、所定のスケジュールに従って実行され、ネットワークカメラ1とHTTPのコネクションを確立する(ステップS2)、続いてステップS1と並行して画像取得プログラムは画像A2をネットワークカメラ1から取得する(ステップS3)。そして、携帯電話端末のCPUは、表示部に表示させている画像を画像A1から画像A2に切り替える。

Description

画像閲覧方法及び画像配信方法
技術分野
[0001] 本発明は、カメラが撮像した画像を、ネットワークを介して、携帯電話などの端末に おいて取得、表示するための技術に関する。
背景技術
[0002] ネットワークカメラあるいは WEBカメラと呼ばれる機器は、画像撮像センサを備える とともに WEBサーバ機能およびネットワーク機能を備えて ヽる。画像撮像センサで撮 像された画像データは、インターネット等のネットワークを介して各種の端末に配信可 能である。
[0003] 一方、現在の携帯電話端末はネットワーク機能を備えるとともにカラー画像表示機 能も備えており、マルチメディア端末として利用される場面が増えている。
[0004] そこで、例えば次の参照文献に示すように、ネットワークカメラが配信する画像を、 携帯電話端末を用いて閲覧可能としたサービスが存在する。 "ホームネットワーク関 連商品、ネットワークカメラ使い方ガイド"、松下電器産業く URL(universal resource 1 ocator)http:/ 1 panasonic.co.jp/ pec/ products/ nnetwk/ cam— mdex.ntml >。
[0005] 上記参照文献で示したサービスを含め、ネットワークカメラが撮像する画像を端末( 例えば携帯電話端末)に配信するサービスにおいて、画像を更新するために携帯電 話端末のユーザ自身が「更新」ボタンを操作する必要がある。そして、ユーザによる「 更新」ボタン操作に応答して取得できる画像の枚数は 1枚の画像である。したがって 、新たな画像を閲覧するには、そのたびに「更新」ボタンを操作する必要があり、利便 性が悪かった。
[0006] 画像を自動更新する方法として、リフレッシュ機能を行う方法も考え得る。しかし端 末によつては、 HTML(hypertext makeup language)におけるリフレッシュ機能が制限 されている場合がある。この場合に端末において画像を更新するためには、やはり「 更新」ボタンなどを操作する必要がある。
[0007] そして、 HTTP(hypertext transfer protocol)にお 、ては、オブジェクトの転送を 1回 行うごとに HTTPのコネクションが切断される。このため、新たな画像を取得するため には、再度 HTTPのコネクションを接続する必要がある。これはユーザが「更新」ボタ ンを操作して力も次の画像が表示されるまでの時間を遅延させる要因ともなつていた
[0008] また、例えば PC(personal computer)にお!/、ては、ネットワークカメラが配信する画 像を動画像として再生することが可能である。これは、 PCにおいて充分なバッファメ モリが確保できる場合があるからである。あるいは PCにおいては UDP(user datagram protocol)上のアプリケーションを利用することが可能である力もである。
[0009] 一方、例えば携帯電話の端末によっては、 UDP上で動作するアプリケーションが 許可されていない場合がある。また、 HTTP上で動作するアプリケーションを利用す る場合であっても、最大通信バッファサイズの制限が厳しぐ動画像をそのまま再生 するということが困難であった。
発明の開示
[0010] 本発明は、ネットワークカメラが配信する画像を閲覧する方法において、煩雑な操 作を必要とすることなく新たな画像を閲覧可能とした技術を提供する。また、静止画 像のみならず動きのある画像を閲覧可能とした技術を提供することを目的とする。
[0011] 本発明にかかる画像閲覧方法の第 1乃至第 3の態様は、ネットワークを介して取得 した画像を閲覧する方法である。その第 1の態様は、閲覧端末が、前記閲覧端末に 組み込まれたプログラムを動作させることにより、ネットワークを介して画像撮像装置 から第 1の画像を取得する第 1の工程と、前記閲覧端末が前記第 1の画像を前記閲 覧端末の表示装置に表示する第 2の工程と、前記第 2の工程と並行して、設定された スケジュールに従って前記プログラムが動作することにより、前記閲覧端末が前記画 像撮影装置との間で接続処理を実行する第 3の工程と、前記第 2の工程と並行して、 前記プログラムが動作することにより前記閲覧端末が前記画像撮像装置から第 2の 画像を取得する第 4の工程と、前記表示装置に対する表示内容を前記第 1の画像か ら前記第 2の画像に切り替える第 5の工程と、を備える。
[0012] 本発明にかかる画像閲覧方法の第 2の態様は、その第 1の態様であって、前記プロ グラムは、 HTTP上で動作するプログラムであり、前記接続処理は、 HTTPにおける コネクション確立処理である。
[0013] 本発明にかかる画像閲覧方法の第 3の態様は、その第 1の態様又は第 2の態様で あって、さらに、前記閲覧端末が、前記閲覧端末の備える操作入力部より保存指示 を入力することにより、現在前記表示装置に表示して 、る画像を記憶装置に格納す る工程、を備える。
[0014] 本発明にかかる画像閲覧方法の第 4乃至第 10の態様は、所定のフレームレートで 常時画像を撮像する画像撮像装置からネットワークを介して取得した画像を閲覧す る方法である。
[0015] その第 4の態様は、閲覧端末が、前記閲覧端末に組み込まれたプログラムを動作さ せることにより、ネットワークを介して前記画像撮像装置が蓄積している Nフレーム分 の画像を取得する第 1の工程と、前記閲覧端末が前記 Nフレーム分の画像を動画と して前記閲覧端末の表示装置に表示する第 2の工程と、前記第 2の工程と並行して、 設定されたスケジュールに従って前記プログラムが動作することにより、前記閲覧端 末が前記画像撮影装置との間で接続処理を実行する第 3の工程と、前記第 2の工程 と並行して、前記プログラムが動作することにより前記閲覧端末が前記画像撮像装置 が蓄積している新たな Nフレーム分の画像を取得する第 4の工程と、前記閲覧端末 が前記新たな Nフレーム分の画像を動画として前記表示装置に表示する第 5の工程 と、を備える。
[0016] 本発明に力かる画像閲覧方法の第 5の態様は、その第 4の態様であって、前記 Nフ レーム分の画像は、前記プログラムの最大通信バッファサイズを超えな 、範囲の最大 フレーム数の画像である。
[0017] 本発明にかかる画像閲覧方法の第 6の態様は、その第 4の態様であって、前記閲 覧端末が 1回の工程で取得する画像のフレーム数 Nが動的に変化する。
[0018] 本発明に力かる画像閲覧方法の第 7の態様は、その第 4の態様乃至第 6の態様の いずれかであって、前記第 2の工程は、前記 Nフレーム分の動画表示が終了した後、 未だ、前記第 4の工程が終了していない場合には、最終フレームの画像を継続して 表示させる工程、を含む。
[0019] 本発明に力かる画像閲覧方法の第 8の態様は、その第 4の態様乃至第 7の態様の いずれかであって、前記 Nフレーム分の動画表示が終了した後、未だ、前記第 4のェ 程が終了して 、な 、場合には、前記表示装置に対して画像取得中を示すメッセージ を表示する工程、を含む。
[0020] 本発明に力かる画像閲覧方法の第 9の態様は、その第 4の態様乃至第 8の態様の いずれかであって、前記プログラムは、 HTTP上で動作するプログラムであり、前記 接続処理は、 HTTPにおけるコネクション確立処理である。
[0021] 本発明にかかる画像閲覧方法の第 10の態様は、その第 4の態様乃至第 9の態様 のいずれかであって、さらに、前記閲覧端末が、前記閲覧端末の備える操作入力部 より保存指示を入力することにより、現在前記表示装置に表示しているフレーム画像 を静止画像として記憶装置に格納する工程、を備える。
[0022] 本発明にかかる画像配信方法は、所定のフレームレートで常時画像を撮像する画 像撮像装置がネットワークを介して画像を配信する方法である。その第 1の態様は、 前記画像撮像装置が、蓄積して 、る画像のうち所定のアルゴリズムに従って選択さ れた Nフレーム分の画像を配信する第 1の工程と、前記画像撮像装置が、前記第 1 の工程力も設定された時間経過後、蓄積している画像のうち前記アルゴリズムに従つ て選択された新たな Nフレーム分の画像を配信する第 2の工程と、を備える。
[0023] 本発明にかかる画像配信方法の第 2の態様は、その第 1の態様であって、前記 Nフ レーム分の画像は、前記プログラムの最大通信バッファサイズを超えな 、範囲の最大 フレーム数の画像である。
[0024] 本発明にかかる画像閲覧方法の第 1乃至第 3の態様によれば、第 1の画像を端末 の表示装置に表示させている処理と並行して、端末から画像撮像装置に接続処理を 実行し、さらに、第 2の画像の取得を行う。これにより、ユーザは更新ボタンなどを操 作する必要はなぐ自動的に、表示画像が切り替わるので利便性がよい。
[0025] 本発明にかかる画像閲覧方法の第 4乃至第 10の態様によれば、画像撮像装置か ら取得した複数の画像を用いて端末にぉ 、て動画像を表示させて 、る処理と並行し て、端末カゝら画像撮像装置に接続処理を実行し、さらに、複数の画像の取得を行う。 これにより、ハードウェア資源の制約や、通信プロトコルによる制限を受けるシステム であっても、擬似的に動画像を端末において表示させることが可能である。 [0026] 本発明にかかる画像配信方法の第 1及び第 2の態様は、本発明にかかる画像閲覧 方法の第 4乃至第 10の態様に好適である。
[0027] この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによ つて、より明白となる。
図面の簡単な説明
[0028] [図 1]画像配信システムの全体図である。
[図 2]第 1の実施の形態に力かるネットワークカメラのブロック図である。
[図 3]第 1の実施の形態に力かる携帯電話端末のブロック図である。
[図 4]第 1の実施の形態に力かる処理フローを示す図である。
[図 5]第 2の実施の形態に力かるネットワークカメラのブロック図である。
[図 6]第 2の実施の形態に力かる携帯電話端末のブロック図である。
[図 7]第 2の実施の形態に力かる処理フローを示す図である。
[図 8]動画像の表示が終了した後、静止画像を表示させる処理フローを示す図であ 発明を実施するための最良の形態
[0029] 以下、図面を参照しつつ本発明の実施の形態について説明する。図 1は、本発明 の実施の形態に力かる画像閲覧システムの全体図である。ネットワークカメラ 1は、一 般に WEBカメラとも呼ばれ、画像撮像機能と、ネットワーク接続機能と、 WEBサーバ 機能とを備える。ネットワークカメラ 1は、インターネット 2に接続される。
[0030] 携帯電話端末 5は、携帯電話の基本機能としての音声通話機能のほか、ネットヮー ク接続機能を備えている。携帯電話端末 5は、基地局 4を介して携帯電話網 3に接続 される。
[0031] インターネット 2と携帯電話網 3とが接続されることにより、ネットワークカメラ 1と携帯 電話端末 5は互 、に通信可能となって 、る。
[0032] このようなシステム構成において、ネットワークカメラ 1は、自身が撮像した画像を W EBサーバ機能を用いて各種の端末に配信する。つまり、ネットワークカメラ 1は、イン ターネット 2に接続された端末や、インターネット 2を介して接続された様々なネットヮ ークに接続された各種の端末に対して、撮像した画像を配信することを可能としてい る。そして、携帯電話端末 5は、 WEBコンテンツの閲覧機能を備えており、ネットヮー クカメラ 1の配信する画像を閲覧可能としている。
[0033] 第 1の実施の形態.
次に、本発明の第 1の実施の形態について図 2ないし図 4を参照しながら説明する
[0034] 図 2はネットワークカメラ 1のブロック図である。ネットワークカメラ 1は、撮像センサ 11 、画像処理部 12、通信部 13、メモリ 14、 CPU15を備えている。
[0035] 撮像センサ 11は、光学レンズ、 CCD撮像素子等カゝら構成されており、被写体画像 を撮像可能としている。撮像センサ 11から出力された画像データは、画像処理部 12 において、各種の画像処理が施される。
[0036] 通信部 13は、インターネット 2との間でデータの送受信を行う機能を備えている。
CPU15は、メモリ 14に格納された各種のプログラムを実行する。メモリ 14には、 WE Bサーバプログラム(図示省略)が格納されており、 CPU15は WEBサーバプログラム を実行することで、ネットワークカメラ 1に WEBサーノ機能を実装させることが可能で ある。
[0037] 図 3は、携帯電話端末 5のブロック図である。携帯電話端末 5は、アンテナ 51、通信 部 52、 CPU53、メモリ 54、操作部 55、表示部 56を備えている。
[0038] 通信部 52は、アンテナ 51を介して基地局 4との間でデータの送受信を行う機能を 備える。また、通信部 52は、バッファメモリ 57を備え、受信したデータなどを一時的に 格納する機能を備えている。
[0039] CPU53は、メモリ 54に格納された各種のプログラムを実行する。メモリ 54には、 W EBブラウザプログラム(図示省略)が格納されており、 CPU53は、 WEBブラウザプロ グラムを実行することで、 WEBコンテンツを閲覧可能として 、る。
[0040] また、メモリ 54には、画像取得プログラム 61が格納されて 、る。画像取得プログラム
61は、 HTTP上で動作するプログラムであり、たとえば、 JAVA (登録商標)アプリケ ーシヨンプログラムを利用することが可能である。当該プログラムの具体例としては、 NTTドコモ社製の携帯電話であれば iアプリ(i-appli)、 KDDI社製の携帯電話であ れば EZアプリ(EZ-Appli)と呼ばれるプログラムが該当する。
[0041] 操作部 55は、携帯電話端末 5の各種の機能を実行するための操作ボタン、十字力 一ソル等カゝら構成されている。ユーザは、操作部 55を操作することにより、電話番号 やメールアドレスなど、各種文字の入力操作を行うことや、ネットワークに接続する処 理ゃ WEBコンテンツのブラウジング操作などを行うことが可能である。
[0042] 表示部 56は、例えば LCDで構成されており、 WEBコンテンツの表示が行われる。
また、表示部 56は、電話番号やメールの表示用にも用いられる。
[0043] 図 4は、携帯電話端末 5において、ネットワークカメラ 1が配信する画像を閲覧する ための処理の流れを示す図である。この実施の形態において、携帯電話端末 5は、 ネットワークカメラ 1の撮像した画像を静止画像として表示する。
[0044] 図 4において、ステップ S1は、携帯電話端末 5の表示部 56に画像 A1が表示される ステップである。具体的には、このステップ S1は、 CPU53で動作している WEBブラ ゥザプログラム力 メモリ 54に格納されている画像 A1を表示するステップである。ュ 一ザは、表示部 56を参照することにより、画像 A1を閲覧することが可能である。
[0045] ステップ S2は、携帯電話端末 5がネットワークカメラ 1との間で HTTPのコネクション を確立するステップであり、ステップ S1と並行して実行されるステップである。つまり、 ステップ S2は、画像 A1の表示中に、ノ ックグラウンドで並行して実行されるステップ である。
[0046] HTTPコネクションが確立されると、次に、ステップ S3において、携帯電話端末 5は 、ネットワークカメラ 1から画像 A2を取得する。
[0047] このステップ S2およびステップ S3は、画像取得プログラム 61が、設定されたスケジ ユールに従って実行されるステップである。たとえば、 1枚の静止画像を表示部 56に 表示させておきた 、時間が T1と想定され、 HTTPのコネクション処理と画像の取得 処理に要する時間が T2と想定される場合、ステップ S1の開示時間から (Tl— T2) 時間経過後にステップ S2を開始すればよいことになる。画像取得プログラム 61には 、デフォルト設定として、このような時間 Tl、 Τ2を想定したスケジュールが設定されて いる。ただし、これらスケジュールをユーザが自由に変更できるようになつている。
[0048] ステップ S3が終了し、画像 Α2の取得が完了すると、ステップ S4において、携帯電 話端末 5は、表示部 56における表示内容を、画像 A1から画像 Α2に切り替える。つ まり、画像取得プログラム 61が画像 Α2を取得することにより、 WEBブラウザプロダラ ムは、表示画像を画像 Alから画像 A2に切り替えるのである。
[0049] さらに、ステップ S4と並行して、ステップ S5において携帯電話端末 5とネットワーク カメラ 1との間で HTTPコネクションが確立され、ステップ S6において、次の画像 A3 の取得が行われる。このように、画像を取得しょうとするたびに、 HTTPコネクションの 確立処理が行われる。
[0050] ステップ S6が終了し、画像 A3の取得が完了すると、ステップ S7において、携帯電 話端末 5は、表示部 56における表示内容を、画像 A2から画像 A3に切り替える。そし て、同様に、ステップ S7と並行してステップ 8およびステップ 9が実行されて、画像 A4 の取得が行われるのである。
[0051] このように、本実施の形態においては、携帯電話端末 5の表示部 56に画像を表示 させている状態で、ノ ックグラウンドで画像取得プログラム 61が自動的に動作を開始 し、ネットワークカメラ 1との間で接続処理および画像の取得処理を実行する。よって 携帯電話端末 5のユーザは、新たな画像を閲覧するために画像を更新するための操 作を行う必要がない。
[0052] また、ある画像を表示している間に、次の画像を取得するための動作が実行されて いるので、画像を表示させるまでの時間を短縮させることが可能である。これにより、 たとえば、 1〜3秒ごとに静止画像を切り替えて表示させることが可能である。
[0053] たとえば、携帯電話端末で利用可能となって!/ヽる WEB機能には、 WEBコンテンツ を自動更新するリフレッシュ機能が制限される場合などがある。このような場合でも、 本発明によれば、画像を自動更新させることが可能である。
[0054] また、オブジェクトの送信が 1回実行されるたびに切断処理が行われる HTTPのよう なプロトコルを用いる場合がある。この場合であっても、本発明によれば、画像の表示 中にバックグラウンドで接続処理が行われるので、画像表示までの時間を短縮させる ことが可能である。
[0055] 次に、第 1の実施の形態に力かる画像閲覧システムの付加機能について説明する 。上述の如ぐ携帯電話端末 5の表示部 56には、順次静止画像が切り替わり表示さ れる。この静止画像の表示中に、ユーザは操作部 55を操作して、画像保存指示を入 力することが可能である。 CPU53は、画像保存指示を入力すると、表示部 56に現在 表示させている画像をメモリ 54に保存用として格納する。これにより、ユーザは、順次 切り替わり表示される画像を閲覧し、お気に入りの画像を見つけた時点で即座にそ の画像を保存することが可能である。
[0056] このような機能を実現するために、画像保存指示用の操作ボタンが操作部 55のい ずれかの操作ボタンに対応付けられ、さらに、対応付けられた操作ボタンの位置を表 示部 56上に表示させるようにすれば利便性がよい。たとえば、表示部 56に画像保存 指示用の操作ボタンを「スナップ」などのタイトルをつけて表示しておけば利便性がよ い。
[0057] 第 2の実施の形態.
次に、本発明の第 2の実施の形態について図 5ないし図 7を参照しながら説明する 。第 1の実施の形態では、携帯電話端末 5は、静止画像を切り替えて表示するよう〖こ したが、この実施の形態では、携帯電話端末 5は、複数枚の画像を連続的に表示す る。
[0058] 図 5は、ネットワークカメラ 1のブロック図である。このネットワークカメラ 1も、第 1の実 施の形態におけるネットワークカメラ 1と同様の構成を有する。
[0059] 異なる点は、本実施の形態では撮像センサ 11が、常時、所定のフレームレートで 撮像動作を実行しており、この撮像した画像を逐次メモリ 14に格納して ヽる点である 。したがって、第 1の実施の形態におけるメモリ 14は、プログラムを格納するエリアの 他に、大きなエリアは必要でないが、第 2の実施の形態におけるメモリ 14は、複数の フレーム画像を格納するためのバッファエリアを必要とする点が異なっている。
[0060] 図にも示すように、この実施の形態では、メモリ 14に M (Mは整数)枚の画像 Bl, B 2, · · ·ΒΜを蓄積する。ただし、蓄積可能な画像フレームの枚数はフレームレートや 解像度などによって変動する。
[0061] 撮像センサ 11は撮像操作を常時実行する。撮像センサ 11から出力された画像デ ータは、画像処理部 12において順次に画像処理が施され、メモリ 14へ順次に格納さ れる。そして、メモリ 14は、たとえば、リングバッファのような構成をしており、新たな画 像を格納する際には、最も古い画像が消去されることにより、常に最新の Μ枚の画像 Bl, Β2, · ' ·ΒΜを蓄積するようにしている。 [0062] 図 6は、携帯電話端末 5のブロック図である。この携帯電話端末 5も、第 1の実施の 形態における携帯電話端末 5と同様の構成である。
[0063] 異なる点は、本実施の形態では携帯電話端末 5が、ネットワークカメラ 1から 1度に 複数枚の画像を取得し、これら複数の画像を動画像として再生するため、通信部 52 のバッファメモリ 57およびメモリ 54にも、第 1の実施の形態と比較して大きなサイズが 必要となる点である。
[0064] ここでは、メモリ 54は、 K枚の画像をバッファすることが可能であり、 CPU53は、メモ リ 54にバッファリングされて 、る画像 C 1〜CKを動画像として再生する(画像 C 1〜C Kは、ネットワークカメラ 1が蓄積している画像 B1〜BMの中のいずれかの画像である
) o
[0065] つまり、ネットワークカメラ 1から受信した画像は、ー且、通信部 52のバッファメモリ 5 7に格納され、メモリ 54のバッファエリアに空き領域が発生すると、ノ ッファメモリ 57か らメモリ 54に画像が転送され、再生される。
[0066] メモリ 54のノッファエリアはリングバッファと同様の機能を果たす。つまり、新たなフ レーム画像を入力すると、古いフレーム画像力も順に消去される。したがって、ノ ッフ ァエリアに空き領域が発生するということは、ノ ッファエリアに格納されているフレーム 画像の再生が終了し、消去可能な状態になったことを示している。
[0067] 図 7は、携帯電話端末 5において、ネットワークカメラ 1が配信する画像を閲覧する ための処理の流れを示す図である。この実施の形態において、携帯電話端末 5は、 ネットワークカメラ 1の撮像した画像を擬似動画像として表示する。
[0068] 図 7において、ステップ S11は、携帯電話端末 5の表示部 56に画像 B1〜BNが連 続的に動画像として表示されるステップである。つまり、ネットワークカメラ 1より受信し た N枚の画像 B 1〜: BNは、バッファメモリ 57を介してメモリ 54のバッファエリアに画像 C1〜CKとして格納される。そして CPU53上で動作する WEBブラウザおよびその他 のプログラムにより、これらの画像が動画像として表示部 56に表示される。ユーザは、 表示部 56を参照することにより、画像 B1〜BNを動画像として閲覧することが可能で ある。
[0069] ステップ S12は、携帯電話端末 5がネットワークカメラ 1との間で HTTPのコネクショ ンを確立するステップであり、ステップ S 11と並行して実行されるステップである。つま り、ステップ S 12は、動画像の表示中に、ノ ックグラウンドで並行して実行されるステツ プである。
[0070] HTTPコネクションが確立されると、次にステップ S13において、携帯電話端末 5は 、ネットワークカメラ 1から新たな画像 B1〜BNを取得する。取得した画像 B1〜BNは 通信部 57のバッファメモリ 57に格納された後、メモリ 54に転送される。
[0071] ここで、前述したように、ネットワークカメラ 1は、画像の撮像を常時実行し、メモリ 14 に最新の M枚の画像 B1〜BMを蓄積している。また、画像取得プログラム 61は、 HT TP上で動作するプログラムであり、 1回のデータ転送に対して最大通信バッファサイ ズが規定されている。
[0072] そこで、ステップ S 13では、この最大通信バッファサイズを超えない最大枚数の画 像を転送する。ここでは、 N (Nは Mを超えない整数)枚の画像が最大通信バッファサ ィズを超えない最大枚数の画像であるものとする。したがって、ネットワークカメラ 1は 、メモリ 14に格納されている M枚の画像の中力も最新の N枚の画像を携帯電話端末 5に送信する。
[0073] ステップ S12およびステップ S13は、画像取得プログラム 61が、設定されたスケジュ ールに従って実行されるステップである。たとえば、 N枚の動画像を表示する時間が T3と想定され、 HTTPのコネクション処理と画像の取得処理に要する時間が T4と想 定される場合、ステップ S11の開示時間から (T3— T4)時間経過後にステップ S12 を開始すればよい。
[0074] 画像取得プログラム 61には、デフォルト設定として、このような時間 T3、 Τ4を想定 したスケジュールが設定されている。ただし、これらスケジュールをユーザが自由に変 更できるようになつている。
[0075] ステップ S13が終了し、新たな画像 Β1〜ΒΝの取得が完了すると、ステップ S14に おいて、携帯電話端末 5は新たに取得した画像 Β1〜ΒΝを、表示部 56に動画像とし て表示する。つまり、 CPU53上で動作する WEBブラウザおよびその他のプログラム は、ノ ッファメモリ 57を介してメモリ 54に格納された画像 C1〜CKを、動画像として表 示部 56に表示させるのである。 [0076] さらに、ステップ S 14と並行して、ステップ SI 5において携帯電話端末 5とネットヮー クカメラ 1との間で HTTPコネクションが確立され、ステップ S16において、新たな画 像 B1〜BNの取得が行われる。このように、画像を取得しょうとするたびに、 HTTPコ ネクシヨンの確立処理が行われ、順次新たな画像 B1〜BNを取得する。
[0077] このように、本実施の形態においては、携帯電話端末 5の表示部 56に動画像を表 示させている状態で、ノ ックグラウンドで画像取得プログラム 61が自動的に動作を開 始し、ネットワークカメラ 1との間で接続処理および画像の取得処理を実行する。よつ て携帯電話端末 5のユーザは、新たな動画像を閲覧するために画像を更新するため の操作を行う必要がない。そして、 1回の転送タイミングで複数の画像を取得するの で、 HTTPの接続回数を減らし、再生速度を向上させることが可能である。
[0078] また、ある動画像を表示している間に、次の画像を取得するための動作が実行され て 、るので、新たな動画像を表示させるまでの時間を短縮させることが可能である。
[0079] また、ネットワークカメラ 1は、画像を常時撮像して蓄積しているので、携帯電話端末 5から画像取得要求を受けた際に、即座に画像を配信することが可能であり、画像転 送速度を向上させることが可能である。
[0080] そして、本実施の形態にぉ ヽては、 WEBブラウザと WEBブラウザ上で動作する画 像取得プログラム(たとえば、 JAVA (登録商標)アプリケーション)により、複数の画像 を取得し、表示させる。よってストリーミングデータの再生アプリケーションが動作しな Vヽ環境にぉ 、ても擬似的に動画像を再生することが可能である。
[0081] ただし、一般には、 N枚の画像を用いて動画像を表示させている時間よりも、 N枚の 画像を取得する時間の方が時間長い。これは、通信回線の帯域などにも影響される ものであるが、本実施の形態のように携帯電話端末を用いた通信であれば、画像の 転送速度に要する時間は、長くなる。つまり、ステップ S11が終了した時点では、ステ ップ S 13が終了して ヽな 、場合が想定される。
[0082] そこで、図 8に示すような方法を行うと有効である。ステップ S11において、画像 B1 〜BNに対する動画表示が終了した後は、ステップ S13が終了するまでの間、最後の フレームである画像 BNを継続して表示させる。さらに、この最後のフレームを継続し て表示させて 、る間は、表示部 56に画像取得中であることを示すメッセージを表示さ せる。たとえば、表示部 56に、「NOW LOADING] ,「画像取得中」といったような メッセージを表示させるのである。
[0083] このような方法をとることにより、動画像が表示された後、しばらく静止画像状態が続 き、引き続き動画像を表示させることができるので、ユーザは、携帯電話端末 5を用い て擬似的に動画像を閲覧することが可能である。たとえば、 3フレーム/秒程度の動 画像を表示させ、しばらく静止画像を表示させたのち、再び 3フレーム Ζ秒程度の動 画像を表示させることが可能である。また、静止画像表示中には、画像取得中を示す メッセージが表示されるので、ユーザに誤解を与えることはな 、。
[0084] なお、携帯電話端末 5における動画像の再生スピードを示す動画性能 (ft)S)は、画 像取得のウェイト時間と相関があり、ウェイトを頻繁に発生させれば、動画性能を向上 させることも可能である。たとえば、ウェイト時間を長くする代わりに 5フレーム Z秒程 度で動画像を再生するようにしてもょ ヽ。
[0085] 次に、第 2の実施の形態に力かる画像閲覧システムの付加機能について説明する 。上述の如ぐ携帯電話端末 5の表示部 56には、動画像が示される。この動画像の 表示中に、ユーザは操作部 55を操作して、画像保存指示を入力することが可能であ る。
[0086] CPU53は、画像保存指示を入力すると、現在表示部 56に表示させているフレー ム画像を静止画像としてメモリ 54に格納するのである。これにより、ユーザは、動画像 を閲覧しながら、お気に入りの場面を見つけた時点で即座にそのフレーム画像を保 存することが可能である。
[0087] このような機能を実現するために、画像保存指示用の操作ボタンが操作部 55のい ずれかの操作ボタンに対応付けられ、さらに、対応付けられた操作ボタンの位置を表 示部 56上に表示させるようにすれば利便性がよい。たとえば、表示部 56に画像保存 指示用の操作ボタンを「スナップ」などのタイトルをつけて表示しておけば利便性がよ い。
[0088] 第 2の実施の形態の変形例.
上述したように、通常は、動画像を表示させる処理と比較して、画像を取得する時 間が長いため、図 8で示すような方法をとることが有効である。他方、通信速度が非常 に速 、場合などにぉ 、ては、次のような方法を行えばょ 、。
[0089] 上述したように、 CPU53は、メモリ 54のバッファエリアに格納された画像 C1〜CK を順次再生する。通信速度が非常に速い場合であってバッファメモリ 57にバッファリ ングされるスピード力 動画像の再生速度よりも速い場合には、メモリ 54のバッファェ リアの空き容量が足りなくなる。そこで、このような場合には、通信により画像を取得す る処理をー且停止させる。
[0090] そして、メモリ 54のバッファエリアに空き領域ができた時点で、ノ ッファメモリ 57に格 納されたデータをメモリ 54に転送し、通信を再開する。このような処理を行うことで、 閲覧端末上で途切れることなく動画像を再生することが可能である。
[0091] また、上述したように、この実施の形態においては、画像取得プログラム 61が転送 することのできる最大通信バッファサイズを超えな 、だけの画像を、 1回で転送した。
[0092] ここで、画像取得プログラム 61が転送することのできる最大通信バッファサイズとは 、 HTTPにおいて 1回のデータ転送に転送可能なデータサイズに対応している。しか し、たとえ最大通信バッファサイズが 150KBであって、ネットワークカメラ 1から 1回の 転送で 150KB分の画像を送信したとしても、通信網の帯域が非常に狭 ヽ場合には 、最大通信バッファサイズに見合ったパフォーマンスが得られな 、。
[0093] このような場合には、ネットワークカメラ 1から携帯電話端末 5に転送する 1回のデー タ量を小さくする方が好ましい。そこで、本発明においては、携帯電話端末 5が、最大 通信バッファサイズを動的に変更することを可能としている。最大通信バッファサイズ を変更する仕 みは、たとえば、ネットワークのトラフィック状況に応じて自動的に変 更が行われるようにしてもょ 、し、ユーザが手動で設定できるようになって!/、てもよ!/ヽ
[0094] また、最大通信バッファサイズを変更する処理は、携帯電話端末 5側から制御する ようにしてもょ 、し、ネットワークカメラ 1側力も制御するようにしてもょ 、。
[0095] <変形例 1 >
上述した第 1の実施の形態および第 2の実施の形態にお 、ては、画像取得プログ ラム 61は、 HTTP上で動作するとして説明した。しかし、本発明において画像取得プ ログラム 61が動作するプロトコルは、特に限定されるものではなぐ HTTPは一例で ある。
[0096] 他のプロトコルや携帯電話キャリアの独自仕様のプロトコルであってももちろん本発 明を適用可能である。これら他のプロトコルの場合であっても、静止画像を表示ある いは動画像を再生中に、バックグラウンドで当該プロトコルの接続処理が実行され、 当該プロトコル上で画像取得プログラム 61が動作し、新たな画像を取得するようにす ればよい。たとえば、 KDDI社の携帯電話で動作する BREW(Binary Runtime Enviro nment for Wireless)というプログラムについても本発明を適用することが可能である。
[0097] <変形例 2>
第 2の実施の形態において、ネットワークカメラ 1は携帯電話端末 5からの画像取得 要求を受けて複数の画像を送信するようにした。これに対して、ネットワークカメラ 1が 携帯電話端末 5からの取得要求をトリガとせず、所定のスケジュールに従って画像を 送信するようにしてもよい。この場合にも、ネットワークカメラ 1は、送信先の端末の通 信最大バッファサイズを超えな 、範囲で最大枚数の画像を送信するようにすればよ い。
[0098] この送信タイミングは、たとえば、前述したような時間 T3と T4が予めデフォルト値と して登録されていてもよいし、携帯電話端末 5から最初に 1回だけ送信スケジュール を規定する情報を受け取るようにしてもょ 、。
[0099] また、この場合、ネットワークカメラ 1が蓄積している複数の画像の中でどのフレーム の画像を送信するかは、設定されたアルゴリズムに従うようにすればよい。
[0100] たとえば、蓄積している複数の画像の中で最新の Nフレームの画像を送信するよう にしてもょ 、。ある 、は前回送信したフレームの最後のフレーム番号を記録しておき 、これに続く Nフレームの画像を送信するようなアルゴリズムでもよ 、。
[0101] また、複数のアルゴリズムを選択可能に準備しておき、携帯電話端末 5からアルゴリ ズムを選択する指示を送るようにしてもょ 、。
[0102] この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示 であって、この発明がそれに限定されるものではない。例示されていない無数の変形 例力 この発明の範囲力 外れることなく想定され得るものと解される。

Claims

請求の範囲
[1] ネットワーク(2, 3)を介して取得した画像 (A1〜A4)を閲覧する方法であって、 閲覧端末 (5)が、前記閲覧端末に組み込まれたプログラムを動作させることにより、 前記ネットワークを介して画像撮像装置(1)から第 1の画像を取得する第 1の工程 (S 3 ; S6)と、
前記閲覧端末が前記第 1の画像を前記閲覧端末の表示装置(56)に表示する第 2 の工程(S4 ; S7)と、
前記第 2の工程と並行して、設定されたスケジュールに従って前記プログラムが動 作することにより、前記閲覧端末が前記画像撮影装置との間で接続処理 (S5 ; S8)を 実行する第 3の工程と、
前記第 2の工程と並行して、前記プログラムが動作することにより前記閲覧端末が 前記画像撮像装置から第 2の画像を取得する第 4の工程 (S6; S9)と、
前記表示装置に対する表示内容を前記第 1の画像力 前記第 2の画像に切り替え る第 5の工程と、
を備えることを特徴とする画像閲覧方法。
[2] 請求項 1に記載の画像閲覧方法において、
前記プログラムは、 HTTP上で動作するプログラムであり、前記接続処理は、 HTT Pにおけるコネクション確立処理であることを特徴とする画像閲覧方法。
[3] 請求項 1または請求項 2に記載の画像閲覧方法において、さらに、
前記閲覧端末が、前記閲覧端末の備える操作入力部 (55)より保存指示を入力す ることにより、現在前記表示装置に表示している画像を記憶装置(54)に格納するェ 程、
を備えることを特徴とする画像閲覧方法。
[4] 所定のフレームレートで常時画像を撮像する画像撮像装置(1)からネットワーク(2 , 3)を介して取得した画像 (B1〜BN)を閲覧する方法であって、
閲覧端末 (5)が、前記閲覧端末に組み込まれたプログラムを動作させることにより、 ネットワークを介して前記画像撮像装置が蓄積している Nフレーム分の画像 (B1〜B N)を取得する第 1の工程 (S13)と、 前記閲覧端末が前記 Nフレーム分の画像を動画として前記閲覧端末の表示装置( 56)に表示する第 2の工程 (S 14)と、
前記第 2の工程と並行して、設定されたスケジュールに従って前記プログラムが動 作することにより、前記閲覧端末が前記画像撮影装置との間で接続処理を実行する 第 3の工程 (S15)と、
前記第 2の工程と並行して、前記プログラムが動作することにより前記閲覧端末が 前記画像撮像装置が蓄積している新たな Nフレーム分の画像を取得する第 4の工程 (S16)と、
前記閲覧端末が前記新たな Nフレーム分の画像を動画として前記表示装置に表示 する第 5の工程と、
を備えることを特徴とする画像閲覧方法。
[5] 請求項 4に記載の画像閲覧方法において、
前記 Nフレーム分の画像は、前記プログラムの最大通信バッファサイズを超えな!/ヽ 範囲の最大フレーム数の画像であることを特徴とする画像閲覧方法。
[6] 請求項 4に記載の画像閲覧方法において、
前記閲覧端末が 1回の工程で取得する画像のフレーム数 Nが動的に変化すること を特徴とする画像閲覧方法。
[7] 請求項 4に記載の画像閲覧方法において、
前記第 2の工程は、
前記 Nフレーム分の動画表示が終了した後、未だ、前記第 4の工程が終了していな い場合には、最終フレームの画像を継続して表示させる工程、
を含むことを特徴とする画像閲覧方法。
[8] 請求項 4な 、し請求項 7の 、ずれかに記載の画像閲覧方法にぉ 、て、
前記 Nフレーム分の動画表示が終了した後、未だ、前記第 4の工程が終了していな い場合には、前記表示装置に対して画像取得中を示すメッセージを表示する工程、 を含むことを特徴とする画像閲覧方法。
[9] 請求項 4な 、し請求項 7の 、ずれかに記載の画像閲覧方法にぉ 、て、
前記プログラムは、 HTTP上で動作するプログラムであり、前記接続処理は、 HTT Pにおけるコネクション確立処理であることを特徴とする画像閲覧方法。
[10] 請求項 4ないし請求項 7のいずれかに記載の画像閲覧方法において、さらに、 前記閲覧端末が、前記閲覧端末の備える操作入力部より保存指示を入力すること により、現在前記表示装置に表示しているフレーム画像を静止画像として記憶装置 に格納する工程、
を備えることを特徴とする画像閲覧方法。
[11] 所定のフレームレートで常時画像を撮像する画像撮像装置(1)がネットワーク(2, 3 )を介して画像を配信する方法であって、
前記画像撮像装置が、蓄積している画像 (B1〜BM)のうち所定のアルゴリズムに 従って選択された Nフレーム分の画像 (B1〜BN)を配信する第 1の工程と、
前記画像撮像装置が、前記第 1の工程から設定された時間経過後、蓄積している 画像のうち前記アルゴリズムに従って選択された新たな Nフレーム分の画像を配信す る第 2の工程と、
を備えることを特徴とする画像配信方法。
[12] 請求項 11に記載の画像配信方法にぉ 、て、
前記 Nフレーム分の画像は、前記プログラムの最大通信バッファサイズを超えな!/ヽ 範囲の最大フレーム数の画像であることを特徴とする画像配信方法。
PCT/JP2005/013965 2004-08-05 2005-07-29 画像閲覧方法及び画像配信方法 WO2006013794A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-229486 2004-08-05
JP2004229486A JP4549769B2 (ja) 2004-08-05 2004-08-05 画像閲覧方法

Publications (1)

Publication Number Publication Date
WO2006013794A1 true WO2006013794A1 (ja) 2006-02-09

Family

ID=35787080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/013965 WO2006013794A1 (ja) 2004-08-05 2005-07-29 画像閲覧方法及び画像配信方法

Country Status (3)

Country Link
JP (1) JP4549769B2 (ja)
CN (1) CN1799263A (ja)
WO (1) WO2006013794A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8671299B2 (en) * 2011-05-26 2014-03-11 Google Inc. Delaying the initiation of transitioning to a lower power mode by placing a computer system into an intermediate power mode between a normal power mode and the lower power mode
JP6289076B2 (ja) * 2013-12-18 2018-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040185A (ja) * 1996-07-23 1998-02-13 Canon Inc サーバ及び端末及びその制御方法
JPH1042185A (ja) * 1996-07-23 1998-02-13 Canon Inc 撮像サーバ及びその方法及び媒体
JPH11161322A (ja) * 1997-11-26 1999-06-18 Omron Corp 生産ライン監視システム
WO2003073763A1 (fr) * 2002-02-28 2003-09-04 Sony Corporation Serveur de camera et procede de distribution d'image
JP2004164098A (ja) * 2002-11-11 2004-06-10 Fuji Photo Film Co Ltd ウェブカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040185A (ja) * 1996-07-23 1998-02-13 Canon Inc サーバ及び端末及びその制御方法
JPH1042185A (ja) * 1996-07-23 1998-02-13 Canon Inc 撮像サーバ及びその方法及び媒体
JPH11161322A (ja) * 1997-11-26 1999-06-18 Omron Corp 生産ライン監視システム
WO2003073763A1 (fr) * 2002-02-28 2003-09-04 Sony Corporation Serveur de camera et procede de distribution d'image
JP2004164098A (ja) * 2002-11-11 2004-06-10 Fuji Photo Film Co Ltd ウェブカメラ

Also Published As

Publication number Publication date
CN1799263A (zh) 2006-07-05
JP2006050323A (ja) 2006-02-16
JP4549769B2 (ja) 2010-09-22

Similar Documents

Publication Publication Date Title
EP2442543A1 (en) Portable terminal apparatus, method for controlling portable terminal apparatus, communication system, communication apparatus, and method for controlling communication apparatus
US8379073B2 (en) Method for storing data of video telephony call in mobile terminal and system thereof
US20040005915A1 (en) Image transmission
KR100677440B1 (ko) 휴대단말기에서의 사진슬라이드의 동영상 변환방법
KR100703315B1 (ko) 휴대단말기의 블루투스 통신에서 파일전송 장치 및 방법
JP2017501598A (ja) ストリーム・メディア・データをブロードキャストする方法および装置
JP2017501598A5 (ja)
JP2011223506A (ja) 表示システム、表示方法およびプログラム
WO2006027915A1 (ja) 画像再生方法
EP2447860A2 (en) Methods, systems and computer program products for managing memory usage on a computing device
WO2006013794A1 (ja) 画像閲覧方法及び画像配信方法
JP4692138B2 (ja) 携帯端末からのパン&チルト機能搭載型ネットワークカメラ画像の閲覧方法及びパン&チルト機能搭載型ネットワークカメラ
JP2009267663A (ja) 撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置
EP1528727A1 (en) Method and information processing system with a communication device communicating with an outside device
JP2010124425A (ja) 情報処理装置、データ転送方法および通信システム
JPWO2009048050A1 (ja) コンテンツ受信装置及びコンテンツ送受信システム
JP2013206220A (ja) 電子機器、およびプログラム
US20160050242A1 (en) Methods and devices for playing streaming media data
JP2006340204A (ja) テレビ電話通信端末
KR20080097579A (ko) 문서 열람 서비스 시스템 및 방법과 이를 위한 이동통신단말기
JP2005293328A (ja) 携帯端末、コンテンツダウンロード方法およびコンテンツダウンロードプログラム。
KR20070012569A (ko) 휴대단말기의 블루투스 통신에서 파일전송 장치 및 방법
KR20050067295A (ko) 이동통신단말기의 이미지 전송 방법
KR100432423B1 (ko) 영상 데이터의 휴대폰으로의 전송 시스템 및 방법
KR20040052757A (ko) 이동단말기에서의 팩스송수신 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2005800154X

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase