WO2006120840A1 - 映像コミュニケーションシステム、端末、および画像変換装置 - Google Patents

映像コミュニケーションシステム、端末、および画像変換装置 Download PDF

Info

Publication number
WO2006120840A1
WO2006120840A1 PCT/JP2006/308017 JP2006308017W WO2006120840A1 WO 2006120840 A1 WO2006120840 A1 WO 2006120840A1 JP 2006308017 W JP2006308017 W JP 2006308017W WO 2006120840 A1 WO2006120840 A1 WO 2006120840A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
conversion
terminal
mobile phone
Prior art date
Application number
PCT/JP2006/308017
Other languages
English (en)
French (fr)
Inventor
Masato Tsukada
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to US11/920,155 priority Critical patent/US8164613B2/en
Priority to JP2007528133A priority patent/JP5003488B2/ja
Publication of WO2006120840A1 publication Critical patent/WO2006120840A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/68—Payment of value-added services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/57—Arrangements for indicating or recording the number of the calling subscriber at the called subscriber's set
    • H04M1/575—Means for retrieving and displaying personal data about calling party
    • H04M1/576—Means for retrieving and displaying personal data about calling party associated with a pictorial or graphical representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2215/00—Metering arrangements; Time controlling arrangements; Time indicating arrangements
    • H04M2215/01—Details of billing arrangements
    • H04M2215/0196—Payment of value-added services, mainly when their charges are added on the telephone bill, e.g. payment of non-telecom services, e-commerce, on-line banking

Definitions

  • Video communication system terminal, and image conversion apparatus
  • the present invention relates to a video communication system that transmits and receives image data to be photographed between terminals such as a video phone, and a terminal and an image conversion apparatus that are applied to a video communication system.
  • Videophone services are becoming popular.
  • an animated character hereinafter referred to as an anime character
  • an avatar is displayed on the videophone of the other party.
  • An example of an anime character when the other party's video phone is a mobile phone is shown in Non-Patent Document 1, for example.
  • a virtual character (hereinafter referred to as a virtual character) is generated based on the face of a speaker photographed by a camera, and image data of the virtual character is transmitted to the other party.
  • a video phone is listed.
  • the video phone recognizes which area is a face from a face image taken with a power camera, and further extracts feature points such as eyebrows, eyes, nose, and mouth from the face image. To generate a virtual character.
  • RGB representation is known as a representation format of image data.
  • As the color space HSV color space, uniform color space LCH, and the like are known.
  • the conversion between the RGB representation and the HSV representation is described in Non-Patent Document 2, for example.
  • Non-Patent Document 3 describes conversion between L * a * b * and L * C * abhab expressions, and conversion between L * u * v * expressions and L * C * uvhuv expressions.
  • C * ab and C * uv correspond to elements of “C” in the uniform color space LC H
  • hab and huv correspond to elements of “H” in the uniform color space LCH.
  • the boss may be determined that the speaker is serious.
  • Patent Document 1 recognizes which region is a face
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-289254 (paragraphs 0017-0025)
  • Non-patent literature l "What you can do with” Charaden "in the 900i series”, [online], January 2004 2
  • Non-Patent Document 2 Alvy Ray Smith, “Color GAMUT TRANSFORM PAIRS”, Computer Graphics, Vol. 12, pp. 12-19 , 1978
  • Non-Patent Document 3 Mikio Takagi, Yoshihisa Shimoda, “New Image Analysis Handbook”, University of Tokyo Press, September 10, 2004, p. 552-555
  • an object of the present invention is to provide a video communication system, a terminal, and an image conversion device that enable a speaker of a terminal such as a videophone to realize better communication with a call partner. There is to do.
  • Another object of the present invention is to provide a video communication system and terminal capable of reducing the processing load for conveying an environment such as a speaker's delicate facial expression and the speaker's location.
  • a video communication system includes:
  • the first terminal that sends the image data to be shot and the image data sent by the first terminal And a second terminal that receives the data, wherein the first terminal
  • the second terminal has image data conversion means for converting image data to be imaged into image data that represents the object to be photographed using at least an image feature amount included in the object to be imaged.
  • An image display means is provided for displaying an image based on the image data converted by the image data conversion means.
  • the image data conversion means of the first terminal uses the image data to be imaged as the image object and at least the image feature amount included in the image to be imaged.
  • Image data displayed on the second terminal, and the image is displayed based on the image data converted by the image data converter.
  • the first terminal is
  • An image data generation means for capturing an image to be captured and generating image data for the capture target
  • the image data converting means may be configured to convert the image data generated by the image data generating means.
  • the speaker of the second terminal further has a switching request transmission means for transmitting a request for switching the image data to the first terminal,
  • Raw by data generation means A configuration may further include transmission data switching means for transmitting the formed image data to the second terminal.
  • a communication fee required for the speakers of the first and second terminals is calculated, and a charge management server for receiving a switching request transmitted from the second terminal to the first terminal is further provided.
  • It may be configured to have a communication fee calculation means for calculating the communication fee required for the speakers of the first and second terminals after receiving the switching request.
  • the image data conversion means may be configured to reduce the number of colors in the image data to be imaged and convert the image data into image data that represents the imaged object in a pictorial manner.
  • the image data conversion means may be configured to perform conversion for each pixel in the image data to be imaged.
  • a video communication system includes:
  • the first terminal that transmits the image data to be captured, the image data transmitted by the first terminal, the image conversion device that converts the image data, and the image data converted by the image conversion device
  • a video communication system having a second terminal that
  • the image conversion device The image conversion device
  • the second terminal has image data conversion means for converting image data to be imaged into image data that represents the object to be photographed using at least an image feature amount included in the object to be imaged.
  • An image display means is provided for displaying an image based on the image data converted by the image data conversion means.
  • FIG. 1 is a diagram showing a configuration of a video communication system according to a first embodiment of the present invention.
  • ⁇ 2] Block diagram showing a configuration example of a mobile phone that generates image data representing the speaker in an illustration in the mobile phone according to the first embodiment of the present invention and transmits the image data to another mobile phone It is.
  • FIG. 3 is a block diagram showing a configuration example of a communication image generation unit according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an operation example of a mobile phone that generates image data and transmits it to another mobile phone in the mobile phone according to the first embodiment of the present invention. [5] It is a diagram for explaining the HSV color space.
  • FIG. 6 is a diagram for explaining an example of a kernel f (i, j) of a convolution operation.
  • FIG. 7 is a block diagram showing a configuration example of a communication image generation unit according to Modification 1 of the first embodiment of the present invention.
  • FIG. 9 is a diagram for explaining a representative color conversion example converted by the communication image generating unit according to the second modification of the first embodiment of the present invention.
  • FIG. 11 is a diagram showing a configuration of a video communication system according to Modification 3 of the first embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration example of a charge management server according to Modification 3 of the first embodiment of the present invention.
  • FIG. 13 is a diagram for explaining an example of communication charges in the video communication system of the third modification of the first embodiment of the present invention.
  • FIG. 14 is a block diagram showing a configuration example of a mobile phone on the image data receiving side in the mobile phone according to the second embodiment of the present invention.
  • ⁇ 16] is a block diagram showing a configuration example of an image conversion server according to the third embodiment of the present invention. is there.
  • FIG. 17 is a block diagram illustrating a configuration example of an image conversion server according to a first modification of the third embodiment of the present invention.
  • FIG. 18 is a diagram for explaining an example of a communication fee in the video communication system according to the first modification of the third embodiment of the present invention.
  • the terminal is a mobile terminal
  • the terminal is a mobile terminal
  • mobile terminals There are various types of mobile terminals.
  • a case where the mobile terminal is a mobile phone will be described as an example.
  • FIG. 1 is a diagram showing a configuration of a video communication system according to the first embodiment of the present invention.
  • the video communication system includes mobile phones 50 and 60 and base stations 91 and 92.
  • the mobile phones 50 and 60 can make a call while transmitting and receiving image data representing a subject to be photographed such as a speaker in an illustration-like (picture-like) manner.
  • the mobile phone 50 transmits image data and the mobile phone 60 receives and displays the image data.
  • the mobile phone 60 may be any mobile phone that can display the image data received from the mobile phone 50 during a call.
  • “illustration (painting)” is to change the image quality while maintaining the characteristics of the captured image. For example, this includes reducing the number of colors included in an image while retaining edge components.
  • Mobile phone 50 transmits and receives radio signals to and from base station 91
  • mobile phone 60 transmits and receives radio signals to and from base station 92.
  • Each base station 91, 92 transmits and receives signals via the network 93. That is, the mobile phones 50 and 60 transmit and receive signals (audio data and image data) via the base station 91, the network 93, and the base station 92.
  • FIG. 2 illustrates a speaker of the mobile phones 50, 60 according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing a configuration example of a mobile phone 50 that generates image data that is expressed in a transmitted manner and transmits the image data to another mobile phone 60.
  • the mobile phone 50 includes a central control unit 51, a communication image generation unit 52, an image memory 53, a radio unit 54, a speaker 55, an image display unit 56, and an image.
  • An input unit 57, an audio input unit 58, and an antenna 59 are provided.
  • Central control unit 51 controls mobile phone 50 as a whole.
  • the central control unit 51 is realized by, for example, a CPU that operates according to a program.
  • the program may be stored in advance in a storage device (not shown) such as ROM.
  • the image input unit 57 is realized by, for example, a camera, captures an image such as a speaker's face of the mobile phone 50, and stores the image data obtained by the capture in the image memory 53.
  • the image input unit 57 may shoot a moving image of the speaker or a still image of the speaker. In the following description, it is assumed that the image input unit 57 captures the moving image of the speaker and stores the image data of the moving image in the image memory 53.
  • the communication image generation unit 52 reads image data obtained by photographing from the image memory 53 and converts the image data into image data represented in an illustration. Then, the communication image generation unit 52 stores the converted image data in the image memory 53.
  • the image data before conversion by the communication image generation unit 52 is referred to as photographed image data
  • the image after conversion is referred to as illustration image data.
  • the communication image generation unit 52 performs a process such as reducing the number of colors of the image indicated by the captured image data with respect to the entire captured image data, and converts the image into illustration image data of an illustration-like image.
  • the image memory 53 stores captured image data and illustration image data.
  • the image display unit 56 displays image data according to the central control unit 51.
  • the image display unit 56 displays an image based on the illustration image data transmitted to the other mobile phone 60.
  • the voice input unit 58 is, for example, a microphone, and inputs a speaker's voice.
  • the wireless unit 54 transmits an illustration image via the antenna 59 in accordance with the central control unit 51. Data and voice data are transmitted to another mobile phone 60 (specifically, transmitted to the base station 91). In addition, the wireless unit 54 receives audio data and the like from the other mobile phone 60 via the antenna 59.
  • the speaker 55 outputs the voice of the other party (the speaker of the mobile phone 60) based on the audio data from the other mobile phone 60.
  • FIG. 3 is a block diagram showing a configuration example of the communication image generation unit 52 according to the first embodiment of the present invention.
  • the communication image generation unit 52 includes a first color conversion unit 2, a chromaticity memory 32, a first brightness memory 31, a filtering unit 4, and a second brightness.
  • a memory 33 and a second color converter 5 are provided.
  • the first color conversion unit 2, the filtering unit 4, and the second color conversion unit 5 may be implemented by a CPU mounted on the mobile phone 50 and operating according to software.
  • the first color conversion unit 2, the filtering unit 4, and the second color conversion unit 5 may each be realized by a dedicated LSI that is separate from the CPU.
  • the first color conversion unit 2, the filtering unit 4, and the second color conversion unit 5 are more preferable than a power realized by a CPU that operates according to software.
  • the photographed image data 1 is image data of a color image photographed by the image input unit 57 (see FIG. 2).
  • the photographed image data 1 is image data represented by an RGB representation using the three primary colors of RGB.
  • Each pixel of the captured image data 1 is represented by an 8-bit value for each of R (red), G (green), and B (blue). That is, R, G, and B in each pixel take values from 0 to 255.
  • the illustration image data 6 is image data obtained as a result of image processing performed on the captured image data 1 by the communication image generation unit 52, and is image data indicating a pictorial image.
  • the illustration image data 6 is assumed to be image data of RGB representation expressed by each pixel power GB.
  • the first color conversion unit 2 reads the captured image data 1 with the image memory 53 (see FIG. 2) force.
  • the first color conversion unit 2 converts the component of the photographed image data 1 (the component representing the photographed image data 1; in this example, the RGB component) into a brightness component and a chromaticity component for each pixel. Do . At this time, the first color conversion unit 2 converts the lightness component and the chromaticity component in a color space in which the chromaticity (saturation and hue) does not change even when the lightness changes or in a color space in which the change in chromaticity is small. . As a result, the first color conversion unit 2 separates the captured image data 1 into a brightness component and a chromaticity component.
  • a color space with little change in chromaticity even when the brightness changes is: “When the brightness reaches the maximum value that the brightness can take, the chromaticity range does not become zero (it does not converge to one point). ) "Color space”.
  • the color space of the YCrCb representation when the brightness reaches the maximum value that the brightness can take, it converges to the range power of the chromaticity and only white can be expressed. Therefore, the color space of YCrCb expression does not correspond to “a color space with little change in chromaticity even if the brightness changes”.
  • the color space of L * a * b * and L * u * v * expressions does not correspond to “a color space with little change in chromaticity even if the brightness changes”.
  • the first color conversion unit 2 converts each pixel of the captured image data 1 represented by the RGB representation of the three primary colors into a brightness component and a chromaticity component in the HSV color space.
  • the HSV color space is a color space in which the chromaticity does not change even if the lightness changes.
  • the chromaticity component in the H SV color space includes hue and saturation.
  • the hue, saturation, and brightness in the HSV color space are represented by H, S, and V, respectively.
  • the first color conversion unit 2 represents the hue H, saturation S, and brightness V of each pixel obtained by the conversion by, for example, an 8-bit value (a value from 0 to 255).
  • image data having the data power of the lightness component V is referred to as a lightness image
  • image data having a data power of the chromaticity components (hue H and saturation S) is referred to as a chromaticity image.
  • the first color conversion unit 2 stores the chromaticity image obtained by the conversion process in the chromaticity memory 32 and stores the lightness image in the first lightness memory 31.
  • the chromaticity memory 32 stores a chromaticity image obtained by the conversion processing by the first color conversion unit 2.
  • the first brightness memory 31 stores the brightness image obtained by the conversion process by the first color conversion unit 2.
  • the filtering unit 4 performs a spatial filtering process on the brightness image (that is, data of brightness V) stored in the first brightness memory 31. As a result, the derived data is V ′. The filtering process by the filtering unit 4 will be described later. The filtering unit 4 converts the data V, derived by the filtering process, into the second brightness memory 33.
  • V brightness image
  • the filtering unit 4 converts the data V, derived by the filtering process, into the second brightness memory 33.
  • the second brightness memory 33 stores the data V derived by the filtering unit 4.
  • the second color conversion unit 5 uses the data V ′ stored in the second lightness memory 33 as the lightness component, and this data V ′ and the chromaticity image stored in the chromaticity memory 32 (that is, , Hue H and saturation S data), the inverse conversion process of the conversion process of the first color conversion unit 2 is performed. That is, the second color conversion unit 5 converts the image data represented by the brightness component and the chromaticity component in the HSV color space into image data of RGB representation represented by RGB.
  • the second color conversion unit 5 stores the image data obtained by the inverse conversion process in the image memory 53 (see FIG. 2) as illustration image data 6.
  • the mobile phone 60 includes, for example, a central control unit 51, a radio unit 54, a speaker 55, an image display unit 56, an audio input unit 58, and an antenna 59 in the same manner as the mobile phone 50. It is the composition provided.
  • Central control unit 51 of mobile phone 60 receives image data and audio data by wireless unit 54 and antenna 59. Further, the central control unit 51 of the mobile phone 60 transmits a signal such as voice data through the radio unit 54 and the antenna 59. The central control unit 51 of the mobile phone 60 displays an image on the image display unit 56 based on the received image data.
  • FIG. 4 illustrates the operation of the mobile phone 50 that generates the illustration image data and transmits it to the other mobile phones 60 out of the mobile phones 50 and 60 according to the first embodiment of the present invention. It is a flowchart to explain.
  • the central control unit 51 of the mobile phone 50 causes the image input unit 57 to capture a moving image of the face of the speaker, for example, and captures the captured image data of the moving image.
  • the process to be stored in the image memory 53 is performed (step Sl).
  • the image input unit 57 captures a moving image of the speaker's face according to the central control unit 51 and stores the captured image data of the moving image in the image memory 53.
  • the communication image generation unit 52 reads the captured image data from the image memory 53, converts the captured image data into illustration image data, and stores the illustration image data in the image memory 53 (step S1). S2).
  • the central control unit 51 reads the illustration image data from the image memory 53, and causes the wireless unit 54 to transmit the illustration image data (step S3). At this time, the central control unit 51 causes the radio unit 54 to transmit the illustration image data together with the audio data of the audio input to the audio input unit 58.
  • the radio unit 54 transmits illustration image data and audio data to another mobile phone 60 in accordance with the central control unit 51.
  • the cellular phone 50 repeats the processes of steps S1 to S3 described above until the call is finished. Further, while the processes of steps S1 to S3 are repeated, the central control unit 51 causes the image display unit 56 to display an image based on the transmitted illustration image data. By this display, the central control unit 51 can show the speaker what kind of image is displayed on the mobile phone of the other party. In addition, while the processes of steps S1 to S3 are repeated, the central control unit 51 displays on the image display unit 56 a GUI that prompts the speaker to instruct the start and end of image display based on the transmitted illustration image data. You may let them. In this case, when an image display start instruction is input via the GUI, the central control unit 51 starts displaying an image based on the transmitted illustration image data. When the end instruction is input, the central control unit 51 ends the display.
  • the other mobile phone 60 receives illustration image data and audio data from the mobile phone 50. Then, the mobile phone 60 displays the moving image of the speaker of the mobile phone 50 based on the received illustration image data, and outputs the speaker's voice from the speaker.
  • the image input unit 57 of the mobile phone 50 captures, for example, a moving image of the speaker's face according to the central control unit 51.
  • the image input unit 57 may shoot a still image of the speaker's face according to the central control unit 51 and store the captured image data of the still image in the image memory 53.
  • the communication image generation unit 52 generates still image data as illustration image data
  • the central control unit 51 causes the wireless unit 54 to transmit the illustration image data.
  • the mobile phone 60 that has received the illustration image data displays a still image of the speaker of the mobile phone 50 based on the illustration image data.
  • the first color conversion unit 2 reads the photographed image data 1 expressed in RGB representation from the image memory 53 (see Fig. 2), the first color conversion unit 2 extracts the components (R, G, B) of the photographed image data 1 For each pixel, conversion is made to the brightness component and chromaticity component in the HSV color space.
  • FIG. 5 is a diagram for explaining the HSV color space.
  • the saturation (sometimes called saturation) S is expressed by the distance of the V-axis force.
  • the hue H and the saturation S do not change.
  • the first color conversion unit 2 performs conversion processing from the RGB component of the photographed image data 1 to the brightness component and chromaticity component in the HSV color space using the following conversion formula. Further, as already described, this conversion process may be performed for each pixel. However, in the following conversion equations, R, G, B, H, S, V are assumed to take values from 0 to 1. Therefore, when R, G, and B are represented by 8 bits, pre-processing is performed so that the values of R, G, and B are in the range of 0 to 1, and the following conversion formula is applied. That's fine. In addition, when H, S, and V are represented by 8 bits, conversion may be performed so that H, S, and V obtained by the following conversion formula are represented by 8 bits.
  • max (R, G, B) represents the maximum value among the values of R, G, B. That is, the maximum value among the values of R, G, and B is the brightness V.
  • min (R, G, B) represents the minimum value among the values of R, G, B. That is, let X be the minimum value among R, G, and B values.
  • the first conversion unit 2 causes the chromaticity memory 32 to store chromaticity images, that is, image data that also serves as data of chromaticity components (hue H and saturation S). Further, the first conversion unit 2 stores the brightness image, that is, the image data having the data power of the brightness component V in the first brightness memory 31.
  • the filtering unit 4 performs a filtering process on the lightness component V stored in the first lightness memory 31, and derives data V '.
  • the filtering unit 4 generates a contour by emphasizing the change in brightness, and executes a ring-type filtering process that does not reflect subtle changes such as shading of a photographic image.
  • the filtering unit 4 realizes the filtering process as described above by calculating V ′ using the arithmetic expression of the convolution operation shown in the following Expression 1.
  • each pixel is expressed using the coordinate values (X, y) of the X and y coordinates. Then, the pixel value of each pixel (X, y) included in the brightness image (that is, the brightness of each pixel) is expressed as V (x, y). In the above equation, the pixel value of the pixel (X, y) obtained by filtering on V (x, y) is V ′ (X, y).
  • the coefficient mag in the above arithmetic expression is a coefficient that affects all filter values.
  • the filter value is a value taken by the kernel f (i, j) of the convolution operation.
  • mag a sufficiently large value for mag. For example, a value of 32 or more may be used as mag.
  • FIG. 6 is a diagram for explaining an example of the kernel f (i, j) of the convolution operation.
  • the kernel has a positive value (filter value) at the center of the table illustrated in Fig. 6, a negative value (filter value) at the periphery of the table, and the sum of the filter values is positive. It only has to be.
  • Such a kernel does not have to be the same kernel as the kernel f (i, j) shown in FIG.
  • the value of f (i, j) is positive in the central part of the table, at least that i and j are neighboring values between the maximum and minimum possible values of i and j, respectively. At some point, f (i, j)> 0.
  • the value of f (i, j) is negative at the periphery of the table, at least when i is the maximum or minimum value that i can take, or when j is the maximum value that j can take This means that f (i, j) ⁇ 0 when the value is the minimum value. In other words, f (i, j) ⁇ 0 when at least one of j has the maximum or minimum value.
  • the values when at least one of j is at its maximum value (2) or minimum value (-2) are all shown on the outermost side of the table shown in FIG. The values are both negative. Therefore, the condition is that f (i, j) ⁇ 0 when at least one of j has the maximum value or the minimum value (f (i, j If the value of) is negative, the condition (! /) Is also satisfied.
  • the sum of the filter values being positive means that the sum of the values of f (i, j) corresponding to each i and j is positive. Since the sum of the values of f (i, j) shown in FIG. 6 is 1 and positive, the kernel illustrated in FIG. 6 also satisfies this condition.
  • the convolution operation is limited to the convolution operation using the same kernel as the kernel f (i, j) shown in Fig. 6 as long as it is a convolution operation using a kernel satisfying the above conditions. Absent.
  • a filter that is not isotropic with the value of the kernel and is isotropic is called a ring-type filter.
  • the filtering unit 4 performs the filtering process by executing the above convolution operation! ⁇ ⁇ ⁇ Once V is calculated for each pixel, the data V is stored in the second brightness memory 33.
  • the second color conversion unit 5 uses the data V 'stored in the second brightness memory 33 as the brightness component in the HSV color space, and converts the brightness component and the chromaticity component to the RGB component in the HSV color space.
  • the conversion is performed using the following conversion formula.
  • R, G, B, H, S, and V take values of 0 to 1. Therefore, when H, S, and V are represented by 8 bits, the second color conversion unit 5 is arranged so that the values of H, S, and V are in the range of 0 to 1. Process it and apply the following conversion formula.
  • the second color conversion unit 5 represents R, G, B (R, G, B in the illustration image data 6) in 8 bits by using the following conversion formula. Convert B to represent it in 8 bits.
  • N V- (1-(S -F))
  • the second color conversion unit 5 determines R, G, and B as follows according to the value of I.
  • the second color conversion unit 5 converts the data V 'having hue H, saturation S, and lightness corresponding to each pixel into R, G, and B as described above. Image data 6 is generated. Then, the second color conversion unit 5 stores the illustration image data 6 in the image memory 53. With the above processing, step S2 is completed.
  • step S2 by performing the conversion process in step S2 as described above, the number of colors of the image indicated by the image data is reduced, and the photographed image data 1 is an illustration image data of an illustration-like image.
  • the mobile phone 50 converts the image data of the actually captured image into illustration image data and transmits it to the mobile phone 60. Then, a pictorial (illustration-like) image is displayed based on the mobile phone's 60 power S illustration image data.
  • the image data generation unit is realized by the image input unit 57 of the mobile phone 50.
  • the image data conversion unit is realized by the communication image generation unit 52 of the mobile phone 50.
  • the image display unit is realized by the image display unit 56 of the mobile phone 60.
  • the filtering process is executed only for the lightness V among the components obtained by the conversion by the first color conversion unit 2, and for the chromaticity (hue H and saturation S). , Not doing the processing.
  • the saturation level S is also processed.
  • enhancement processing that does not change the value of S or changes it to a larger value is performed on the saturation S.
  • the processing of the communication image generating unit 52 is different from that shown in FIG. 3, but the other points are the same as those in the first embodiment already described.
  • FIG. 7 is a block diagram showing a configuration example of the communication image generation unit 52 according to Modification 1 of the first embodiment of the present invention.
  • the communication image generation unit 52 includes a first color conversion unit 2, a hue memory 35, a first saturation memory 34, a first lightness memory 31, and an emphasis.
  • a processing unit 7, a filtering unit 4, a second saturation memory 36, a second lightness memory 33, and a second color conversion unit 5 are provided. Note that components that perform the same processing as in FIG. 3 are assigned the same reference numerals as in FIG. 3, and descriptions thereof are omitted.
  • the first color conversion unit 2, the enhancement processing unit 7, the filtering unit 4, and the second color conversion unit 5 may be realized by a CPU mounted on the mobile phone 50.
  • the first color conversion unit 2, the enhancement processing unit 7, the filtering unit 4, and the second color conversion unit 5 may each be realized by an LSI that is separate from the CPU.
  • the first color converter 2 is similar to the first color converter 2 shown in FIG.
  • the component is converted into a lightness component and a chromaticity component for each pixel.
  • the chromaticity component includes the hue and the saturation, but the first color conversion unit 2 separates the hue and the saturation and stores them in the memory.
  • the first color conversion unit 2 stores the hue H data of each pixel obtained by the conversion process of the captured image data 1 in the hue memory 35, and the saturation degree S data of each pixel is stored in the first color conversion unit 2. It is stored in the saturation memory 34 of 1.
  • the first color conversion unit 2 stores the lightness V data of each pixel in the first lightness memory 31 in the same manner as described above. That is, in the first modification, the first color conversion unit 2 converts the photographed image data 1 and separates it into lightness, saturation, and hue.
  • the first color conversion unit 2 does not change the chromaticity (saturation and hue) even if the lightness changes.
  • V color space or chromaticity (saturation and hue) changes little! /, Converted to lightness and chromaticity components in the color space.
  • a color space with little change in chromaticity (saturation and hue) even when the lightness changes is defined as "When the lightness reaches the maximum value that lightness can take, the chromaticity ( This means a color space where the range of saturation and hue does not become zero (does not converge to one point).
  • the hue memory 35 stores the data of the hue component H obtained by the conversion process by the first color conversion unit 2.
  • the first saturation memory 34 stores data of the saturation component S obtained by the conversion process by the first color conversion unit 2.
  • the first lightness memory 31 stores lightness component V data obtained by the conversion processing by the first color conversion unit 2.
  • the enhancement processing unit 7 performs an enhancement process that does not change the value of S or an enhancement process that changes it to a larger value in accordance with each value of S stored in the first saturation memory 34.
  • the degree of saturation S after enhancement processing is expressed as S '.
  • the enhancement processing by the enhancement processing unit 7 will be described later.
  • the enhancement processing unit 7 stores the saturation S ′ after the enhancement in the second saturation memory 36.
  • the second saturation memory 36 stores the data S 'derived by the enhancement processing unit 7.
  • the second color converter 5 uses the data V ′ stored in the second brightness memory 33 as the brightness component, and V
  • the second color conversion unit 5 converts the image data represented by the brightness component and the chromaticity component in the HSV color space into image data of the three primary colors represented by RGB.
  • the first color conversion unit 2 When the first color conversion unit 2 (see Fig. 7) reads captured image data 1 expressed in RGB representation of the three primary colors from the image memory 53 (see Fig. 2), the first color conversion unit 2 converts the captured image data 1 into a pixel. Each time, it is converted into a brightness component V, a saturation component H, and a hue component H in the H SV color space.
  • the conversion process by the first color conversion unit 2 is the same as the conversion process by the first color conversion unit 2 shown in FIG.
  • the first conversion unit 2 stores the hue component H data of each pixel in the hue memory 35.
  • the first conversion unit 2 stores the data of the saturation component S of each pixel in the first saturation memory 34 and the data of the brightness component V of each pixel in the first brightness memory 31.
  • the filtering unit 4 performs a filtering process, converts the data of the lightness component V into V, and stores the data V in the second lightness memory 33.
  • This filtering process is the same as the filtering process by the filtering unit 4 shown in FIG.
  • the enhancement processing unit 7 performs enhancement processing on the saturation component S of each pixel stored in the first saturation memory 34, and uses the saturation component S 'after enhancement processing as the second saturation level. Store in memory 36.
  • the enhancement processing unit 7 executes the enhancement processing as follows, for example.
  • the enhancement processing unit 7 causes the S' to be gentle due to the change in the value of S.
  • S ′ determined by such a function For example, values of S corresponding to 256 types of S values from 0 to 255 are calculated in advance. Each S value and the value of S ′ corresponding to the S value are associated with each other and stored in advance in a lookup table (not shown). The enhancement processing unit 7 may derive the value of S ′ corresponding to the value of S by referring to this lookup table.
  • the second color conversion unit 5 uses the data V ′ stored in the second brightness memory 33 as the brightness component, and V ′ The inverse of the conversion process of the first color conversion unit 2 using the data of the saturation component S, stored in the second saturation memory 35 and the data of the hue component H stored in the hue memory 35. Perform the conversion process.
  • the conversion process by the first color conversion unit 2 is the same as the conversion process by the second color conversion unit 5 shown in FIG. 3 except that S ′ is used instead of the saturation component S.
  • the communication image generation unit 52 may be realized by a CPU mounted on the mobile phone 50, or may be realized by an LSI separate from the CPU.
  • FIG. 8 is a flowchart for explaining an operation example of the communication image generation unit 52 according to the second modification. It is a chart.
  • FIG. 9 is a diagram for explaining a conversion example of representative colors converted by the communication image generation unit 52 according to the second modification. Here, it is assumed that the photographed image data 1 is represented by RGB representation.
  • the communication image generation unit 52 when the communication image generation unit 52 reads captured image data from the image memory 53, it creates a color histogram of the captured image data, for example, the color included in the captured image data. As a representative color, the first to Nth colors are selected (step Sl l). The method of selecting the N representative colors is not limited to this, and the color histogram power can be selected at random. It is also possible to devise such that colors that are close to each other are not selected as the N representative colors. Note that the communication image generation unit 52 holds the photographed image data read from the image memory 53 between step S11 and step S14.
  • FIG. 9 (a) An example of the N representative colors selected in step S11 is shown in FIG. 9 (a). As shown in Fig. 9 (a), for example, if the Nth most common color included in the captured image data is selected as the representative color, the N colors are represented by a combination of G and B, respectively. Is done.
  • the communication image generation unit 52 converts the N representative colors represented by the combination of R, G, and B into HSV representation (step S12).
  • step S12 the read captured image data itself is not converted, but the combinations of N R, G, and B representing the representative colors are converted into HSV representations.
  • FIG. 9 (b) An example of the N representative colors converted in step S12 is shown in FIG. 9 (b). Each color is represented by a combination of 11, S, and V, respectively.
  • the communication image generating unit 52 emphasizes the respective saturations S in the N representative colors (step S13). For example, the communication image generation unit 52 calculates the saturation S ′ after enhancement by multiplying the saturation S by a real coefficient ks of 1.0 or more. That is, the saturation S ′ after enhancement is obtained by the following calculation.
  • the communication image generation unit 52 converts the N representative colors after step S13 represented in HSV representation into RGB representation (step S14).
  • FIG. 9 (d) An example of N representative colors converted in step S14 is shown in Fig. 9 (d). As shown in FIG. 9 (d), the representative color after step S14 is represented by a combination of R, G, and B.
  • step S14 the communication image generation unit 52 holds the captured image data read from the image memory 53 as it is.
  • step S15 the communication image generation unit 52 converts the captured image data.
  • step S15 the communication image generation unit 52 determines the pixels based on R, G, and B of each pixel of the captured image data and N representative colors R, G, and B obtained in step S14. Each time, the representative color with the closest RGB Euclidean distance is selected. Then, the communication image generating unit 52 replaces the R, G, and B values of each pixel with the R, G, and B values of the representative color selected as the representative color having the closest RGB Euclidean distance.
  • the communication image generation unit 52 stores the image data converted from the captured image data in the image memory as illustration image data (step S 15).
  • step S15 the color of each pixel in the captured image data becomes one of N representative colors, and the number of colors decreases.
  • the image represented by the image data (last image data) after the processing in step S15 is an illustration-like image.
  • the captured image data is not stored during steps S11 to S14. Force held as it is While the processing of steps S11 to S14 is being performed, the processing for blurring the captured image data may be performed.
  • Figure 10 shows the flowchart for this case.
  • step S15 The processing from step S11 to step S15 shown in FIG. 10 is the same as each processing shown in FIG.
  • the communication image generation unit 52 performs a blurring process on the captured image data using a two-dimensional filter (step S16). Specifically, for each pixel, the communication image generation unit 52 replaces the R value of the pixel with the average value of the R values of the pixel and the surrounding pixels. Similarly, the communication image generation unit 52 replaces the G and B values of each pixel with the average value of the G and B values of the pixel and the surrounding pixels of the pixel, and thereafter, Step S15 Execute the process.
  • the communication image generating unit 52 multiplies the saturation C by a real coefficient kc greater than 1.0. Calculate saturation C 'after enhancement. That is, the saturation C ′ after enhancement is obtained by the following calculation.
  • the upper limit of the degree of saturation C is stipulated, so C ′ obtained by the above equation can be used as the degree of saturation after enhancement processing.
  • the other enhancement processing described for saturation S can be used as well.
  • the conversion from the RGB representation to the representation of the uniform color space LCH may be performed by a known conversion process.
  • RGB representation may be converted into L * a * b * representation
  • L * a * b * representation may be converted into L * C * abhab representation as described in Non-Patent Document 3.
  • C * ab in L * C * a bhab expression corresponds to saturation C in uniform color space LCH.
  • RGB representation may be converted to L * u * w representation, and power may also be converted to L * C * uvhuv representation.
  • L * C * uvhuv expression C * uv is equivalent to the saturation C in the uniform color space LCH.
  • L * C * abhab representation (L * C * uvhuv representation) to L * a * b * representation (L * u * v representation)
  • L * a * b * expression (L * u * v expression) to RG B expression.
  • the mobile phone 50 switches the image data to be transmitted from the illustration image data to the captured image data in response to a request from the mobile phone 60.
  • the mobile phone 50 generates image data to be transmitted by controlling parameters in illustration-like conversion to change the illustration degree of the illustration image data (the degree of conversion in the communication image generation unit 52). For example, in the case of color reduction processing, increasing N, the number of representative colors, makes it closer to the actual image, and decreasing it can increase the illustration level of the illustration image.
  • the filter and representative color parameters that best suit each requirement must be determined in advance so that multiple requests such as actual images, weak illustration images, and strong illustration images can be handled. Then, it is only necessary to generate image data to be transmitted by switching parameters according to a specified request.
  • the configuration of the third modification can be the same as that of the first embodiment described above or the first and second modifications thereof.
  • the central control unit 51 of the mobile phone 50 switches the image data to be transmitted to photographed image data in response to a request from the mobile phone 60, or the degree of conversion in the communication image generating unit 52 (illustration degree It also performs an action to change the sum (a).
  • the mobile phone 50 converts the captured image data into illustration image data and converts the illustration image data to the mobile phone 60, as in the first embodiment described above or its modifications 1 and 2. Send to.
  • the mobile phone 60 displays an illustration-like image based on the illustration image data. As a result, the speaker of the mobile phone 60 is watching the illustration image of the speaker of the mobile phone 50. You can make a call.
  • the speaker of the mobile phone 60 does not have the illustration-like image set by the speaker of the mobile phone 50. You may think that it is a habit of seeing an image of a phone 50 speaker.
  • the cellular phone 60 receives an instruction from the speaker to transmit an image data switching request to the cellular phone 50 via a key operation unit (not shown) during a call.
  • the cellular phone 60 transmits a request for switching an image to be transmitted to the cellular phone 50.
  • the central control unit of the cellular phone 60 may transmit a switching request to the radio unit. This switching request is transmitted to the mobile phone 50 via the base station 92, the network 93, and the base station 91.
  • central control unit 51 of mobile phone 50 When central control unit 51 of mobile phone 50 receives the switching request from mobile phone 60, it stops the conversion process (step S2 shown in FIG. 4) in communication image generation unit 52.
  • step S3 the central control unit 51 reads the captured image data from the image memory and causes the wireless unit 54 to transmit the captured image data.
  • the central control unit 51 causes the communication image generation unit 52 to change the illustration degree (conversion degree) and convert it into illustration image data in accordance with the switching request, and the communication image generation unit 52 converts the illustration image data.
  • the image data may be transmitted to the wireless unit 54.
  • the wireless unit 54 transmits the captured image data or the image data converted by the communication image generating unit 52 to the mobile phone 60 in accordance with the central control unit 51.
  • the image display unit 56 displays a screen prompting the speaker to input whether or not the transmission image data can be switched according to the switching request. May be displayed.
  • the central control unit 51 switches the transmission image data according to the switching request only when information indicating that the transmission image data may be switched as requested. For example, switch from illustration image data to captured image data. Alternatively, the degree of conversion when converting to illustration image data is switched.
  • the mobile phone 60 receives the transmission image data from the mobile phone 50 and receives the received transmission image. Based on the image data, an image from the mobile phone 50 is displayed. As a result, the speaker of the mobile phone 60 can see the image taken of the speaker of the mobile phone 50 as it is, or see the image whose degree of illustration has changed according to the transmitted switching request. Can do.
  • FIG. 11 is a diagram showing a configuration of a video communication system according to Modification 3 of the first embodiment of the present invention.
  • a charge management server 70 is connected to a network 93 between base stations 91 and 92.
  • the charge management server 70 calculates a communication charge and manages which mobile phone speaker requests the communication charge.
  • the fee management server 70 is installed by the carrier.
  • image data, audio data, and switching requests transmitted / received during a call are routed through the charge management server 70.
  • FIG. 12 is a block diagram showing a configuration example of the charge management server 70 according to the third modification of the first embodiment of the present invention.
  • the charge management server 70 includes a control unit 71, a communication charge database 72, a storage device 73, and a network interface 74.
  • the control unit 71 operates according to a program stored in the storage device 73.
  • the network interface 74 is an interface with the network 93 (see FIG. 11), and the charge management server 70 is connected to the network 93 via the network interface 74.
  • the communication fee database 72 stores a communication fee for which payment is required for each speaker of the mobile phones 50 and 60.
  • the control unit 71 calculates a communication fee according to the amount of data transmitted and received and the call time. Then, the control unit 71 stores the communication fee information in the communication fee database 72 in correspondence with the speaker who should request the communication fee. Remind me.
  • Control unit 71 determines that the communication fee generated until the switching request is received is a fee that should be requested to the speaker of mobile phone 50 that requested the start of communication. In addition, the control unit 71 determines that a part (or all) of the communication fee generated after receiving the switching request is a fee to be requested from the speaker of the mobile phone 60 that transmitted the switching request, and the remaining The communication fee is determined to be a fee that should be requested to the speaker of the mobile phone 50 that requested the start of communication.
  • FIG. 13 (a) is a diagram for explaining an example of a communication fee when transmitting / receiving illustration image data and a communication fee when transmitting / receiving photographed image data. Note that the communication fee shown in Fig. 13 is the communication fee per minute.
  • the communication fee for sending the illustration image data from the mobile phone 50 to the charge management server 70 is 3 yen per minute. It is assumed that the communication charge from the charge management server 70 to the mobile phone 60 of the other party is 3 yen per minute. Therefore, the communication charge from the mobile phone 50 to the mobile phone 60 is 6 yen per minute.
  • the captured image data having a large number of colors has a larger amount of data, so the communication fee is set higher.
  • the control unit 71 calculates the communication fee so as to request the speaker of the mobile phone 50 on the image data transmission side to pay 6 yen per minute.
  • the communication fee is stored in the communication fee database 72 as the amount required for the speaker of the mobile phone 50.
  • the speaker of the mobile phone 60 that receives the image data does not bear the communication fee during this period.
  • FIG. 13 (b) is a diagram for explaining an example of the communication fee after the mobile phone 60 transmits the image data switching request.
  • modes 1 to 3 shown in Fig. 13 (b) The communication fee distribution mode after the control unit 71 of 0 receives the switching request is shown.
  • Control unit 71 calculates a communication fee for each speaker according to any one of modes 1 to 3 as shown in FIG. 13 (b), and stores it in communication fee database 72. Further, the control unit 71 may calculate the communication fee according to other modes.
  • mode 1 the speaker of the mobile phone 50 is requested to pay the same amount (6 yen per minute) as before the switch request is received, and the speaker of the mobile phone 60 that sent the switch request receives an image. This is a mode of requesting a communication fee (4 yen per minute) increased by switching data!].
  • Mode 2 is a mode in which the speaker of mobile phone 60 that has transmitted the switching request is requested for the entire communication fee (10 yen per minute) after the switching request is transmitted.
  • the speaker of the mobile phone 50 that transmits the image data does not have to pay the communication fee after starting the transmission of the captured image data in response to the switching request.
  • Aspect 3 is a consideration for the speaker of the mobile phone 60 that sent the switching request for the full amount of communication fee (10 yen per minute) and the photographed image that can be seen as it is after sending the switching request ( Is 10 yen per minute). That is, it asks the speaker of the mobile phone 60 for 20 yen per minute.
  • the communication fee for sending captured image data is 10 yen per minute.
  • the switching request transmission unit is realized by the central control unit and the radio unit of the mobile phone 60.
  • the transmission data switching unit is realized by the central control unit 51 of the mobile phone 50.
  • the communication fee calculation unit is realized by the control unit 71 of the fee management server 70.
  • the mobile phone 50 converts the image data of the image of the speaker actually photographed into illustration image data and transmits it to the mobile phone 60. Therefore, good communication can be realized.
  • each of the mobile phones 50 and 60 has the same configuration including the image input unit 57 and the communication image generation unit 52, and each of the mobile phones 50 and 60 has an image based on the received image data. It is sufficient if it is configured to display.
  • the mobile phone 50 (see FIG. 1) that transmits image data converts the captured image data into illustration image data.
  • the mobile phone 60 (see FIG. 1) that receives the image data receives the captured image data from the mobile phone 50 and converts the captured image data into the illustration image data. Convert. Also in the second embodiment, as in the case shown in FIG. 1, the mobile phones 50 and 60 transmit and receive data via the base station 91, the network 93, and the base station 92.
  • the mobile phone 50 does not have to include the communication image generation unit 52.
  • Other configurations are the same as those shown in FIG.
  • FIG. 14 is a block diagram showing a configuration example of the mobile phone 60 on the image data receiving side according to the second embodiment of the present invention. Note that components similar to those shown in FIG.
  • the mobile phone 60 on the receiving side does not have to include an image input unit.
  • the configuration of the communication image generation unit 52 of the mobile phone 60 is the same as that of the first embodiment or its modifications 1 to 3.
  • the central control unit 51 of the mobile phone 50 is connected to the image input unit 57, for example, the face of a speaker.
  • the moving image is photographed, and the captured image data of the moving image is stored in the image memory 53. This process is the same as step S1 in the first embodiment.
  • the central control unit 51 of the mobile phone 50 reads the captured image data from the image memory, and causes the wireless unit 54 to transmit the captured image data.
  • the wireless unit 54 transmits the captured image data to the mobile phone 60 according to the central control unit 51.
  • the mobile phone 50 repeats the above operation and transmits the captured image data to the mobile phone 60.
  • radio unit 54 (see FIG. 14) of mobile phone 60 on the receiving side receives photographed image data from mobile phone 50 via antenna 59. Then, the central control unit 51 of the mobile phone 60 stores the received captured image data in the image memory 53.
  • the communication image generation unit 52 of the mobile phone 60 reads the captured image data from the image memory 53, converts it into illustration image data, and stores the illustration image data in the image memory 53.
  • the conversion process to the illustration image data by the communication image generation unit 52 of the mobile phone 60 is the same as the conversion process from the photographed image data to the illustration image data in the first embodiment or the first to third modifications thereof.
  • the central control unit 51 reads illustration image data from the image memory 53 and causes the image display unit 56 to display an image based on the illustration image data. As a result, the speaker of the mobile phone 60 can see an illustration-like image.
  • the mobile phone 60 receives image data of an image of a speaker or the like actually taken from the mobile phone 50 and converts it into illustration image data. Then, the mobile phone 60 displays an illustration-like image based on the illustration image data.
  • the communication image generation unit 52 of the mobile phone 60 on the receiving side performs the conversion process in the same manner as in the first embodiment or the first to third modifications thereof, so that the processing load can be reduced.
  • the image data generation unit is realized by the image input unit 57 of the mobile phone 50.
  • the image data converter is realized by the communication image generator 52 of the mobile phone 60.
  • the image display unit is realized by the image display unit 56 of the mobile phone 60.
  • FIG. 15 is a diagram showing a configuration of a video communication system according to the third embodiment of the present invention.
  • the video communication system of the third embodiment is an image connected to a cellular phone 50, 60, base stations 91, 92, and a network 93 between the base stations 91, 92.
  • a conversion server 80 is an image connected to a cellular phone 50, 60, base stations 91, 92, and a network 93 between the base stations 91, 92.
  • the image conversion server 80 is installed by a carrier.
  • Mobile phone 50 and mobile phone 60 transmit and receive data via base station 91 and image conversion server 80 and base station 92 connected to network 93. Therefore, image data and audio data transmitted and received during a call pass through the image conversion server 80.
  • the image conversion server 80 converts photographed image data into illustration image data.
  • the mobile phone 50 transmits image data to the mobile phone 60.
  • the mobile phone 50 does not have to include the communication image generation unit 52.
  • Other configurations are the same as those shown in FIG.
  • the mobile phone 60 may be any mobile phone that can display image data received during a call.
  • the mobile phone 60 is configured to include a central control unit 51, a radio unit 54, a speaker 55, an image display unit 56, an audio input unit 58, and an antenna 59, for example, similar to the mobile phone 50.
  • the central control unit 51 of the mobile phone 60 receives image data and audio data through the radio unit 54 and the antenna 59. Further, the central control unit 51 of the mobile phone 60 transmits a signal such as voice data through the radio unit 54 and the antenna 59. Also, the central control unit 51 of the mobile phone 60 receives the received image data. The image is displayed on the image display unit 56 based on the data.
  • the mobile phone 50 transmits captured image data via the network 93 between the base stations 91 and 92.
  • the captured image data is converted into illustration image data by the image conversion server 80, and the mobile phone 60 receives the illustration image data.
  • the mobile phone 60 displays an illustration-like image of the speaker (speaker of the mobile phone 50) based on the illustration image data.
  • FIG. 16 is a block diagram showing a configuration example of the image conversion server 80 according to the third embodiment of the present invention.
  • the image conversion server 80 includes a control unit 81, a storage device 83, a network interface 84, a communication image generation unit 85, and an image memory 86.
  • the control unit 81 controls the entire image conversion server 80.
  • the control unit 81 is, for example, an arithmetic processing device that operates according to a program.
  • the storage device 83 stores a program.
  • the network interface 84 is an interface with the network 93 (see FIG. 15) between base stations, and the image conversion server 80 is connected to the network 93 via the network interface 84.
  • control unit 81 receives the captured image data transmitted by the mobile phone 50 and stores it in the image memory 86.
  • the control unit 81 transmits the illustration image data to the mobile phone 60.
  • the image memory 86 stores captured image data transmitted and received between the mobile phones 50 and 60.
  • the image memory 86 stores the illustration image data converted by the communication image generation unit 85 from the captured image data.
  • the communication image generation unit 85 reads photographed image data from the image memory 86 and converts the photographed image data into illustration image data. Then, the communication image generation unit 85 stores the illustration image data in the image memory 86.
  • the configuration of the communication image generation unit 85 is the same as that of the first embodiment or its modifications 1 to 3. Further, the communication image generation unit 85 is operated by the same arithmetic processing unit as the control unit 81. Realize it.
  • the image to be captured may be a still image.
  • the central control unit 51 (see FIG. 2) of the cellular phone 50 performs processing for causing the image input unit 57 to capture a moving image of the face of the speaker, for example, and storing the captured image data of the moving image in the image memory 53. Let it be done. This process is the same as step S1 in the first embodiment.
  • the central control unit 51 of the mobile phone 50 reads the captured image data from the image memory and causes the wireless unit 54 to transmit the captured image data.
  • the wireless unit 54 transmits the captured image data to the mobile phone 60 according to the central control unit 51.
  • the mobile phone 50 repeats the above operation and transmits the captured image data to the mobile phone 60.
  • the control unit 81 (see Fig. 16) of the image conversion server 80 receives the captured image data transmitted from the mobile phone 50 to the mobile phone 60 in the network 93 between the base stations 91 and 92.
  • the data is stored in the image memory 86.
  • the communication image generation unit 85 reads the captured image data from the image memory 86, and converts the captured image data into illustration image data.
  • the processing for converting the captured image data power into the illustration image data by the communication image generation unit 85 is the same as that in the first embodiment or its first to third modifications.
  • the communication image generation unit 85 causes the image memory 86 to store the illustration image data generated by the conversion process.
  • the control unit 81 reads the illustration image data generated by the communication image generation unit 85 from the image memory 86 and transmits it to the mobile phone 60.
  • the image conversion server 80 repeats the above operation and transmits the illustration image data to the mobile phone 60.
  • the mobile phone 60 When the mobile phone 60 receives the illustration image data from the image conversion server 80, the mobile phone 60 displays an illustration-like moving image of the speaker of the mobile phone 50 based on the illustration image data.
  • the image conversion server 80 displays an image of a speaker image actually captured.
  • Image data is received from the mobile phone 50 and converted into illustration image data. Then, the image conversion server 80 transmits illustration image data to the mobile phone 60, and the mobile phone 60 displays an illustration-like image of the speaker.
  • the communication image generation unit 85 of the image conversion server 80 performs the conversion process in the same manner as in the first embodiment or the first to third modifications thereof, the processing load can be reduced. Furthermore, in the third embodiment, since the mobile phones 50 and 60 do not need to convert the captured image data into illustration image data, the processing load on the mobile phones 50 and 60 can be reduced. .
  • the image data generation unit is realized by the image input unit 57 of the mobile phone 50.
  • the image data conversion unit is realized by the communication image generation unit 85 of the image conversion server 80.
  • the image display unit is realized by the image display unit of the mobile phone 60.
  • the transmission unit is realized by the control unit 81 and the network interface 84 of the image conversion server 80.
  • the image conversion server 80 switches the image data to be transmitted to the mobile phone 60 from the illustration image data to the captured image data in response to a request from the mobile phone 60.
  • the parameters in the illustration-like conversion are controlled to change the illustration degree of the illustration image data (the degree of conversion in the communication image generation unit 85). Image data to be transmitted may be generated.
  • the configurations of the mobile phones 50 and 60 and the configuration of the image conversion server 80 in Modification 1 are the same as those in the third embodiment.
  • the control unit 81 of the image conversion server 80 switches or switches the image data to be transmitted in response to a request from the mobile phone 60.
  • the operation of changing the degree of conversion (degree of illustration) in the two-case image generation unit 85 is also performed.
  • the mobile phone 50 transmits the captured image data to the mobile phone 60.
  • the control unit 81 of the image conversion server 80 receives the captured image data.
  • the communication image generation unit 85 converts the captured image data into illustration image data, and the control unit 81 transmits the illustration image data to the mobile phone 60.
  • the cellular phone 60 receives the illustration image data and displays an illustration-like image of the speaker.
  • the speaker of the mobile phone 60 wants to see the image that the illustration level of the illustration-like image set by the speaker of the mobile phone 50 is changed or the image taken by the mobile phone 50 as it is.
  • the cellular phone 60 receives an instruction from the speaker to transmit an image data switching request to the image switching server 80 via a key operation unit (not shown) during a call.
  • the cellular phone 60 transmits a switching request to the image conversion server 80.
  • the central control unit 51 of the cellular phone 60 may transmit a switching request to the wireless unit 54.
  • the control unit 81 of the image conversion server 80 stops the conversion process in the communication image generation unit 85. Then, the control unit 81 transmits the captured image data received from the mobile phone 50 to the mobile phone 60 as it is. Alternatively, in accordance with the switching request, the control unit 81 causes the communication image generation unit 85 to change the degree of illustration and (degree of conversion) to perform conversion to illustration image data, and to convert the image converted by the communication image generation unit 85. Send the data to the mobile phone 60.
  • control unit 81 may transmit, to the mobile phone 50, screen information that prompts an input as to whether or not to switch the transmission image according to the switching image when receiving the switching request.
  • the mobile phone 50 displays this screen, and transmits information to the image conversion server 80 when information indicating that switching is possible is input.
  • the control unit 81 of the image conversion server 80 switches the transmission image data to the image data of the illustration image data.
  • the control unit 81 switches the degree of conversion when converting to illustration image data.
  • the mobile phone 60 receives the captured image data from the image conversion server 80, and displays the image of the speaker of the mobile phone 50 based on the received captured image. As a result, mobile phone
  • the 60 speakers can see the image of the illustration level as specified and the image taken by the mobile phone 50.
  • the image conversion server 80 may manage communication charges for each speaker.
  • the image conversion server 80 manages communication charges for each speaker, the image conversion server 80
  • the configuration is as shown in FIG.
  • FIG. 17 is a block diagram showing a configuration example of the image conversion server 80 according to the first modification of the third embodiment of the present invention.
  • the image conversion server 80 also includes a communication fee database 82.
  • Other components are the same as those shown in FIG.
  • the communication fee database 82 stores a communication fee for which payment is required for each speaker of the mobile phones 50 and 60.
  • the control unit 81 calculates a communication fee according to the image data transmitted to the mobile phone 60 and the call time. Then, the control unit 81 stores the communication fee information in the communication fee database 82 in correspondence with the speaker who should request the communication fee.
  • the control unit 81 determines that the communication fee generated until the switching request is received is a fee that should be requested to the speaker of the mobile phone 50 that requested the start of communication. In addition, the control unit 81 determines that a part (or all) of the communication fee generated after receiving the switching request is a fee to be requested from the speaker of the mobile phone 60 that transmitted the switching request, and the remaining The communication charge of It is determined that the charge is to be requested from the speaker of the requested mobile phone 50.
  • FIG. 18 (a) is a diagram for explaining an example of communication charges when the image conversion server 80 executes conversion to illustration image data and when it does not. Note that the communication fee shown in Fig. 18 is the communication fee per minute.
  • the captured image data is transmitted from the mobile phone 50 to the image conversion server 80 regardless of whether or not the image conversion server 80 executes the conversion process.
  • the communication fee for the illustration image data from the image conversion server 80 to the mobile phone 60 is 1 minute. It is assumed that it is 3 yen per hit. Therefore, the communication fee from the cellular phone 50 to the cellular phone 60 when the image conversion server 80 performs the conversion process is 1 minute.
  • the image conversion server 80 does not execute the conversion to the illustration image data and sends the captured image data with a large amount of data to the mobile phone 60
  • the control unit 81 calculates the communication fee so as to request the speaker of the mobile phone 50 on the image data transmission side to pay 8 yen per minute until a switching request is received from the mobile phone 60.
  • the communication fee is stored in the communication fee database 82 as the amount required of the speaker of the mobile phone 50.
  • the speaker of the mobile phone 60 that receives the image data does not bear the communication fee during this period.
  • FIG. 18 (b) is a diagram for explaining an example of the communication fee after the mobile phone 60 transmits the image data switching request. Note that modes 1 to 3 shown in FIG. 18 (b) show the communication fee distribution mode after the control unit 81 of the image conversion server 80 receives the switching request. [0253] The control unit 81 calculates a communication fee for each speaker according to any one of modes 1 to 3 as shown in Fig. 18 (b) and stores the communication fee in the communication fee database 82. Further, the control unit 81 may calculate the communication fee according to other modes.
  • the speaker of the mobile phone 50 is requested to pay the same amount (8 yen per minute) as before receiving the switch request, and the speaker of the mobile phone 60 that sent the switch request receives an image. This is a mode of requesting a communication fee (2 yen per minute) that is increased by switching data!].
  • a mode 2 is a mode in which the speaker of the mobile phone 60 that transmitted the switching request is requested for the entire communication fee (10 yen per minute) after the switching request is transmitted.
  • the speaker of the mobile phone 50 that transmits the image data does not have to bear the communication fee after the image conversion server 80 starts transmitting the captured image data in response to the switching request.
  • Aspect 3 is a consideration for the speaker of the mobile phone 60 that transmitted the switching request, the full amount of the communication fee after transmission of the switching request (10 yen per minute) and the ability to see the captured image as it is ( This is a mode that requires 10 yen per minute). That is, it asks the speaker of the mobile phone 60 for 20 yen per minute.
  • the communication fee when the image conversion server 80 transmits the captured image data without executing the conversion is 10 yen per minute.
  • the switching request transmission unit is realized by the central control unit and the radio unit of the mobile phone 60.
  • the transmission data switching unit and the communication fee calculation unit are realized by the control unit 81 of the image conversion server 80.
  • the image conversion server 80 converts the image data of the actually captured image of the speaker into illustration image data and transmits it to the mobile phone 60.
  • the communication image generation unit 85 performs conversion to reduce the number of colors for the entire image data, so it is necessary to perform processing such as recognizing which region is a face and extracting feature points. It is possible to reduce the processing load. In addition, since the mobile phone does not execute the image data conversion process, the load on the mobile phone can be reduced.
  • the mobile phone 50 transmits image data
  • the mobile phone 60 The case where image data is received and an image is displayed has been described as an example.
  • the mobile phones 50 and 60 may transmit image data, and each mobile phone 50 and 60 may display an image of the other party.
  • each of the mobile phones 50 and 60 has the same configuration including the image input unit 57, and each of the mobile phones 50 and 60 displays an image based on the received image data. If it becomes, please.
  • the terminal that transmits and receives image data is a terminal other than the mobile phone (for example, PDA etc. may be sufficient.
  • terminals other than a portable terminal may be sufficient.
  • the present invention is applicable to a system for transmitting and receiving image data such as a videophone system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　携帯電話機の画像入力部（５７）は、話者の顔の画像を撮影し、撮影した画像データを画像メモリ（５３）に記憶させる。コミュニケーション画像生成部（５２）は、画像メモリ（５３）に記憶された画像データを読み込み、その画像データを、話者がイラスト的に表されたイラスト画像データに変換する。コミュニケーション画像生成部（５２）は、イラスト画像データを画像メモリ（５３）に記憶させる。中央コントロール部（５１）は、イラスト画像データを画像メモリ（５３）から読み込み、無線部（５４）およびアンテナ（５９）によってイラスト画像データを送信する。通話相手の携帯電話機は、イラスト画像データを受信し、その画像データに基づいて話者のイラスト的な画像を表示する。

Description

明 細 書
映像コミュニケーションシステム、端末、および画像変換装置
技術分野
[0001] 本発明は、テレビ電話機等の端末間で撮影対象の画像データを送受信する映像コ ミュ-ケーシヨンシステム、並びに映像コミュニケーションシステムに適用される端末 および画像変換装置に関する。
背景技術
[0002] テレビ電話サービスが一般的になりつつある。また、テレビ電話サービスの一態様と して、アニメーションキャラクター（以下、アニメキャラと称す)やアバターを通話相手の テレビ電話機に表示させる態様がある。通話相手のテレビ電話機が携帯電話機であ る場合のアニメキャラの例が、例えば、非特許文献 1に示されている。
[0003] また、特許文献 1には、カメラで撮影した話者の顔に基づ ヽて仮想のキャラクター ( 以下、仮想キャラと称す)を生成し、仮想キャラの画像データを通話相手に送信する テレビ電話機が記載されている。特許文献 1に記載の技術では、テレビ電話機は、力 メラで撮影された顔画像からどの領域が顔であるのかを認識し、さらに、顔画像から 眉、目、鼻、口といった特徴点を抽出して仮想キャラを生成する。
[0004] ところで、画像データの表現形式としては、 RGB表現が知られて 、る。また、色空 間としては、 HSV色空間や、均等色空間 LCH等が知られている。 RGB表現と HSV 表現との変換は、例えば、非特許文献 2に記載されている。
[0005] また、非特許文献 3には、 L*a*b*表現と L*C*abhab表現との変換や、 L*u*v*表 現と L*C*uvhuv表現との変換が記載されている。 C*abや C*uvは、均等色空間 LC Hにおける" C"の要素に相当し、 habや huvは、均等色空間 LCHにおける" H"の要 素に相当する。
[0006] し力しながら、通話相手のテレビ電話機にアニメキャラやアバターを表示させる通信 態様では、話者が本当に本人であることを通話相手に伝えにくいという課題がある。
[0007] また、通話相手によっては、コミュニケーションに悪影響を及ぼすという課題がある。
例えば、上司等の目上の人物が通話相手である場合に、アニメキャラやアバターを 上司等のテレビ電話機に表示させると、話者が不真面目であると上司等に判断され かねない。
[0008] また、アニメキャラやアバターでは、話者の微妙な表情や、話者の存在場所などの 環境を伝えることが困難であるという課題がある。
[0009] これらの課題を改善し、より良好なコミュニケーションを可能とすることが好ましい。
[0010] また、特許文献 1に記載された技術では、どの領域が顔であるのかを認識し、さらに
、特徴点を抽出する等の処理が必要となるため、処理負荷が高くなるという課題があ る。したがって、話者の表情の変化をリアルタイムに伝えるためには、高性能の CPU が必要となり、コストが上昇する。
特許文献 1：特開 2004 - 289254号公報（段落 0017— 0025)
非特許文献 l : "900iシリーズの「キャラ電」でできること"、 [online] ,平成 16年 1月 2
3日、アイティメディア株式会社、 [平成 17年 4月 19日検索]、インターネットく URL: http： / / www. ltmedia. co. jpz mobile/ articles/ 0401/ λύ/ news028. html>
非特許文献 2 :アルビ一'レイ'スミス（Alvy Ray Smith) , 「カラー ギヤメット トラン スフオーム ペアーズ（COLOR GAMUT TRANSFORM PAIRS)」，コンビュ 一タグラフィックス（Computer Graphics) , Vol. 12, pp. 12—19, 1978年 非特許文献 3 :高木幹雄、下田陽久， 「新編 画像解析ハンドブック」，東京大学出版 会， 2004年 9月 10日， p. 552- 555
発明の開示
[0011] そこで、本発明の目的は、テレビ電話機等の端末の話者が、通話相手との間でより 良好なコミュニケーションを実現することができる映像コミュニケーションシステム、端 末、および画像変換装置を提供することにある。
[0012] また、本発明の他の目的は、話者の微妙な表情や、話者の存在場所などの環境を 伝えるための処理負荷を低減することができる映像コミュニケーションシステム、端末
、および画像変換装置を提供することにある。
[0013] 本発明の第 1の態様による映像コミュニケーションシステムは、
撮影対象の画像データを送信する第 1の端末と、第 1の端末が送信した画像デー タを受信する第 2の端末とを有する映像コミュニケーションシステムであって、 第 1の端末は、
撮影対象の画像データを、撮影対象に含まれる画像特徴量を少なくとも用いて、撮 影対象を絵画的に表す画像データに変換する画像データ変換手段を有し、 第 2の端末は、
画像データ変換手段によって変換された画像データに基づいて画像を表示する画 像表示手段を有することを特徴とする。
[0014] 以上のような映像コミュニケーションシステムによれば、第 1の端末の画像データ変 換手段が、撮影対象の画像データを、撮影対象に含まれる画像特徴量を少なくとも 用 、て撮影対象を絵画的に表す画像データに変換し、第 2の端末の画像表示手段 力 画像データ変換手段によって変換された画像データに基づ 、て画像を表示する
[0015] 従って、撮影対象を絵画的に表す画像を第 2の端末に表示させることができる。そ の結果、第 1の端末の話者が本人であることを第 2の端末の話者に伝えることができ る。また、第 2の端末の話者が目上の者であったとしても不真面目な印象を与えること がない。よって、良好なコミュニケーションを実現することができる。
[0016] なお、第 1の端末は、
撮影対象の画像を撮影し、撮影対象の画像データを生成する画像データ生成手 段をさらに有し、
画像データ変換手段は、画像データ生成手段によって生成された画像データを変 換する構成であってもよい。
[0017] また、第 2の端末は、
第 2の端末の話者の操作に応じて、第 1の端末に対して、画像データの切替要求を 送信する切替要求送信手段をさらに有し、
第 1の端末は、
切替要求を受信したときに、切替要求に基づき画像データ変換手段における変換 の程度を制御する力 あるいは、画像データ変換手段による変換を停止し、画像デ ータ変換手段によって変換された画像データまたは画像データ生成手段によって生 成された画像データを第 2の端末に送信する送信データ切替手段をさらに有する構 成であってもよい。
[0018] また、第 1および第 2の端末の話者に要求する通信料を計算するとともに、第 2の端 末から第 1の端末に送信される切替要求を受信する料金管理サーバをさらに有し、 料金管理サーバは、
切替要求を受信した後に第 1および第 2の端末の話者に対して要求する通信料を 計算する通信料計算手段を有する構成であってもよ ヽ。
[0019] また、画像データ変換手段は、撮影対象の画像データにおける色の数を減少させ て、画像データを、撮影対象を絵画的に表す画像データに変換する構成であっても よい。
[0020] また、画像データ変換手段は、撮影対象の画像データにおける各画素毎に変換を 行う構成であってもよい。
[0021] そのような構成によれば、各画素毎に変換を行うので、特定の領域を認識する等の 処理を行う必要がなぐ処理負荷を低減することができる。
[0022] 本発明の第 2の態様による映像コミュニケーションシステムは、
撮影対象の画像データを送信する第 1の端末と、第 1の端末が送信した画像デー タを受信し、画像データを変換する画像変換装置と、画像変換装置によって変換さ れた画像データを受信する第 2の端末とを有する映像コミュニケーションシステムであ つて、
画像変換装置は、
撮影対象の画像データを、撮影対象に含まれる画像特徴量を少なくとも用いて、撮 影対象を絵画的に表す画像データに変換する画像データ変換手段を有し、 第 2の端末は、
画像データ変換手段によって変換された画像データに基づいて画像を表示する画 像表示手段を有することを特徴とする。
図面の簡単な説明
[0023] [図 1]本発明の第 1の実施形態の映像コミュニケーションシステムの構成を示す図で ある。 圆 2]本発明の第 1の実施形態に係る携帯電話きのうち話者をイラスト的に表した画 像データを生成して他の携帯電話機に送信する携帯電話機の構成例を示すブロッ ク図である。
圆 3]本発明の第 1の実施形態に係るコミュニケーション画像生成部の構成例を示す ブロック図である。
[図 4]本発明の第 1の実施形態に係る携帯電話機のうち画像データを生成して他の 携帯電話機に送信する携帯電話機の動作例を説明するフローチャートである。 圆 5]HSV色空間を説明する図である。
[図 6]畳み込み演算のカーネル f (i, j)の例を説明する図である。
圆 7]本発明の第 1の実施形態の変形例 1に係るコミュニケーション画像生成部の構 成例を示すブロック図である。
圆 8]本発明の第 1の実施形態の変形例 2に係るコミュニケーション画像生成部の動 作例を説明するフローチャートである。
圆 9]本発明の第 1の実施形態の変形例 2に係るコミュニケーション画像生成部により 変換される代表色の変換例を説明する図である。
圆 10]本発明の第 1の実施形態の変形例 2に係るコミュニケーション画像生成部の他 の動作例を説明するフローチャートである。
圆 11]本発明の第 1の実施形態の変形例 3の映像コミュニケーションシステムの構成 を示す図である。
圆 12]本発明の第 1の実施形態の変形例 3に係る料金管理サーバの構成例を示す ブロック図である。
[図 13]本発明の第 1の実施形態の変形例 3の映像コミュニケーションシステムにおけ る通信料の例を説明する図である。
圆 14]本発明の第 2の実施形態に係る携帯電話機のうち画像データ受信側の携帯 電話機の構成例を示すブロック図である。
圆 15]本発明の第 3の実施形態の映像コミュニケーションシステムの構成を示す図で ある。
圆 16]本発明の第 3の実施形態に係る画像変換サーバの構成例を示すブロック図で ある。
[図 17]本発明の第 3の実施形態の変形例 1に係る画像変換サーバの構成例を示す ブロック図である。
[図 18]本発明の第 3の実施形態の変形例 1の映像コミュニケーションシステムにおけ る通信料の例を説明する図である。
発明を実施するための最良の形態
[0024] 以下、本発明を実施するための最良の形態について図面を参照して説明する。な お、以下の説明では、端末が携帯端末である場合を例に挙げて説明する。また、携 帯端末には様々な種類があるが、以下の説明では、携帯端末が携帯電話機である 場合を例に挙げて説明する。
[0025] [第 1の実施形態]
図 1は、本発明の第 1の実施形態の映像コミュニケーションシステムの構成を示す 図である。
[0026] 図 1に示すように、本発明の第 1の実施形態の映像コミュニケーションシステムは、 携帯電話機 50, 60と、基地局 91, 92とを備える。
[0027] 携帯電話機 50, 60は、話者等の撮影対象をイラスト的 (絵画的）に表した画像デー タを送受信しながら、通話を行うことが可能である。
[0028] 以下、説明の便宜上、携帯電話機 50が画像データを送信し、携帯電話機 60が画 像データを受信して表示するものとする。携帯電話機 60は、通話時に携帯電話機 5 0から受信した画像データを表示可能な携帯電話機であればよい。
[0029] なお、「イラスト的 (絵画的)」とは、撮影された画像の特徴を保持しつつ、画質を変 化させることである。例えば、エッジ成分を保持したまま画像に含まれる色数を減少さ せることなどがこれに含まれる。
[0030] 携帯電話機 50は、基地局 91と無線信号を送受信し、携帯電話機 60は、基地局 92 と無線信号を送受信する。また、各基地局 91, 92は、ネットワーク 93を介して信号を 送受信する。すなわち、各携帯電話機 50, 60は、基地局 91、ネットワーク 93および 基地局 92を介して、信号 (音声データや画像データ)を送受信する。
[0031] 図 2は、本発明の第 1の実施形態に係る携帯電話機 50, 60のうち、話者をイラスト 的に表した画像データを生成して他の携帯電話機 60に送信する携帯電話機 50の 構成例を示す図である。
[0032] 図 2に示すように、携帯電話機 50は、中央コントロール部 51と、コミュニケーション 画像生成部 52と、画像メモリ 53と、無線部 54と、スピーカ 55と、画像表示部 56と、画 像入力部 57と、音声入力部 58と、アンテナ 59とを備える。
[0033] 中央コントロール部 51は、携帯電話機 50全体を制御する。中央コントロール部 51 は、例えば、プログラムに従って動作する CPUによって実現される。プログラムは、 R OM等の記憶装置（図示せず）に予め記憶させておけばよい。
[0034] 画像入力部 57は、例えば、カメラによって実現され、携帯電話機 50の話者の顔な どの画像を撮影し、撮影により得られた画像データを画像メモリ 53に記憶させる。な お、画像入力部 57は、話者の動画像を撮影してもよいし、話者の静止画像を撮影し てもよい。以下の説明では、画像入力部 57が話者の動画像を撮影し、動画像の画 像データを画像メモリ 53に記憶させるものとする。
[0035] コミュニケーション画像生成部 52は、撮影により得られた画像データを画像メモリ 5 3から読み込み、その画像データを、イラスト的に表された画像データに変換する。そ して、コミュニケーション画像生成部 52は、変換後の画像データを画像メモリ 53に記 憶させる。以下、コミュニケーション画像生成部 52による変換前の画像データを撮影 画像データと称し、変換後の画像をイラスト画像データと称す。コミュニケーション画 像生成部 52は、撮影画像データ全体に対して、撮影画像データが示す画像の色数 を減らすなどの処理を施し、イラスト的な画像のイラスト画像データに変換する処理を 実行する。
[0036] 画像メモリ 53は、撮影画像データおよびイラスト画像データを記憶する。
[0037] 画像表示部 56は、中央コントロール部 51に従って、画像データを表示する。例え ば、画像表示部 56は、他の携帯電話機 60に送信するイラスト画像データに基づい て画像を表示する。この結果、通話相手の携帯電話機 60にどのような画像が表示さ れているのかを、話者に示すことができる。
[0038] 音声入力部 58は、例えば、マイクロフォンであり、話者の音声を入力する。
[0039] 無線部 54は、中央コントロール部 51に従って、アンテナ 59を介して、イラスト画像 データおよび音声データを他の携帯電話機 60に送信する（具体的には、基地局 91 に送信する）。また、無線部 54は、アンテナ 59を介して、他の携帯電話機 60からの 音声データ等を受信する。
[0040] スピーカ 55は、他の携帯電話機 60からの音声データに基づいて、通話相手 (携帯 電話機 60の話者)の音声を出力する。
[0041] 図 3は、本発明の第 1の実施形態に係るコミュニケーション画像生成部 52の構成例 を示すブロック図である。
[0042] 図 3に示すように、コミュニケーション画像生成部 52は、第 1の色変換部 2と、色度メ モリ 32と、第 1の明度メモリ 31と、フィルタリング部 4と、第 2の明度メモリ 33と、第 2の 色変換部 5とを備える。
[0043] 第 1の色変換部 2、フィルタリング部 4、および第 2の色変換部 5は、携帯電話機 50 に搭載され、ソフトウェアに従って動作する CPUによって実現されてもよい。または、 第 1の色変換部 2、フィルタリング部 4、および第 2の色変換部 5は、それぞれ、 CPUと は別個の専用 LSIによって実現されてもよい。ただし、携帯電話機 50の生産コストを 下げるためには、第 1の色変換部 2、フィルタリング部 4、および第 2の色変換部 5を、 ソフトウェアに従って動作する CPUによって実現する方力 より好ましい。
[0044] 撮影画像データ 1は、画像入力部 57 (図 2参照）にて撮影されたカラー画像の画像 データである。ここでは、撮影画像データ 1が、 RGBの三原色を用いた RGB表現に よって表された画像データであるものとする。また、撮影画像データ 1の各画素は、 R (赤色）、 G (緑色）、 B (青色）のそれぞれについて 8ビットの値で表されているものとす る。すなわち、各画素における R、 G、 Bは、 0〜255の値をとるものとする。
[0045] イラスト画像データ 6は、コミュニケーション画像生成部 52が撮影画像データ 1に対 して画像処理を行った結果、得られる画像データであり、絵画的な画像を示す画像 データである。ここでは、イラスト画像データ 6は、撮影画像データ 1と同様に、各画素 力 GBで表現された RGB表現の画像データであるものとする。
[0046] 第 1の色変換部 2は、画像メモリ 53 (図 2参照）力も撮影画像データ 1を読み込む。
そして、第 1の色変換部 2は、その撮影画像データ 1の成分 (撮影画像データ 1を表 現する成分。本例では、 RGB成分)を、画素毎に明度成分と色度成分とに変換する 。このとき、第 1の色変換部 2は、明度が変化しても色度 (飽和度および色相）が変化 しない色空間あるいは色度の変化が少ない色空間における明度成分と色度成分に 変換する。この結果、第 1の色変換部 2は、撮影画像データ 1を明度成分と色度成分 とに分離することになる。ここで、明度が変化しても色度の変化が少ない色空間とは、 「明度が、明度の取り得る最大値になったときに、色度の範囲が 0にならない（1点に 収束しない）色空間」を意味するものとする。 YCrCb表現の色空間では、明度が、明 度の取り得る最大値となったときに、色度の範囲力 ^点に収束し、白色しか表現でき なくなる。よって、 YCrCb表現の色空間は、「明度が変化しても色度の変化が少ない 色空間」に該当しない。同様に、 L*a*b*や L*u*v*表現の色空間も、「明度が変化 しても色度の変化が少な 、色空間」に該当しな 、。
[0047] また、ここでは、第 1の色変換部 2は、三原色の RGB表現で表された撮影画像デー タ 1の各画素を、 HSV色空間における明度成分および色度成分に変換するものとし て説明する。 HSV色空間は、明度が変化しても色度が変化しない色空間である。 H SV色空間における色度成分は、色相と飽和度とを含む。 HSV色空間における色相 、飽和度、明度をそれぞれ、 H、 S、 Vで表す。第 1の色変換部 2は、変換により得られ る各画素の色相 H、飽和度 S、明度 Vを、例えば 8ビットの値 (0〜255の値)で表す。 以下、明度成分 Vのデータ力 なる画像データを明度画像と称し、色度成分 (色相 H および飽和度 S)のデータ力 なる画像データを色度画像と称す。
[0048] 第 1の色変換部 2は、変換処理によって得られた色度画像を色度メモリ 32に記憶さ せ、明度画像を第 1の明度メモリ 31に記憶させる。
[0049] 色度メモリ 32は、第 1の色変換部 2による変換処理で得られた色度画像を記憶する
[0050] 第 1の明度メモリ 31は、第 1の色変換部 2による変換処理で得られた明度画像を記 憶する。
[0051] フィルタリング部 4は、第 1の明度メモリ 31に記憶される明度画像 (すなわち、明度 V のデータ）に対して、空間フィルタリング処理を行う。この結果、導出されるデータを V 'とする。フィルタリング部 4によるフィルタリング処理については後述する。フィルタリ ング部 4は、フィルタリング処理によって導出されたデータ V，を、第 2の明度メモリ 33 に記憶させる。
[0052] 第 2の明度メモリ 33は、フィルタリング部 4が導出したデータ V，を記憶する。
[0053] 第 2の色変換部 5は、第 2の明度メモリ 33に記憶されたデータ V'を明度成分とし、こ のデータ V'と、色度メモリ 32に記憶された色度画像 (すなわち、色相 Hおよび飽和 度 Sのデータ）とを用いて、第 1の色変換部 2の変換処理の逆変換処理を行う。すな わち、第 2の色変換部 5は、 HSV色空間における明度成分および色度成分で表され た画像データを、 RGBで表される RGB表現の画像データに変換する。第 2の色変換 部 5は、この逆変換処理により得られた画像データを、イラスト画像データ 6として画 像メモリ 53 (図 2参照）に記憶させる。
[0054] また、携帯電話機 60は、例えば、携帯電話機 50と同様に、中央コントロール部 51 と、無線部 54と、スピーカ 55と、画像表示部 56と、音声入力部 58と、アンテナ 59とを 備える構成である。携帯電話機 60の中央コントロール部 51は、無線部 54およびアン テナ 59によって、画像データや音声データを受信する。また、携帯電話機 60の中央 コントロール部 51は、無線部 54およびアンテナ 59によって音声データ等の信号を送 信する。また、携帯電話機 60の中央コントロール部 51は、受信した画像データに基 づ 、て画像を画像表示部 56に表示する。
[0055] 以下、第 1の実施形態の映像コミュニケーションシステムの動作について説明する。
[0056] 図 4は、本発明の第 1の実施形態に係る携帯電話機 50, 60のうち、イラスト画像デ ータを生成して他の携帯電話機 60に向けて送信する携帯電話機 50の動作を説明 するフローチャートである。
[0057] 図 4に示すように、通話開始時に、携帯電話機 50の中央コントロール部 51は、画像 入力部 57に対し、例えば話者の顔の動画像を撮影させ、動画像の撮影画像データ を画像メモリ 53に記憶させる処理を行わせる (ステップ Sl)。画像入力部 57は、中央 コントロール部 51に従って、話者の顔の動画像を撮影し、動画像の撮影画像データ を画像メモリ 53に記憶させる。
[0058] 次に、コミュニケーション画像生成部 52は、画像メモリ 53から撮影画像データを読 み込み、その撮影画像データをイラスト画像データに変換し、そのイラスト画像データ を画像メモリ 53に記憶させる (ステップ S2)。 [0059] 中央コントロール部 51は、イラスト画像データを画像メモリ 53から読み込み、無線 部 54にイラスト画像データを送信させる（ステップ S3)。このとき、中央コントロール部 51は、音声入力部 58に入力された音声の音声データとともにイラスト画像データを 無線部 54に送信させる。無線部 54は、中央コントロール部 51に従って、イラスト画像 データおよび音声データを他の携帯電話機 60に向けて送信する。
[0060] 携帯電話機 50は、通話が終了するまで上記のステップ S1〜S3の処理を繰り返す 。また、ステップ S1〜S3の処理を繰り返している間、中央コントロール部 51は、画像 表示部 56に、送信するイラスト画像データに基づく画像を表示させる。この表示によ り、中央コントロール部 51は、通話相手の携帯電話機にどのような画像が表示されて いるのかを、話者に示すことができる。また、ステップ S1〜S3の処理を繰り返してい る間、中央コントロール部 51は、送信するイラスト画像データに基づく画像表示の開 始ゃ終了の指示を話者に促す GUIを、画像表示部 56に表示させてもよい。この場 合、画像表示の開始指示が GUIを介して入力されたときには、中央コントロール部 5 1は、送信するイラスト画像データに基づく画像の表示を開始する。また、終了指示 が入力されたときには、中央コントロール部 51は、その表示を終了する。
[0061] また、他の携帯電話機 60は、携帯電話機 50からイラスト画像データおよび音声デ ータを受信する。そして、携帯電話機 60は、受信したイラスト画像データに基づいて 携帯電話機 50の話者の動画像を表示し、また、話者の音声をスピーカから出力する
[0062] なお、ここでは、携帯電話機 50の画像入力部 57が、中央コントロール部 51に従つ て、例えば話者の顔の動画像を撮影する場合を説明した。画像入力部 57が、中央コ ントロール部 51に従って話者の顔の静止画像を撮影し、静止画像の撮影画像デー タを画像メモリ 53に記憶させてもよい。この場合、コミュニケーション画像生成部 52は 、イラスト画像データとして静止画の画像データを生成し、中央コントロール部 51は、 無線部 54にそのイラスト画像データを送信させる。このイラスト画像データを受信した 携帯電話機 60は、イラスト画像データに基づいて携帯電話機 50の話者の静止画像 を表示する。
[0063] 次に、図 4に示したステップ S2におけるコミュニケーション画像生成部 52の動作に ついて説明する。
[0064] 第 1の色変換部 2は、 RGB表現で表された撮影画像データ 1を画像メモリ 53 (図 2 参照）から読み込むと、その撮影画像データ 1の成分 (R, G, B)を、画素毎に、 HSV 色空間における明度成分および色度成分に変換する。
[0065] 図 5は、 HSV色空間を説明する図である。
[0066] 図 5に示す縦軸 (V軸）は、明度 Vを表す。また、図 5に示す HSV色空間において、 飽和度 (彩度と呼ばれる場合もある） Sは、 V軸力もの距離で表される。また、色相 H は、予め定められた軸であって V軸と直交する軸（図 5に示す右方向に向力う軸)から 、 V軸を中心に回転した角度で表される。例えば、赤色を H = 0° とした場合、緑色 は H= 120° となる。図 5に示すように、 HSV色空間では、明度 Vが変化したとしても 、色相 Hおよび飽和度 Sは変化しない。
[0067] 第 1の色変換部 2は、撮影画像データ 1の RGB成分から、 HSV色空間における明 度成分および色度成分への変換処理を以下の変換式を用いて行う。また、既に述べ たように、この変換処理は画素毎に行えばよい。ただし、以下の変換式では R, G, B , H, S, Vは、 0〜1の値をとるものとしている。従って、 R, G, Bが 8ビットで表されて いる場合には、 R, G, Bの値が 0〜1の範囲の値となるように前処理を行い、以下の 変換式を適用すればよい。また、 H, S, Vを 8ビットで表す場合には、以下の変換式 により求めた H, S, Vを 8ビットで表すように変換すればよい。
[0068] まず、第 1の色変換部 2は、明度 Vを、 V=max(R, G, B)として算出する。ここで、 max(R, G, B)は、 R, G, Bの値のうちの最大値を表すものとする。すなわち、 R, G , Bの値のうちの最大値を明度 Vとする。
[0069] また、第 1の色変換部 2は、 X=min (R, G, B)として Xを算出する。ここで、 min (R , G, B)は、 R, G, Bの値のうちの最小値を表すものとする。すなわち、 R, G, Bの値 のうちの最小値を Xとする。
[0070] 続いて、第 1の色変換部 2は、 S= (V— X)ZVとして、飽和度 Sを算出する。さらに 、第 1の色変換部 2は、以下の式により!:， g, bを算出する。
[0071] r= (V-R) / (V-X)
g= (V-G) / (V-X) b= (V-B) / (V-X)
続いて、第 1の色変換部 2は、 R=Vかつ G=Xならば、 h= 5+bとして hを算出する o R=Vかつ B=Xならば、 h= l— gとして hを算出する。 G=Vかつ B=Xならば、 h= 1 +rとして hを算出する。 G=Vかつ R=Xならば、 h= 3-bとして hを算出する。 B= Vかつ R=Xならば、 h= 3+gとして hを算出する。 B=Vかつ G=Xならば、 h= 5-r として hを算出する。
[0072] そして、第 1の色変換部 2は、上記の様にして求めた hを用いて、 H=hZ6として色 相 Hを算出する。
[0073] 第 1の変換部 2は、色度画像、すなわち色度成分 (色相 Hおよび飽和度 S)のデー タカもなる画像データを色度メモリ 32に記憶させる。また、第 1の変換部 2は、明度画 像、すなわち明度成分 Vのデータ力もなる画像データを第 1の明度メモリ 31に記憶さ せる。
[0074] 続いて、フィルタリング部 4は、第 1の明度メモリ 31に記憶された明度成分 Vに対し てフィルタリング処理を行い、データ V'を導出する。フィルタリング部 4は、明度の変 化を強調することにより輪郭を生成するとともに、写真画像の陰影等の微妙な変化を 反映しないようなリング型フィルタリング処理を実行する。フィルタリング部 4は、例え ば、以下の数式 1に示す畳み込み演算の演算式を用いて V'を計算することにより、 上記のようなフィルタリング処理を実現する。
[0075] [数 1]
Figure imgf000015_0001
ここでは、個々の画素を、 X, y座標の座標値 (X, y)を用いて表すものとする。そして 、明度画像に含まれる各画素 (X, y)の画素値 (すなわち個々の画素の明度)を V (x , y)として表すものとする。上記の演算式では、 V (x, y)に対するフィルタリングによ つて得られる画素 (X, y)の画素値を V' (X, y)とする。
また、上記の演算式における係数 magは、全てのフィルタ値に力かる係数である。 ここで、フィルタ値とは、畳み込み演算のカーネル f (i, j)のとる値である。 magとして、 十分に大きな値を用いる。例えば、 magとして 32以上の値を用いればよい。 [0077] 次に、畳み込み演算のカーネル f (i, j)が満たすべき条件について、図 6を用いて 説明する。
[0078] 図 6は、畳み込み演算のカーネル f (i, j)の例を説明する図である。
[0079] カーネルは、図 6のように例示された表の中央部では値 (フィルタ値）が正となり、表 の周辺部では値（フィルタ値）が負となり、各フィルタ値の総和が正であるものであれ ばよい。このようなカーネルであれば、図 6に示すカーネル f (i, j)と同一のカーネル でなくてもよい。
[0080] 表の中央部において f (i, j)の値が正であるということは、少なくとも、 iおよび jがそれ ぞれ i, jのとり得る最大値と最小値の中間の近傍値であるときに、 f (i, j) >0となって いることである。本例では、 iおよび jのとり得る最大値はいずれも 2であり、 iおよび jのと り得る最小値はいずれも— 2である。よって、 iおよび jがそれぞれその中間値 0である とき、 f (0, 0) = 13となり、この値は正である。よって、少なくとも iおよび jがそれぞれ i, jのとり得る最大値と最小値の中間の近傍値であるときに、 f (i, j) >0となっているとい う条件 (表の中央部において f (i, j)の値が正であるという条件）は満たしている。
[0081] 表の周辺部において f (i, j)の値が負であるということは、少なくとも、 iが iのとり得る 最大値または最小値であるとき、あるいは、 jが jのとり得る最大値または最小値である ときに、 f (i, j) < 0となっていることである。すなわち、ほたは jの少なくともいずれか一 方がその最大値または最小値となっているときに、 f (i, j) < 0となっていることである。 本例では、ほたは jの少なくとも 、ずれか一方がその最大値（2)または最小値（― 2) となっているときの値は、全て図 6に示す表の一番外側に示され、その値はいずれも 負となっている。よって、ほたは jの少なくともいずれか一方がその最大値または最小 値となっているときに、 f (i, j) < 0となっているという条件（表の周辺部において f (i, j) の値が負であると!/、う条件)も満たして 、る。
[0082] 各フィルタ値の総和が正であるということは、各 i, jに応じた f (i, j)の値の総和が正 であるということである。図 6に示す各 f (i, j)の値の総和は 1であり、正であるので、図 6に例示するカーネルは、この条件も満たして 、る。
[0083] 畳み込み演算は、上記の条件を満たすカーネルを用いた畳み込み演算であれば よぐ図 6に示すカーネル f (i, j)と同一のカーネルを用いた畳み込み演算に限定され ない。
[0084] なお、図 6に示すように、カーネルの値力^でな 、部分が等方的なフィルタをリング 型フイノレタという。
[0085] フィルタリング部 4は、上記のような畳み込み演算を実行することによりフィルタリング 処理を行！ヽ各画素毎に V，を算出したならば、そのデータ V，を第 2の明度メモリ 33に 記憶させる。
[0086] 第 2の色変換部 5は、第 2の明度メモリ 33に記憶されたデータ V'を HSV色空間に おける明度成分とし、 HSV色空間における明度成分および色度成分から RGB成分 への変換を以下の変換式を用いて行う。ただし、以下の変換式では、 R, G, B, H, S, Vは 0〜1の値をとるものとしている。従って、第 2の色変換部 5は、 H, S, Vが 8ビ ットで表されている場合には、 H, S, Vの値が 0〜1の範囲の値となるように前処理を 行い、以下の変換式を適用すればよい。また、第 2の色変換部 5は、 R, G, B (ィラス ト画像データ 6における R, G, B)を 8ビットで表す場合には、以下の変換式により求 めた R, G, Bを 8ビットで表すように変換すればよい。
[0087] まず、第 2の色変換部 5は、色相 Hを用いて、 h=6 'Hとして hを算出する。そして、 第 2の色変換部 5は、 hの整数部分を Iとする。さらに、第 2の色変換部 5は、以下の式 により F, M, N, Kを算出する。
[0088] F=h-I
M=V- (1 -S)
N=V- (1 - (S -F) )
K=V- (1 - (S - (1 -F) ) )
そして、第 2の色変換部 5は、 Iの値に応じて、以下のように R, G, Bを定める。
[0089] 1 = 0のとき、第 2の色変換部 5は、（R, G, B) = (V, Κ, M)とする。すなわち、 R=
V, G=K, B = Mとして、 R, G, Bを定める。
[0090] 1= 1のとき、第 2の色変換部 5は、（R, G, B) = (N, V, M)とする。すなわち、 R=
N, G=V, B = Mとして、 R, G, Bを定める。
[0091] 1 = 2のとき、第 2の色変換部 5は、 (R, G, B) = (M, V, K)とする。すなわち、 R=
M, G=V, B=Kとして、 R, G, Bを定める。 [0092] 1 = 3のとき、第 2の色変換部 5は、 (R, G, B) = (M, N, V)とする。すなわち、 R=
M, G = N, B=Vとして、 R, G, Bを定める。
[0093] 1=4のとき、第 2の色変換部 5は、 (R, G, B) = (K, M, V)とする。すなわち、 R=
K, G = M, B=Vとして、 R, G, Bを定める。
[0094] 1 = 5のとき、第 2の色変換部 5は、（R, G, B) = (V, M, N)とする。すなわち、 R=
V, G = M, B = Nとして、 R, G, Bを定める。
[0095] 第 2の色変換部 5は、各画素に対応する色相 H、飽和度 S、および明度としたデー タ V'から、上記のように R, G, Bへの変換を行い、イラスト画像データ 6を生成する。 そして、第 2の色変換部 5は、イラスト画像データ 6を画像メモリ 53に記憶させる。以上 の処理により、ステップ S2が終了する。
[0096] また、以上のようなステップ S2における変換処理を行うことにより、画像データが示 す画像の色数は減少し、撮影画像データ 1は、イラスト的な画像のイラスト画像データ
6に変換される。なお、ステップ S2における変換処理により、画像における輪郭が強 調されるようになる。
[0097] 第 1の実施形態によれば、携帯電話機 50が実際に撮影された画像の画像データ をイラスト画像データに変換し、携帯電話機 60に送信する。そして、携帯電話機 60 力 Sイラスト画像データに基づ ヽて絵画的な (イラスト的な)画像を表示する。
[0098] 従って、話者が撮影されて!、るのであれば、本当に本人であることを通話相手に伝 えることができる。
[0099] また、話者本人のイラスト的な画像を通話相手の携帯電話機に表示させるので、通 話相手が上司等の目上の人物であったとしても不真面目である等と判断されることは なぐコミュニケーションに悪影響を及ぼさない。
[0100] また、実際に撮影された話者の画像の画像データをイラスト画像データに変換して V、るので、話者の微妙な表情を通話相手に伝えることができる。
[0101] このように、第 1の実施形態によれば良好なコミュニケーションを実現することができ る。
[0102] また、第 1の実施形態では、画像データ全体に対して、色の数を減少させる変換を 行っている。従って、特許文献 1に記載された技術のように、どの領域が顔であるの かを認識し、さらに特徴点を抽出する等の処理を行う必要がなぐ処理負荷を低減す ることがでさる。
[0103] 第 1の実施形態において、画像データ生成部は、携帯電話機 50の画像入力部 57 によって実現される。画像データ変換部は、携帯電話機 50のコミュニケーション画像 生成部 52によって実現される。画像表示部は、携帯電話機 60の画像表示部 56によ つて実現される。
[0104] 以下、第 1の実施形態の映像コミュニケーションシステムの変形例について説明す る。
[0105] (変形例 1)
第 1の実施形態では、第 1の色変換部 2による変換で得られた成分のうち、明度 V に対してのみフィルタリング処理を実行し、色度 (色相 Hおよび飽和度 S)に対しては 、処理を行っていない。
[0106] これに対し、変形例 1では、飽和度 Sに対しても処理を行う。飽和度 Sに対して、 Sの 値に応じて、 Sの値を変化させない強調処理あるいはより大きな値に変化させる強調 処理を行う。なお、変形例 1ではコミュニケーション画像生成部 52の処理が図 3に示 す場合と異なるが、他の点に関しては既に説明した第 1の実施形態と同様である。
[0107] 図 7は、本発明の第 1の実施形態の変形例 1に係るコミュニケーション画像生成部 5 2の構成例を示すブロック図である。
[0108] 図 7に示すように、コミュニケーション画像生成部 52は、第 1の色変換部 2と、色相メ モリ 35と、第 1の飽和度メモリ 34と、第 1の明度メモリ 31と、強調処理部 7と、フィルタリ ング部 4と、第 2の飽和度メモリ 36と、第 2の明度メモリ 33と、第 2の色変換部 5とを備 える。なお、図 3と同様の処理を行う構成部については、図 3と同一の符号を付し、説 明を省略する。
[0109] 第 1の色変換部 2、強調処理部 7、フィルタリング部 4、および第 2の色変換部 5は、 携帯電話機 50に搭載される CPUによって実現されてもよい。または、第 1の色変換 部 2、強調処理部 7、フィルタリング部 4、および第 2の色変換部 5は、それぞれ、 CPU とは別個の LSIによって実現されてもょ 、。
[0110] 第 1の色変換部 2は、図 3に示した第 1の色変換部 2と同様に、撮影画像データ 1の 成分を、画素毎に明度成分と色度成分とに変換する。色度成分は色相と飽和度とを 含むが、第 1の色変換部 2は、色相と飽和度を分離し、それぞれメモリに記憶させる。 具体的には、第 1の色変換部 2は、撮影画像データ 1の変換処理によって得られた各 画素の色相 Hのデータを色相メモリ 35に記憶させ、各画素の飽和度 Sのデータを第 1の飽和度メモリ 34に記憶させる。また、第 1の色変換部 2は、既に説明した場合と同 様に、各画素の明度 Vのデータを第 1の明度メモリ 31に記憶させる。すなわち、変形 例 1では、第 1の色変換部 2は、撮影画像データ 1を変換して、明度、飽和度、および 色相に分離する。
[0111] また、第 1の色変換部 2は、明度が変化しても色度 (飽和度および色相）が変化しな V、色空間あるいは色度 (飽和度および色相）の変化が少な!/、色空間における明度成 分と色度成分に変換する。既に説明したように、明度が変化しても色度 (飽和度およ び色相）の変化が少ない色空間とは、「明度が、明度の取り得る最大値になったとき に、色度 (飽和度および色相）の範囲が 0にならない（1点に収束しない）色空間」を意 味する。
[0112] 色相メモリ 35は、第 1の色変換部 2による変換処理で得られた色相成分 Hのデータ を記憶する。
[0113] 第 1の飽和度メモリ 34は、第 1の色変換部 2による変換処理で得られた飽和度成分 Sのデータを記憶する。
[0114] 第 1の明度メモリ 31は、第 1の色変換部 2による変換処理で得られた明度成分 Vの データを記憶する。
[0115] 強調処理部 7は、第 1の飽和度メモリ 34に記憶された各 Sの値に応じて、 Sの値を 変化させない強調処理あるいはより大きな値に変化させる強調処理を行う。強調処理 後の飽和度 Sを S'と表すこととする。また、強調処理部 7による強調処理については 後述する。強調処理部 7は、強調処理後の飽和度 S 'を第 2の飽和度メモリ 36に記憶 させる。
[0116] 第 2の飽和度メモリ 36は、強調処理部 7が導出したデータ S 'を記憶する。
[0117] 第 2の色変換部 5は、第 2の明度メモリ 33に記憶されたデータ V'を明度成分とし、 V
'と、第 2の飽和度メモリ 35に記憶された飽和度成分 S，のデータと、色相メモリ 35に 記憶された色相成分 Hのデータとを用いて、第 1の色変換部 2の変換処理の逆変換 処理を行う。すなわち、第 2の色変換部 5は、 HSV色空間における明度成分および 色度成分で表された画像データを、 RGBで表される三原色表現の画像データに変 換する。
[0118] 次に、変形例 1に係るコミュニケーション画像生成部 52の動作（図 4に示すステップ S2の動作）について説明する。
[0119] 第 1の色変換部 2 (図 7参照）は、三原色の RGB表現で表された撮影画像データ 1 を画像メモリ 53 (図 2参照）から読み込むと、その撮影画像データ 1を、画素毎に、 H SV色空間における明度成分 V、飽和度成分 H、および色相成分 Hに変換する。この 第 1の色変換部 2による変換処理は、図 3に示した第 1の色変換部 2による変換処理 と同様である。第 1の変換部 2は、各画素の色相成分 Hのデータを色相メモリ 35に記 憶させる。同様に、第 1の変換部 2は、各画素の飽和度成分 Sのデータを第 1の飽和 度メモリ 34に記憶させ、また、各画素の明度成分 Vのデータを第 1の明度メモリ 31に 記憶させる。
[0120] 続、て、フィルタリング部 4は、フィルタリング処理を行 、、明度成分 Vのデータを V， に変換し、データ V，を第 2の明度メモリ 33に記憶させる。このフィルタリング処理は、 図 3に示したフィルタリング部 4によるフィルタリング処理と同様である。
[0121] また、強調処理部 7は、第 1の飽和度メモリ 34に記憶された各画素の飽和度成分 S に対する強調処理を行い、強調処理後の飽和度成分 S'を第 2の飽和度メモリ 36に 記憶させる。
[0122] 強調処理部 7は、例えば、以下のように強調処理を実行する。強調処理部 7は、第 1の飽和度メモリ 34から飽和度成分 Sの値を読み取る。そして、強調処理部 7は、そ の飽和度成分 Sの値と、予め定められた閾値 (thと称す)とを比較する。強調処理部 7 は、 Sが閾値 th未満である場合には、 S' =Sとして S'を求める。また、強調処理部 7 は、 Sが閾値 th以上である場合には、 S'の値を、 Sの取り得る最大値またはその最大 値に近い値（Smaxと称す）として定める。例えば、 th= 32と定められていて、また、 S 力^〜 255の範囲の値を取り得るとする。そして、 Smax= 255であるとする。強調処 理部 7は、 Sく 32であるならば、 S' =3として3'を求める。また、強調処理部 7は、 S ≥ 32であるならば、 S' = 255とする。
[0123] このように、 Sの値が閾値 th以上となったときに S ' =Smaxとする強調処理を行うこ とにより、最終的に得られるイラスト画像データ 6を、子供が描く絵画のような非常に鮮 やかな色の画像のデータとして生成することができる。
[0124] また、上記の例では、 Sの値が閾値 th以上となったときに S ' =Smaxとする場合を 示したが、強調処理部 7は、 Sの値の変化により S'がなだらかに変化するような関数 S ，=g (S)により S 'の値を定めてもよい。このような関数 g (S)の例を以下に示す。以下 に示す例でも、 Sが 0〜255の範囲の値を取り得るものとしている。
[0125] S，=S (Sく 32のとき）
S' =4- S— 96 (32≤S≤87のとき）
S' = 255 (S≥88のとき）
このような関数によって定まる S 'を導出する場合、例えば、 0〜255の 256種類の S の値に応じた S，の値を予め算出しておく。そして、各 Sの値と、その Sの値に応じた S 'の値とを対応付けてルックアップテーブル（図示せず）に予め記憶させておく。強調 処理部 7は、このルックアップテーブルを参照することによって、 Sの値に応じた S'の 値を導出すればよい。
[0126] フィルタリング部 4によるフィルタリング処理および強調処理部 7による強調処理の後 、第 2の色変換部 5は、第 2の明度メモリ 33に記憶されたデータ V'を明度成分とし、 V 'と、第 2の飽和度メモリ 35に記憶された飽和度成分 S，のデータと、色相メモリ 35に 記憶された色相成分 Hのデータとを用いて、第 1の色変換部 2の変換処理の逆変換 処理を行う。この第 1の色変換部 2による変換処理は、飽和度成分 Sの変わりに S'を 用いる点を除けば、図 3に示した第 2の色変換部 5による変換処理と同様である。
[0127] (変形例 2)
変形例 2では、コミュニケーション画像生成部 52の処理が異なる力 他の点に関し ては既に説明した第 1の実施形態と同様である。変形例 2に係るコミュニケーション画 像生成部 52は、携帯電話機 50に搭載される CPUによって実現されてもよいし、 CP Uとは別個の LSIによって実現されてもょ 、。
[0128] 図 8は、変形例 2に係るコミュニケーション画像生成部 52の動作例を説明するフロ 一チャートである。図 9は、変形例 2に係るコミュニケーション画像生成部 52により変 換される代表色の変換例を説明する図である。ここでは、撮影画像データ 1が RGB 表現によって表されて 、るものとする。
[0129] 図 8に示すように、コミュニケーション画像生成部 52は、撮影画像データを画像メモ リ 53から読み込むと、その撮影画像データのカラーヒストグラムを作成し、例えば、撮 影画像データに含まれる色として多 、方の N番目までの色を代表色として選択する（ ステップ Sl l)。 N個の代表色の選択方法はこれに限らず、カラーヒストグラム力 無 作為に選択することも可能である。また、 N個の代表色として互いに近い色が選ばれ ないようにするなどの工夫をしてもよい。なお、コミュニケーション画像生成部 52は、 ステップ S 11〜ステップ S 14の間、画像メモリ 53から読み込んだ撮影画像データをそ のまま保持する。
[0130] ステップ S11で選択された N個の代表色の一例を図 9 (a)に示す。図 9 (a)に示すよ うに、例えば、撮影画像データに含まれる色として多い方の N番目までの色を代表色 として選んだ場合、 N個の色は、それぞれ G、 Bの組み合わせによって表される。
[0131] 次に、コミュニケーション画像生成部 52は、 R、 G、 Bの組み合わせによって表され る N個の代表色を HSV表現に変換する（ステップ S12)。なお、ステップ S12では、読 み込んだ撮影画像データ自体は変換せず、代表色を表す N個の R、 G、 Bの組み合 わせをそれぞれ HSV表現に変換する。
[0132] ステップ S12で変換された N個の代表色の一例を図 9 (b)に示す。各色は、それぞ れ11、 S、 Vの組み合わせによって表される。
[0133] 次に、コミュニケーション画像生成部 52は、 N個の代表色におけるそれぞれの飽和 度 Sを強調する (ステップ S 13)。例えば、コミュニケーション画像生成部 52は、飽和 度 Sに対して、 1. 0以上の実数の係数 ksを乗じることにより、強調後の飽和度 S 'を算 出する。すなわち、以下の計算により、強調後の飽和度 S 'を求める。
[0134] S' =ks- S
また、上記のような閾値による強調処理や関数 g (s)の手法を用いてもよい。
[0135] ただし、 RGB表現と HSV表現との変換において、飽和度等の各成分は 0〜1の値 をとるものとしている。従って、 S'の上限値は 1であり、上記式の計算により S'の値が 1を越えた場合には、コミュニケーション画像生成部 52は、 S， = 1とする。ステップ S1 3において、コミュニケーション画像生成部 52は、色相 Hおよび明度 Vに対しては変 換を行わない。
[0136] ステップ S13で変換された N個の代表色の例を図 9 (c)に示す。図 9 (b)と比較する と、飽和度 Sのみが変化している（具体的には値が上昇している）。なお、 ks = lの場 合には、飽和度 Sは変化せず、その結果、代表色は変化しないことになる力 ks= l とし代表色が変化しな 、場合であっても、イラスト画像データへの変換は可能である 。さらに、ここでは ksが 1. 0以上の実数であるものとして説明した力 ksは正の実数で あればよい。 ksが 1. 0未満の正の実数であるとき、 S 'は Sより小さくなる力 この場合 であっても、イラスト画像データへの変換は可能である。
[0137] 次に、コミュニケーション画像生成部 52は、 HSV表現で表されたステップ S 13後の N個の代表色を RGB表現に変換する (ステップ S 14)。
[0138] ステップ S14で変換された N個の代表色の例を図 9 (d)に示す。図 9 (d)に示すよう に、ステップ S 14後の代表色は、 R、 G、 Bの組み合わせによって表される。
[0139] ステップ S14までの間、コミュニケーション画像生成部 52は、画像メモリ 53から読み 込んだ撮影画像データをそのまま保持して 、る。
[0140] コミュニケーション画像生成部 52は、次のステップ S 15において、撮影画像データ の変換を行う。ステップ S 15では、コミュニケーション画像生成部 52は、撮影画像デ 一タの各画素の R、 G、 Bと、ステップ S14において得られた N個の代表色の R、 G、 B に基づいて、画素毎に、最も RGBユークリッド距離が近い代表色を選択する。そして 、コミュニケーション画像生成部 52は、各画素の R、 G、 Bの値を、 RGBユークリッド距 離が最も近い代表色として選択した代表色の R、 G、 Bの値に置き換える。
[0141] 次に、コミュニケーション画像生成部 52は、撮影画像データから変換された画像デ ータをイラスト画像データとして画像メモリに記憶させる (ステップ S 15)。
[0142] ステップ S15の処理により、撮影画像データにおける各画素の色は、 N個の代表色 のいずれかとなり、色の数が減少する。また、ステップ S 15の処理後の画像データ (ィ ラスト画像データ）によって表される画像は、イラスト的な画像となる。
[0143] また、図 8に示すフローチャートでは、ステップ S11〜S14の間、撮影画像データは そのまま保持される力 ステップ S11〜S14の処理を行っている間に、撮影画像デー タに対してぼかしを入れる処理を行ってもよい。この場合のフローチャートを図 10に 示す。
[0144] 図 10に示すステップ S11〜ステップ S15の処理は、図 8に示す各処理と同様であ る。コミュニケーション画像生成部 52は、ステップ S15を行う前に、 2次元フィルタを用 いて撮影画像データに対するぼ力し処理を行う (ステップ S16)。具体的には、コミュ -ケーシヨン画像生成部 52は、個々の画素について、画素の Rの値を、その画素お よびその画素の周囲の画素の Rの値の平均値に置き換える。同様に、コミュニケーシ ヨン画像生成部 52は、個々の画素の G、 Bの値についても、その画素およびその画 素の周囲の画素の Gや Bの値の平均値に置き換え、その後、ステップ S15の処理を 実行する。
[0145] また、図 8〜図 10の説明では、 RGB表現力 HSV表現に変換し、飽和度 Sを強調 して再度 RGB表現に変換する場合を示した。 RGB表現を、均等色空間 LCHの表現 に変換し、変換後における飽和度 Cを強調して再度 RGB表現に変換してもよ ヽ。
[0146] この場合、均等色空間 LCHの表現における飽和度 Cを強調する場合、コミュニケ ーシヨン画像生成部 52は、飽和度 Cに対して、 1. 0より大きい実数の係数 kcを乗じる ことにより、強調後の飽和度 C'を算出する。すなわち、以下の計算により、強調後の 飽和度 C'を求める。
[0147] C' =kc -C
均等色空間 LCHにお 、て飽和度 Cの上限は規定されて ヽな 、ので、上記式により 得られた C'を強調処理後の飽和度とすればよい。なお、飽和度 Sで述べたその他の 強調処理も同様に利用できる。
[0148] また、 RGB表現から、均等色空間 LCHの表現への変換は、公知の変換処理によ つて行えばよい。例えば、 RGB表現を L*a*b*表現に変換し、さらに非特許文献 3に 記載されているように L*a*b*表現を、 L*C*abhab表現に変換すればよい。 L*C*a bhab表現における C*abが均等色空間 LCHにおける飽和度 Cに相当する。また、 L *a*b*表現ではなぐ非特許文献 3に記載されているように RGB表現を L*u*w表現 に変換して力も L*C*uvhuv表現に変換してもよい。この場合、 L*C*uvhuv表現に おける C*uvが均等色空間 LCHにおける飽和度 Cに相当する。また、均等色空間 L CHの表現から RGB表現に逆変換する場合には、 L * C * abhab表現（L * C * uvhuv 表現)から L*a*b*表現 (L*u*v表現）に変換し、 L*a*b*表現 (L*u*v表現)から RG B表現に変換すればよい。
[0149] (変形例 3)
以上の説明では、携帯電話機 50が携帯電話機 60に向けてイラスト画像データを 送信する場合を示した。
[0150] これに対して、変形例 3では、携帯電話機 50は、携帯電話機 60からの要求により、 送信する画像データをイラスト画像データから撮影画像データに切り替える。
[0151] また、携帯電話機 50は、イラスト風変換におけるパラメータをコントロールしてィラス ト画像データのイラスト度合い（コミュニケーション画像生成部 52における変換の程度 )を変化させて送信する画像データを生成する。例えば、減色処理の場合には、代 表色の数である Nを大きくすれば実画像に近づき、また、小さくすればイラスト画像の イラスト度合いを強めることができる。あるいは、実画像、イラスト画像弱、イラスト画像 強というように段階的な複数の要求に対応できるように、それぞれの要求に最適なフ ィルタや代表色数のパラメータをあら力じめ決定しておき、指定された要求に従って パラメータを切り替えて送信する画像データを生成すればよい。
[0152] 変形例 3における構成は、既に説明した第 1の実施形態またはその変形例 1, 2と同 様の構成とすることができる。ただし、携帯電話機 50の中央コントロール部 51は、携 帯電話機 60からの要求に応じて、送信する画像データを撮影画像データに切り替え る動作、あるいは、コミュニケーション画像生成部 52における変換の程度 (イラスト度 合 ヽ)を変化させる動作も行う。
[0153] 以下、変形例 3の映像コミュニケーションシステムの動作について説明する。
[0154] 通話開始後、携帯電話機 50は、既に説明した第 1の実施形態またはその変形例 1 , 2と同様に、撮影画像データをイラスト画像データに変換し、イラスト画像データを携 帯電話機 60に送信する。
[0155] 携帯電話機 60は、イラスト画像データに基づいてイラスト的な画像を表示する。この 結果、携帯電話機 60の話者は、携帯電話機 50の話者のイラスト的な画像を見ながら 通話を行うことができる。
[0156] 通話中、携帯電話機 60の話者が、携帯電話機 50の話者が設定したイラスト的な画 像ではなぐ携帯電話機 60の話者の意思でイラスト度合いを変化させた画像や、携 帯電話機 50の話者を撮影した画像をそのまま見た ヽと考えることがある。この場合、 携帯電話機 60は、通話中に、キー操作部（図示せず)を介して、画像データの切替 要求を携帯電話機 50に送信する旨の指示を話者から入力される。この指示が入力さ れると、携帯電話機 60は、送信する画像の切替要求を携帯電話機 50に向けて送信 する。このとき、携帯電話機 60の中央コントロール部が、無線部に切替要求を送信さ せればよい。この切替要求は、基地局 92、ネットワーク 93、基地局 91を介して、携帯 電話機 50に送信される。
[0157] 携帯電話機 50の中央コントロール部 51は、携帯電話機 60からの切替要求を受信 すると、コミュニケーション画像生成部 52における変換処理（図 4に示すステップ S2) を停止する。そして、ステップ S3 (図 4参照）において、中央コントロール部 51は、画 像メモリから撮影画像データを読み込み、無線部 54に撮影画像データを送信させる 。あるいは、中央コントロール部 51は、切替要求に従って、コミュニケーション画像生 成部 52にイラスト度合い (変換の程度)を変化させてイラスト画像データへの変換を 行わせて、コミュニケーション画像生成部 52によって変換された画像データを無線部 54に送信させてもよい。無線部 54は、中央コントロール部 51に従って、撮影画像デ ータあるいはコミュニケーション画像生成部 52によって変換された画像データを携帯 電話機 60に向けて送信する。
[0158] なお、携帯電話機 50の中央コントロール部 51は、切替要求を受信したときに、送信 画像データを切替要求通りに切り替えてよいかどうかの入力を話者に促す画面を画 像表示部 56に表示してもよい。この場合、中央コントロール部 51は、送信画像デー タを切替要求通りに切り替えてよい旨の情報が入力された場合にのみ、送信画像デ ータを切替要求に従って切り替える。例えば、イラスト画像データから撮影画像デー タに切り替える。あるいは、イラスト画像データに変換する際の変換の程度を切り替え る。
[0159] 携帯電話機 60は、携帯電話機 50から送信画像データを受信し、受信した送信画 像データに基づいて携帯電話機 50からの画像を表示する。この結果、携帯電話機 6 0の話者は、携帯電話機 50の話者を撮影した画像をそのまま見ることができ、あるい は、送信した切替要求に応じてイラスト度合 、が変化した画像をみることができる。
[0160] イラスト画像データは撮影画像データよりも色の数が減少しているので、データ量 は画像データよりも少ない。よって、携帯電話機 60からの切替要求に応じて送信す るデータ量が増加した場合、通信コストも増加する。この場合、増加分の通信コストあ るいは通信コスト全体を携帯電話機 60の話者に負担させるようにしてもょ 、。以下、 変形例 3における通信コスト管理について説明する。
[0161] 図 11は、本発明の第 1の実施形態の変形例 3の映像コミュニケーションシステムの 構成を示す図である。
[0162] 図 11に示すように、変形例 3の映像コミュニケーションシステムは、基地局 91, 92 間のネットワーク 93に、料金管理サーバ 70が接続されている。
[0163] 料金管理サーバ 70は、通信料を計算し、どの携帯電話機の話者にその通信料を 要求するのかを管理する。なお、料金管理サーバ 70は、キャリアによって設置される 。また、通話時に送受信される画像データ、音声データ、および切替要求は、料金管 理サーバ 70を経由する。
[0164] 図 12は、本発明の第 1の実施形態の変形例 3に係る料金管理サーバ 70の構成例 を示すブロック図である。
[0165] 図 12に示すように、料金管理サーバ 70は、制御部 71と、通信料データベース 72と 、記憶装置 73と、ネットワークインタフェース 74とを備える。
[0166] 制御部 71は、記憶装置 73が記憶するプログラムに従って動作する。ネットワークィ ンタフェース 74は、ネットワーク 93 (図 11参照）とのインタフェースであり、料金管理サ ーバ 70は、ネットワークインタフェース 74を介してネットワーク 93に接続される。
[0167] 通信料データベース 72は、携帯電話機 50, 60の話者毎に、支払いを求める通信 料を記憶する。
[0168] 制御部 71は、ネットワーク 93を介して通話が開始されると、送受信される画像のデ 一タ量ゃ通話時間に応じて、通信料を計算する。そして、制御部 71は、その通信料 を要求すべき話者に対応させて、その通信料の情報を通信料データベース 72に記 憶させる。
[0169] 制御部 71は、切替要求を受信するまでに発生した通信料は、通信開始を要求した 携帯電話機 50の話者に要求すべき料金であると判定する。また、制御部 71は、切 替要求を受信後に発生した通信料の一部 (または全部）は、切替要求を送信した携 帯電話機 60の話者に要求すべき料金であると判定し、残りの通信料は通信開始を 要求した携帯電話機 50の話者に要求すべき料金であると判定する。
[0170] 図 13 (a)は、イラスト画像データの送受信時の通信料と撮影画像データの送受信 時の通信料の例を説明する図である。なお、図 13に示す通信料は 1分当りの通信料 であるものする。
[0171] 図 13 (a)に示すように、イラスト画像データの送信時においては、イラスト画像デー タを携帯電話機 50から料金管理サーバ 70に送信するまでの通信料が 1分当り 3円 であり、料金管理サーバ 70から通話相手の携帯電話機 60に送信するまでの通信料 力 分当り 3円であるものとする。従って、携帯電話機 50から携帯電話機 60までの通 信料は、 1分当り 6円である。
[0172] また、色数の多い撮影画像データは、よりデータ量が多いので通信料は高く設定さ れる。撮影画像データの送信時においては、撮影画像データを携帯電話機 50から 料金管理サーバ 70に送信するまでの通信料が 1分当り 5円であり、料金管理サーバ 70から通話相手の携帯電話機 60に送信するまでの通信料が 1分当り 5円であるもの とする。従って、携帯電話機 50から携帯電話機 60までの通信料は、 1分当り 10円で ある。よって、撮影画像データの送信時には、イラスト画像データの送信時よりも 1分 当り 4円（ = 10円 6円）通信料が増加する。
[0173] 制御部 71は、携帯電話機 60からの切替要求を受信するまでは、画像データ送信 側の携帯電話機 50の話者に 1分当り 6円の支払いを要求するように通信料を計算し 、その通信料を携帯電話機 50の話者に要求する金額として、通信料データベース 7 2に記憶させる。画像データを受信する携帯電話機 60の話者は、この間の通信料を 負担しない。
[0174] 図 13 (b)は、携帯電話機 60が画像データの切替要求を送信した後における通信 料の例を説明する図である。なお、図 13 (b)に示す態様 1〜3は、料金管理サーバ 7 0の制御部 71が切替要求を受信した後の通信料の振り分け態様を示している。
[0175] 制御部 71は、図 13 (b)に示すような態様 1〜3のいずれかに従って、各話者毎の 通信料を計算し、通信料データベース 72に記憶させる。また、制御部 71は、他の態 様に従って、通信料を計算してもよい。
[0176] 態様 1は、携帯電話機 50の話者には、切替要求受信前と同額 (1分当り 6円）の支 払いを要求し、切替要求を送信した携帯電話機 60の話者には画像データ切替によ り増力!]した通信料（1分当り 4円）を要求する態様である。
[0177] 態様 2は、切替要求を送信した携帯電話機 60の話者に対して、切替要求送信後の 通信料の全額（1分当り 10円）を要求する態様である。この場合、画像データを送信 する携帯電話機 50の話者は、切替要求に応じて撮影画像データの送信を開始した 後の通信料は負担しなくて済む。
[0178] 態様 3は、切替要求を送信した携帯電話機 60の話者に対して、切替要求送信後の 通信料の全額（1分当り 10円）および撮影した画像をそのまま見られることに対する 対価（1分当り 10円とする)を要求する態様である。すなわち、携帯電話機 60の話者 に対して 1分当り 20円を要求する。図 13 (a)に示すように、撮影画像データの送信時 における通信料は 1分当り 10円で済む。制御部 71は、この差額の 1分当り 10円（= 2 0円— 10円）については、キャリア力も携帯電話機 50の話者に支払うように通信料デ ータベース 72に記憶させる。
[0179] 変形例 3においては、切替要求送信部は、携帯電話機 60の中央コントロール部お よび無線部によって実現される。送信データ切替部は、携帯電話機 50の中央コント ロール部 51によって実現される。通信料計算部は、料金管理サーバ 70の制御部 71 によって実現される。
[0180] 上記の変形例 1〜3のいずれにおいても、携帯電話機 50が実際に撮影された話者 の画像の画像データをイラスト画像データに変換し、携帯電話機 60に送信する。従 つて、良好なコミュニケーションを実現することができる。
[0181] また、変形例 1〜3のいずれにおいても、画像データ全体に対して、色の数を減少 させる変換を行っている。従って、特許文献 1に記載された技術のように、どの領域が 顔であるのかを認識し、さらに特徴点を抽出する等の処理を行う必要がなぐ処理負 荷を低減することができる。
[0182] なお、上記の説明では、携帯電話機 50が画像データを送信し、携帯電話機 60が 画像データを受信して画像を表示する場合を例に挙げて説明した。携帯電話機 50, 60がそれぞれ、画像データを送信しあって、各携帯電話機 50, 60がそれぞれ通話 相手の画像を表示してもよい。この場合、各携帯電話機 50, 60が、いずれも画像入 力部 57、コミュニケーション画像生成部 52を備える同一の構成であり、また、各携帯 電話機 50, 60が、受信した画像データに基づいて画像を表示する構成になってい ればよい。
[0183] [第 2の実施形態]
第 1の実施形態では、画像データを送信する携帯電話機 50 (図 1参照)が撮影画 像データからイラスト画像データへの変換を行う。
[0184] これに対し、第 2の実施形態では、画像データを受信する携帯電話機 60 (図 1参照 )が、携帯電話機 50から撮影画像データを受信し、その撮影画像データをイラスト画 像データに変換する。第 2の実施形態でも、図 1に示す場合と同様に、携帯電話機 5 0, 60は、基地局 91、ネットワーク 93、および基地局 92を介してデータの送受信を行
[0185] 第 2の実施形態では、携帯電話機 50は、コミュニケーション画像生成部 52を備えて いなくてよい。他の構成に関しては、図 2に示す構成と同様である。
[0186] 図 14は、本発明の第 2の実施形態に係る画像データ受信側の携帯電話機 60の構 成例を示すブロック図である。なお、図 2に示す構成と同様の構成部については、図
2と同様の符号を付して、詳細な説明を省略する。
[0187] 図 14に示すように、受信側の携帯電話機 60は、画像入力部を備えていなくてもよ い。また、携帯電話機 60のコミュニケーション画像生成部 52の構成は、第 1の実施形 態またはその変形例 1〜3と同様である。
[0188] 以下、本発明の第 2の実施形態の映像コミュニケーションシステムの動作について 説明する。なお、以下の説明では、動画像を撮影する場合を例にして説明するが、 撮影する画像は静止画像であってもよ 、。
[0189] 携帯電話機 50の中央コントロール部 51は、画像入力部 57に例えば話者の顔など の動画像を撮影させ、動画像の撮影画像データを画像メモリ 53に記憶する処理を行 わせる。この処理は、第 1の実施形態におけるステップ S1と同様の処理である。
[0190] 続いて、携帯電話機 50の中央コントロール部 51は、画像メモリから撮影画像デー タを読み込み、無線部 54に撮影画像データを送信させる。無線部 54は、中央コント ロール部 51に従って、撮影画像データを携帯電話機 60に向けて送信する。携帯電 話機 50は、以上の動作を繰り返し、撮影画像データを携帯電話機 60に送信する。
[0191] 一方、受信側の携帯電話機 60の無線部 54 (図 14参照）は、アンテナ 59を介して 携帯電話機 50からの撮影画像データを受信する。すると、携帯電話機 60の中央コ ントロール部 51は、受信した撮影画像データを画像メモリ 53に記憶させる。
[0192] 携帯電話機 60のコミュニケーション画像生成部 52は、画像メモリ 53から撮影画像 データを読み込み、イラスト画像データに変換し、イラスト画像データを画像メモリ 53 に記憶させる。携帯電話機 60のコミュニケーション画像生成部 52によるイラスト画像 データへの変換処理は、第 1の実施形態またはその変形例 1〜3における撮影画像 データからイラスト画像データへの変換処理と同様である。
[0193] 中央コントロール部 51は、画像メモリ 53からイラスト画像データを読み込み、イラスト 画像データに基づく画像を画像表示部 56に表示させる。この結果、携帯電話機 60 の話者は、イラスト的な画像を見ることができる。
[0194] 第 2の実施形態では、携帯電話機 60が、実際に撮影された話者などの画像の画像 データを携帯電話機 50から受信し、イラスト画像データに変換する。そして、携帯電 話機 60が、イラスト画像データに基づいて、イラスト的な画像を表示する。
[0195] 従って、携帯電話機 50の話者を映像として送れば、第 1の実施形態と同様に、良 好なコミュニケーションを実現することができる。また、受信側の携帯電話機 60のコミ ュ-ケーシヨン画像生成部 52は、第 1の実施形態またはその変形例 1〜3と同様に変 換処理を行うので、処理負荷を低減することができる。
[0196] 第 2の実施形態において、画像データ生成部は、携帯電話機 50の画像入力部 57 によって実現される。画像データ変換部は、携帯電話機 60のコミュニケーション画像 生成部 52によって実現される。画像表示部は、携帯電話機 60の画像表示部 56によ つて実現される。 [0197] なお、上記の説明では、携帯電話機 50が撮影画像データを送信し、携帯電話機 6 0が撮影画像データを受信し、イラスト画像データに変換して、イラスト的な画像を表 示する場合を説明した。携帯電話機 50, 60がそれぞれ、撮影画像データを送信しあ つて、各携帯電話機 50, 60がそれぞれ通話相手のイラスト的な画像を表示してもよ い。この場合、各携帯電話機 50, 60が、いずれも画像入力部 57、コミュニケーション 画像生成部 52を備える同一の構成になって 、ればよ 、。
[0198] [第 3の実施形態]
図 15は、本発明の第 3の実施形態の映像コミュニケーションシステムの構成を示す 図である。
[0199] 図 15に示すように、第 3の実施形態の映像コミュニケーションシステムは、携帯電話 機 50, 60と、基地局 91, 92と、基地局 91, 92間のネットワーク 93に接続される画像 変換サーバ 80とを備える。
[0200] 画像変換サーバ 80は、キャリアによって設置される。
[0201] 携帯電話機 50と携帯電話機 60は、基地局 91、ネットワーク 93に接続された画像 変換サーバ 80、基地局 92を介してデータの送受信を行う。よって、通話時に送受信 される画像データや音声データは、画像変換サーバ 80を経由する。
[0202] 第 3の実施形態では、撮影画像データカゝらイラスト画像データへの変換を画像変換 サーバ 80が行う。以下、携帯電話機 50が携帯電話機 60に画像データを送信するも のとして説明する。
[0203] 第 3の実施形態では、携帯電話機 50は、コミュニケーション画像生成部 52を備えて いなくてよい。他の構成に関しては、図 2に示す構成と同様である。
[0204] また、携帯電話機 60は、通話時に受信した画像データを表示可能な携帯電話機 であればよい。携帯電話機 60は、例えば、携帯電話機 50と同様の、中央コントロー ル部 51、無線部 54、スピーカ 55、画像表示部 56、音声入力部 58、およびアンテナ 59を備える構成である。携帯電話機 60の中央コントロール部 51は、無線部 54およ びアンテナ 59によって、画像データや音声データを受信する。また、携帯電話機 60 の中央コントロール部 51は、無線部 54およびアンテナ 59によって音声データ等の信 号を送信する。また、携帯電話機 60の中央コントロール部 51は、受信した画像デー タに基づ ヽて画像を画像表示部 56に表示する。
[0205] 携帯電話機 50は、基地局 91, 92間のネットワーク 93を介して撮影画像データを送 信する。撮影画像データは、画像変換サーバ 80においてイラスト画像データに変換 され、携帯電話機 60は、そのイラスト画像データを受信する。携帯電話機 60は、イラ スト画像データに基づ 、て話者 (携帯電話機 50の話者)のイラスト的な画像を表示す る。
[0206] 図 16は、本発明の第 3の実施形態に係る画像変換サーバ 80の構成例を示すプロ ック図である。
[0207] 図 16に示すように、画像変換サーバ 80は、制御部 81と、記憶装置 83と、ネットヮー クインタフエース 84と、コミュニケーション画像生成部 85と、画像メモリ 86とを備える。
[0208] 制御部 81は、画像変換サーバ 80全体を制御する。制御部 81は、例えば、プロダラ ムに従って動作する演算処理装置である。
[0209] 記憶装置 83は、プログラムを記憶する。
[0210] ネットワークインタフェース 84は、基地局間のネットワーク 93 (図 15参照）とのインタ フェースであり、画像変換サーバ 80は、ネットワークインタフェース 84を介してネットヮ ーク 93に接続される。
[0211] また、制御部 81は、携帯電話機 50が送信した撮影画像データを受信し、画像メモ リ 86に記憶させる。制御部 81は、その撮影画像データがコミュニケーション画像生成 部 85によってイラスト画像データに変換されると、イラスト画像データを携帯電話機 6 0に向けて送信する。
[0212] 画像メモリ 86は、携帯電話機 50, 60間で送受信される撮影画像データを記憶する 。また、画像メモリ 86は、コミュニケーション画像生成部 85によって撮影画像データ カゝら変換されたイラスト画像データを記憶する。
[0213] コミュニケーション画像生成部 85は、画像メモリ 86から撮影画像データを読み込ん で、撮影画像データをイラスト画像データに変換する。そして、コミュニケーション画 像生成部 85は、そのイラスト画像データを画像メモリ 86に記憶させる。コミュニケーシ ヨン画像生成部 85の構成は、第 1の実施形態またはその変形例 1〜3と同様である。 また、コミュニケーション画像生成部 85を、制御部 81と同一の演算処理装置によって 実現してちょい。
[0214] 以下、第 3の実施形態の映像コミュニケーションシステムの動作について説明する。
以下の説明では、携帯電話機 50が話者の動画像を撮影する場合を例にして説明す る力 撮影する画像は静止画像であってもよい。
[0215] 携帯電話機 50の中央コントロール部 51 (図 2参照）は、画像入力部 57に例えば話 者の顔の動画像を撮影させ、動画像の撮影画像データを画像メモリ 53に記憶させる 処理を行わせる。この処理は、第 1の実施形態におけるステップ S1と同様の処理で ある。
[0216] 続いて、携帯電話機 50の中央コントロール部 51は、画像メモリから撮影画像デー タを読み込み、無線部 54に撮影画像データを送信させる。無線部 54は、中央コント ロール部 51に従って、撮影画像データを携帯電話機 60に向けて送信する。携帯電 話機 50は、以上の動作を繰り返し、撮影画像データを携帯電話機 60に送信する。
[0217] 画像変換サーバ 80の制御部 81 (図 16参照）は、基地局 91, 92間のネットワーク 9 3において、携帯電話機 50が携帯電話機 60に送信した撮影画像データを受信し、 その撮影画像データを画像メモリ 86に記憶させる。
[0218] 続いて、コミュニケーション画像生成部 85は、画像メモリ 86から撮影画像データを 読み込み、撮影画像データをイラスト画像データに変換する。コミュニケーション画像 生成部 85による撮影画像データ力もイラスト画像データへの変換処理は、第 1の実 施形態またはその変形例 1〜3と同様である。コミュニケーション画像生成部 85は、 変換処理によって生成したイラスト画像データを画像メモリ 86に記憶させる。
[0219] 制御部 81は、コミュニケーション画像生成部 85によって生成されたイラスト画像デ ータを画像メモリ 86から読み込み、携帯電話機 60に送信する。
[0220] 画像変換サーバ 80は、以上の動作を繰り返し、イラスト画像データを携帯電話機 6 0に送信する。
[0221] 携帯電話機 60は、画像変換サーバ 80からイラスト画像データを受信すると、そのィ ラスト画像データに基づいて、携帯電話機 50の話者のイラスト的な動画像を表示す る。
[0222] 第 3の実施形態では、画像変換サーバ 80が、実際に撮影された話者の画像の画 像データを携帯電話機 50から受信し、イラスト画像データに変換する。そして、画像 変換サーバ 80が、イラスト画像データを携帯電話機 60に送信し、携帯電話機 60が 話者のイラスト的な画像を表示する。
[0223] 従って、第 1の実施形態と同様に、良好なコミュニケーションを実現することができる 。また、画像変換サーバ 80のコミュニケーション画像生成部 85は、第 1の実施形態ま たはその変形例 1〜3と同様に変換処理を行うので、処理負荷を低減することができ る。さら〖こ、第 3の実施形態では、携帯電話機 50, 60は、撮影画像データからイラスト 画像データへの変換処理を行う必要がないので、携帯電話機 50, 60の処理負荷を 低減することができる。
[0224] 第 3の実施形態において、画像データ生成部は、携帯電話機 50の画像入力部 57 によって実現される。画像データ変換部は、画像変換サーバ 80のコミュニケーション 画像生成部 85によって実現される。画像表示部は、携帯電話機 60の画像表示部に よって実現される。送信部は、画像変換サーバ 80の制御部 81およびネットワークイン タフエース 84によって実現される。
[0225] 以下、第 3の実施形態の映像コミュニケーションシステムの変形例について説明す る。
[0226] (変形例 1)
以上の説明では、画像変換サーバ 80が携帯電話機 60にイラスト画像データを送 信する場合を示した。
[0227] これに対して、変形例 1では、画像変換サーバ 80は、携帯電話機 60からの要求に より、携帯電話機 60に対して送信する画像データをイラスト画像データから撮影画像 データに切り替える。あるいは、第 1の実施形態の変形例 3で示したように、イラスト風 変換におけるパラメータをコントロールしてイラスト画像データのイラスト度合 、 (コミュ 二ケーシヨン画像生成部 85における変換の程度）を変化させて送信する画像データ を生成してもよい。
[0228] 変形例 1における携帯電話機 50, 60の構成および画像変換サーバ 80の構成は、 第 3の実施形態と同様である。ただし、画像変換サーバ 80の制御部 81は、携帯電話 機 60からの要求に応じて、送信する画像データの切り替える動作、あるいは、コミュ 二ケーシヨン画像生成部 85における変換の程度 (イラスト度合い）を変化させる動作 も行う。
[0229] 以下、変形例 1の映像コミュニケーションシステムの動作について説明する。
[0230] 通話開始後、携帯電話機 50は、撮影画像データを携帯電話機 60に送信する。
[0231] 画像変換サーバ 80の制御部 81は、この撮影画像データを受信する。そして、コミュ 二ケーシヨン画像生成部 85が、撮影画像データをイラスト画像データに変換し、制御 部 81が、イラスト画像データを携帯電話機 60に送信する。
[0232] 携帯電話機 60は、イラスト画像データを受信し、話者のイラスト的な画像を表示す る。
[0233] 以上の動作は、既に説明した第 3の実施形態と同様である。
[0234] 通話中、携帯電話機 60の話者が、携帯電話機 50の話者が設定したイラスト的な画 像のイラスト度合 、を変化させた画像や、携帯電話機 50の撮影した画像をそのまま 見たいと考えたとする。この場合、携帯電話機 60は、通話中に、キー操作部（図示せ ず)を介して、画像データの切替要求を画像切替サーバ 80に送信する旨の指示が、 話者から入力される。この指示が入力されると、携帯電話機 60は、切替要求を画像 変換サーバ 80に送信する。このとき、携帯電話機 60の中央コントロール部 51が、無 線部 54に切替要求を送信させればよい。
[0235] 画像変換サーバ 80の制御部 81は、携帯電話機 60からの切替要求を受信すると、 コミュニケーション画像生成部 85における変換処理を停止する。そして、制御部 81 は、携帯電話機 50から受信した撮影画像データをそのまま携帯電話機 60に送信す る。あるいは、制御部 81は、切替要求に従って、コミュニケーション画像生成部 85に イラスト度合 、 (変換の程度)を変化させてイラスト画像データへの変換を行わせて、 コミュニケーション画像生成部 85によって変換された画像データを携帯電話機 60に 送信してちょい。
[0236] なお、制御部 81は、切替要求を受信したときに、切替画像に従って送信画像を切り 替えてよいかどうかの入力を促す画面情報を携帯電話機 50に送信してもよい。この 場合、携帯電話機 50は、この画面を表示し、切り替えてよい旨の情報が入力された 場合に、その情報を画像変換サーバ 80に送信する。 [0237] 画像変換サーバ 80の制御部 81は、この情報を受信した場合にのみ、送信画像デ ータをイラスト画像データ力も撮影画像データに切り替える。あるいは、制御部 81は、 イラスト画像データに変換する際の変換の程度を切り替える。
[0238] 携帯電話機 60は、画像変換サーバ 80から撮影画像データを受信し、受信した撮 影画像に基づいて携帯電話機 50の話者の画像を表示する。この結果、携帯電話機
60の話者は、指定した要求どおりのイラスト度合いの画像や携帯電話機 50の撮影し た画像を見ることができる。
[0239] 第 1の実施形態の変形例 3において説明したように、携帯電話機 60からの切替要 求に応じて撮影画像データを送信するようにすると、送信するデータ量が増加し、通 信コストも増加する。この場合、増加分の通信コストあるいは通信コスト全体を携帯電 話機 60の話者に負担させるようにしてもよい。また、各話者毎の通信料の管理を画 像変換サーバ 80が行ってもょ ヽ。
[0240] 各話者毎の通信料の管理を画像変換サーバ 80が行う場合、画像変換サーバ 80は
、図 17に示すような構成となる。
[0241] 図 17は、本発明の第 3の実施形態の変形例 1に係る画像変換サーバ 80の構成例 を示すブロック図である。
[0242] 図 17に示すように、画像変換サーバ 80は、通信料データベース 82も備える。他の 構成部は、図 16に示す各構成部と同様である。
[0243] 通信料データベース 82は、携帯電話機 50, 60の話者毎に、支払いを求める通信 料を記憶する。
[0244] 制御部 81は、携帯電話機 50, 60間で通話が開始されると、携帯電話機 60に送信 する画像のデータや通話時間に応じて、通信料を計算する。そして、制御部 81は、 その通信料を要求すべき話者に対応させて、その通信料の情報を通信料データべ ース 82に記憶させる。
[0245] 制御部 81は、切替要求を受信するまでに発生した通信料は、通信開始を要求した 携帯電話機 50の話者に要求すべき料金であると判定する。また、制御部 81は、切 替要求を受信後に発生した通信料の一部 (または全部）は、切替要求を送信した携 帯電話機 60の話者に要求すべき料金であると判定し、残りの通信料は通信開始を 要求した携帯電話機 50の話者に要求すべき料金であると判定する。
[0246] 図 18 (a)は、画像変換サーバ 80がイラスト画像データへの変換を実行する場合と、 実行しない場合の通信料の例を説明する図である。なお、図 18に示す通信料は 1分 当りの通信料であるものとする。
[0247] 画像変換サーバ 80が変換処理を実行するか否かによらず、携帯電話機 50から画 像変換サーバ 80には撮影画像データが送信される。
[0248] 図 18 (a)に示すように、携帯電話機 50から画像変換サーバ 80までの撮影画像デ ータの通信料は、 1分当り 5円であるものとする。
[0249] 画像変換サーバ 80がイラスト画像データへの変換を実行し、イラスト画像データを 携帯電話機 60に送信する場合、画像変換サーバ 80から携帯電話機 60までのィラス ト画像データの通信料は 1分当り 3円であるものとする。従って、画像変換サーバ 80 が変換処理を行うときの携帯電話機 50から携帯電話機 60まので通信料は、 1分当り
8円である。
[0250] 画像変換サーバ 80がイラスト画像データへの変換を実行せず、データ量の多い撮 影画像データを携帯電話機 60に送信する場合、画像変換サーバ 80から携帯電話 機 60までの撮影画像データの通信料は 1分当り 5円であるものとする。従って、画像 変換サーバ 80が変換処理を行わないときの携帯電話機 50から携帯電話機 60まの で通信料は、 1分当り 10円である。よって、画像変換サーバ 80が変換処理を実行し ない場合には、変換処理を実行する場合よりも 1分当り 2円（ = 10円— 8円）通信料が 増加する。
[0251] 制御部 81は、携帯電話機 60からの切替要求を受信するまでは、画像データ送信 側の携帯電話機 50の話者に 1分当り 8円の支払いを要求するように通信料を計算し 、その通信料を携帯電話機 50の話者に要求する金額として、通信料データベース 8 2に記憶させる。画像データを受信する携帯電話機 60の話者は、この間の通信料を 負担しない。
[0252] 図 18 (b)は、携帯電話機 60が画像データの切替要求を送信した後における通信 料の例を説明する図である。なお、図 18 (b)に示す態様 1〜3は、画像変換サーバ 8 0の制御部 81が切替要求を受信した後の通信料の振り分け態様を示している。 [0253] 制御部 81は、図 18 (b)に示すような態様 1〜3のいずれかに従って、各話者毎の 通信料を計算し、通信料データベース 82に記憶させる。また、制御部 81は、他の態 様に従って、通信料を計算してもよい。
[0254] 態様 1は、携帯電話機 50の話者には、切替要求受信前と同額 (1分当り 8円）の支 払いを要求し、切替要求を送信した携帯電話機 60の話者には画像データ切替によ り増力!]した通信料（1分当り 2円）を要求する態様である。
[0255] 態様 2は、切替要求を送信した携帯電話機 60の話者に対して、切替要求送信後の 通信料の全額（1分当り 10円）を要求する態様である。この場合、画像データを送信 する携帯電話機 50の話者は、切替要求に応じて画像変換サーバ 80が撮影画像デ ータの送信を開始した後の通信料は負担しなくて済む。
[0256] 態様 3は、切替要求を送信した携帯電話機 60の話者に対して、切替要求送信後の 通信料の全額（1分当り 10円）および撮影した画像をそのまま見られることに対する 対価（1分当り 10円とする。）を要求する態様である。すなわち、携帯電話機 60の話 者に対して 1分当り 20円を要求する。図 18 (a)に示すように、画像変換サーバ 80が 変換を実行せずに撮影画像データを送信する場合の通信料は 1分当り 10円で済む 。制御部 81は、この差額の 1分当り 10円（ = 20円— 10円）については、キャリアから 携帯電話機 50の話者に支払うように通信料データベース 82に記憶させる。
[0257] 変形例 1において、切替要求送信部は、携帯電話機 60の中央コントロール部およ び無線部によって実現される。送信データ切替部および通信料計算部は、画像変換 サーバ 80の制御部 81によって実現される。
[0258] 以上のような変形例 1においても、画像変換サーバ 80が、実際に撮影された話者 の画像の画像データをイラスト画像データに変換し、携帯電話機 60に送信する。
[0259] 従って、良好なコミュニケーションを実現することができる。また、コミュニケーション 画像生成部 85は、画像データ全体に対して、色の数を減少させる変換を行うので、 どの領域が顔であるのかを認識し、さらに特徴点を抽出する等の処理を行う必要がな ぐ処理負荷を低減することができる。また、携帯電話機は画像データの変換処理を 実行しないので、携帯電話機の負荷を低減できる。
[0260] なお、上記の説明では、携帯電話機 50が画像データを送信し、携帯電話機 60が 画像データを受信して画像を表示する場合を例にして説明した。携帯電話機 50, 60 がそれぞれ、画像データを送信しあって、各携帯電話機 50, 60がそれぞれ通話相 手の画像を表示してもよい。この場合、各携帯電話機 50, 60が、いずれも画像入力 部 57を備える同一の構成であり、また、各携帯電話機 50, 60が、受信した画像デー タに基づ 、て画像を表示する構成になって 、ればよ 、。
[0261] また、第 1から第 3の各実施形態では、携帯電話機 50, 60が画像データを送受信 する場合を例に説明したが、画像データを送受信する端末は、携帯電話機以外の端 末 (例えば、 PDA等)であってもよい。また、携帯端末以外の端末であってもよい。 産業上の利用可能性
[0262] 本発明は、テレビ電話システム等の画像データを送受信するシステムに適用可能 である。

Claims

請求の範囲
[1] 撮影対象の画像データを送信する第 1の端末と、前記第 1の端末が送信した画像 データを受信する第 2の端末とを有する映像コミュニケーションシステムであって、 前記第 1の端末は、
前記撮影対象の画像データを、前記撮影対象に含まれる画像特徴量を少なくとも 用いて、前記撮影対象を絵画的に表す画像データに変換する画像データ変換手段 を有し、
前記第 2の端末は、
前記画像データ変換手段によって変換された画像データに基づいて画像を表示 する画像表示手段を有する映像コミュニケーションシステム。
[2] 前記第 1の端末は、
前記撮影対象の画像を撮影し、前記撮影対象の画像データを生成する画像デー タ生成手段をさらに有し、
前記画像データ変換手段は、前記画像データ生成手段によって生成された画像 データを変換する、請求項 1に記載の映像コミュニケーションシステム。
[3] 前記第 2の端末は、
前記第 2の端末の話者の操作に応じて、前記第 1の端末に対して、前記画像デー タの切替要求を送信する切替要求送信手段をさらに有し、
前記第 1の端末は、
前記切替要求を受信したときに、前記切替要求に基づき前記画像データ変換手段 における変換の程度を制御する力、あるいは、前記画像データ変換手段による変換 を停止し、前記画像データ変換手段によって変換された画像データまたは前記画像 データ生成手段によって生成された画像データを前記第 2の端末に送信する送信デ ータ切替手段をさらに有する、請求項 2に記載の映像コミュニケーションシステム。
[4] 前記第 1および第 2の端末の話者に要求する通信料を計算するとともに、前記第 2 の端末力 前記第 1の端末に送信される切替要求を受信する料金管理サーバをさら に有し、
前記料金管理サーバは、 前記切替要求を受信した後に前記第 1および第 2の端末の話者に対して要求する 通信料を計算する通信料計算手段を有する、請求項 3に記載の映像コミュニケーシ ヨンシステム。
[5] 前記画像データ変換手段は、前記撮影対象の画像データにおける色の数を減少 させて、前記画像データを、前記撮影対象を絵画的に表す画像データに変換する、 請求項 1に記載の映像コミュニケーションシステム。
[6] 前記画像データ変換手段は、前記撮影対象の画像データにおける各画素毎に変 換を行う、請求項 1に記載の映像コミュニケーションシステム。
[7] 撮影対象の画像データを送信する第 1の端末と、前記第 1の端末が送信した画像 データを受信し、前記画像データを変換する画像変換装置と、前記画像変換装置に よって変換された画像データを受信する第 2の端末とを有する映像コミュニケーション システムであって、
前記画像変換装置は、
前記撮影対象の画像データを、前記撮影対象に含まれる画像特徴量を少なくとも 用いて、前記撮影対象を絵画的に表す画像データに変換する画像データ変換手段 を有し、
前記第 2の端末は、
前記画像データ変換手段によって変換された画像データに基づいて画像を表示 する画像表示手段を有する映像コミュニケーションシステム。
[8] 前記第 1の端末は、
前記撮影対象の画像を撮影し、前記撮影対象の画像データを生成する画像デー タ生成手段を有し、
前記画像データ変換手段は、前記画像データ生成手段によって生成された画像 データを変換する、請求項 7に記載の映像コミュニケーションシステム。
[9] 前記第 2の端末は、
前記第 2の端末の話者の操作に応じて、前記画像変換装置に対して、前記画像デ ータの切替要求を送信する切替要求送信手段をさらに有し、
前記画像変換装置は、 前記切替要求を受信したときに、前記切替要求に基づき前記画像データ変換手段 における変換の程度を制御する力、あるいは、前記画像データ変換手段による変換 を停止し、前記画像データ変換手段によって変換された画像データまたは前記第 1 の端末の前記画像データ生成手段によって生成された画像データを前記第 2の端 末に送信する送信データ切替手段をさらに有する、請求項 8に記載の映像コミュニケ ーシヨンシステム。
[10] 前記画像変換装置は、
前記切替要求を受信した後に前記第 1および第 2の端末の話者に対して要求する 通信料を計算する通信料計算手段をさらに有する、請求項 9に記載の映像コミュニケ ーシヨンシステム。
[11] 前記画像データ変換手段は、前記撮影対象の画像データにおける色の数を減少 させて、前記画像データを、前記撮影対象を絵画的に表す画像データに変換する、 請求項 7に記載の映像コミュニケーションシステム。
[12] 前記画像データ変換手段は、前記撮影対象の画像データにおける各画素毎に変 換を行う、請求項 7に記載の映像コミュニケーションシステム。
[13] 他の端末に画像データを送信する端末であって、
撮影対象の画像データを、前記撮影対象に含まれる画像特徴量を少なくとも用い て、前記撮影対象を絵画的に表す画像データに変換する画像データ変換手段を有 する端末。
[14] 前記撮影対象の画像を撮影し、前記撮影対象の画像データを生成する画像デー タ生成手段をさらに有し、
前記画像データ変換手段は、前記画像データ生成手段によって生成された画像 データを変換する、請求項 13に記載の端末。
[15] 前記画像データ変換手段は、前記撮影対象の画像データにおける色の数を減少 させて、前記画像データを、前記撮影対象を絵画的に表す画像データに変換する、 請求項 13に記載の端末。
[16] 前記画像データ変換手段は、前記撮影対象の画像データにおける各画素毎に変 換を行う、請求項 13に記載の端末。
[17] 他の端末から撮影対象を撮影して生成された画像データを受信する端末であって 前記撮影対象を撮影して生成された画像データを、前記撮影対象に含まれる画像 特徴量を少なくとも用いて、前記撮影対象を絵画的に表す画像データに変換する画 像データ変換手段と、
前記画像データ変換手段によって変換された画像データに基づいて画像を表示 する画像表示手段とを有する端末。
[18] 前記画像データ変換手段は、前記撮影対象を撮影して生成された画像データに おける色の数を減少させて、前記画像データを、前記撮影対象を絵画的に表す画像 データに変換する、請求項 17に記載の端末。
[19] 前記画像データ変換手段は、前記撮影対象を撮影して生成された画像データに おける各画素毎に変換を行う、請求項 17に記載の端末。
[20] 第 1の端末から撮影対象を撮影して生成された画像データを受信し、前記画像デ ータを変換して第 2の端末に送信する画像変換装置であって、
前記撮影対象を撮影して生成された画像データを、前記撮影対象に含まれる画像 特徴量を少なくとも用いて、前記撮影対象を絵画的に表す画像データに変換する画 像データ変換手段と、
前記画像データ変換手段によって変換された画像データを、前記第 2の端末に送 信する送信手段とを有する画像変換装置。
[21] 前記画像データ変換手段は、前記撮影対象を撮影して生成された画像データに おける色の数を減少させて、前記画像データを、前記撮影対象を絵画的に表す画像 データに変換する、請求項 20に記載の画像変換装置。
[22] 前記画像データ変換手段は、前記撮影対象を撮影して生成された画像データに おける各画素毎に変換を行う、請求項 20に記載の画像変換装置。
[23] 前記第 2の端末から画像データの切替要求を受信したときに、前記切替要求に基 づき前記画像データ変換手段における変換の程度を制御するか、あるいは、前記画 像データ変換手段による変換を停止し、前記画像データ変換手段によって変換され た画像データまたは前記撮影対象を撮影して生成された画像データを前記第 2の端 末に送信する送信データ切替手段をさらに有する、請求項 20に記載の画像変換装 置。
前記切替要求を受信した後に前記第 1および第 2の話者に対して要求する通信料 を計算する通信料計算手段をさらに有する、請求項 23に記載の画像変換装置。
PCT/JP2006/308017 2005-05-12 2006-04-17 映像コミュニケーションシステム、端末、および画像変換装置 WO2006120840A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/920,155 US8164613B2 (en) 2005-05-12 2006-04-17 Video communication system, terminal, and image converter
JP2007528133A JP5003488B2 (ja) 2005-05-12 2006-04-17 映像コミュニケーションシステム、端末、および画像変換装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-140259 2005-05-12
JP2005140259 2005-05-12

Publications (1)

Publication Number Publication Date
WO2006120840A1 true WO2006120840A1 (ja) 2006-11-16

Family

ID=37396353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/308017 WO2006120840A1 (ja) 2005-05-12 2006-04-17 映像コミュニケーションシステム、端末、および画像変換装置

Country Status (3)

Country Link
US (1) US8164613B2 (ja)
JP (1) JP5003488B2 (ja)
WO (1) WO2006120840A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080284845A1 (en) * 2007-05-14 2008-11-20 Olympus Winter & Ibe Gmbh Method and apparatus to process endoscope images
JP2013073123A (ja) * 2011-09-28 2013-04-22 Casio Comput Co Ltd 画像表示装置及び画像表示プログラム
JP2016018313A (ja) * 2014-07-07 2016-02-01 任天堂株式会社 プログラム、情報処理装置、コミュニケーションシステム及びコミュニケーション方法
JP2021143957A (ja) * 2020-03-12 2021-09-24 株式会社Ｎｔｔファシリティーズ サーバ室管理システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110181684A1 (en) * 2011-02-07 2011-07-28 InnovatioNet Method of remote video communication and system of synthesis analysis and protection of user video images
TWI503579B (zh) * 2013-06-07 2015-10-11 Young Optics Inc 立體影像裝置、其立體影像掃描底座及其運作方法
TWI512682B (zh) * 2014-09-30 2015-12-11 Quanta Comp Inc 影像處理系統及色彩飽和度補償方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223570A (ja) * 1995-02-17 1996-08-30 Canon Inc 画像伝送装置
JPH08289274A (ja) * 1995-04-14 1996-11-01 Ricoh Co Ltd テレビ会議通信端末装置の制御方法
JP2003016475A (ja) * 2001-07-04 2003-01-17 Oki Electric Ind Co Ltd 画像コミュニケーション機能付き情報端末装置および画像配信システム
JP2004104431A (ja) * 2002-09-09 2004-04-02 Matsushita Electric Ind Co Ltd 動画像処理装置、動画像表示装置及び画像処理表示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8614877D0 (en) * 1986-06-18 1986-07-23 Rca Corp Display processors
JPH0765160A (ja) * 1993-08-27 1995-03-10 Canon Inc 画像処理方法およびその装置
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
JP2003258956A (ja) * 2002-02-27 2003-09-12 Matsushita Electric Ind Co Ltd 電話機
JP2004246644A (ja) * 2003-02-14 2004-09-02 Pentax Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2004289254A (ja) 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd テレビ電話端末
US7483082B2 (en) * 2005-04-21 2009-01-27 Kolorific, Inc. Method and system for automatic color hue and color saturation adjustment of a pixel from a video source

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223570A (ja) * 1995-02-17 1996-08-30 Canon Inc 画像伝送装置
JPH08289274A (ja) * 1995-04-14 1996-11-01 Ricoh Co Ltd テレビ会議通信端末装置の制御方法
JP2003016475A (ja) * 2001-07-04 2003-01-17 Oki Electric Ind Co Ltd 画像コミュニケーション機能付き情報端末装置および画像配信システム
JP2004104431A (ja) * 2002-09-09 2004-04-02 Matsushita Electric Ind Co Ltd 動画像処理装置、動画像表示装置及び画像処理表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080284845A1 (en) * 2007-05-14 2008-11-20 Olympus Winter & Ibe Gmbh Method and apparatus to process endoscope images
JP2013073123A (ja) * 2011-09-28 2013-04-22 Casio Comput Co Ltd 画像表示装置及び画像表示プログラム
JP2016018313A (ja) * 2014-07-07 2016-02-01 任天堂株式会社 プログラム、情報処理装置、コミュニケーションシステム及びコミュニケーション方法
US10142588B2 (en) 2014-07-07 2018-11-27 Nintendo Co., Ltd. Information-processing device, communication system, storage medium, and communication method
JP2021143957A (ja) * 2020-03-12 2021-09-24 株式会社Ｎｔｔファシリティーズ サーバ室管理システム
JP7376398B2 (ja) 2020-03-12 2023-11-08 株式会社Ｎｔｔファシリティーズ サーバ室管理システム

Also Published As

Publication number Publication date
US20090122130A1 (en) 2009-05-14
JPWO2006120840A1 (ja) 2008-12-18
JP5003488B2 (ja) 2012-08-15
US8164613B2 (en) 2012-04-24

Similar Documents

Publication Publication Date Title
CN107093418B (zh) 一种屏幕显示方法、计算机设备及存储介质
CN107302663B (zh) 一种图像亮度调整方法、终端及计算机可读存储介质
US9892492B2 (en) Image processing device, imaging apparatus, parameter generating method, image processing method, and non-transitory computer readable recording medium storing a program
US9710895B2 (en) Image processing device, image capture device, image processing method, and program
CN107465881B (zh) 一种双摄像头对焦方法、移动终端以及计算机可读存储介质
JP5003488B2 (ja) 映像コミュニケーションシステム、端末、および画像変換装置
JP5752866B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
US20050104909A1 (en) Communications system and method
KR20090125124A (ko) 휴대용 기기에서의 화상 색 보정을 위한 장치 및 방법
CN110072061B (zh) 一种交互式拍摄方法、移动终端及存储介质
CN108053371B (zh) 一种图像处理方法、终端及计算机可读存储介质
CN108198146B (zh) 一种降噪方法、设备和计算机可读存储介质
WO2014169653A1 (zh) 一种图像合成的优化方法及装置
CN108459799B (zh) 一种图片的处理方法、移动终端及计算机可读存储介质
CN113179374A (zh) 图像处理方法、移动终端及存储介质
CN112995467A (zh) 图像处理方法、移动终端及存储介质
CN108022227B (zh) 一种黑白背景照片获取方法、装置及计算机可读存储介质
US11222235B2 (en) Method and apparatus for training image processing model, and storage medium
CN116668656B (zh) 图像处理方法及电子设备
CN109003272A (zh) 图像处理方法、装置及系统
US20110018961A1 (en) Video call device and method
US11501412B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
CN114143471A (zh) 图像处理方法、系统、移动终端及计算机可读存储介质
CN110648373B (zh) 图像处理方法及装置
CN114125313A (zh) 一种图像增强处理方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007528133

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11920155

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06745408

Country of ref document: EP

Kind code of ref document: A1