WO2008065843A1 - Dispositif mobile de prise d'image avec fonction zoom, traitement d'image, procédé d'affichage et programme - Google Patents

Dispositif mobile de prise d'image avec fonction zoom, traitement d'image, procédé d'affichage et programme Download PDF

Info

Publication number
WO2008065843A1
WO2008065843A1 PCT/JP2007/071138 JP2007071138W WO2008065843A1 WO 2008065843 A1 WO2008065843 A1 WO 2008065843A1 JP 2007071138 W JP2007071138 W JP 2007071138W WO 2008065843 A1 WO2008065843 A1 WO 2008065843A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
data
image data
camera
Prior art date
Application number
PCT/JP2007/071138
Other languages
English (en)
French (fr)
Inventor
Sakiko Kakehi
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2008546921A priority Critical patent/JP5212110B2/ja
Priority to EP07830872A priority patent/EP2099213A4/en
Priority to US12/514,769 priority patent/US20100026848A1/en
Publication of WO2008065843A1 publication Critical patent/WO2008065843A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present invention relates to a moving image photographing device with a zoom function, a moving image image processing and display method, and a program, and in particular, a technique for processing abnormal images that occur during zoom switching processing for a photographing device equipped with a zoom function.
  • a technique for processing abnormal images that occur during zoom switching processing for a photographing device equipped with a zoom function is about.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2006-157191
  • the present invention was invented in view of the above problems, and the user is not aware of abnormal images! / A moving image photographing apparatus with a zoom function, which realizes image display at low cost, and moving images Image processing and display method and program.
  • the first moving image photographing apparatus with a zoom function is a moving image photographing apparatus with a zoom function, and when an image abnormality occurs due to zoom switching processing, an image of a frame immediately before the abnormality occurs. Having display control means for displaying data until image abnormality is recovered It is characterized by.
  • the second moving image photographing apparatus with a zoom function according to the present invention is the first moving image photographing apparatus with a zoom function according to the present invention, wherein the display control means performs zooming from the start to the end of the zoom switching process.
  • the image data of the frame output from the camera is displayed before the switching process is started.
  • a third moving image photographing apparatus with a zoom function according to the present invention is an output from a camera from the start to the end of zoom switching processing in the second moving image photographing apparatus with a zoom function according to the present invention. It has a price image generation means for generating price image data in place of the image data.
  • a fourth moving image photographing apparatus with a zoom function according to the present invention is the moving image photographing apparatus with a zoom function according to the third aspect of the present invention, in which image data output from a camera or substitute image data is imaged. It has the image processing means to process, It is characterized by the above-mentioned.
  • a fifth moving image capturing device with a zoom function according to the present invention is the camera according to the fourth moving image capturing device with a zoom function according to the present invention, when an image abnormality occurs or when the zoom switching process starts and ends.
  • the image data or the substitute image data output from is either a black image data with a data value of 0 or a white image data with a data value of 1.
  • the first image processing and display method of the present invention is a moving image image processing and display method during zoom switching processing.
  • zoom switching processing When an image abnormality occurs due to zoom switching processing, a frame immediately before the abnormality occurs is displayed. The image is displayed until the image is recovered.
  • the second image processing and display method of the present invention is the first image processing and display method of the present invention that is output from the camera before the start of the zoom switching process from the start to the end of the zoom switching process.
  • the image data of the frame thus displayed is displayed, and the image data output from the camera is subjected to image processing.
  • the third image processing and display method of the present invention replaces the image data output from the camera from the start to the end of the zoom switching process in the first image processing and display method of the present invention. Generates substitute image data, displays the frame image data output from the camera before the zoom switching process from the start to the end of the zoom switching process, and The image processing is performed on the substitute image data from the start to the end of the conversion process.
  • the fourth image processing and display method of the present invention is the same as that of the second image processing and display method of the present invention, which is output from the camera when an image abnormality occurs or when zoom switching processing starts and ends.
  • the image data is characterized in that the data is a black image data having a data value of 0 or a white image data having a data value of 1.
  • the fifth image processing and display method of the present invention is the same as the third image processing and display method of the present invention that is output from the camera when an image abnormality occurs or when zoom switching processing starts and ends.
  • the alternative image data is either black image data having a data value of 0 or white image data having a data value of 1.
  • a first program of the present invention is a program for image processing and display processing of a moving image during zoom switching processing.
  • an image abnormality occurs due to zoom switching processing
  • an image of a frame immediately before the occurrence of the abnormality is recorded.
  • the information processing apparatus is caused to execute a process of displaying the image until the image is recovered.
  • the second program of the present invention displays image data of a frame output from the camera before the start of the zoom switching process from the start to the end of the zoom switching process in the first program of the present invention. It is characterized by causing the information processing apparatus to execute processing and processing to perform image processing on image data output from the camera.
  • a third program of the present invention is a process according to the first program of the present invention for generating a substitute image data in place of the image data output from the camera from the start to the end of the zoom switching process. Processing to display image data of frames output from the camera before the start of zoom switching processing from the start to the end of zoom switching processing, and processing of image processing of alternative image data from the start to the end of zoom switching processing And the information processing device is executed.
  • the fourth program of the present invention is the second program of the present invention, wherein the image data output from the camera when an image abnormality occurs or when the zoom switching process starts and ends has a data value of 0. It is either black image data or white image data with a data value of 1.
  • the fifth program of the present invention is the same as the third program of the present invention, wherein an image abnormality occurs.
  • the substitute image data output from the camera at the start or end of the zoom switching process is either a black image data with a data value of 0 or a white image data with a data value of 1.
  • the present invention when moving images with a photographing device, for example, in zoom switching such as digital zoom, when several abnormal images in the middle of switching are discharged by the camera, display data and video are displayed. A separate process is performed on the encoding data.
  • the data in the display unit is not updated, the display is stopped at the normal image before the abnormal image, and the abnormal image is not displayed on the display unit.
  • the camera output data is set to all “0”, for example, and is output as black image data to the moving image processing unit and the display data buffer via the camera data buffer.
  • the black image data input to the moving image processing unit is encoded.
  • the black image data input to the display data buffer is not output to the display unit during the abnormal frame transmission period, and after returning to a normal image, the data stored in the display data buffer is continuously transferred to the display unit at high speed. By transferring and overwriting the latest data, drawing is performed so that the user is not aware of abnormal images.
  • the present invention provides a technique that prevents the user from being aware of abnormal images that are discharged when zooming during shooting.
  • the present invention has the following effects.
  • the first effect is to create video data that does not include abnormal images by replacing abnormal image data with black screen data for cameras that cannot prevent the occurrence of abnormal images during zoom switching during movie shooting.
  • the display unit stops updating the image during the zoom switching process period so that only normal image data is displayed, and the abnormal data at the time of zoom switching is reflected in the recorded data and display data without any hardware treatment. Can be processed without causing the user to be aware of abnormal images.
  • the second effect is that a processing circuit for interpolating abnormal images is not required, and it is not necessary to provide a large-capacity buffer, so that a system can be constructed at low cost.
  • FIG. 1 shows a main part of the configuration of a mobile phone as a mobile terminal device provided with a moving image capturing device with a zoom function according to an embodiment of the present invention.
  • a mobile phone includes a camera unit 10 having an image sensor, a key operation unit 11 for a user to input zoom switching processing at the time of moving image shooting, a CPU 12 for controlling each unit, A camera data buffer 13 for storing image data, a display unit 14 for displaying captured images, a moving image processing unit 15 for encoding image data sent from the camera data buffer 13 into video data, A display data buffer 16 in which image data to be displayed on the display unit 14 is stored.
  • the image data taken by the camera unit 10 is output to the camera data buffer 13 (D1) and temporarily held.
  • the image data output from the camera data buffer 13 is input as display data to the display data buffer 16 (D2) and held.
  • the image data output from the camera data buffer 13 is input to the moving image processing unit 15 (D3), and the moving image processing unit 15 encodes the video data.
  • the camera unit 10 outputs image data of a black image whose data values are all 0 during an abnormal image.
  • the CPU 12 when zoom switching processing is input from the key operation unit 11 (11), the CPU 12 outputs to the data buffer 16 an instruction to stop data output from the display data buffer 16 to the display unit 14 ( 12). Also, the data update of the display unit 14 is stopped (13).
  • FIG. 2 is an operation flowchart of display image processing during zoom switching processing during recording in the mobile phone according to the first embodiment.
  • the abnormal image discharge time during zoom switching processing is known in advance after the zoom switch key is pressed during movie shooting, and that time is stored in a timer by the CPU. It shall be.
  • Step 100 When the zoom switch key is pressed during moving image shooting (Step 100), the CPU 12 causes the display arrangement unit 14 to stop updating the display image (Step 101). After stopping, measurement by a timer that measures the period during which an abnormal image is output is started (Step 102). The camera 10 performs zoom switching processing according to an instruction from the CPU 12 (Step 103). Black image data with a data value of '0' is output from the camera being processed (Step 104) and input to the force data buffer 13 (Step 105).
  • the display image data is stored in the display data buffer 16 until the abnormal image discharge time ends, but the display unit 14 does not update the image data but updates the previous image data (Step 106). Is displayed (Step 107).
  • Step 108 When the time measured by the timer reaches the abnormal image discharge time (Step 108), the display 14 data is updated again (Step 109), and the latest image data stored in the display data buffer 16 is displayed. The data is continuously transferred to section 14 and overwritten with the latest data (Step 110). Then, the display unit 14 displays the image data transferred from the display data buffer 16 (Step 111).
  • FIG. 3 is an operation flowchart of the moving image processing in zoom switching at the time of recording in the mobile phone according to the first embodiment.
  • the same processing as the processing of the display image at the time of zoom switching at the time of recording described above is denoted by the same step number, and detailed description thereof is omitted.
  • Step 100 the same operation is performed from when the zoom switch key is pressed during movie shooting (Step 100) until the image data of the black image whose image data value is "0" is input to the camera data buffer 13 (Step 105). It is.
  • the image data of the black image input to the camera data buffer 13 is input to the moving image processing unit 15 (Step 200). Then, the moving image processing unit 15 performs video encoding processing on the image data of the black image (Step 201).
  • Step 108 the moving image processing unit 15 performs video encoding processing on the image data of the black image, and after the abnormal image discharge time ends, normal image data is video encoded.
  • Step 202 the moving image processing unit 15 performs video encoding processing on the image data of the black image, and after the abnormal image discharge time ends, normal image data is video encoded.
  • the force S triggered by pressing of the zoom switching key is not limited to this, and the discharge of an abnormal image or the image of a black image is not limited thereto. Data discharge may be detected and used as a trigger to start processing.
  • the end of zoom switching processing is detected by measuring the number of frames.
  • the end of the discharge of abnormal image or black image data is not limited to this. Then, this may be used as a trigger for the end of processing.
  • the force using black image data instead of the abnormal image is not limited to this, and may be white image image data having a data value of 1 ”.
  • FIG. 4 is a diagram for explaining the processing of seven image frame periods before and after an abnormal image during zoom switching processing. In the following explanation, it takes 2 frames from the time the zoom switch key is pressed for the time required for the zoom switch process.
  • NG indicates an abnormal frame
  • B indicates a black image frame
  • n (n is an integer)” indicates a normal frame.
  • the camera unit 10 outputs a normal image.
  • a normal image is encoded, and the normal image is also displayed on the display unit 14.
  • the image data of the black image output from the camera unit 10 is encoded during the period of the 4th frame and the 5th frame.
  • the display unit 14 displays a normal 3st frame image just before the 4st frame and 5st frame periods according to instructions from the CPU 12. The data is stopped and the output data from the camera data buffer 13 is stored in the display data buffer 16.
  • the display unit 14 resumes data update, overwrites the latest 6st frame image data stored in the display data buffer 16, and updates the 6st frame image data. Display an image.
  • the moving image processing unit 15 encodes normal image data of 6st frame and 7st frame.
  • a device has been devised when the abnormal screen cannot be replaced with black image data within 10 copies of the 1S camera.
  • the image data value is converted to “0” to generate black image data, and the black image data is subjected to moving image processing.
  • the conversion of black image data may be performed by the moving image processing unit 15, or a conversion unit for converting to a black image may be provided in the preceding stage of the moving image processing unit 15.
  • the conversion process can be performed by software or by hardware.
  • FIG. 5 is an operational flowchart of display image processing and moving image processing at the time of zoom switching during recording in the mobile phone according to the second embodiment.
  • the same processes as those in the first embodiment described above are denoted by the same step numbers, and the detailed description thereof is omitted.
  • Step 100 the same operation is performed from when the zoom switching key is pressed during movie shooting (Step 100) until the image data of the black image whose image data value is “0” is input to the camera data buffer 13 (Step 105). It is.
  • the moving image processing unit 15 uses the camera data buffer. The data value of the image data output from 13 is converted to 0 (Step 301), and then video encoding is performed (Step 201).
  • the zoom switching process when image data output from the camera data buffer 13 is input to the display data buffer 16 (Steps 300 and 106), the image data input to the camera data buffer 13 is The display image data is stored in the display data buffer 16 until the abnormal image discharge time ends, and the display unit 14 displays the previous image data without updating the image data. (St ep 107).
  • Step 108 When the measurement time of the timer reaches the abnormal image discharge time (Step 108), the data in the display unit 14 is updated again (Step 109), and the latest image data stored in the display data buffer 16 is displayed. The data is continuously transferred to section 14 and overwritten with the latest data (Step 110). Then, the display unit 14 displays the image data transferred from the display data buffer 16 (Step 111).
  • Power S can be.
  • control operation in the embodiment described above can be executed by hardware, software, or a combined configuration of both.
  • software processing it is possible to install a program that records the processing sequence in the memory of a computer incorporated in the dedicated hardware and execute it, or to execute various processes.
  • the program can be installed and executed on a general purpose computer.
  • This program can be recorded in advance on, for example, a hard disk or ROM (Read Only Memory) as a recording medium.
  • the program is a floppy (registered) (Trademark) disc, CD—ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), magnetic disc, semiconductor memory, and other removable recording media, temporarily or permanently Can be stored (recorded) automatically.
  • a removable recording medium can be provided as so-called package software.
  • the program can be transferred wirelessly from the download site to the computer, or wired to the computer via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the transferred program and install it on a recording medium such as a built-in hard disk.
  • the media transmission / reception system including the transmission-side media transmission / reception device and the reception-side media transmission / reception device described in the above embodiment may be configured as a logical set of a plurality of devices, It is also possible to construct such that functions are mixed.
  • FIG. 1 is a diagram showing a main part of a configuration of a mobile phone as a mobile terminal device including a moving image capturing device with a zoom function according to an embodiment of the present invention.
  • FIG. 2 is an operation flowchart of display image processing at the time of zoom switching at the time of recording in the cellular phone according to the first embodiment.
  • FIG. 3 is an operation flowchart of moving image processing at the time of zoom switching at the time of recording in the mobile phone according to the first embodiment.
  • FIG. 4 is a diagram for explaining processing of seven image frame periods before and after an abnormal image at zoom switching processing.
  • FIG. 5 is an operation flowchart of display image processing and moving image processing at the time of zoom switching at the time of recording in the mobile phone according to the second embodiment. Explanation of symbols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

明 細 書
ズーム機能付き動画像撮影装置、画像処理及び表示方法とプログラム 技術分野
[0001] 本発明はズーム機能付き動画像撮影装置、動画像の画像処理及び表示方法とプ ログラムに関し、特に、ズーム機能が搭載された撮影装置について、ズーム切換処理 時に発生する異常画像の処理技術に関する。
背景技術
[0002] 近年、 CCDカメラなどのカメラ機能を備える携帯通信端末が広く普及している。な 力、には、光学ズームのみならず、デジタルズーム機能を搭載する装置もある(例えば 、特許文献 1)。
[0003] ところで、動画撮影時にデジタルズームの切換えを行うと、一定の切換処理期間、 異常画像が発生してしまう。このような動画撮影時のズーム切換処理においては、数 秒間の複数フレームを保持する大容量のバッファを備えることで、異常画像が排出さ れた際には異常画像を飛ばし、 1秒当たりに表示する画像数を減らすことにより、異 常画像を表示しなレ、処理を行って!/、た。
[0004] 特許文献 1:特開 2006— 157191号公報
発明の開示
発明が解決しょうとする課題
[0005] しかしながら、上述した従来技術では、画像データを複数枚保存できる大容量バッ ファを必要とするため、低コストによる実現が困難であった。
[0006] そこで、本発明は上記課題に鑑みて発明されたものであって、使用者が異常画像 を意識しな!/、画像表示を安価に実現するズーム機能付き動画像撮影装置、動画像 の画像処理及び表示方法とプログラムを提供することにある。
課題を解決するための手段
[0007] 本発明の第 1のズーム機能付き動画像撮影装置は、ズーム機能付き動画像撮影装 置であって、ズーム切換処理により画像異常が発生した場合、異常発生直前のフレ ームの画像データを、画像異常が回復するまで表示する表示制御手段を有すること を特徴とする。
[0008] 本発明の第 2のズーム機能付き動画像撮影装置は、本発明の第 1のズーム機能付 き動画像撮影装置において、表示制御手段は、ズーム切換処理開始時から終了時 まで、ズーム切換処理開始前にカメラから出力されたフレームの画像データを表示す ることを特徴とする。
[0009] 本発明の第 3のズーム機能付き動画像撮影装置は、本発明の第 2のズーム機能付 き動画像撮影装置において、ズーム切換処理開始時から終了時まで、カメラから出 力される画像データに代わる代価画像データを生成する代価画像生成手段を有す ることを特徴とする。
[0010] 本発明の第 4のズーム機能付き動画像撮影装置は、本発明の第 3のズーム機能付 き動画像撮影装置において、カメラから出力される画像データ、又は、代価画像デー タを画像処理する画像処理手段を有することを特徴とする。
[0011] 本発明の第 5のズーム機能付き動画像撮影装置は、本発明の第 4のズーム機能付 き動画像撮影装置において、画像異常発生時、又は、ズーム切換処理開始時から 終了時にカメラから出力される画像データ又は代価画像データは、データ値が 0の 黒画像のデータ又はデータ値が 1の白画像のデータのいずれかであることを特徴と する。
[0012] 本発明の第 1の画像処理及び表示方法は、ズーム切換処理時における動画像の 画像処理及び表示方法であって、ズーム切換処理により画像異常が発生した場合、 異常発生直前のフレームの画像を、画像が回復するまで表示することを特徴とする。
[0013] 本発明の第 2の画像処理及び表示方法は、本発明の第 1の画像処理及び表示方 法において、ズーム切換処理開始時から終了時まで、ズーム切換処理開始前にカメ ラから出力されたフレームの画像データを表示し、カメラから出力される画像データを 画像処理することを特徴とする。
[0014] 本発明の第 3の画像処理及び表示方法は、本発明の第 1の画像処理及び表示方 法において、ズーム切換処理開始時から終了時まで、カメラから出力される画像デー タに代わる代価画像データを生成し、ズーム切換処理開始時から終了時まで、ズー ム切換処理開始前にカメラから出力されたフレームの画像データを表示し、ズーム切 換処理開始時から終了時まで、代価画像データを画像処理することを特徴とする。
[0015] 本発明の第 4の画像処理及び表示方法は、本発明の第 2の画像処理及び表示方 法において、画像異常発生時、又は、ズーム切換処理開始時から終了時にカメラか ら出力される画像データは、データ値が 0の黒画像のデータ又はデータ値が 1の白 画像のデータのレ、ずれかであることを特徴とする。
[0016] 本発明の第 5の画像処理及び表示方法は、本発明の第 3の画像処理及び表示方 法において、画像異常発生時、又は、ズーム切換処理開始時から終了時にカメラか ら出力される代価画像データは、データ値が 0の黒画像のデータ又はデータ値が 1 の白画像のデータのいずれかであることを特徴とする。
[0017] 本発明の第 1のプログラムは、ズーム切換え処理時における動画像の画像処理及 び表示処理のプログラムであって、ズーム切換処理により画像異常が発生した場合、 異常発生直前のフレームの画像を、画像が回復するまで表示する処理を情報処理 装置に実行させることを特徴とする。
[0018] 本発明の第 2のプログラムは、本発明の第 1のプログラムにおいて、ズーム切換処 理開始時から終了時まで、ズーム切換処理開始前にカメラから出力されたフレーム の画像データを表示する処理と、カメラから出力される画像データを画像処理する処 理とを情報処理装置に実行させることを特徴とする。
[0019] 本発明の第 3のプログラムは、本発明の第 1のプログラムにおいて、ズーム切換処 理開始時から終了時まで、カメラから出力される画像データに代わる代価画像データ を生成する処理と、ズーム切換処理開始時から終了時まで、ズーム切換処理開始前 にカメラから出力されたフレームの画像データを表示する処理と、ズーム切換処理開 始時から終了時まで、代価画像データを画像処理する処理とを情報処理装置に実 行させることを特徴とする。
[0020] 本発明の第 4のプログラムは、本発明の第 2のプログラムにおいて、画像異常発生 時、又は、ズーム切換処理開始時から終了時にカメラから出力される画像データは、 データ値が 0の黒画像のデータ又はデータ値が 1の白画像のデータのいずれかであ ることを特徴とする。
[0021] 本発明の第 5のプログラムは、本発明の第 3のプログラムにおいて、画像異常発生 時、又は、ズーム切換処理開始時から終了時にカメラから出力される代価画像デー タは、データ値が 0の黒画像のデータ又はデータ値が 1の白画像のデータのいずれ かであることを特徴とする。
[0022] すなわち、本発明は、撮影装置での動画撮影中、例えばデジタルズームのようなズ ーム切換において、切換途中の異常画像数枚がカメラ力 排出される際、表示用デ ータとビデオエンコード用データとで別処理を施すことを特徴とする。
[0023] 異常画像排出時には表示部のデータ更新を行わず、異常画像前の正常画像で表 示を停止して表示部に異常画像を表示させない。異常画像排出期間には、カメラ出 力データを例えば、オール" 0"にすることで黒画像データとしてカメラデータバッファ を介し、動画処理部と表示データバッファとに出力される。動画像処理部に入力され た黒画像の画像データは、エンコードされる。表示データバッファに入力された黒画 像の画像データは、異常フレーム送出期間中は表示部に出力せず、正常画像に復 帰後、表示データバッファに溜めていたデータを表示部へ高速に連続転送して最新 データに上書きすることで、使用者に異常画像が意識されない描画を行う。
[0024] このようにして、本発明では、撮影中のズーム切換時に排出される異常画像を使用 者に意識させない技術を提供する。
発明の効果
[0025] 以上説明したように、本発明においては、以下に記載するような効果を奏する。
[0026] 第 1の効果は、動画撮影中のズーム切換時の異常画像発生を防げないカメラに対 し、異常画像データを黒画面データに置き換えることで、異常画像を含まないビデオ データを作成するのと同時に、表示部ではズーム切換処理期間の画像更新を停止 することで正常な画像データのみを表示し、ハードウェア処置を施さずに録画データ と表示データとにズーム切換時の異常データを反映させずに処理することができ、そ の結果、使用者に対して異常画像を意識させることがなレ、。
[0027] 第 2の効果は、異常画像の補間を行うための処理回路を必要とせず、また、大容量 のバッファを備えることも必要としないため、安価にシステムを構築することができる。 発明を実施するための最良の形態
[0028] 本発明の実施の形態を説明する。 [0029] 図 1は、本発明の実施の形態に係るズーム機能付き動画像撮影装置を備えた携帯 端末装置としての携帯電話機の構成の要部を示したものである。
[0030] 図 1において、携帯電話機は、 10は撮像素子を有するカメラ部と、 11は動画撮影 時に使用者がズーム切換処理を入力するキー操作部 11と、各部の制御を行う CPU 12と、画像データが格納されるカメラデータバッファ 13と、撮影画像が表示される表 示部 14と、カメラデータバッファ 13より送られてくる画像データをビデオデータにェン コード処理する動画像処理部 15と、表示部 14に表示される画像データが格納される 表示データバッファ 16とを備える。
[0031] このような構成において、データと制御との流れを説明する。
[0032] カメラ部 10にて撮られた画像データは、カメラデータバッファ 13に出力され (D1)、 一旦保持される。そして、カメラデータバッファ 13から出力される画像データは、表示 データバッファ 16に表示用データとして入力され (D2)、保持される。また、カメラデ ータバッファ 13出力される画像データは、動画像処理部 15に入力され(D3)、動画 像処理部 15において、ビデオデータにエンコード処理される。尚、カメラ部 10は、異 常画像時には、データ値が全て 0の黒画像の画像データを出力する。
[0033] 一方、キー操作部 11よりズーム切換処理が入力されると(11)、 CPU12は、表示デ ータバッファ 16から表示部 14へのデータ出力を停止する指示を、データバッファ 16 に出力する(12)。また、表示部 14のデータ更新を停止する(13)。
[0034] 次に、上述の如く構成された本発明の動作を説明する。
[0035] まず、録画時のズーム切換時の表示画像の処理の動作について説明する。
[0036] 図 2は第 1の実施の形態に係る携帯電話機において、録画時のズーム切換処理時 における表示画像の処理の動作フローチャートである。尚、以下の説明において、動 画撮影時にズーム切換キーが押下された後、ズーム切換処理時の異常画像排出時 間は予め計測して分かっているものとし、その時間が CPUによるタイマーに記憶され ているものとする。
[0037] 動画撮影時にズーム切換キーが押下されると(Step 100)、 CPU12は、表整示 部 14に対して表示画像の更新を停止させる(Step 101)。停止後、異常画像が出 力される期間を計るタイマーによる計測を開始する(Step 102)。 [0038] カメラ 10は CPU12の命令により、ズーム切換処理を行う(Step 103)。処理中の カメラからはデータ値力 '0"である黒画像の画像データが出力され(Step 104)、力 メラデータバッファ 13に入力される(Step 105)。
[0039] カメラデータバッファ 13に入力された黒画像の画像データは、表示データバッファ
16に出力されて保持されるが(Step 106)、異常画像排出時間が終了するまで表 示画像データは表示データバッファ 16に溜められ、表示部 14では画像データが更 新されずに前画像データの画像が表示される(Step 107)。
[0040] タイマーの計測時間が異常画像排出時間となると(Step 108)、表示部 14のデー タの更新を再開し(Step 109)、表示データバッファ 16内に溜められた最新の画像 データを表示部 14に連続転送し、最新データに上書きする(Step 110)。そして、 表示部 14は、表示データバッファ 16から転送された画像データを表示する(Step 11 1)。
[0041] 続いて、録画時のズーム切換処理時の動画処理(ビデオエンコード)の動作につい て説明する。
[0042] 図 3は第 1の実施の形態に係る携帯電話機において、録画時のズーム切換時にお ける動画処理の動作フローチャートである。尚、以下の説明において、上述した録画 時のズーム切換時の表示画像の処理と同じ処理については、同一のステップ番号を 付して説明を詳細な説明を省略する。
[0043] まず、動画撮影時にズーム切換キーが押下(Step 100)から、画像データの値が "0"である黒画像の画像データがカメラデータバッファ 13に入力される(Step 105) までは同様である。
[0044] カメラデータバッファ 13に入力された黒画像の画像データは、動画像処理部 15に 入力される(Step 200)。そして、動画像処理部 15において、黒画像の画像データ はビデオエンコード処理される(Step 201)。
[0045] タイマーの計測時間が異常画像排出時間まで(Step 108)、動画像処理部 15は 黒画像の画像データをビデオエンコード処理し、異常画像排出時間終了後は、正常 な画像データをビデオエンコード処理する(Step 202)。
[0046] このような処理を行うことにより、異常画像を含まないビデオデータを作成するのと 同時に、表示部ではズーム切換処理期間の画像更新を停止することで正常な画像 データのみを表示し、使用者に対して異常画像を意識させることがな!/、。
[0047] 尚、上述した実施の形態では、ズーム切換処理の開始の検出として、ズーム切換キ 一が押下をトリガにした力 S、これに限ることなく、異常画像の排出、又は黒画像の画像 データの排出を検出して、これを処理開始のトリガにしても良い。
[0048] また、上述した実施の形態では、ズーム切換処理の終了を、フレーム数を計測する ことにより検出した力 これに限ることなぐ異常画像、又は黒画像の画像データの排 出の終了を検出して、これを処理終了のトリガにしても良い。
[0049] 更に、上述した実施の形態では、異常画像の代わりに黒画像の画像データを用い た力 これに限ることなく、データ値力 1"の白画像の画像データであってもかまわな い。
[0050] 次に、本発明のズーム切換処理開始から終了までの動作を、具体例を用いて説明 する。
[0051] 図 4はズーム切換処理時の異常画像を含む前後の 7個の画像フレーム期間の処理 を説明する為の図である。尚、以下の説明では、ズーム切換処理にかかる時間は、 ズーム切換キーの押下から 2フレームかかるものとする。なお、図 4において、「NG」 は異常フレーム、 「B」は黒画像フレーム、 「n (nは整数)」は正常フレームを示す。
[0052] まず、 1stフレーム、 2stフレーム、 3stフレームの期間、カメラ部 10は正常な画像を 出力する。この場合、正常な画像がエンコードされ、また、正常な画像が表示部 14に おいても表示される。
[0053] ここで、カメラ部 10から正常画像が出力された後、 4stフレーム時にキー操作部 11 力、らズーム切換処理を入力されるとタイマーの計測が開始される。一方、カメラ部 10 ではズーム切換処理に 2フレームの期間を要するので、 4stフレーム、 5stフレームの 期間、カメラ部 10内のデータは異常画像となり、カメラ部 10からはデータ値力 S"0"で ある黒画像の画像データが出力される。
[0054] 動画像処理部 15では、 4stフレーム、 5stフレームの期間、カメラ部 10から出力され た黒画像の画像データがエンコードされる。一方、表示部 14では、 CPU12の指示 により、 4stフレーム、 5stフレームの期間、直前の正常な 3stフレームの画像で表示 データを停止させ、カメラデータバッファ 13からの出力データは表示データバッファ 1 6に溜めおかれる。
[0055] タイマー計測により、 2フレームがカウントされると、ズーム切換処理が終了し、 6stフ レーム、 7stフレームの期間では、カメラ部 10から正常画像の画像データが出力され
[0056] 正常な画像データが出力される 6stフレーム時に、表示部 14はデータ更新を再開 し、表示データバッファ 16に溜め込まれた最新の 6stフレームの画像データに上書き し、 6stフレームの画像データの画像を表示する。一方、動画像処理部 15では、 6st フレーム、 7stフレームの正常な画像データがエンコードされる。
[0057] 第 2の実施の形態を説明する。
[0058] 第 2の実施の形態は、その基本的構成は上述した第 1の実施の形態と同様である
1S カメラ 10部内で、異常画面を黒画像の画像データに置き換えられない場合につ いて工夫している。
[0059] カメラ 10部内で、異常画面を黒画像の画像データに置き換えられない場合、カメラ データバッファ 13から出力されて動画像処理部 15に入力される画像データのうち、 ズーム切換処理期間の間、画像データの値を" 0"に変換して黒画像の画像データを 生成し、この黒画像の画像データを動画像処理する。尚、黒画像の画像データの変 換であるが、動画像処理部 15が行っても良いし、黒画像に変換する変換部を動画像 処理部 15の前段に設けても良い。また、変換処理は、ソフトウェア、またはハードゥエ ァで行うことが可能である。
[0060] 次に、第 2の実施の形態における動作を説明する。
[0061] 図 5は第 2の実施の形態に係る携帯電話機において、録画時のズーム切換時にお ける表示画像の処理及び動画処理の動作フローチャートである。尚、以下の説明に おいて、上述した第 1の実施の形態と同じ処理については、同一のステップ番号を付 して説明を詳細な説明を省略する。
[0062] まず、動画撮影時にズーム切換キーが押下(Step 100)から、画像データの値が "0"である黒画像の画像データがカメラデータバッファ 13に入力される(Step 105) までは同様である。 [0063] ズーム切換処理において、カメラデータバッファ 13から出力された画像データが動 画像処理部 15で処理されるエンコード用である場合(Step 300、 200)、動画像処 理部 15はカメラデータバッファ 13から出力された画像データに対してデータ値を 0に 変換し(Step 301)、その後ビデオエンコードする(Step 201)。
[0064] 一方、ズーム切換処理において、カメラデータバッファ 13から出力された画像デー タが表示データバッファ 16に入力される場合(Step 300、 106)、カメラデータバッ ファ 13に入力された画像データは、表示データバッファ 16に出力されて保持される 力 異常画像排出時間が終了するまで表示画像データは表示データバッファ 16に 溜められ、表示部 14では画像データが更新されずに前画像データが表示される(St ep 107)。
[0065] タイマーの計測時間が異常画像排出時間となると(Step 108)、表示部 14のデー タの更新を再開し(Step 109)、表示データバッファ 16内に溜められた最新の画像 データを表示部 14に連続転送し、最新データに上書きする(Step 110)。そして、 表示部 14は、表示データバッファ 16から転送された画像データを表示する(Step 111)。
このように、第 2の実施の形態によれば、カメラ部内で、異常画面を黒画像の画像 データに置き換えられない場合であっても、第 1の実施の形態と同様な効果を得るこ と力 Sできる。
[0066] 以上、本発明の実施形態について説明したが、上記実施形態に限定されるもので はなく、その要旨を逸脱しな!/、範囲にお!/、て種々の変形が可能である。
[0067] 例えば、上述した実施形態における制御動作は、ハードウェア、または、ソフトゥェ ァ、あるいは、両者の複合構成によって実行することも可能である。なお、ソフトウェア による処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハ 一ドウエアに組み込まれているコンピュータ内のメモリにインストールして実行させる 力、、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールし て実行させることが可能である。
[0068] このプログラムは、例えば、記録媒体としてのハードディスクや ROM (Read Only M emory)に予め記録しておくことが可能である。あるいは、プログラムは、フロッピー(登 録商標)ディスク、 CD— ROM(Compact Disc Read Only Memory), MO(Magneto op tical)ディスク, DVD(Digital Versatile Disc),磁気ディスク、半導体メモリなどのリムー バブル記録媒体に、一時的、あるいは、永続的に格納(記録)しておくことが可能であ る。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供す ること力 S可能である。なお、プログラムは、上述したようなリムーバブル記録媒体からコ ンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送し たり、 LAN(Local Area Network),インターネットといったネットワークを介して、コンビ ユータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、 内蔵するハードディスク等の記録媒体にインストールすることが可能である。
[0069] また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみなら ず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個 別に実行するように構築することも可能である。
[0070] また、上記実施形態で説明した、送信側のメディア送受信装置と受信側のメディア 送受信装置とで構成されるメディア送受信システムは、複数の装置の論理的集合構 成にしたり、各装置の機能を混在させたりするように構築することも可能である。
[0071] この出願 (ま、 2006年 11月 28曰 ίこ出願された曰本出願特願 2006— 319506を基 礎とする優先権を主張し、その開示を全てここに取り込む。
図面の簡単な説明
[0072] [図 1]図 1は本発明の実施の形態に係るズーム機能付き動画像撮影装置を備えた携 帯端末装置としての携帯電話機の構成の要部を示した図である。
[図 2]図 2は第 1の実施の形態に係る携帯電話機において、録画時のズーム切換時 の表示画像の処理の動作フローチャートである。
[図 3]図 3は第 1の実施の形態に係る携帯電話機において、録画時のズーム切換時 における動画処理の動作フローチャートである。
[図 4]図 4はズーム切換処理時の異常画像を含む前後の 7個の画像フレーム期間の 処理を説明する為の図である。
[図 5]図 5は第 2の実施の形態に係る携帯電話機において、録画時のズーム切換時 における表示画像の処理及び動画処理の動作フローチャートである。 符号の説明
10 カメラ部
11 キー操作部
12 CPU
13 カメラデータノ ッファ
14 表示部
15 動画像処理部
16 表示テータノくッファ

Claims

請求の範囲
[1] ズーム機能付き動画像撮影装置であって、
ズーム切換処理により画像異常が発生した場合、異常発生直前のフレームの画像 データを、画像異常が回復するまで表示する表示制御手段を有することを特徴とす るズーム機能付き動画像撮影装置。
[2] 前記表示制御手段は、前記ズーム切換処理開始時から終了時まで、前記ズーム 切換処理開始前にカメラから出力されたフレームの画像データを表示することを特徴 とする請求項 1記載のズーム機能付き動画像撮影装置。
[3] 前記ズーム切換処理開始時から終了時まで、前記カメラから出力される画像データ に代わる代価画像データを生成する代価画像生成手段を有することを特徴とする請 求項 2記載のズーム機能付き動画像撮影装置。
[4] 前記カメラから出力される画像データ、又は、前記代価画像データを画像処理する 画像処理手段を有することを特徴とする請求項 3記載のズーム機能付き動画像撮影 装置。
[5] 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラ から出力される画像データ又は前記代価画像データは、データ値が 0の黒画像のデ ータ又はデータ値が 1の白画像のデータのいずれかであることを特徴とする請求項 4 記載の動画像撮影装置。
[6] ズーム切換処理時における動画像の画像処理及び表示方法であって、
ズーム切換処理により画像異常が発生した場合、異常発生直前のフレームの画像 を、画像が回復するまで表示することを特徴とする動画像の画像処理及び表示方法
[7] 前記ズーム切換処理開始時から終了時まで、前記ズーム切換処理開始前にカメラ 力、ら出力されたフレームの画像データを表示し、
前記カメラから出力される画像データを画像処理することを特徴とする請求項 6記 載の動画像の画像処理及び表示方法。
[8] 前記ズーム切換処理開始時から終了時まで、カメラから出力される画像データに代 わる代価画像データを生成し、 前記ズーム切換処理開始時から終了時まで、前記ズーム切換処理開始前にカメラ 力、ら出力されたフレームの画像データを表示し、
前記ズーム切換処理開始時から終了時まで、前記代価画像データを画像処理す ることを特徴とする請求項 6記載の動画像の画像処理及び表示方法。
[9] 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラ 力、ら出力される画像データは、データ値が 0の黒画像のデータ又はデータ値が 1の 白画像のデータのいずれかであることを特徴とする請求項 7記載の動画像の画像処 理及び表示方法。
[10] 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラ から出力される前記代価画像データは、データ値が 0の黒画像のデータ又はデータ 値が 1の白画像のデータのいずれかであることを特徴とする請求項 8記載の動画像 の画像処理及び表示方法。
[11] ズーム切換え処理時における動画像の画像処理及び表示処理のプログラムであつ て、
ズーム切換処理により画像異常が発生した場合、異常発生直前のフレームの画像 を、画像が回復するまで表示する処理を情報処理装置に実行させることを特徴とす る動画像の画像処理及び表示処理のプログラム。
[12] 前記ズーム切換処理開始時から終了時まで、前記ズーム切換処理開始前にカメラ 力、ら出力されたフレームの画像データを表示する処理と、
前記カメラから出力される画像データを画像処理する処理と、
を情報処理装置に実行させることを特徴とする請求項 11記載の動画像の画像処理 及び表示処理のプログラム。
[13] 前記ズーム切換処理開始時から終了時まで、カメラから出力される画像データに代 わる代価画像データを生成する処理と、
前記ズーム切換処理開始時から終了時まで、前記ズーム切換処理開始前にカメラ 力、ら出力されたフレームの画像データを表示する処理と、
前記ズーム切換処理開始時から終了時まで、前記代価画像データを画像処理す る処理とを情報処理装置に実行させることを特徴とする請求項 11記載の動画像の画 像処理及び表示処理のプログラム。
[14] 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラ 力、ら出力される画像データは、データ値が 0の黒画像のデータ又はデータ値が 1の 白画像のデータのいずれかであることを特徴とする請求項 12記載のプログラム。
[15] 前記画像異常発生時、又は、前記ズーム切換処理開始時から終了時に前記カメラ から出力される前記代価画像データは、データ値が 0の黒画像のデータ又はデータ 値が 1の白画像のデータのいずれかであることを特徴とする請求項 13記載のプログ ラム。
PCT/JP2007/071138 2006-11-28 2007-10-30 Dispositif mobile de prise d'image avec fonction zoom, traitement d'image, procédé d'affichage et programme WO2008065843A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008546921A JP5212110B2 (ja) 2006-11-28 2007-10-30 ズーム機能付き動画像撮影装置、画像処理及び表示方法とプログラム
EP07830872A EP2099213A4 (en) 2006-11-28 2007-10-30 MOBILE IMAGE SENSING DEVICE WITH ZOOM FUNCTION, IMAGE PROCESSING, DISPLAY METHOD, AND PROGRAM
US12/514,769 US20100026848A1 (en) 2006-11-28 2007-10-30 Moving picture imaging apparatus with zoom function, image processing and display method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-319506 2006-11-28
JP2006319506 2006-11-28

Publications (1)

Publication Number Publication Date
WO2008065843A1 true WO2008065843A1 (fr) 2008-06-05

Family

ID=39467639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/071138 WO2008065843A1 (fr) 2006-11-28 2007-10-30 Dispositif mobile de prise d'image avec fonction zoom, traitement d'image, procédé d'affichage et programme

Country Status (5)

Country Link
US (1) US20100026848A1 (ja)
EP (1) EP2099213A4 (ja)
JP (1) JP5212110B2 (ja)
CN (1) CN101563914A (ja)
WO (1) WO2008065843A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5414357B2 (ja) * 2009-05-20 2014-02-12 キヤノン株式会社 撮像装置および再生装置
WO2017000313A1 (zh) * 2015-07-02 2017-01-05 深圳市大疆创新科技有限公司 图像处理系统、图像数据处理方法、装置及相关设备
TWI788734B (zh) 2020-11-25 2023-01-01 瑞昱半導體股份有限公司 視訊處理方法及視訊處理器
CN114584718A (zh) * 2020-12-02 2022-06-03 瑞昱半导体股份有限公司 视频处理方法及视频处理器
CN115442586A (zh) * 2021-06-01 2022-12-06 Oppo广东移动通信有限公司 图像处理芯片及应用于图像处理芯片的异常处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09191435A (ja) * 1996-01-09 1997-07-22 Sharp Corp 映像機器の白信号発生装置
JP2002314868A (ja) * 2001-04-13 2002-10-25 Olympus Optical Co Ltd 撮像装置
JP2005101729A (ja) * 2003-09-22 2005-04-14 Fujinon Corp ズーム機能付きデジタルカメラ
JP2006157191A (ja) 2004-11-26 2006-06-15 Fuji Photo Film Co Ltd 携帯通信端末、撮影ズーム方法及び表示ズーム方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100462915B1 (ko) * 1995-12-11 2005-08-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오및/또는오디오신호의마킹방법및장치,마킹된비디오신호검출방법및장치,비디오또는오디오신호및저장매체
US6181364B1 (en) * 1997-05-16 2001-01-30 United Video Properties, Inc. System for filtering content from videos
US6317166B1 (en) * 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
US6763067B2 (en) * 2000-10-10 2004-07-13 Sarnoff Corporation Rate control for bitstream re-encoding
JP4497761B2 (ja) * 2001-07-18 2010-07-07 キヤノン株式会社 画像処理装置及びインデックス作成方法
JP4443354B2 (ja) * 2004-09-07 2010-03-31 パナソニック株式会社 映像信号処理回路および撮像装置
KR101156115B1 (ko) * 2005-05-18 2012-06-21 삼성전자주식회사 디지털 영상 처리 장치의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09191435A (ja) * 1996-01-09 1997-07-22 Sharp Corp 映像機器の白信号発生装置
JP2002314868A (ja) * 2001-04-13 2002-10-25 Olympus Optical Co Ltd 撮像装置
JP2005101729A (ja) * 2003-09-22 2005-04-14 Fujinon Corp ズーム機能付きデジタルカメラ
JP2006157191A (ja) 2004-11-26 2006-06-15 Fuji Photo Film Co Ltd 携帯通信端末、撮影ズーム方法及び表示ズーム方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2099213A4

Also Published As

Publication number Publication date
EP2099213A4 (en) 2011-02-16
US20100026848A1 (en) 2010-02-04
CN101563914A (zh) 2009-10-21
JP5212110B2 (ja) 2013-06-19
EP2099213A1 (en) 2009-09-09
JPWO2008065843A1 (ja) 2010-03-04

Similar Documents

Publication Publication Date Title
US7518639B2 (en) Electronic still camera that provides a storable continuous frame count and a continuous shooting rate of frames
WO2008065843A1 (fr) Dispositif mobile de prise d'image avec fonction zoom, traitement d'image, procédé d'affichage et programme
JP2006345338A (ja) 撮像装置および撮像方法
JP2012084968A (ja) デジタルカメラ
EP2219382A1 (en) Image coder, video camera, integrated circuit, and image coding method
JP2004120178A (ja) 映像記録装置
JP5115619B2 (ja) 撮像装置、撮像制御方法及びプログラム
TWI420899B (zh) 影像處理裝置和方法及記錄媒體
US20140125841A1 (en) Imaging device, method of capturing image, and program product for capturing image
JP2012084973A (ja) デジタルカメラ
JPWO2007145032A1 (ja) 画像処理回路、携帯端末およびセンサ制御方法
JP2007067708A (ja) 撮像装置およびその画像生成方法
JP2007174626A (ja) 監視機能を有するdvdレコーダ
US20150350593A1 (en) Moving Image Data Playback Apparatus Which Controls Moving Image Data Playback, And Imaging Apparatus
JP4630530B2 (ja) 動画記録装置、電子カメラ及びプログラム
JP2017163307A (ja) 撮像システム並びに撮像装置及びその制御方法
JP2000299813A (ja) 電子撮像装置
US7999853B2 (en) Moving image reproducing apparatus and processing method therefor
JP2008245146A (ja) 撮像装置、撮像装置の制御方法
EP4311219A1 (en) Image processing device, image processing method, and program
JP2011244294A (ja) 画像処理装置
JP2018207424A (ja) 情報転送装置
KR100861286B1 (ko) 휴대용 단말기 및 휴대용 단말기의 대체 화면 전송방법
JP2006262128A (ja) デジタルカメラ
JP2004260471A (ja) 電子カメラ、及び電子カメラの起動方法、プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780044395.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07830872

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008546921

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2007830872

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12514769

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE