WO2005004488A1 - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
WO2005004488A1
WO2005004488A1 PCT/JP2004/009240 JP2004009240W WO2005004488A1 WO 2005004488 A1 WO2005004488 A1 WO 2005004488A1 JP 2004009240 W JP2004009240 W JP 2004009240W WO 2005004488 A1 WO2005004488 A1 WO 2005004488A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
unit
display
tile
Prior art date
Application number
PCT/JP2004/009240
Other languages
English (en)
French (fr)
Inventor
Masahiro Suzuki
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP20040746709 priority Critical patent/EP1670253B1/en
Publication of WO2005004488A1 publication Critical patent/WO2005004488A1/ja
Priority to US11/320,450 priority patent/US7561748B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Definitions

  • the present invention relates to a technique for appropriately setting an ROI area and / or a tile in an electronic camera that performs image compression.
  • the input image is subjected to color coordinate conversion as needed.
  • the input image is divided into a plurality of rectangular areas (hereinafter referred to as “tiles”) as necessary. Subsequent encoding processing is independently performed on each tile.
  • the input image is subjected to discrete wavelet transform in two directions, and is frequency-decomposed into a plurality of subbands (1LL, 1LH, 1HL, 1HH).
  • 1 LL including a DC component is further subjected to discrete wavelet transform, and is frequency-decomposed into a plurality of subbands (2 LL, 2 LH, 2HL, 2HH).
  • the image data is decomposed into subbands.
  • the wavelet transform coefficients are quantized according to the quantization step width determined for each subband.
  • the quantization step is set to “1”.
  • the lower N-bit plane is discarded in a later process. This discarding process is equivalent to the quantization step “2 to the Nth power”. Makes sense.
  • the quantized wavelet transform coefficients are divided into coded blocks of a fixed size (for example, 64 x 64) in each subband. After transform coefficients in each code block are divided into a sign bit and an absolute value, the absolute value is distributed to a natural binary bit plane.
  • the bit plane constructed in this way is encoded through three types of symbols (Significance pass, Refinement pass, and Cleanup pass) in order from the upper bit plane. For the sign bit, encoding is performed immediately after the most significant bit of the corresponding absolute value appears on the bit plane.
  • This function assigns information to the selected area on the image (hereinafter referred to as the ROI area) preferentially and improves the decoding quality of the ROI area. Specifically, the quantized transform coefficient located in the ROI area is shifted up by S bits. As a result, the ROI area is shifted to the upper bit plane, and is encoded with priority over any bit in the non-ROI area.
  • the bit shift number S is set to be larger than the number of digits of the most significant bit in the non-ROI area. Therefore, the non-zero conversion coefficient in the ROI area always takes a value of “2 to the power of S” or more. Therefore, at the time of decoding, the transform coefficients in the ROI area can be easily restored by selectively shifting down the quantized value equal to or larger than “2 to the power of 2”.
  • the encoded data is further subjected to arithmetic coding by an MQ coder.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-176650 is known for JPEG2000.
  • Patent Document 1 describes a technique for adjusting the area of an ROI region to set the image quality degradation in a non-ROI region to an appropriate range.
  • the present invention has been made in view of the above-described problems, and has as its object to easily set an ROI area and a Z or tile area in an electronic camera.
  • An electronic camera includes an imaging unit, a display unit, and a compression processing unit.
  • the imaging unit captures a subject and generates image data.
  • the display unit combines and displays the monitor image data captured by the imaging unit and an auxiliary display that supports selection of an ROI area and / or tile used for image compression.
  • the compression processing unit selects an image region set in advance corresponding to the auxiliary display as the ROI region and Z or a tile, and then compresses the image data for recording captured by the imaging unit.
  • a guide unit for determining a guide display for guiding a recommended composition in accordance with a user's selection of a type of shooting target.
  • the display unit combines the guide display with the image data for the monitor captured by the imaging unit as an auxiliary display, and displays the combined display.
  • the compression processing unit selects the image area set in advance corresponding to the guide display as the ROI area and Z or tile to be used for image compression, and then records the image data for recording captured by the imaging unit. Image compression.
  • the electronic camera can estimate the arrangement range of the main subject in the screen with high reliability based on the guide display.
  • the tile boundaries by arranging the tile boundaries so as to avoid the arrangement range of the main subject estimated from the guide display, it is possible to appropriately prevent the adverse effect that the compression distortion of the tile boundaries overlaps with the main subject.
  • the user completes the operation of setting the ROI area and tiles by a series of operations of selecting a guide display according to the shooting scene. Therefore, the user does not need to specify the ROI area or tile separately, and can concentrate on the shooting.
  • the image processing apparatus further includes a focus control unit that selects a focus detection area from a shooting screen and focuses a shooting lens on a subject of the selected focus detection area.
  • the display unit combines the image data for the monitor captured by the imaging unit with the selected state of the focus detection area as an auxiliary display and displays the combined image.
  • the compression processing unit selects the image area corresponding to the “selected focus detection error” as the ROI area and / or tile used for image compression, and then compresses the image data for recording captured by the imaging unit. I do. .
  • the position of the main subject can be estimated from the focus detection area, and the ROI region and / or tile can be selected according to the position of the main subject. In this case, compression deterioration of the main subject can be more reliably improved.
  • the area setting of the R / I area / dial can be completed in the normal photographing flow of selecting the focus detection area.
  • the electronic camera automatically selects the focus detection area according to the determination of the scene situation, it is possible to automatically select the ROI area or tile by using the selection result of the focus detection area. become.
  • an operation unit for selecting at least one from a plurality of image areas divided by a predetermined area division according to an operation input from a user.
  • the display unit combines the selected state of the area divisions with the image data as an auxiliary display and displays it.
  • the compression processing unit selects the image region selected via the operation unit as an ROI region and / or a tile used for image compression, and then compresses the image data for recording captured by the imaging unit.
  • the user can intuitively specify the ROI region and / or tile using the operation unit while viewing the image data divided into regions.
  • the ROI region having a complicated shape can be directly and easily specified by combining these image regions.
  • the designation of the image area is received by moving the display position of the “indicator indicating the range and Z or position of the image area” displayed on the display unit in response to an operation input from the user.
  • An operation unit is provided.
  • the compression processing unit selects the ROI area and Z or tile to be used for image compression based on the image area specified via the operation unit, and then converts the recording image data captured by the imaging unit. Image compression.
  • the user can directly and easily specify the ROI area and / or tile by moving the display position of the index using the operation unit while viewing the display screen of the electronic camera.
  • Another electronic camera includes an imaging unit, a display unit, a tablet unit, and a compression processing unit.
  • the imaging unit captures a subject and generates image data.
  • the display unit displays the image data on a display screen.
  • the tablet unit detects an area input on the display screen.
  • the compression processing section selects the image area input through the tablet section as the ROI area and Z or tile used for image compression, and then compresses the image data for recording captured by the imaging section .
  • the user can directly and intuitively specify the ROI area and / or tile on the display screen of the electronic camera.
  • a release unit for instructing the imaging unit to start imaging for recording.
  • the display unit combines and displays the subject monitor image data captured by the imaging unit and the auxiliary display that supports the selection of the ROI area and / or tile used for image compression before the instruction from the release unit. I do.
  • the compression processing section selects the image area selected before the instruction from the release section corresponding to the auxiliary display to the ROI area and Z or tile, and captures the image with the imaging section according to the instruction from the release section
  • the recorded image data for recording is image-compressed.
  • the compression processing unit performs image compression in accordance with J PEG2000.
  • FIG. 1 is a diagram illustrating a configuration of an electronic camera 11 according to the present embodiment.
  • FIG. 2 is a flowchart (No. 2) for explaining the operation of the present embodiment.
  • FIG. 3 is a flowchart (2Z2) for explaining the operation of the present embodiment.
  • Fig. 4 is a diagram showing how the ROI area and tiles are selected based on the guide display.
  • Fig. 5 is a diagram showing how ROI areas and tiles are selected based on the currently selected focus detection area. .
  • FIG. 6 is a diagram showing a manner of selecting an ROI area and a tile based on a tablet input.
  • FIG. 7 is a diagram showing a state where an ROI area and a tile are selected based on an operation input of a cross key.
  • Figure 8 shows how the ROI area and tile are selected based on the operation input of the cross key.
  • FIG. 1 is a diagram illustrating a configuration of an electronic camera 11 according to the present embodiment.
  • a photographing lens 12 is attached to an electronic camera 11.
  • the focus of the photographing lens 12 is adjusted by a lens driving mechanism 12a.
  • the light receiving surface of the image sensor 13 is arranged in the image space of the photographing lens 12.
  • the output of the image sensor 13 is processed via the AD converter 14 and the signal processor 15 and then recorded in the buffer memory 16.
  • An image processing unit 17 and an image compression unit 18 are connected to the data bus of the buffer memory 16 respectively.
  • the microprocessor 39 acquires the image data of the focus detection area via the image compression section 18 and detects the contrast of these focus detection areas.
  • the microprocessor 39 controls the focus of the photographing lens 12 by controlling the lens driving mechanism 12a in a direction in which the contrast increases.
  • the “image data for monitor” processed by the image processing section 17 is given to the display section 40.
  • the display section 40 combines the image data for the monitor with the display data given from the microprocessor 39 and displays it on the display screen (not shown) of the electronic camera 11.
  • the display screen is provided with a tablet unit 41 for reading a contact position with a finger or a pen.
  • the position data read by the tablet unit 41 is given to the microprocessor 39.
  • the “image data for recording” processed by the image processing section 17 is given to the image compression section 18.
  • the image compression unit 18 has the following configuration requirements 1 to 5.
  • the compressed file generated in the image compression section 18 is provided to the recording section 32.
  • the recording unit 32 records and stores the compressed file on the memory card 33.
  • the housing of the electronic camera 11 is provided with an operation unit 38 including a release button, a cross key, and a setting button.
  • the output signal of the operation unit 38 is given to the microprocessor 39.
  • the microprocessor 39 is a microprocessor for controlling the system of the electronic camera 11 and is connected to the image processing unit 17 and the image compression unit 18 via signal lines.
  • the imaging unit described in the claims corresponds to the imaging device 13.
  • the guide unit described in the claims accepts the selection of the type of shooting target via the operation unit 38 of the microprocessor 39 and determines a guide display (display for guiding a recommended composition) suitable for the shooting target. Function ".
  • the display unit described in the claims corresponds to the display unit 40.
  • the compression processing section described in the claims corresponds to the “function of setting the ROI area and tile in the image compression section 18” of the image compression section 18 and the microprocessor 39.
  • the tablet part described in the claims corresponds to the tablet part 41.
  • the focus control unit corresponds to the lens drive mechanism 12 a and the microprocessor 39.
  • the operation unit corresponds to the operation unit 38 and the microprocessor 39 with a function of receiving an instruction input of an ROI area or a tile.
  • Step S1 Before shooting, the user can operate the operation unit 38 to input a type selection of a shooting target to the electronic camera 11.
  • the microprocessor 39 selects a predetermined guide display in accordance with the selection of the type of the imaging target.
  • This guide display is a display pattern for guiding a recommended composition as shown in FIG. 4 (A).
  • Step S2 Further, the user can operate the operation section 38 to select a focus detection area.
  • the selection result is stored in the microprocessor 39 so that data can be referred to at the time of focus control described later.
  • Step S3 The image sensor 13 operates in a draft mode (an imaging mode in which horizontal lines are thinned out and read at a high frame rate) to capture image data for monitoring.
  • a draft mode an imaging mode in which horizontal lines are thinned out and read at a high frame rate
  • Step S4 The microprocessor 39 extracts an area corresponding to the currently selected focus detection area from the monitor image data, and detects the contrast of the extracted area.
  • the microprocessor 39 controls the focus of the photographing lens 12 via the lens driving mechanism 12a in a direction in which the contrast increases.
  • the movement of the main subject in the screen may be tracked by detecting the contrast movement in the screen, and the currently selected focus detection area may be moved in accordance with the tracking locus.
  • Step S5 The display section 40 displays the monitor image data processed by the image processing section 17 on the monitor.
  • step S1 when a guide display selection operation is performed in step S1, the display unit 40 combines the guide display with the monitor image data and displays the monitor display.
  • the user adjusts the position of the main subject in the screen in accordance with the guide display to determine the shooting composition.
  • Step S6 Here, the microprocessor 39 determines whether or not the release button has been fully pressed.
  • step S1 If the release button has not been fully pressed, the microprocessor 39 returns to step S1.
  • Step S7 The imaging device 13 captures image data for recording by operating in the high resolution mode (imaging mode in which reading is performed at a high resolution).
  • Step S8 The microprocessor 39 determines whether or not the setting of the electronic camera 11 is the single shooting mode.
  • the microprocessor 39 shifts the operation to Step S9.
  • the microprocessor 39 shifts its operation to step S11 described later.
  • Step S9 The image processing section 17 generates image data for quick view from the image data for recording and outputs it to the display section 40.
  • the display unit 40 displays the quick view image (still image) on a monitor as a shooting result.
  • Step S10 During the display of the quick view image, the microprocessor 39 monitors the operation input of the tablet unit 41 and the cross key.
  • the microprocessor 39 shifts the operation to step S11 described later.
  • the microprocessor 39 shifts the operation to step S17 described later.
  • the microprocessor 39 shifts the operation to Step S18 described later.
  • Step S11 The microprocessor 39 determines the consistency between the "guide display” and the "currently selected focus detection area”.
  • the position of the main subject recommended by the guide display is different from “the currently selected focus detection area”, it can be determined that there is no matching. In this case, it is highly likely that the main subject is located at a position different from the guide display.
  • Step S12 If the judgment result is "match", the microprocessor 39 The operation moves to step S13.
  • the microprocessor 39 shifts the operation to step S 14.
  • Step S13 Here, since the guide display and the focus detection area match, it is highly possible that the main subject is located within the range recommended by the guide display. Therefore, the arrangement range recommended by the guide display is estimated as the image area of the main subject.
  • the entire humanoid, the humanoid face part, the face-shaped eyes, and the like are estimated as the image area of the main subject. .
  • the microprocessor 39 shifts the operation to Step S15 described later.
  • Step S14 Here, since the guide display does not match the focus detection area, there is a high possibility that the main subject is arranged regardless of the guide display. Therefore, the microphone processor 39 sets a predetermined range so as to include the currently selected focus detection area, and estimates the predetermined range as an image area where the main subject exists.
  • focus area determined by contrast judgment or “area surrounded by edges (including screen frames)” is selected, and the image of the main subject is selected. It may be estimated as a region.
  • Step S15 The microprocessor 39 generates a binary enable map that masks the image area of the estimated main subject, and sets the generated binary map in the ROI setting section 27 as the ROI area.
  • FIG. 4B is a diagram showing an ROI region 51 generated from the guide display 50.
  • the entire humanoid of the guide display 50 is set as the ROI area 51.
  • FIG. 5A is a diagram showing an ROI region 61 generated from the currently selected focus detection area 60.
  • a predetermined area including the currently selected focus detection area 60 is defined as an ROI area 61.
  • Step S16 Subsequently, the microprocessor 39 determines the size and offset of the tile section so that the boundary of the tile section does not pass through the estimated image area of the main subject.
  • the microprocessor 39 sets the size and offset of the determined tile section in the tile processing unit 21.
  • FIG. 4C is a diagram showing a tile 52 generated from the guide display 50. In this case, the tile 52 is set so that the boundary of the tile section does not pass through the face of the guide display 50.
  • FIG. 5B is a diagram showing a tile 62 generated from the currently selected focus detection area 60.
  • the tile 62 is set so that the currently selected focus detection area 60 is located substantially at the center of the tile.
  • the microprocessor 39 shifts the operation to step S20.
  • Step S17 Here, since the tablet operation has been detected, the microprocessor 39 determines that the user has touched the display screen with a finger or the like to specify the range of the main subject. Therefore, the microprocessor 39 reads a contact trajectory of a finger or the like via the tablet unit 41. The microprocessor 39 sets the ROI area and the tile according to the contact locus.
  • the microprocessor 39 sets this closed area as the ROI area 53. Further, the microprocessor 39 sets the size and offset of the tile section so that the boundary of the tile section does not pass through this closed area.
  • the microprocessor 39 obtains a rectangle having the contact trajectory as a diagonal line, and obtains a closed region (human, Oval, rectangle, etc.) are set in the ROI area 54.
  • the microprocessor 39 sets the size and offset of the tile section so that the boundary of the tile section does not pass through this closed area.
  • the number of human figure patterns is appropriately adjusted according to the aspect ratio of the rectangle whose contact trajectory is diagonal. This makes it possible to input human figures for a plurality of people quickly and easily.
  • the microprocessor 39 shifts the operation to step S20.
  • Step S18 Here, since the operation of the cross key has been detected, the microprocessor 39 determines that the user operates the cross key to specify the range of the main subject. Then, the microprocessor 39 instructs the display unit 40 to display a grid indicating the area division. As shown in FIGS. 7 (A) and 7 (B), the display section 40 displays a dalid over the quick view display on the display screen.
  • Step S19 The user moves the focus (cursor) along the section of the Darido by pressing the up, down, left and right of the + character key 66. At this time, the user presses the center of the cross key 66 to select the currently focused area. By accepting this area selection only once, a specific section (hatched area) in the screen can be quickly selected as shown in FIG. 7 (A).
  • the microprocessor 39 sets the selected area as the ROI areas 67 and 68. In addition, the microprocessor 39 sets the size and offset of the tiles 69 so that the boundaries of the tile sections do not pass through this area.
  • the area 70 of the ROI area 71 may be designated by moving or enlarging or reducing the index 70 indicating the range or position of the ROI area 71 by operating the cross key.
  • the microprocessor 39 sets the size and offset of the tile 72 such that the boundary of the tile section does not pass through the ROI area 71.
  • the microprocessor 39 shifts the operation to step S20.
  • Step S200 The image compression section 18 performs image compression according to JPEG2000 according to the set ROI area and tile division.
  • the ROI region and the tile division can be set using the following judgment factors.
  • the ROI area and tiles can be set more appropriately for the main subject, and compression deterioration of the main subject can be reliably avoided.
  • the operation unit of the present invention is not limited to the cross key.
  • an operation unit such as a zoom button and a release button of an electronic camera may be used as an operation unit for specifying an area.
  • the ROI region (here, the image region estimated to be the main subject) may be selectively recorded in the format of RAW data.
  • a specific color component for example, a skin color component of a person
  • a region of the detected specific color component is included.
  • ROI regions and / or tiles may be regionalized.
  • the position of the main subject in the screen can be detected by a specific color component, and the ROI area and tile can be set appropriately.
  • the electronic camera may automatically set the ROI area or tile by detecting the specific color component. In this case, the user does not need to input the ROI area or tile separately, and can concentrate on the shooting operation.
  • the present invention is a technique that can be used for an electronic camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Studio Devices (AREA)

Abstract

本発明の電子カメラは、次のような撮像部、ガイド部、表示部、および圧縮処理部を備える。すなわち、撮像部は、被写体を撮像して画像データを生成する。表示部は、撮像部で撮像されたモニタ用の画像データに、ＲＯＩ領域やタイルの領域選定を支援する補助表示を合成して表示する。例えば、このような補助表示としては、モニタ表示上において推奨構図をユーザーに案内するためのガイド表示などを使用することが好ましい。圧縮処理部は、このような補助表示に対応する画像領域を、画像圧縮に使用するＲＯＩ領域および／またはタイルに選定した上で、撮像部で撮像された記録用の画像データを画像圧縮する。

Description

明細書 電子カメラ 技術分野
本発明は、 画像圧縮を実施する電子カメラにおいて、 RO I領域および/または タィルを適宜に領域設定する技術に関する。 背景技術
1999年 12月、 J PEG 2000の画像圧縮アルゴリズムの委員会案 （CD ： Committee Draft) が作成され、 核となる主要な技術内容が凍結された。
以下、 この J PEG2000の画像圧縮処理について概略説明する。
①色座標変換
入力画像は、 必要に応じて色座標変換が施される。
②タイル分割
入力画像は、必要に応じて複数の矩形領域（以下『タイル』という） に分割される。 各タイルには、 以降の符号化処理が独立に施される。
③ウェーブレツト変換
入力画像は、縦横 2方向に離散ウエーブレツト変換が施され、複数のサブバンド（ 1 LL， 1 LH, 1HL， 1 HH) に周波数分解される。 この内、 直流成分を含む 1 L Lには、更に離散ウエーブレツト変換が施され、複数のサブバンド（2 LL， 2 LH, 2HL, 2HH) に周波数分解される。
このように離散ウエーブレツト変换を再帰的に繰り返すことにより、 画像データは サブバンドに分解される。
④量子化
ウェーブレツト変換係数は、 サブバンドごとに定められた量子化ステップ幅により 量子化される。 なお、 ロッシ一/ロスレスの統一処理においては、 量子化ステップが 「1」 に設定される。 この場合、 ロッシ一圧縮では、 後工程において下位 Nビットプ レーンの廃棄が行われる。 この廃棄処理は、 量子化ステップ 「2の N乗」 と等価な処 理となる。
⑤ビットモデリング
量子化後のウェーブレツト変換係数を各サブバンド内で固定サイズ （例えば 64 X 64) の符号化ブロックに分割する。 各符号ブロック内の変換係数は、 サインビット と絶対値に分けられた後、絶対値は、 自然 2進数のビットプレーンに振り分けられる。 このように構築されたビットプレーンは、 上位ビットプレーンから順に、 3通りの符 "^ィ匕ノ ス (Significance pass, Refinement pass, Cleanup pass) 通して符 "^化 れる。 なお、 サインビットについては、 対応する絶対値の最上位ビットがビットプレ 一ンに現れた直後に符号化が行われる。
⑥ RO I (Region Of Interest) 符号化
画像上の部分的な選択領域 （以下、 RO I領域という） に優先的に情報量を割り当 て、 RO I領域の復号化画質を高める機能である。 具体的には、 RO I領域に位置す る量子化後の変換係数を Sビットだけシフトアップする。 その結果、 RO I領域は、 上位のビットプレーンにシフトされ、 非 RO I領域のどのビットよりも優先的に符号 化がなされる。
なお、 マックスシフト法では、 ビットシフト数 Sを非 R O I領域の最上位ビットの 桁数よりも大きく設定する。 そのため、 RO I領域の非ゼロの変換係数は、 必ず 「2 の S乗」 以上の値をとる。 そこで、 復号化時は、 「2の S乗」 以上の量子化値を選択 的にシフトダウンすることにより、 RO I領域の変換係数を容易に復元することがで きる。
⑦算術符号化
符号化データには、 さらに MQコーダ一による算術符号化が施される。
⑧ビットストリーム形成
入力画像の符号化データを所定順 （SNRプログレッシブなど） にまとめ、 ビット ストリームを形成する。
その他、 J PEG2000については、 下記の特許文献 1 (日本出願の特開 200 2— 1 76650公報） が知られている。
この特許文献 1には、 RO I領域の面積を調整することによって、 非 RO I領域の 画質劣化を適正範囲に設定する技術が記載されている。 ところで、 上述した R O I領域おょぴタイルの領域設定に当たっては、 画面内の重 要な箇所を包含するように設定することが好ましい。
し力、しながら、 電子カメラでは、 ユーザーは撮影に専念しなければならない。 その ため、 ユーザーは、 電子カメラの R O I領域やタイルを、 簡単かつ迅速に設定操作で きることが好ましい。 発明の開示
本発明は、 上述した問題点に鑑みて、 R O I領域および Zまたはタイルの領域設定 を、 電子カメラにおいて簡易に実施することを目的とする。
以下、 本発明について説明する。
[ 1 ]
本発明の電子カメラは、 撮像部、 表示部、 および圧縮処理部を備える。
撮像部は、 被写体を撮像して画像データを生成する。
表示部は、 撮像部で撮像されたモニタ用の画像データと、 画像圧縮に使用する R O I領域および/またはタイルの選定を支援する補助表示とを合成して表示する。 圧縮処理部は、 補助表示に対応して予め設定される画像領域を、 R O I領域および Zまたはタイルに選定した上で、 撮像部で撮像された記録用の画像データを画像圧縮 する。
[ 2 ]
なお好ましくは、 ユーザーによる撮影対象の種類選択に応じて、 推奨構図を案内す るためのガイド表示を決定するガイド部を備える。 表示部は、 撮像部で撮像されたモ ニタ用の画像データに、 このガイド表示を補助表示として合成して表示する。 圧縮処 理部は、 ガイド表示に対応して予め設定される画像領域を、 画像圧縮に使用する R O I領域および Zまたはタイルに選定した上で、 撮像部で撮像された記録用の画像デー タを画像圧縮する。
通常、 ユーザーは、 このガイド表示に合わせて、 主要被写体を画面内配置する。 し たがって、 電子カメラは、 このガイド表示に基づいて、 '画面内の主要被写体の配置範 囲を高い信頼性で推定できる。 このように推定した主要被写体の位置や範囲に合わせ て、 R O I領域および /"またはタイルを選定することにより、 主要被写体の圧縮劣化 をより確実に改善できる。
また例えば、 ガイド表示から推定される主要被写体の配置範囲をさけてタイル境界 を配置することにより、 タイル境界の圧縮歪みが主要被写体に重なるといった弊害を 適切に防止できる。
さらに、 この電子カメラでは、 ユーザーが、 撮影シーンに応じてガイド表示を選択 するという一連の動作によって、 R O I領域やタイルの設定操作を済ませる。 そのた め、 ユーザーは R O I領域やタイルを別に指定する必要が特になく、 撮影行為に一段 と専念できるようになる。
[ 3 ]
また好ましくは、 撮影画面内から焦点検出エリアを選択し、 選択された焦点検出ェ リアの被写体に撮影レンズを合焦させる焦点制御部を備える。 表示部は、 撮像部で撮 像されたモユタ用の画像データに、 焦点検出エリアの選択状態を捕助表示として合成 して表示する。圧縮処理部は、 『選択された焦点検出ェリァ』に対応する画像領域を、 画像圧縮に使用する R O I領域および またはタイルに選定した上で、 撮像部で撮像 された記録用の画像データを画像圧縮する。 .
通常、 選択される焦点検出エリアには、 主要被写体が存在する確率が高い。 そのた め、 この焦点検出エリアから主要被写体の位置を推定し、 この主要被写体の位置に合 わせて R O I領域および/タイルを選定することが可能になる。 この場合、 主要被写 体の圧縮劣化をより確実に改善できる。
また例えば、 この選択エリアから推定される主要被写体の配置範囲をさけてタイル 境界を配置することにより、 タイル境界の圧縮歪みが主要被写体に重なるといった弊 害を適切に防止できる。
特に、 焦点検出ェリァの選択操作という通常の撮影の流れの中で、 R〇 I領域ゃタ ィルの領域設定を済ませることができる。
また例えば、 電子カメラが被写界の状況判断に応じて焦点検出エリアを自動選択す る場合には、 その焦点検出エリアの選択結果を流用して、 R O I領域やタイルを自動 選定することも可能になる。
このような動作により、 ユーザーは R O I領域やタイルを別途入力する必要が特に なくなり、 撮影行為に一段と専念できるようになる。 [ 4 ]
なお好ましくは、 ユーザーからの操作入力に応じて、 予め定められた領域区分によ り分割された複数の画像領域から少なくとも一つを選択する操作部を備える。 表示部 は、 領域区分の選択状態を補助表示として画像データに合成して表示する。 圧縮処理 部は、 操作部を介して選択された画像領域を、 画像圧縮に使用する R O I領域および /またはタイルに選定した上で、 撮像部で撮像された記録用の画像データを画像圧縮 する。
この場合、 ユーザーは、 領域区分された画像データを見ながら、 操作部を使用して R O I領域および/またはタイルを直感的に指定することができる。
特に、 複数の画像領域を選択可能にした場合には、 これら画像領域の組み合わせに よって、 複雑な形状の R O I領域を直接的かつ簡単に指定できる。
[ 5 ]
また好ましくは、 ユーザーからの操作入力に応じて、 表示部に合成表示される 『画 像領域の範囲および Zまたは位置を示す指標』 の表示位置を移動することにより、 画 像領域の指定を受け付ける操作部を備える。 圧縮処理部は、 操作部を介して指定され た画像領域を基準にして、 画像圧縮に使用する R O I領域および Zまたはタイルを選 定した上で、 撮像部で撮像された記録用の画像データを画像圧縮する。
この場合、 ユーザーは、 電子カメラの表示画面を見ながら、 操作部を使用して指標 の表示位置を移動させることで、 R O I領域および/またはタイルを直接的かつ簡単 に指定することができる。
[ 6 ]
本発明の別の電子カメラは、 撮像部、 表示部、 タブレット部、 および圧縮処理部を 備える。
撮像部は、 被写体を撮像して画像データを生成する。
表示部は、 画像データを表示画面に表示する。
タブレツト部は、 表示画面上において領域入力を検出する。
圧縮処理部は、 タブレット部を介して領域入力された画像領域を、 画像圧縮に使用 する R O I領域および Zまたはタイルに選定した上で、 撮像部で撮像された記録用の 画像データを画像圧縮する。 この場合、 ユーザーは、 電子カメラの表示画面の上で、 直接的かつ直感的に RO I 領域およぴ /またはタイルを指定できるようになる。
特に、 タブレット部から不定形状の領域入力を受け付けた場合には、 複雑な形状の RO I領域を簡易に指定できるようになる。
[7]
なお好ましくは、 撮像部に記録のための撮像開始を指示するレリーズ部を備える。 表示部は、 レリーズ部による指示前に、 撮像部で撮像された被写体モニタ用画像デー タと、 画像圧縮に使用する RO I領域および またはタイルの選定を支援する補助表 示とを合成して表示する。 圧縮処理部は、 補助表示に対応してレリーズ部による指示 前に選定される画像領域を、 RO I領域および Zまたはタイルに選定した上で、 レリ ーズ部による指示によつて撮像部で撮像された記録用の画像データを画像圧縮する。
[8] ·
また好ましくは、圧縮処理部は、 J PEG2000に準拠した画像圧縮を実施する。 図面の簡単な説明
なお、 本発明における上述した目的おょぴそれ以外の目的は、 以下の説明と添付図 面とによって容易に確認することができる。
図 1は、 本実施形態における電子カメラ 1 1の構成を示す図である。
図 2は、 本実施形態の動作を説明する流れ図 （1ノ2) である。
図 3は、 本実施形態の動作を説明する流れ図 （2Z2) である。
図 4は、 ガイド表示に基づいて RO I領域およびタイルを選定する様子を示す図で 図 5は、 選択中の焦点検出エリアに基づいて RO I領域およびタイルを選定する様 子を示す図である。
図 6は、 タブレット入力に基づいて RO I領域およびタイルを選定する様子を示す 図である。
図 7は、 十字キーの操作入力に基づいて RO I領域およびタイルを選定する様子を 示す図である。
図 8は、 十字キーの操作入力に基づいて RO I領域およびタイルを選定する様子を 示す図である。
発明を実施するための最良の形態
以下、 図面に基づいて本努明にかかる実施形態を説明する。
[電子カメラの構成説明]
図 1は、 本実施形態における電子カメラ 1 1の構成を示す図である。
図 1において、 電子カメラ 1 1には、 撮影レンズ 1 2が装着される。 この撮影レン ズ 1 2は、 レンズ駆動機構 1 2 aによつて焦点調節が行われる。 この撮影レンズ 1 2 の像空間には、 撮像素子 1 3の受光面が配置される。 この撮像素子 1 3の出力は、 A D変換部 1 4および信号処理部 1 5を介して処理された後、 バッファメモリ 1 6に記 録される。
このバッファメモリ 1 6のデータバスには、 画像処理部 1 7および画像圧縮部 1 8 がそれぞれ接続される。
マイクロプロセッサ 3 9は、 画像圧縮部 1 8を介して焦点検出ェリァの画像データ を取得し、 これら焦点検出エリアのコントラストを検出する。 マイクロプロセッサ 3 9は、 このコントラストが高くなる方向にレンズ駆動機構 1 2 aを制御することによ り、 撮影レンズ 1 2を焦点制御する。
この画像処理部 1 7で処理された『モニタ用の画像データ』 は、 表示部 4 0に与え られる。 表示部 4 0は、 このモニタ用の画像データと、 マイクロプロセッサ 3 9から 与えられる表示データとを合成して、 電子カメラ 1 1の表示画面 （不図示） に表示す る。 なお、 この表示画面には、 指やペンなどでの接触位置を読み取るタブレット部 4 1が設置される。 このタブレット部 4 1で読み取られた位置データは、 マイクロプロ セッサ 3 9に与えられる。
一方、 画像処理部 1 7で処理された 『記録用の画像データ』 は、 画像圧縮部 1 8に 与えられる。
この画像圧縮部 1 8は、 下記のような構成要件①〜⑦を備える。
①タイル処理部 2 1
②ウェーブレツト変換部 2 2
③量子化部 2 3
(Dビットモデリング部 2 4 ⑤算術符号化部 2 5
⑥ビットストリーム生成部 2 6
⑦ R O I設定部 2 7
なお、 これら構成要件①〜⑦の具体的な処理動作については、 上述した従来例で説 明済みのため、 ここでの説明を省略する。
このような画像圧縮部 1 8において生成された圧縮ファイルは、 記録部 3 2に与え られる。 記録部 3 2は、 この圧縮ファイルを、 メモリカード 3 3に記録保存する。 さらに、 電子カメラ 1 1の筐体には、 レリーズ釦， 十字キー， および設定釦などか らなる操作部 3 8が設けられる。 操作部 3 8の出力信号は、 マイクロプロセッサ 3 9 に与えられる。 このマイクロプロセッサ 3 9は、 電子カメラ 1 1をシステム制御する ためのマイクロプロセッサであり、 画像処理部 1 7や画像圧縮部 1 8などと信号線を 介して接続される。
[発明との対応関係]
以下、 発明と本実施形態との対応関係について説明する。 なお、 ここでの対応関係 は、 参考のために一解釈を例示するものであり、 本発明を徒らに限定するものではな い。
請求項記載の撮像部は、 撮像素子 1 3に対応する。
請求項記載のガイド部は、 マイクロプロセッサ 3 9の『操作部 3 8を介して撮影対 象の種類選択を受け付け、 この撮影対象に適合したガイド表示 （推奨構図を案内する ための表示） を決定する機能』 に対応する。
請求項記載の表示部は、 表示部 4 0に対応する。
請求項記載の圧縮処理部は、画像圧縮部 1 8、およぴマイクロプロセッサ 3 9の『R O I領域およびタイルを画像圧縮部 1 8に設定する機能』 に対応する。
請求項記載のタブレツト部は、 タブレット部 4 1に対応する。
焦点制御部は、 レンズ駆動機構 1 2 a ,およびマイクロプロセッサ 3 9に対応する。 操作部は、 操作部 3 8， およびマイクロプロセッサ 3 9の 『R O I領域やタイルの 指示入力を受け付ける機能』 に対応する。
[本実施形態の動作説明]
図 2および図 3は、 本実施形態の動作を説明する流れ図である。 以下、 これら図に 示すステップ番号に従って、 本実施形態の動作を説明する。
ステップ S 1 ： 撮影前に、 ユーザーは、 操作部 3 8を操作して、 撮影対象の種類選 択を電子カメラ 1 1に入力することができる。 マイクロプロセッサ 3 9は、 この撮影 対象の種類選択に対応して、 予め定められたガイド表示を選択する。 このガイド表示 は、 図 4 (A) に示すような推奨構図を案内するための表示パターンである。
ステップ S 2 ： さらに、 ユーザーは、 操作部 3 8を操作して、 焦点検出エリアの選 択操作を行うことができる。 この選択結果は、 後述する焦点制御時にデータ参照でき るよう、 マイクロプロセッサ 3 9が記憶する。
ステップ S 3 : 撮像素子 1 3は、 ドラフトモード （水平ラインを間引いて高速フレ ームレートで読み出す撮像モード） で動作することにより、 モニタ用の画像データを 撮像する。
ステップ S 4 ： マイクロプロセッサ 3 9は、 モニタ用の画像データから、 現在選択 中の焦点検出エリアに該当する領域を抽出し、 この抽出領域のコントラストを検出す る。 マイクロプロセッサ 3 9は、 レンズ駆動機構 1 2 aを介して、 このコントラス ト が高くなる方向へ撮影レンズ 1 2を焦点制御する。
なお、 画面内のコントラスト移動を検出することで、 主要被写体の画面内移動を追 跡し、 その追跡軌跡に合わせて選択中の焦点検出エリアを移動させてもよい。
ステップ S 5 ： 表示部 4 0は、 画像処理部 1 7で処理されたモニタ用の画像データ をモニタ表示する。
なお、ステップ S 1においてガイド表示の選択操作が為された場合、表示部 4 0は、 モニタ用の画像データにガイド表示を合成した上で、 モニタ表示する。
通常、ユーザーは、このガイド表示に合わせて主要被写体の画面内位置を調整して、 撮影構図を決定する。
ステップ S 6 ： ここで、 マイクロプロセッサ 3 9は、 レリーズ釦が全押しされたか 否かを判定する。
レリーズ釦が全押しされていない場合、 マイクロプロセッサ 3 9はステップ S 1に 動作を戻す。
一方、 レリーズ釦が全押しされた場合、 マイクロプロセッサ 3 9はステップ S 7に 動作を進める。 ステップ S 7： 撮像素子 1 3は、高解像度モード（高解像度で読み出す撮像モード） で動作することにより、 記録用の画像データを撮像する。
ステップ S 8 ： マイクロプロセッサ 3 9は、 電子カメラ 1 1の設定が単写モードか 否かを判定する。
ここで、 単写モードの場合、 マイクロプロセッサ 3 9は、 ステップ S 9に動作を移 す。
一方、 連写モードの場合、 マイクロプロセッサ 3 9は、 後述するステップ S 1 1に 動作を移す。
ステップ S 9 ： 画像処理部 1 7は、 この記録用の画像データからクイックビュー用 の画像データを生成し、 表示部 4 0に出力する。 表示部 4 0は、 このクイックビュー 画像 （静止画） を撮影結果としてモニタ表示する。
ステップ S 1 0 : このクイックビュー画像の表示中、 マイクロプロセッサ 3 9は、 タブレツト部 4 1および十字キーの操作入力を監視する。
ここで、 所定時間 （操作入力の意志がないと判断できる時間） 経過しても操作入 力が無い場合、 マイクロプロセッサ 3 9は、 後述するステップ S 1 1に動作を移行す る。
一方、 タブレット部 4 1の操作入力があつた場合、 マイクロプロセッサ 3 9は後述 するステップ S 1 7に動作を移行する。
また、 十字キーの操作入力があった場合には、 マイクロプロセッサ 3 9は後述する ステップ S 1 8に動作を移行する。
ステップ S 1 1 ： マイクロプロセッサ 3 9は、 『ガイド表示』 と 『現在選択中の焦 点検出エリア』 との整合性を判断する。
例えば、 『ガイド表示が推奨する主要被写体の配置位置』 と 『現在選択中の焦点検 出エリア』 とが一致していれば、 『整合する』 と判断できる。 この場合、 ガイド表示 の推奨する範囲に主要被写体が位置している可能性が高い。
一方、 『ガイド表示が推奨する主要被写体の配置位置』 と、 『現在選択中の焦点検 出エリア』 とがずれている場合、 『整合しない』 と判断できる。 この場合、 ガイド表 示とは異なる位置に主要被写体が配置されている可能性が高い。
ステップ S 1 2 ： 『整合する』 という判定結果の場合、 マイクロプロセッサ 3 9は ステップ S 1 3に動作を移行する。
一方、 『整合しない』 という判定結果の場合、 マイクロプロセッサ 3 9はステップ S 1 4に動作を移行する。
ステップ S 1 3 ： ここでは、 ガイド表示と焦点検出エリアとが整合しているため、 ガイド表示が推奨する範囲内に主要被写体が配置されている可能性が高い。 そこで、 ガイド表示が推奨する配置範囲を、 主要被写体の画像領域として推定する。
例えば、 図 4 (A) に示す人型のガイド表示 5 0の場合には、 人型の全体や、 人型 の顔部分や、 顔型の眼周辺などを、 主要被写体の画像領域と推定する。
このような推定動作の後、 マイクロプロセッサ 3 9は、 後述するステップ S 1 5に 動作を移行する。
ステップ S 1 4： ここでは、ガイド表示と焦点検出エリアとが整合していないため、 ガイド表示とは無関係に主要被写体が配置されている可能性が高い。 そこで、 マイク 口プロセッサ 3 9は、 現在選択中の焦点検出エリアを含むように所定範囲を設定し、 その所定範囲を主要被写体が存在する画像領域と推定する。
例えば、 現在選択中の焦点検出エリアを含む範囲から、 『コントラスト判定から判 断される合焦範囲』や『エッジ（画面フレームも含む） に囲まれた領域』を選別して、 主要被写体の画像領域と推定してもよい。
ステップ S 1 5 ： マイクロプロセッサ 3 9は、 推定した主要被写体の画像領域をマ スクする二値ィヒビットマツプを生成し、 R O I領域として R O I設定部 2 7に設定す る。
図 4 (B ) は、 ガイド表示 5 0から生成される R O I領域 5 1を示す図である。 こ の場合、 ガイド表示 5 0の人型全体を R O I領域 5 1とする。
一方、 図 5 (A) は、 現在選択中の焦点検出エリア 6 0から生成される R O I領域 6 1を示す図である。 この場合、 現在選択中の焦点検出エリア 6 0を含む所定領域を R O I領域 6 1とする。
ステップ S 1 6 ： 続いて、 マイクロプロセッサ 3 9は、 推定した主要被写体の画像 領域をタイル区分の境界が通過しないよう、 タイル区分のサイズとオフセットを決定 する。マイクロプロセッサ 3 9は、決定したタイル区分のサイズおよびオフセットを、 タイル処理部 2 1に設定する。 図 4 ( C ) は、 ガイド表示 5 0から生成されるタイル 5 2を示す図である。 この場 合、 ガイド表示 5 0の顔部分にタイル区分の境界が通過しないように、 タイル 5 2を 設定する。
一方、 図 5 ( B ) は、 現在選択中の焦点検出エリア 6 0から生成されるタイル 6 2 を示す図である。 この場合、 現在選択中の焦点検出エリア 6 0がタイルの略中心に位 置するように、 タイル 6 2を設定している。
このように R O I領域およびタイルの設定を完了した後、 マイクロプロセッサ 3 9 はステップ S 2 0に動作を移行する。
ステップ S 1 7 ： ここでは、 タブレット操作を検知したため、 マイクロプロセッサ 3 9は、 ユーザーが表示画面上を指などで触って、 主要被写体の範囲指定を行ってい ると判断する。 そこで、 マイクロプロセッサ 3 9は、 タブレット部 4 1を介して、 指 などの接触軌跡を読み取る。 マイクロプロセッサ 3 9は、 この接触軌跡に従って、 R O I領域およびタイルの設定を行う。
例えば、 図 6 (A) に示すように、 接触軌跡がほぼ閉領域と判断できる場合、 マイ クロプロセッサ 3 9は、 この閉領域を R O I領域 5 3に設定する。 また、 タイル区分 の境界がこの閉領域を通過しないように、 マイクロプロセッサ 3 9は、 タイル区分の サイズおょぴオフセットを設定する。
また例えば、 図 6 (B ) に示すように接触軌跡がほぼ直線状である場合、 マイクロ プロセッサ 3 9は、 この接触軌跡を対角線とする矩形を求め、 この矩形に内接する閉 領域 （人型， 楕円， 矩形など） を R O I領域 5 4に設定する。 また、 タイル区分の境 界がこの閉領域を通過しないように、 マイクロプロセッサ 3 9は、 タイル区分のサイ ズぉよびオフセットを設定する。
なお、 人型の入力について、 図 6 ( C) に示すように、 接触軌跡を対角線とする矩 形の縦横比に応じて、 人型のパターン数を適切に調整する。 これにより、 複数人数分 の人型を迅速かつ簡易に入力することが可能になる。
このように R O I領域おょぴタイルの設定を完了した後、 マイクロプロセッサ 3 9 はステップ S 2 0に動作を移行する。
ステップ S 1 8 ： ここでは、 十字キーの操作を検知したため、 マイクロプロセッサ 3 9は、 ユーザーが十字キーを操作して、 主要被写体の範囲指定を行うと判断する。 そこで、 マイクロプロセッサ 3 9は、 領域区分を示すグリッドの表示を表示部 4 0に 指示する。 表示部 4 0は、 図 7 (A) や図 7 (B ) に示すように、 表示画面のクイツ クビュー表示に重ねてダリッドを表示する。
ステップ S 1 9 ： ユーザーは、 +字キー 6 6の上下左右を押すことにより、 ダリッ ドの区画に沿ってフォーカス （カーソル） を移動させる。 このとき、 ユーザーは、 十 字キー 6 6の中央を押すことによって、 現在フォーカスのある領域を選択する。 この 領域選択を一回のみ受け付けることにより、 図 7 (A) に示すように、 画面内の特定 の区画 （斜線ハッチングの領域） を迅速に選択することができる。
また、 上述した領域選択を複数回繰り返すことにより、 図 7 ( B ) に斜線ハツチン グで示すような複雑な形状の領域を入力することもできる。
マイクロプロセッサ 3 9は、 このように選択された領域を R O I領域 6 7 , 6 8に 設定する。 さらに、 マイクロプロセッサ 3 9は、 タイル区分の境界がこの領域を通過 しないように、 タイノレ 6 9のサイズとオフセットを設定する。
なお、 図 8に示すように、 R O I領域 7 1の範囲や位置を示す指標 7 0を、 十字キ 一の操作により移動または拡大縮小することにより、 R O I領域 7 1の領域指定を行 つてもよい。 この場合、 マイクロプロセッサ 3 9は、 タイル区分の境界が R O I領域 7 1を通過しないように、 タイル 7 2のサイズとオフセットを設定する。
このように R O I領域およびタイルの設定を完了した後、 マイクロプロセッサ 3 9 はステップ S 2 0に動作を移行する。
ステップ S 2 0 ： 画像圧縮部 1 8は、 設定された R O I領域およぴタィル区分に従 つて、 J P E G 2 0 0 0に準拠した画像圧縮を実施する。
[本実施形態の効果など]
以上説明したように、 本実施形態では、 下記の判断材料を駆使して、 R O I領域お よびタイル区分を設定することができる。
( 1 ) ガイド表示 '
( 2 ) 現在選択中の焦点検出エリア
( 3 ) タブレット部 4 1の領域入力
( 4 ) 十字キーによる領域指定
特に、 本実施形態では、 図 2および図 3の流れ図に示すように、 これら複数の判断 材料 （1 ) 〜 （4 ) を操作状況に応じて使用することで、 ユーザーの考えに沿った主 要被写体を従来よりも確実に選別することが可能になった。
その結果、 より適切な主要被写体に合わせて R O I領域およびタイルを設定するこ とが可能になり、 主要被写体の圧縮劣化を確実に回避することが可能になった。
[本実施形態の補足事項]
なお、 上述した実施形態では、 J P E G 2 0 0 0に準拠した画像圧縮を行うケース について説明した。 しかしながら、 本発明はこれに限定されない。 一般的には、 R O I符号化やタイル単位に画像圧縮を行うものであれば本発明を適用できる。
また、 上述した実施形態では、 十字キーによる領域指定について説明した （図 2の ステップ S 1 9 ) 。 しかしながら、 本発明の操作部は十字キーに限定されるものでは ない。 例えば、 電子カメラのズーム釦ゃレリーズ釦などの操作部を、 領域指定の操作 部に使用してもよい。
なお、 上述した実施形態において、 R O I領域 （ここでは主要被写体と推定される 画像領域） を選択的に R A Wデータの形式で記録してもよい。
また、 上述した実施形態において、 被写体を撮像して得られた画像信号中から、 特 定の色成分 （例えば、 人物の肌色成分） を検出し、 検出した特定色成分の領域を含む ように、 R O I領域および/またはタイルを領域設定してもよい。 このような動作で は、 主要被写体の画面内位置を特定色成分によって検出して、 R O I領域やタイルを 適切に設定することができる。 さらに、 電子カメラが、 特定色成分の検出によって R O I領域やタイルを自動設定してもよい。 この場合、 ユーザーは R O I領域やタイル を別途入力する必要がなくなり、 撮影行為に専念することが可能になる。
なお、 本発明は、 その精神または主要な特徴から逸脱することなく、 他のいろいろ な形で実施することができる。 そのため、 前述の実施例はあらゆる点で単なる例示に 過ぎず、 限定的に解釈してはならない。 本発明の範囲は、 特許請求の範囲によって示 すものであって、 明細書本文には、 なんら拘束されない。 さらに、 特許請求の範囲の 均等範囲に属する変形や変更は、 すべて本発明の範囲内のものである。 産業上の利用可能性
以上説明したように、 本発明は、 電子カメラに利用可能な技術である。

Claims

請求の範囲
1 . 被写体を撮像して画像データを生成する撮像部と、
前記撮像部で撮像されたモニタ用の画像データと、 画像圧縮に使用する R O I領域 およびノまたはタイルの選定を支援する補助表示とを合成して表示する表示部と、 前記補助表示に対応して予め設定される画像領域を、 前記 R O I領域おょぴ Zまた はタイルに選定した上で、 前記撮像部で撮像された記録用の画像データを画像圧縮す る圧縮処理部と
を備えたことを特徴とする電子カメラ。
2 . 請求項 1に記載の電子カメラにおいて、
ユーザーによる撮影対象の種類選択に応じて、 推奨構図を案内するためのガイド表 示を決定するガイド部を備え、
前記表示部は、 前記撮像部で撮像されたモニタ用の画像データに、 前記ガイド表示 を合成して表示し、
前記圧縮処理部は、 前記ガイド表示に対応して予め設定される画像領域を、 画像圧 縮に使用する R O I領域おょぴ Zまたはタイルに選定した上で、 前記撮像部で撮像さ れた記録用の画像データを画像圧縮する
ことを特徴とする電子カメラ。
3 . 請求項 1に記載の電子カメラにおいて、
撮影画面内から焦点検出エリアを選択し、 選択された焦点検出エリアの被写体に前 記撮影レンズを合焦させる焦点制御部を備え、 ' 前記表示部は、 前記撮像部で撮像されたモニタ用の画像データに、 焦点検出エリア の選択状態を合成して表示し、
前記圧縮処理部は、 前記『選択された焦点検出エリア』 に対応する画像領域を、 画 像圧縮に使用する R O I領域および またはタイルに選定した上で、 前記撮像部で撮 像された記録用の画像データを画像圧縮する
ことを特徴とする電子カメラ。
4 . 請求項 1に記載の電子カメラにおいて、
ユーザーからの操作入力に応じて、 予め定められた領域区分により分割された複数 の画像領域から少なくとも一つを選択する操作部を備え、 前記表示部は、 領域区分の選択状態を前記画像データに合成して表示し、 前記圧縮処理部は、 前記操作部を介して選択された画像領域を、 画像圧縮に使用す る R O I領域および/またはタイルに選定した上で、 前記撮像部で撮像された記録用 の画像データを画像圧縮する
ことを特徴とする電子カメラ。
5 . 請求項 1に記載の電子力メラにおいて、
ユーザーからの操作入力に応じて、 前記表示部に合成表示される 『画像領域の範囲 および zまたは位置を示す指標』 の表示位置を移動することにより、 前記画像領域の 指定を受け付ける操作部を備え、
前記圧縮処理部は、 前記操作部を介して指定された前記画像領域を基準にして、 画 像圧縮に使用する R O I領域および またはタイルを選定した上で、 前記撮像部で撮 像された記録用の画像データを画像圧縮する
ことを特徴とする電子カメラ。
6 . 被写体を撮像して画像データを生成する撮像部と、
前記画像データを表示画面に表示する表示部と、
前記表示画面上において領域入力を検出するタブレット部と、
前記タブレツト部を介して領域入力された画像領域を、 画像圧縮に使用する R O I 領域および またはタイルに選定した上で、 前記撮像部で撮像された記録用の画像デ ータを画像圧縮する圧縮処理部と
を備えたことを特徴とする電子カメラ。
7 . 請求項 1ないし請求項 6のいずれか 1項に記載の電子力メラにおいて、 前記撮像部に記録のための撮像開始を指示するレリ一ズ部を備え、
前記表示部は、 前記レリーズ部による指示前に、 前記撮像部で撮像された被写体モ ユタ用画像データと、 画像圧縮に使用する R O I領域および/またはタイルの選定を 支援する補助表示とを合成して表示し、
前記圧縮処理部は、 前記補助表示に対応して前記レリーズ部による指示前に選定さ れる画像領域を、 前記 R O I領域および Zまたはタイルに選定した上で、 前記レリー ズ部による指示によつて前記撮像部で撮像された記録用の画像データを画像圧縮す る ことを特 ί敷とする電子カメラ。 ' 8. 請求項 1ないし請求項 7のいずれか 1項に記載の電子力メラにおいて、 前記圧縮処理部は、 J PEG2000に準拠した画像圧縮を実施する ことを特徴とする電子カメラ。
PCT/JP2004/009240 2003-07-03 2004-06-23 電子カメラ WO2005004488A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20040746709 EP1670253B1 (en) 2003-07-03 2004-06-23 Electronic camera
US11/320,450 US7561748B2 (en) 2003-07-03 2005-12-29 Electronic camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-190981 2003-07-03
JP2003190981A JP4218446B2 (ja) 2003-07-03 2003-07-03 電子カメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/320,450 Continuation US7561748B2 (en) 2003-07-03 2005-12-29 Electronic camera

Publications (1)

Publication Number Publication Date
WO2005004488A1 true WO2005004488A1 (ja) 2005-01-13

Family

ID=33562345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/009240 WO2005004488A1 (ja) 2003-07-03 2004-06-23 電子カメラ

Country Status (6)

Country Link
US (1) US7561748B2 (ja)
EP (1) EP1670253B1 (ja)
JP (1) JP4218446B2 (ja)
KR (1) KR100858749B1 (ja)
CN (1) CN100542280C (ja)
WO (1) WO2005004488A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100466778C (zh) * 2005-05-20 2009-03-04 英华达(上海)电子有限公司 手机中大图片mms使用roi图像压缩进行编辑处理的方法
JP4977996B2 (ja) * 2005-10-28 2012-07-18 株式会社ニコン 撮像装置
JP4649320B2 (ja) * 2005-11-28 2011-03-09 キヤノン株式会社 通信装置、記録装置及びプログラム
JP5045125B2 (ja) * 2006-03-15 2012-10-10 株式会社ニコン 被写体追尾装置および光学機器
JP4110178B2 (ja) 2006-07-03 2008-07-02 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2008199378A (ja) * 2007-02-14 2008-08-28 Sony Corp 撮像装置、撮像方法、およびプログラム
JP2009003881A (ja) * 2007-06-25 2009-01-08 Toshiba Corp 情報選択装置及び情報選択方法
US8497928B2 (en) 2007-07-31 2013-07-30 Palm, Inc. Techniques to automatically focus a digital camera
JP5101399B2 (ja) * 2008-06-02 2012-12-19 富士フイルム株式会社 撮影装置および撮影装置の制御方法並びにプログラム
JP5340091B2 (ja) 2008-12-19 2013-11-13 キヤノン株式会社 画像符号化装置及びその制御方法
JP2010193031A (ja) * 2009-02-17 2010-09-02 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
JP5054063B2 (ja) * 2009-05-07 2012-10-24 パナソニック株式会社 電子カメラ、画像処理装置及び画像処理方法
US8723988B2 (en) 2009-07-17 2014-05-13 Sony Corporation Using a touch sensitive display to control magnification and capture of digital images by an electronic device
JP5359762B2 (ja) * 2009-10-15 2013-12-04 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
JP5906427B2 (ja) * 2011-06-28 2016-04-20 パナソニックＩｐマネジメント株式会社 撮像装置、画像処理装置
JP5903658B2 (ja) 2011-06-28 2016-04-13 パナソニックＩｐマネジメント株式会社 撮像装置
TWI488487B (zh) * 2011-10-18 2015-06-11 Acer Inc 利用手勢調整視訊影像壓縮的方法
JP5826612B2 (ja) 2011-11-18 2015-12-02 株式会社キーエンス 画像処理装置、画像処理方法及びコンピュータプログラム
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9094540B2 (en) * 2012-12-13 2015-07-28 Microsoft Technology Licensing, Llc Displacing image on imager in multi-lens cameras
JP2014150476A (ja) * 2013-02-04 2014-08-21 Olympus Imaging Corp 撮影装置、画像処理方法、及び、画像処理プログラム
US9654680B2 (en) * 2013-10-17 2017-05-16 Canon Kabushiki Kaisha Image capturing apparatus and control method therefor
KR102146856B1 (ko) 2013-12-31 2020-08-21 삼성전자주식회사 렌즈 특성 기반의 촬영 모드 제시 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 촬영 장치.
KR20160024143A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 영상 처리 방법 및 전자 장치
US10824315B2 (en) * 2015-05-29 2020-11-03 Canon Medical Systems Corporation Medical image processing apparatus, magnetic resonance imaging apparatus and medical image processing method
JP6750194B2 (ja) 2015-06-19 2020-09-02 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
KR102386385B1 (ko) * 2017-07-21 2022-04-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 압축 방법
JP6737253B2 (ja) * 2017-09-05 2020-08-05 株式会社デンソー 画像処理装置
US11082620B2 (en) 2018-09-26 2021-08-03 Qualcomm Incorporated Zoomed in region of interest

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136568A (ja) 1997-10-31 1999-05-21 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
JP2001208960A (ja) * 2000-01-26 2001-08-03 Nikon Corp カメラ
EP1162573A2 (en) 2000-06-06 2001-12-12 Canon Kabushiki Kaisha Image processing apparatus and method
JP2002152558A (ja) * 2000-11-13 2002-05-24 Olympus Optical Co Ltd カメラ
WO2002071759A1 (en) 2001-03-07 2002-09-12 Nikon Corporation Image compression device, electronic camera, and image processing program
JP2003143463A (ja) * 2001-11-06 2003-05-16 Minolta Co Ltd デジタルカメラ

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2809552B2 (ja) 1992-03-18 1998-10-08 大日本スクリーン製造株式会社 画像符号化処理方法および画像復号化処理方法
JP3392474B2 (ja) 1992-10-02 2003-03-31 株式会社東芝 切貼り編集を含む画像の処理装置
JP3305480B2 (ja) 1994-02-28 2002-07-22 京セラ株式会社 画像符号化・復号化装置
JPH07288806A (ja) 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
US6501853B1 (en) * 1994-06-27 2002-12-31 International Business Machines Corporation Apparatus and method for processing video data
JP3155895B2 (ja) 1994-11-04 2001-04-16 松下電器産業株式会社 画像信号符号化の方法及び画像信号符号化装置
JPH08205144A (ja) 1995-01-20 1996-08-09 Canon Inc 画像符号化装置
MY121607A (en) 1995-07-10 2006-02-28 Hyundai Curitel Inc Grid moving method of object image and apparatus using the same and compaction/motion estimation method using the same and apparatus thereof
KR100235064B1 (ko) 1996-05-23 1999-12-15 전주범 재배열된 블록 기반 부호화 기법을 이용하여 비디오 신호의 물체영역을 부호화하기 위한 장치
JPH11215498A (ja) 1998-01-27 1999-08-06 Canon Inc 画像処理装置および画像処理方法およびプログラム記憶媒体
US6178204B1 (en) * 1998-03-30 2001-01-23 Intel Corporation Adaptive control of video encoder's bit allocation based on user-selected region-of-interest indication feedback from video decoder
JP3538324B2 (ja) 1998-07-07 2004-06-14 株式会社リコー 電子スチルカメラ、電子スチルカメラの動画撮影方法、およびコンピュータが実行可能なプログラムを格納した記録媒体
US7130454B1 (en) * 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
JP4686854B2 (ja) 2000-12-08 2011-05-25 株式会社ニコン 画像符号化装置、電子カメラ、および画像符号化プログラムの記録媒体
US6904176B1 (en) * 2001-09-19 2005-06-07 Lightsurf Technologies, Inc. System and method for tiled multiresolution encoding/decoding and communication with lossless selective regions of interest via data reuse
AU2003215648A1 (en) * 2002-03-18 2003-09-29 Universitatsklinikum Charite, Medizinische Fakultat Der Humboldt-Universitat Zu Berlin Virtual microscope device and method
US20030210803A1 (en) * 2002-03-29 2003-11-13 Canon Kabushiki Kaisha Image processing apparatus and method
US7121469B2 (en) * 2002-11-26 2006-10-17 International Business Machines Corporation System and method for selective processing of digital images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136568A (ja) 1997-10-31 1999-05-21 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
JP2001208960A (ja) * 2000-01-26 2001-08-03 Nikon Corp カメラ
EP1162573A2 (en) 2000-06-06 2001-12-12 Canon Kabushiki Kaisha Image processing apparatus and method
JP2002152558A (ja) * 2000-11-13 2002-05-24 Olympus Optical Co Ltd カメラ
WO2002071759A1 (en) 2001-03-07 2002-09-12 Nikon Corporation Image compression device, electronic camera, and image processing program
JP2003143463A (ja) * 2001-11-06 2003-05-16 Minolta Co Ltd デジタルカメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1670253A4

Also Published As

Publication number Publication date
EP1670253A4 (en) 2008-08-13
KR20060039893A (ko) 2006-05-09
CN100542280C (zh) 2009-09-16
US7561748B2 (en) 2009-07-14
CN1817044A (zh) 2006-08-09
US20060104523A1 (en) 2006-05-18
EP1670253B1 (en) 2012-05-30
JP4218446B2 (ja) 2009-02-04
KR100858749B1 (ko) 2008-09-16
EP1670253A1 (en) 2006-06-14
JP2005027076A (ja) 2005-01-27

Similar Documents

Publication Publication Date Title
WO2005004488A1 (ja) 電子カメラ
JP3966461B2 (ja) 電子カメラ装置
US20040212843A1 (en) Image processing method, image processing apparatus, electronic camera and computer-readable storage medium
JP2004221999A (ja) 画像処理方法
JP4578197B2 (ja) 画像表示装置
KR20080008301A (ko) 화상 데이터의 기록 방법 및 장치
US7012641B2 (en) Image sensing apparatus, method, memory involving differential compression of display region based on zoom operation or speed
JP2011130112A (ja) 表示支援装置及び撮像装置
US7542611B2 (en) Image processing apparatus and method for converting first code data sets into second code data for JPEG 2000 and motion JPEG 2000
US6832001B1 (en) Image processing apparatus and method
TWI390959B (zh) 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式
JP2001333430A (ja) 画像処理装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2004032135A (ja) 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体
JP2004032105A (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP3897253B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体
WO2002071759A1 (en) Image compression device, electronic camera, and image processing program
JP2004194030A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP7465073B2 (ja) 画像符号化装置及びその制御方法及びプログラム
JP2002064790A (ja) 画像処理装置及びその方法プログラムコード、記憶媒体
JP4143239B2 (ja) 撮像装置及びその制御方法、コンピュータ可読メモリ
JP2004215155A (ja) 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム
JP2004023748A (ja) 画像記録装置、画像記録方法、プログラム及び情報記録媒体
JP2004235990A (ja) 画像選択装置
JP2001086506A (ja) 画像符号化装置及び方法
JP2001223936A (ja) 撮像装置及びその制御方法、コンピュータ可読メモリ

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11320450

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20048188180

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 1020067000028

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2004746709

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11320450

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2004746709

Country of ref document: EP