JP6232712B2 - Image processing apparatus, imaging apparatus, and image processing program - Google Patents
Image processing apparatus, imaging apparatus, and image processing program Download PDFInfo
- Publication number
- JP6232712B2 JP6232712B2 JP2013039038A JP2013039038A JP6232712B2 JP 6232712 B2 JP6232712 B2 JP 6232712B2 JP 2013039038 A JP2013039038 A JP 2013039038A JP 2013039038 A JP2013039038 A JP 2013039038A JP 6232712 B2 JP6232712 B2 JP 6232712B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- contribution rate
- rate associated
- feature components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。 The present invention relates to an image processing device, an imaging device, and an image processing program.
例えば色成分、コントラスト成分、エッジ成分などの複数の特徴成分を画像から取得し、取得した複数の特徴成分毎のマップ(特徴マップ)と各特徴成分に対して設定される比率とを加重加算することで、顕著度の分布を示す顕著性マップを生成する技術が提案されている(特許文献1参照)。この顕著性マップは、画像の注目すべき領域に対しての顕著度が他の領域の顕著度よりも高くなるという性質を有している。 For example, a plurality of feature components such as a color component, a contrast component, and an edge component are acquired from an image, and a weighted addition is performed on the acquired map (feature map) for each of the plurality of feature components and a ratio set for each feature component. Thus, a technique for generating a saliency map indicating a distribution of saliency has been proposed (see Patent Document 1). This saliency map has a property that the saliency with respect to the region of interest of the image is higher than the saliency of other regions.
ここで、複数の特徴成分毎に設定される上記比率は予め設定された固定値を用いることが多い。この比率を固定値とした場合、画像取得時の環境によっては、各特徴マップに対する比率が適切ではない場合もあり、顕著性マップを適切に生成することができない場合が生じてしまう。 Here, the ratio set for each of the plurality of feature components often uses a preset fixed value. When this ratio is a fixed value, depending on the environment at the time of image acquisition, the ratio for each feature map may not be appropriate, and a saliency map may not be generated appropriately.
本発明は、顕著性マップを適切に生成することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。 It is an object of the present invention to provide an image processing apparatus, an imaging apparatus, and an image processing program that can appropriately generate a saliency map.
本発明の画像処理装置の一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、画像取得時における撮像光学系の焦点距離を示す情報を取得する情報取得手段と、前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、を備え、前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、前記調整手段は、前記撮像光学系の焦点距離が短くなると、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値となるように調整する。
また、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、前記画像が光の強弱を色の濃淡で表した画像であるか否かを示す情報を取得する情報取得手段と、前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、を備え、前記複数の特徴成分のうちの一つは、色成分であり、前記調整手段は、前記画像が光の強弱を色の濃淡で表した画像である場合に、前記色成分に対応付けられた寄与率を0に調整する。
また、本発明の画像処理装置の一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、前記画像を取得したときの被写界の明るさを示す情報を取得する情報取得手段と、前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、を備え、前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分であり、前記調整手段は、前記画像を取得したときの前記被写界の明るさが暗い場合に、前記色成分又は前記輝度コントラスト成分の少なくともいずれか一方に対応付けられた寄与率を初期値よりも小さい値に調整する。
また、本発明の画像処理装置の一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、前記画像におけるデフォーカス量の情報を取得する情報取得手段と、前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、を備え、前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、前記調整手段は、前記画像におけるデフォーカス量が大きいほど、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値に調整する。
また、本発明の画像処理装置の一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、前記画像におけるコントラストの情報を取得する情報取得手段と、前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、を備え、前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分であり、前記調整手段は、前記画像から得られるコントラストの値が小さいほど、前記色成分に対応付けられた寄与率を初期値よりも大きい値に調整する。
また、本発明の画像処理装置の一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、前記画像がフォーカス動作中に得られた画像であるか否かの情報を取得する情報取得手段と、前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、を備え、前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、前記調整手段は、前記画像がフォーカス動作中に得られた画像である場合に、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値に調整する。
また、本発明の画像処理装置の一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成手段と、フォーカス動作に関わる情報を取得する情報取得手段と、前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、を備え、前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、前記調整手段は、前記フォーカス動作がシングルAF動作となる場合に、レリーズボタンの操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率を、前記レリーズボタンの非操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率よりも大きな値に調整する。
One aspect of the image processing apparatus of the present invention shows the saliency in the image based on a feature map for each of a plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. A plurality of features based on the information acquired by the map generating means for generating the saliency map, the information acquiring means for acquiring information indicating the focal length of the imaging optical system at the time of image acquisition, and the information acquired by the information acquiring means Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the components, wherein one of the plurality of feature components is a directional edge component, and the adjusting means Adjusts the contribution rate associated with the directional edge component to a value smaller than the initial value when the focal length of the imaging optical system is shortened.
Further, a map generation unit that generates a saliency map indicating a saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. And a plurality of characteristics based on the information acquired by the information acquisition means, the information acquisition means for acquiring information indicating whether the image is an image representing the intensity of light by color shading. Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the components, one of the plurality of feature components is a color component, and the adjusting means includes: When the image is an image that expresses the intensity of light with color shading, the contribution rate associated with the color component is adjusted to zero.
According to another aspect of the image processing apparatus of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. Based on the information acquired by the map acquisition means for generating the saliency map, the information acquisition means for acquiring information indicating the brightness of the object scene when the image is acquired, and the information acquired by the information acquisition means Adjusting means for adjusting the contribution ratio associated with at least two or more feature components among the plurality of feature components, wherein the plurality of feature components include a color component, a luminance contrast component, and a directional edge. And the adjustment means associates with at least one of the color component and the luminance contrast component when the brightness of the object scene when the image is acquired is dark The The contribution ratio is adjusted to a value smaller than the initial value.
According to another aspect of the image processing apparatus of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. Based on the information acquired by the information acquisition means, the information acquisition means for acquiring defocus amount information in the image, and the information acquisition means, Adjusting means for adjusting the contribution rate associated with at least two or more feature components, wherein one of the plurality of feature components is a directional edge component, As the defocus amount in the image is larger, the contribution rate associated with the directional edge component is adjusted to a value smaller than the initial value.
According to another aspect of the image processing apparatus of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. Based on the information acquired by the information acquisition means, the information acquisition means for acquiring the contrast information in the image, and the information acquisition means, at least of the plurality of characteristic components Adjusting means for adjusting the contribution rate associated with two or more feature components, wherein the plurality of feature components are a color component, a luminance contrast component, and a directional edge component, As the contrast value obtained from the image is smaller, the contribution rate associated with the color component is adjusted to a value larger than the initial value.
According to another aspect of the image processing apparatus of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. A map generation means for generating a saliency map indicating information, an information acquisition means for acquiring information on whether or not the image is an image obtained during a focusing operation, and the information acquired by the information acquisition means. And adjusting means for adjusting the contribution ratio associated with at least two or more feature components among the plurality of feature components, wherein one of the plurality of feature components is a directional edge. The adjustment unit adjusts the contribution rate associated with the directional edge component to a value smaller than an initial value when the image is an image obtained during a focusing operation.
According to another aspect of the image processing apparatus of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. Based on the information acquired by the information acquisition means for acquiring information related to the focus operation, the information acquisition means for generating information related to the focus operation, at least two of the plurality of characteristic components Adjusting means for adjusting the contribution rate associated with the above feature components, wherein one of the plurality of feature components is a directional edge component, and the adjusting means is configured to perform the focusing operation. In the single AF operation, the contribution rate associated with the directional edge component used when generating the saliency map obtained from the image based on the operation of the release button is Than contribution associated with the directional edge components to be used in generating the saliency map obtained from the image based on non-operation of the release button to adjust to a large value.
また、本発明の撮像装置は、上述した画像処理装置と、フォーカス動作を行うことが可能な撮像光学系と、前記撮像光学系により取り込まれた被写体光を受光し、画像信号を出力する撮像素子と、を備えたことを特徴とする。 The imaging apparatus of the present invention includes the above-described image processing apparatus, an imaging optical system capable of performing a focusing operation, and an imaging element that receives subject light captured by the imaging optical system and outputs an image signal. And.
また、本発明の画像処理プログラムの一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、画像取得時における撮像光学系の焦点距離を示す情報を取得する情報取得工程と、前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、を備え、前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、前記調整工程は、前記撮像光学系の焦点距離が短くなると、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値となるように調整する。
また、本発明の画像処理プログラムの一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、前記画像が光の強弱を色の濃淡で表した画像であるか否かを示す情報を取得する情報取得工程と、前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、を備え、前記複数の特徴成分のうちの一つは、色成分であり、前記調整工程は、前記画像が光の強弱を色の濃淡で表した画像である場合に、前記色成分に対応付けられた寄与率を0に調整する。
また、本発明の画像処理プログラムの一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、前記画像を取得したときの被写界の明るさを示す情報を取得する情報取得工程と、前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、を備え、前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分であり、前記調整工程は、前記画像を取得したときの前記被写界の明るさが暗い場合に、前記色成分又は前記輝度コントラスト成分の少なくともいずれか一方に対応付けられた寄与率を初期値よりも小さい値に調整する。
また、本発明の画像処理プログラムの一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、前記画像におけるデフォーカス量の情報を取得する情報取得工程と、前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、を備え、前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、前記調整工程は、前記画像におけるデフォーカス量が大きいほど、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値に調整する。
また、本発明の画像処理プログラムの一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、前記画像におけるコントラストの情報を取得する情報取得工程と、前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、を備え、前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分であり、前記調整工程は、前記画像から得られるコントラストの値が小さいほど、前記色成分に対応付けられた寄与率を初期値よりも大きい値に調整する。
また、本発明の画像処理プログラムの一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、前記画像がフォーカス動作中に得られた画像であるか否かの情報を取得する情報取得工程と、前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、を備え、前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、前記調整工程は、前記画像がフォーカス動作中に得られた画像である場合に、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値に調整する。
また、本発明の画像処理プログラムの一態様は、画像から得られる複数の特徴成分毎の特徴マップと、前記複数の特徴成分毎に対応付けられた寄与率とに基づいて、前記画像における顕著度を示す顕著性マップを生成するマップ生成工程と、フォーカス動作に関わる情報を取得する情報取得工程と、前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、を備え、前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、前記調整工程は、前記フォーカス動作がシングルAF動作となる場合に、レリーズボタンの操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率を、前記レリーズボタンの非操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率よりも大きな値に調整する。
According to another aspect of the image processing program of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. Based on the map generation step of generating a saliency map indicating information, the information acquisition step of acquiring information indicating the focal length of the imaging optical system at the time of image acquisition, and the information acquired by the information acquisition step An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the feature components, wherein one of the plurality of feature components is a directional edge component, The adjustment step adjusts the contribution rate associated with the directional edge component to a value smaller than the initial value when the focal length of the imaging optical system is shortened.
According to another aspect of the image processing program of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. Acquired by the map generation step of generating a saliency map indicating information, an information acquisition step of acquiring information indicating whether or not the image is an image in which the intensity of light is represented by color shading, and the information acquisition step An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information, wherein one of the plurality of feature components is The color component, and the adjusting step adjusts the contribution rate associated with the color component to 0 when the image is an image representing the intensity of light in the shade of color.
According to another aspect of the image processing program of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. A map generation step for generating a saliency map, an information acquisition step for acquiring information indicating the brightness of the object scene when the image is acquired, and the information acquired by the information acquisition step Adjusting the contribution ratio associated with at least two or more feature components among the plurality of feature components, wherein the plurality of feature components include a color component, a luminance contrast component, and a directional edge. And the adjusting step applies to at least one of the color component and the luminance contrast component when the brightness of the object scene when the image is acquired is dark. The Tagged contribution adjusted to a value smaller than the initial value.
According to another aspect of the image processing program of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. A map generation step for generating a saliency map, an information acquisition step for acquiring information on a defocus amount in the image, and the information acquired by the information acquisition step. Adjusting the contribution rate associated with at least two or more feature components, wherein one of the plurality of feature components is a directional edge component, and the adjustment step includes: As the defocus amount in the image is larger, the contribution rate associated with the directional edge component is adjusted to a value smaller than the initial value.
According to another aspect of the image processing program of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. A map generation step for generating a saliency map, an information acquisition step for acquiring contrast information in the image, and at least one of the plurality of feature components based on the information acquired by the information acquisition step. An adjustment step of adjusting the contribution rate associated with two or more feature components, wherein the plurality of feature components are a color component, a luminance contrast component, and a directional edge component, and the adjustment step includes: As the contrast value obtained from the image is smaller, the contribution rate associated with the color component is adjusted to a value larger than the initial value.
According to another aspect of the image processing program of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. A map generation step of generating a saliency map indicating information, an information acquisition step of acquiring information on whether or not the image is an image obtained during a focusing operation, and the information acquired by the information acquisition step An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components, wherein one of the plurality of feature components is a directional edge. The adjustment step adjusts a contribution rate associated with the directional edge component to a value smaller than an initial value when the image is an image obtained during a focusing operation.
According to another aspect of the image processing program of the present invention, the degree of saliency in the image is based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components. A map generation step for generating a saliency map indicating information, an information acquisition step for acquiring information related to a focus operation, and at least two of the plurality of feature components based on the information acquired by the information acquisition step An adjustment step of adjusting the contribution rate associated with the above feature components, wherein one of the plurality of feature components is a directional edge component, and the adjustment step is performed when the focus operation is performed Contribution rate associated with a directional edge component used when generating a saliency map obtained from an image based on an operation of a release button in a single AF operation , Adjusted to a value greater than the contribution factor associated with the directional edge components to be used in generating the saliency map obtained from the non-operation based on the image of the release button.
本発明によれば、顕著性マップを適切に生成することができる。 According to the present invention, a saliency map can be appropriately generated.
以下、本発明の実施の形態について、図1を用いて説明する。図1に示すように、撮像装置10は、撮像光学系15、撮像素子16、操作部材17、レンズ駆動回路18、測光回路19、CPU20、撮像素子駆動回路21、信号処理回路22、データ処理回路23、液晶モニタ24、圧縮伸長処理回路25、表示出力回路26、記憶媒体27を備えている。
Hereinafter, an embodiment of the present invention will be described with reference to FIG. As shown in FIG. 1, the
不図示の被写体の像は、撮像光学系15によって、撮像素子16の撮像面上に結像される。撮像光学系15は、複数枚のレンズで構成され、操作部材17の操作などに基づいて、レンズ駆動回路18を介して、フォーカス、ズームなどの調整が可能な構成とされている。
A subject image (not shown) is formed on the image pickup surface of the
撮像素子16は、静止画像の単写撮像とともに、静止画像の連続撮像、及び動画像の撮像が可能な撮像素子であり、例えばCCDイメージセンサ、又はCMOSイメージセンサから構成される。この撮像素子16は、測光回路19で得られた被写体の測光データに基づいて、CPU20の制御のもとで、撮像素子駆動回路21によって駆動される。撮像素子16により読み出された画像信号は、信号処理回路22に入力される。
The
信号処理回路22は、撮像素子16により読み出された画像信号に対して、直流再生処理、A/D変換処理、ホワイトバランス処理、γ変換処理などの信号処理を施し、画像データとしてデータ処理回路23に出力する。
The signal processing circuit 22 performs signal processing such as direct current reproduction processing, A / D conversion processing, white balance processing, and γ conversion processing on the image signal read out by the
データ処理回路23は、入力された画像データに対して、液晶モニタ24に表示を行うための解像度(画素数)変換処理を施し、表示制御回路26に出力するとともに、当該データ処理回路23で処理された画像データを圧縮伸長処理回路25に出力する。表示出力回路26は、データ処理回路23から入力された画像データに所定の信号処理を施して、液晶モニタ24に出力する。なお、表示出力回路26は、CPU20の制御に基づいて、データ処理回路23から出力された画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、液晶モニタ24には、被写体画像にオーバーレイ画像が重畳されて表示される。
The
圧縮伸長処理回路25は、入力された画像データに対して圧縮処理を施し、記憶媒体27に記憶する。液晶モニタ24は、記憶媒体27に圧縮して記憶された画像データに対応する画像を表示する。
The compression /
なお、液晶モニタ24は、記憶媒体27に記憶されている画像データに対応する画像を再生画像として表示することもできる。CPU20は、記憶媒体27に記憶された画像データを読み出して、圧縮伸長処理回路25で復号化処理を施し、データ処理回路23および表示出力回路26を介して、液晶モニタ24に供給する。
The liquid crystal monitor 24 can also display an image corresponding to the image data stored in the
CPU20は、操作部材17の一部を構成するレリーズボタンの操作に基づいて、撮像画面上の予め設定された領域(AF領域)における焦点評価値を算出し、その算出結果をもとに、撮像素子16の撮像面上における被写体像のフォーカス状態を調整する動作を実行する。例えば、撮像素子16の撮像面に配設されたフォーカス状態検出用の画素(位相差AF用画素)の出力により、各AF領域の焦点評価値が算出される。
The
なお、本実施形態では、撮像素子16の撮像面に配設されたフォーカス状態検出用の画素(位相差AF用画素)を用いたAF動作を例に挙げているが、これに限定される必要はなく、周知のコントラストAF動作(TV−AF)を用いることも可能である。この場合にも、自動合焦点動作によって、各領域の撮影距離情報を得ることができる。
In the present embodiment, the AF operation using the focus state detection pixels (phase difference AF pixels) arranged on the imaging surface of the
CPU20は、操作部材17の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路18を介して撮像光学系15を駆動し、撮像素子16の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、CPU20は、操作部材17の一部を構成するズーム操作部材の操作に基づいて、撮像素子16により得られる画像データ、又は記憶媒体27に記憶される画像データを、データ処理回路23による解像度(画素数)変換処理によって拡大または縮小する電気的なズーム動作を制御する。
The
次に、データ処理回路23の構成について説明する。図1又は図2に示すように、データ処理回路23は、情報取得部31、比率調整部32及びマップ生成部33の機能を有している。情報取得部31は、撮影時に設定される自動合焦動作の動作モード(シングルAFモード、コンティニュアスAFモード)や撮影モード(シーンモードを含む)の情報や、撮影条件の情報をCPU20から取得する。撮影条件の情報としては、撮像光学系15における焦点距離やデフォーカス量の情報の他、被写界の明るさの情報、光源種の情報が挙げられる。また、この他に、情報取得部31は、画像における輝度コントラストの情報を取得する。
Next, the configuration of the
比率調整部32は、複数の特徴マップから得られる顕著性マップにおいて、各特徴マップが影響する比率(寄与率)を、情報取得部31により得られる情報に基づいて調整する。以下、複数の特徴成分として、色成分、輝度コントラスト成分及び方向性エッジ成分の場合を例に挙げて説明する。
The
なお、複数の特徴マップ(又は特徴成分)のそれぞれにおける寄与率としては、予め設定された比率(初期比率)が割り当てられる。比率調整部32は、情報取得部31により得られた情報に基づいて、各特徴成分に割り当てられる初期比率を基準にして、少なくとも2以上の特徴成分に対する比率を調整する。そして、比率調整部32は、調整後の各特徴成分に対する比率を、顕著性マップを生成するときに用いる寄与率として設定する。なお、各特徴成分に割り当てられる初期比率の総和、及び調整された後の各比率の総和は1となる。
As a contribution rate in each of the plurality of feature maps (or feature components), a preset ratio (initial ratio) is assigned. The
ここで、各特徴成分に対する初期比率は、撮影モード(シーンモードを含む)に関係なく固定値であってもよいし、撮影モード(シーンモードを含む)毎に異なる値であってもよい。例えば複数の撮影モード(シーンモードを含む)毎に異なる初期比率が設定される場合、比率調整部32は、情報取得部31により得られる撮影モードの情報に基づいて、各特徴成分に対して設定される複数の初期比率から、撮影モードに応じた初期比率を選択する。そして、比率調整部32は、情報取得部31にて得られる情報に基づいて、選択された各特徴成分の初期比率を基準にして、少なくとも2以上の特徴成分に対する比率を調整すればよい。
Here, the initial ratio with respect to each feature component may be a fixed value regardless of the shooting mode (including the scene mode), or may be a different value for each shooting mode (including the scene mode). For example, when different initial ratios are set for each of a plurality of shooting modes (including scene modes), the
マップ生成部33は、データ処理回路23にて施された画像処理済みの画像データを用いて、画像データから得られる複数の特徴成分に関わるマップ(特徴マップ)を特徴成分毎に生成する。ここで、特徴マップとしては、輝度情報マップ、色情報マップ、エッジ情報マップが挙げられる。マップ生成部33は、特徴成分毎に生成される特徴マップを用いて、画像の顕著度の分布を示す顕著性マップを生成する。この顕著性マップを生成する際に、比率調整部32により設定された寄与率が用いられる。
The
マップ生成部33は、輝度情報抽出部41、色情報抽出部42、エッジ情報抽出部43、マップ合成部44を備えている。輝度情報抽出部41は、入力された画像データに基づいて、各画素の画素値が輝度値からなる輝度画像データを生成する。輝度情報抽出部41は、生成された輝度画像データを用いて、解像度が異なる複数の輝度画像データを生成する。輝度情報抽出部41は、輝度画像データに対して、順次ガウシアンフィルタ処理を施すことで、例えばレベル1からレベル8までの8つの解像度の輝度画像データを生成する。なお、レベル1の輝度画像データは、入力された画像データと同一の解像度となるように設定される。そして、レベル2の輝度画像データ、レベル3の輝度画像データ,・・・・,レベル8の輝度画像データの順で、解像度が低く設定される。
The
これら解像度の異なる輝度画像データを生成した後、輝度情報抽出部41は、生成された複数の輝度画像データのうち、例えばレベル1の輝度画像データ及びレベル2の輝度画像データなど、隣り合う2つのレベルの輝度画像データを選択し、選択した2つの輝度画像データの差分(以下、差分データ)を求める。なお、各輝度画像データの画素数がそれぞれ異なる場合には、差分データを求める際に、輝度情報抽出部41は、2つの輝度画像データのうち、解像度の低い輝度画像データの画素数が、解像度の高い輝度画像データの画素数となるように解像度の低い輝度画像データの画素数を変換する。
After generating the luminance image data having different resolutions, the luminance
輝度情報抽出部41は、予め定めた数の差分データを生成した後、生成した差分データを、それぞれ正規化する。この正規化された差分データに基づいて、輝度情報抽出部41輝度情報マップを生成する。なお、生成された輝度情報マップは、マップ合成部44に出力される。
The luminance
色情報抽出部42は、入力される画像データを用いて、赤(R)色成分値と緑(G)色成分値との差分からなるRG差分画像データを生成する。そして、色情報抽出部42は、生成されたRG差分画像データを用いて、解像度が異なる複数のRG差分画像データを生成する。これにより、輝度画像データと同様に、例えばレベル1からレベル8までの8つの解像度のRG差分画像データが生成される。
The color
色情報抽出部42は、生成された複数のRG差分画像データのうち、例えばレベル1のRG差分画像データ及びレベル2のRG差分画像データなど、隣り合う2つのレベルのRG差分画像データを選択し、選択した2つのRG差分画像データの差分(以下、差分データ)を求める。この場合も、複数のRG差分画像データの画素数がそれぞれ異なる場合には、色情報抽出部42は、2つのRG差分画像データのうち、解像度の低いRG差分画像データの画素数が、解像度の高いRG差分画像データの画素数となるように解像度の低いRG差分画像データの画素数を変換する。色情報抽出部42は、RG差分画像データから求めた差分データを正規化した後、赤(R)色成分値と緑(G)色成分値との差分に基づく色情報マップを生成する。
The color
また、色情報抽出部42は、入力される画像データを用いて、上述のRG差分画像データ生成と同様の手法により、青(B)色成分値と黄(Y)色成分値との差分からなるBY差分画像データを生成する。そして、色情報抽出部42は、RG差分画像データと同様の処理を行って、青(B)色成分値と黄(Y)色成分値との差分に基づく色情報マップを生成する。この色情報抽出部42により生成された各色情報マップは、マップ合成部44に出力される。
In addition, the color
エッジ情報抽出部43は、入力される画像データに対してガボール・フィルタを用いたフィルタ処理を施す。このフィルタ処理により、例えば画面上で、0度、45度、90度及び135度の方向に対するエッジ強度を画素の画素値とするエッジ画像データをそれぞれ生成する。エッジ情報抽出部43は、生成されたエッジ画像データを用いて、解像度の異なる複数のエッジ画像データをさらに生成する。この場合も、例えば、順次が得牛案フィルタ処理を施すことで、レベル1からレベル8までの8つの解像度のエッジ画像データが生成される。エッジ情報抽出部43は、生成された複数のエッジ画像データのうち、例えばレベル1のエッジ画像データ及びレベル2のエッジ画像データなど、隣り合う2つのレベルのエッジ画像データを選択し、選択した2つのエッジ画像データの差分(以下、差分データ)を求める。この場合も、複数のエッジ画像データの画素数が、それぞれ異なる場合には、エッジ情報抽出部43は、2つのエッジ画像データのうち、解像度の低いエッジ画像データの画素数が、解像度の高いエッジ画像データの画素数となるように解像度の低いエッジ画像データの画素数を変換する。エッジ情報抽出部43は、エッジ画像データから求めた差分データを正規化した後、正規化された差分データに基づくエッジ情報マップを生成する。なお、エッジ情報抽出部43は、上述した処理を、各方向のエッジ画像データ毎に実行する。これら生成されたエッジ情報マップは、マップ合成部44に出力される。
The edge
マップ合成部44は、入力される輝度情報マップ、色情報マップ、エッジ情報マップと、特徴成分毎に設定される寄与率とを用いた加重加算により顕著性マップを生成する。この顕著性マップは、画像における各画素における顕著度の分布を示すマップとなる。
The
次に、撮像時の処理の流れを図3に示すフローチャートを用いて説明する。このフローチャートにおいては、自動露出動作に係る処理は省略している。 Next, the flow of processing during imaging will be described using the flowchart shown in FIG. In this flowchart, processing related to the automatic exposure operation is omitted.
ステップS101は、スルー画像を取得する処理である。CPU20は、撮像素子駆動回路21を介して、撮像素子16を駆動する。スルー画像を取得する処理である。撮影モードが開始されると、CPU20は、撮像素子駆動回路21を介して、撮像素子16を制御する。これにより、撮像素子16が所定時間間隔を空けて駆動する。これにより、スルー画像の元になる画像信号が取得される。この画像信号は、信号処理回路22に出力される。信号処理回路22は、入力される画像信号に対して、直流再生処理、A/D変換処理、ホワイトバランス処理、γ変換処理などの信号処理を施し、画像データとしてデータ処理回路23に出力する。
Step S101 is processing for acquiring a through image. The
なお、スルー画像を表示するのであれば、画像データは、データ処理回路23を介して表示出力回路26に出力される。これを受けて、表示出力回路26は、液晶モニタ24に、入力された画像データに基づく画像を表示する。これにより、スルー画像が、液晶モニタ24に表示される。
If a through image is to be displayed, the image data is output to the
ステップS102は、情報を取得する処理である。データ処理回路23は、CPU20から、撮影時に設定される自動合焦動作の動作モード(シングルAFモード、コンティニュアスAFモード)や撮影モード(シーンモードを含む)の情報や、撮影条件の情報を取得する。
Step S102 is a process for acquiring information. The
ステップS103は、寄与率を設定する処理である。データ処理回路23は、ステップS102にて取得された情報に基づいて、顕著性マップを生成する際の寄与率を設定する。
Step S103 is processing for setting a contribution rate. The
ここで、寄与率を設定する具体例を説明する。比率調整部32は、各特徴成分に対して割り振られた初期比率を読み出す。以下、色成分、輝度コントラスト成分及び方向性エッジ成分の各特徴成分の初期比率が0.33に設定される場合を例に挙げて説明する。
Here, a specific example of setting the contribution rate will be described. The
初期比率を読み出した後、比率調整部32は、情報取得部31が取得した情報に基づいて、各特徴成分の初期比率を基準にして、少なくとも2以上の特徴成分に対する比率を調整する。
After reading the initial ratio, the
[例1]
撮像光学系15の焦点距離fの情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。CPU20は、撮像光学系15の各レンズの位置情報から焦点距離fを算出している。比率調整部32は、この焦点距離fの情報に基づいて各特徴成分に対する比率を調整する。
[Example 1]
A case where the ratio to each feature component is adjusted based on information on the focal length f of the imaging
例えば、焦点距離fが28mm以下となる場合(f≦28mmの場合)、比率調整部32は、色成分及び輝度コントラスト成分に対する比率を上げ(0.33→0.5)、方向性エッジ成分に対する比率を0にする。
For example, when the focal length f is 28 mm or less (when f ≦ 28 mm), the
また、焦点距離fが28mmを超過し、50mm以下となる場合(28mm<f≦50mmの場合)、比率調整部32は、色成分及び輝度コントラスト成分に対する比率を上げ(0.33→0.45)、方向性エッジ成分に対する比率を下げる(0.33→0.1)。
Further, when the focal length f exceeds 28 mm and is 50 mm or less (when 28 mm <f ≦ 50 mm), the
また、焦点距離fが50mmを超過し、120mm以下となる場合(50mm<f≦120mmの場合)、比率調整部32は、色成分及び輝度コントラスト成分に対する比率を上げ(0.33→0.4)、方向性エッジ成分に対する比率を下げる(0.33→0.2)。
When the focal length f exceeds 50 mm and is 120 mm or less (when 50 mm <f ≦ 120 mm), the
さらに、焦点距離fが120mmを超過する場合(120mm<fの場合)、比率調整部32は、各色成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率(0.33)のままとなる。
Furthermore, when the focal length f exceeds 120 mm (when 120 mm <f), the
このように、焦点距離が短いほど画角が広角となるので、画像内の被写体のエッジの差がでにくくなる。このため、焦点距離が短いほど、方向性エッジに対する比率を下げ、色成分及び輝度コントラスト成分に対する比率を上げるように、各特徴成分に対する比率を調整する。 Thus, the shorter the focal length, the wider the angle of view, and the difference in the edge of the subject in the image is less likely to occur. For this reason, the ratio with respect to each characteristic component is adjusted so that the ratio with respect to the directional edge is lowered and the ratio with respect to the color component and the luminance contrast component is increased as the focal length is shorter.
[例2]
撮影モードの情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。撮影モードは、撮影時にユーザによる操作部材17の操作に基づいて設定される。
[Example 2]
A case where the ratio to each feature component is adjusted based on information on the shooting mode will be described. The shooting mode is set based on the operation of the
撮影モードとしてモノクロ撮影モードが設定される場合、比率調整部32は、輝度コントラスト成分及び方向性エッジ成分に対する比率を上げ(0.33→0.5)、色成分に対する比率を0にする。一方、撮影モードとしてモノクロ撮影モードではなく、他の撮影モードが設定される場合には、比率調整部32は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率(0.33)のままとなる。
When the monochrome shooting mode is set as the shooting mode, the
上述したモノクロ撮影モードの場合、画像においては、色成分の寄与度が低く、輝度コントラスト成分や方向性エッジ成分の寄与度が高くなることから、モノクロ撮影モードが設定される場合には、色成分に対する比率を下げ、輝度コントラスト成分や方向性エッジ成分に対する比率を上げるように各特徴成分に対する比率を調整する。 In the case of the monochrome photography mode described above, in the image, the contribution of the color component is low, and the contribution of the luminance contrast component and the directional edge component is high. Therefore, when the monochrome photography mode is set, the color component The ratio to each feature component is adjusted so that the ratio to the luminance contrast component and the directional edge component is increased.
なお、モノクロ撮影モードは、白黒の画像を取得する撮影モードの他に、セピア調の画像など、光の強弱を色の濃淡で表した画像を取得する撮影モードを含んでいる。 Note that the monochrome shooting mode includes a shooting mode for acquiring an image in which the intensity of light is expressed in shades of color, such as a sepia tone image, in addition to a shooting mode for acquiring a monochrome image.
[例3]
次に、被写界の明るさの情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。ここで、被写界の明るさの情報として、例えば取得されるスルー画像から得られる明るさの情報を用いる場合を説明する。なお、被写界の明るさの情報に基づいて、各特徴成分に対する比率を調整としては、例えば色成分に対する比率、又は、輝度コントラスト成分に対する比率の少なくともいずれか一方を下げることが考えられる。[表3]は、色成分に対する比率を下げる場合を示す。
[Example 3]
Next, the case where the ratio with respect to each feature component is adjusted based on information on the brightness of the object scene will be described. Here, the case where the brightness information obtained from the acquired through image is used as the brightness information of the object scene will be described. Note that, as the adjustment of the ratio to each feature component based on the brightness information of the object scene, for example, it is conceivable to lower at least one of the ratio to the color component and the ratio to the luminance contrast component. [Table 3] shows a case where the ratio to the color component is lowered.
比率調整部32は、被写界の明るさの情報から得られるスルー画像内の明るさを、被写界の明るさが取り得る最大値が1となるように正規化する。この正規化の後、比率調整部32は、スルー画像における明るさの最大値Bmaxが取り得る値によって、各特徴成分に対する比率を調整する。例えば、明るさの最大値Bmaxが、0.3を超過し、かつ1以下となる場合(0.3<Bmax≦1の場合)、比率調整部32は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率(0.33)のままとなる。
The
一方、明るさの最大値Bmaxが0.3以下となる場合(Bmax≦0.3の場合)、比率調整部32は、色成分に対する比率を下げ(0.33→0.1)、輝度コントラスト成分及び方向性エッジ成分に対する比率を上げる(0.33→0.45)。
On the other hand, when the maximum brightness value B max is 0.3 or less (when B max ≦ 0.3), the
次に、輝度コントラスト成分に対する比率を下げる場合を[表4]に示す。 Next, the case where the ratio to the luminance contrast component is lowered is shown in [Table 4].
例えば明るさの最大値Bmaxが、0.3を超過し、かつ1以下となる場合(0.3<Bmax≦1の場合)、比率調整部32は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率(0.33)のままとなる。一方、明るさの最大値Bmaxが0.3以下となる場合(Bmax≦0.3)、比率調整部32は、輝度コントラスト成分に対する比率を下げ(0.33→0.1)、色成分及び方向性エッジ成分に対する比率を上げる(0.33→0.45)。
For example, when the maximum brightness value B max exceeds 0.3 and is 1 or less (when 0.3 <B max ≦ 1), the
次に、色成分及び輝度コントラスト成分に対する比率を下げる場合を[表5]に示す。 Next, [Table 5] shows a case where the ratio to the color component and the luminance contrast component is lowered.
例えば明るさの最大値Bmaxが、0.3を超過し、かつ1以下となる場合(0.3<Bmax≦1の場合)、比率調整部32は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率(0.33)のままとなる。一方、明るさの最大値Bmaxが0.3以下となる場合(Bmax≦0.3)、比率調整部32は、色成分に対する比率と輝度コントラスト成分に対する比率とを下げ(0.33→0.1)、方向性エッジ成分に対する比率を上げる(0.33→0.8)。
For example, when the maximum brightness value B max exceeds 0.3 and is 1 or less (when 0.3 <B max ≦ 1), the
この例3では、被写界が暗くなれば、画像に含まれる色成分や輝度コントラストの値が全体的に低くなることから、色成分や輝度コントラスト成分に対する比率を下げ、方向性エッジ成分に対する比率を上げる。 In this example 3, when the object scene becomes dark, the color component and the luminance contrast value included in the image generally decrease. Therefore, the ratio to the color component and the luminance contrast component is lowered, and the ratio to the directional edge component. Raise.
なお、被写界の明るさ情報に基づいて各特徴成分に対する比率を調整する場合、画像内の明るさの最大値を用いているが、これに限定される必要はなく、画像内の明るさの平均値を用いて、各特徴成分に対する比率を調整することも可能である。 In addition, when adjusting the ratio to each feature component based on the brightness information of the object scene, the maximum value of the brightness in the image is used, but it is not necessary to be limited to this, and the brightness in the image It is also possible to adjust the ratio for each feature component using the average value of.
[例4]
次に、デフォーカス量の情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。撮像装置10においては、設定されるAF領域を用いて自動合焦動作を行っている。つまり、自動合焦動作を行うことで、デフォーカス量が取得される。比率調整部32は、取得されたデフォーカス量の情報を用いて、各特徴成分に対する比率を調整する。詳細には、デフォーカス量の最小値DFminが取り得る値に基づいて、各特徴成分に対する比率を調整する。この場合の一例を[表6]に示す。
[Example 4]
Next, a case where the ratio for each feature component is adjusted based on the defocus amount information will be described. In the
ここで、α、βはそれぞれ閾値であり、α<βとなる。 Here, α and β are threshold values, and α <β.
例えばデフォーカス量の最小値DFminが閾値β以上となる場合(β≦DFminの場合)、比率調整部32は、色成分に対する比率と輝度コントラスト成分に対する比率とを上げ(0.33→0.5)、方向性エッジ成分に対する比率を0にする。
For example, when the minimum value DF min of the defocus amount is equal to or greater than the threshold value β (when β ≦ DF min ), the
また、デフォーカス量の最小値DFminが閾値β未満で、閾値α以上となる場合(α≦DFmin<βの場合)、比率調整部32は、色成分及び輝度コントラスト成分に対する比率を上げ(0.33→0.4)、方向性エッジ成分に対する比率を下げる(0.33→0.2)。
In addition, when the minimum defocus amount DF min is less than the threshold β and is equal to or greater than the threshold α (when α ≦ DF min <β), the
また、デフォーカス量の最小値DFminが閾値α以下となる場合(DFmin≦αの場合)、比率調整部32は、各特徴成分に対する比率を調整しない。この場合、各特徴成分に対する比率は、初期比率(0.33)のままとなる。
When the minimum defocus amount DF min is equal to or less than the threshold value α (when DF min ≦ α), the
この[例4]では、画面におけるデフォーカス量の値が大きいほど、得られる画像における焦点状態は悪くなることから、方向性エッジ成分に対する比率を下げ、色成分や輝度コントラスト成分に対する比率を上げるように各特徴成分に対する比率を調整している。 In [Example 4], the larger the defocus amount value on the screen, the worse the focus state in the obtained image. Therefore, the ratio to the directional edge component is decreased and the ratio to the color component and the luminance contrast component is increased. The ratio for each feature component is adjusted.
なお、[例4]においては、デフォーカス量の最小値を用いているが、これに限定される必要はなく、デフォーカス量の平均値を用いてもよい。 In [Example 4], the minimum value of the defocus amount is used. However, the present invention is not limited to this, and an average value of the defocus amount may be used.
デフォーカス量は、例えば、各AF画素から焦点評価値として得ることができる。 The defocus amount can be obtained as a focus evaluation value from each AF pixel, for example.
[例5]
次に、ホワイトバランスに関わる情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。撮像装置10においては、ユーザによる操作部材17の操作により、撮影時のホワイトバランスが設定される。このホワイトバランスの設定は、光源種の設定や、色温度の設定が挙げられる。光源種の設定としては、例えばオート、電球、蛍光灯、晴天、フラッシュ、曇天、晴天日陰からいずれかを設定するものである。一方、色温度の設定としては、2500〜10000Kの範囲内でユーザが操作部材17を操作して入力することが挙げられる。
[Example 5]
Next, the case where the ratio with respect to each feature component is adjusted based on information relating to white balance will be described. In the
比率調整部32は、光源種の設定や色温度の情報から、屋外、晴天であるか否かを判定し、屋外、晴天であると判定された場合に、色成分及び輝度コントラスト成分に対する比率を上げ、方向性エッジ成分に対する比率を下げる。また、比率調整部32は、光源種の設定や色温度の情報から、屋内である場合や、屋外であるが、曇天である場合には、色成分及び輝度コントラスト成分に対する比率を下げ、方向性エッジ成分に対する比率を上げる。
The
この[例5]では、光源種や色温度の設定において、輝度が明るくなるほど、得られる画像全体が明るくなり、また、コントラストが鮮明になることから、色成分や輝度コントラスト成分に対する比率を上げ、方向性エッジ成分に対する比率を下げるように各特徴成分に対する比率を調整している。 In [Example 5], in the setting of the light source type and the color temperature, as the brightness becomes brighter, the entire image to be obtained becomes brighter and the contrast becomes clearer. Therefore, the ratio to the color component and the brightness contrast component is increased, The ratio with respect to each feature component is adjusted so as to reduce the ratio with respect to the directional edge component.
なお、ホワイトバランスに関わる情報に基づいて各特徴成分に対する比率を調整する場合、例えば撮影時の輝度が所定の輝度以上となり、且つ青色となる領域があるか否かによって屋外、晴天であるか否かを判定することも可能である。 When adjusting the ratio for each feature component based on the information related to white balance, for example, whether the brightness at the time of shooting is equal to or higher than a predetermined brightness, and whether there is a blue area or not, whether it is outdoor or clear sky It is also possible to determine whether or not.
[例6]
次に画像コントラスト情報に基づいて、各特徴成分に対する比率を調整する場合について説明する。CPU20は、スルー画像における輝度コントラストYCの情報を取得する。比率調整部32は、この輝度コントラストの最大値YCmaxと閾値との関係に基づいて、各特徴成分に対する比率を調整する。なお、輝度コントラストの最大値YCmaxと閾値との関係と、各特徴成分に対する比率とを[表7]に示す。
[Example 6]
Next, a case where the ratio for each feature component is adjusted based on the image contrast information will be described. The
ここで、C,Dはそれぞれ閾値であり、C<Dとなる。 Here, C and D are threshold values, and C <D.
例えば輝度コントラストの最大値YCmaxが閾値D以上となる場合(D≦YCmaxの場合)、比率調整部32は、各特徴成分に対する比率は調整しない。この場合、各特徴成分に対する比率は、初期比率(0.33)のままとなる。
For example, when the maximum value YC max of the luminance contrast is equal to or greater than the threshold value D (when D ≦ YC max ), the
また、輝度コントラストの最大値YCmaxが閾値D未満で、閾値C以上となる場合(C≦YCmax<Dの場合)、比率調整部32は、輝度コントラスト成分に対する比率を下げ(0.33→0.2)、色成分及び方向性エッジ成分に対する比率を上げる(0.33→0.4)。
When the maximum value YC max of the luminance contrast is less than the threshold value D and equal to or greater than the threshold value C (when C ≦ YC max <D), the
さらに、輝度コントラストの最大値YCmaxが閾値C未満となる場合(YCmax<Cの場合)、比率調整部32は、輝度コントラスト成分に対する比率を0にし、色成分及び方向性エッジ成分に対する比率を上げる(0.33→0.5)。
Furthermore, when the maximum value YC max of the luminance contrast is less than the threshold C (when YC max <C), the
つまり、輝度コントラストの最大値が低いほど、画面における輝度コントラストが小さくなるので、輝度コントラスト成分に対する比率を下げ、色成分や方向性エッジの比率を上げる。 In other words, the lower the maximum value of the luminance contrast, the smaller the luminance contrast on the screen. Therefore, the ratio to the luminance contrast component is lowered, and the ratio of the color component and the directional edge is increased.
また、この他に、画像を取得する際に得られる距離情報に基づいて特徴成分に対する比率を調整することも可能である。この場合、画像における距離情報の最大値と最小値の差分を求め、この差分が小さいほど、方向性エッジ成分に対する比率を下げ、色成分や輝度コントラスト成分に対する比率を上げる。 In addition to this, it is also possible to adjust the ratio to the feature component based on the distance information obtained when the image is acquired. In this case, the difference between the maximum value and the minimum value of the distance information in the image is obtained, and the smaller the difference, the lower the ratio to the directional edge component and the higher the ratio to the color component and the luminance contrast component.
このようにして、各特徴成分に対して設定される寄与率が画像を取得したときの取得状況に応じて適切に調整される。 In this way, the contribution rate set for each feature component is appropriately adjusted according to the acquisition situation when the image is acquired.
なお、[例1]〜[例6]においては、比率調整部32により取得される情報のうちいずれか1つの情報に基づいて、各特徴成分に対する比率を調整する例を挙げているが、これに限定する必要はなく、複数の情報に基づいて各特徴成分に対する比率を調整することも可能である。
In [Example 1] to [Example 6], an example is given in which the ratio for each feature component is adjusted based on any one piece of information acquired by the
[例7]
[例7]は、複数の撮影条件の要素を組み合わせて寄与率を調整する形態の一例を示すものである。[例7]では、撮影条件として[例1]で示した焦点距離情報と、[例5]で示したホワイトバランスに関わる情報とを組み合わせて寄与率を調整する例について説明する。
[Example 7]
[Example 7] shows an example in which the contribution rate is adjusted by combining a plurality of elements of the photographing conditions. In [Example 7], an example will be described in which the contribution ratio is adjusted by combining the focal length information shown in [Example 1] and the information related to white balance shown in [Example 5] as shooting conditions.
例えば、ホワイトバランスに関わる情報から、撮影環境が屋外で、且つ晴天であると推定される場合、比率調整部32は、撮像光学系15の焦点距離fの情報に基づいて、以下の[表8]となるように、色成分、輝度コントラスト及び方向性エッジのそれぞれに対する比率を調整する。
For example, when it is estimated from the information related to white balance that the shooting environment is outdoors and clear sky, the
また、ホワイトバランスに関わる情報から、撮影環境が屋内である、又は曇天であると推定される場合、比率調整部32は、撮像光学系15の焦点距離fの情報に基づいて、以下の[表9]となるように、色成分、輝度コントラスト及び方向性エッジのそれぞれに対する比率を調整する。
In addition, when the shooting environment is estimated to be indoors or cloudy from information related to white balance, the
このように、複数の撮影条件を組み合わせることで、色成分、輝度コントラスト及び方向性エッジに係る比率を、撮影の環境状況に応じて適切に調整することが可能となる。 In this way, by combining a plurality of shooting conditions, it is possible to appropriately adjust the ratio relating to the color component, the luminance contrast, and the directional edge according to the shooting environment.
ステップS104は、顕著性マップを生成する処理である。データ処理回路23は、スルー画像データを用いて、色情報マップ、輝度情報マップ、エッジ情報マップを生成する。データ処理回路23は、生成したマップと、ステップS103にて設定された各特徴成分に対する寄与率とを用いて顕著性マップを生成する。なお、生成された顕著性マップは、図示を省略したメモリに記憶される。
Step S104 is processing to generate a saliency map. The
ステップS105は、顕著性マップに基づいてAF領域を設定する処理である。CPU20は、メモリに記憶された顕著性マップを読み出す。CPU20は、読み出した顕著性マップにおける顕著度のうち、最も顕著度が高くなる領域を抽出する。そして、CPU20は、抽出した領域をAF領域として設定する。なお、設定されたAF領域に係る情報は、表示出力回路26に出力される。表示出力回路26は、スルー画像とAF領域を示す枠とを重畳して液晶モニタ24に表示する。
Step S105 is processing for setting an AF area based on the saliency map. The
ステップS106は、レリーズボタンの半押し操作があるか否かを判定する処理である。なお、詳細は省略するが、レリーズボタンには、その半押し操作、及び全押し操作が行われたときに、オンとなるスイッチがそれぞれ設けられている。これらスイッチがオンとなる場合には、そのオンとなる信号(以下、操作信号)がCPU20にそれぞれ入力される。CPU20は、レリーズボタンの半押し操作時の操作信号が入力されたか否かによって、レリーズボタンが半押し操作されたか否かを判定する。例えばレリーズボタンの半押し操作時の操作信号がCPU20に入力された場合には、CPU20は、ステップS106の判定をYesとする。この場合、ステップS107に進む。一方、レリーズボタンの半押し操作時の操作信号がCPU20に入力されない場合には、CPU20は、ステップS106の判定をNoとする。この場合、ステップS101に戻り、ステップS101からステップS105の処理が再度実行される。
Step S106 is a process for determining whether or not the release button is half-pressed. Although not described in detail, the release button is provided with a switch that is turned on when the half-pressing operation and the full-pressing operation are performed. When these switches are turned on, signals to be turned on (hereinafter, operation signals) are input to the
ステップS107は、AF処理である。ステップS105によりAF領域が設定されている。CPU20は、レンズ駆動回路18を介して撮像光学系15のフォーカスレンズを所定ピッチで光軸方向に移動させて、設定されたAF領域における焦点評価値を求め、この焦点評価値をもとにフォーカスレンズを移動させて、AF処理を実行する。
Step S107 is an AF process. An AF area is set in step S105. The
ステップS108は、レリーズボタンの全押し操作があるか否かを判定する処理である。上述したように、レリーズボタンには、その半押し操作、及び全押し操作が行われたときに、オンとなるスイッチがそれぞれ設けられている。CPU20は、レリーズボタンの全押し操作時の操作信号が入力されたか否かによって、レリーズボタンが全押し操作されたか否かを判定する。例えばレリーズボタンの全押し操作時の操作信号がCPU20に入力された場合には、CPU20は、ステップS108の判定をYesとする。この場合、ステップS109に進む。一方、レリーズボタンの全押し操作時の操作信号がCPU20に入力されない場合には、CPU20は、ステップS108の判定をNoとする。この場合、ステップS113に進む。
Step S108 is a process for determining whether or not the release button is fully pressed. As described above, the release button is provided with a switch that is turned on when the half-pressing operation and the full-pressing operation are performed. The
ステップS109は、撮像処理である。CPU20は、ステップS107におけるAF処理と同様にAF処理を行う。この場合、フォーカスレンズを光軸方向に移動させるピッチは、ステップS107よりも細かいピッチとなる。
Step S109 is an imaging process. The
この処理の後、CPU20は、設定される絞り値をレンズ駆動回路に出力する。これを受けて、レンズ駆動回路18は、入力された絞り値となるように、絞り(図示省略)を制御する。また、CPU20は、AE処理により設定されるシャッタ速度に基づく駆動信号を、撮像素子駆動回路21に出力する。これを受けて、撮像素子16が駆動制御される。これにより、撮像処理が実行される。この撮像処理により得られる画像信号は、信号処理回路22に出力される。信号処理回路22は、入力された画像信号に対して、直流再生処理、A/D変換処理、γ変換処理などの信号処理を施す。これにより、撮像により得られた画像データ(本画像データ)が生成される。
After this processing, the
ステップS110は、画像を表示する処理である。ステップS109により生成される画像データは、データ処理回路23に入力される。データ処理回路23は、入力された画像データに対して、必要に応じて、液晶モニタ24に表示を行うための解像度(画素数)変換処理を施し、表示出力回路26に出力する。表示出力回路26は、データ処理回路23から入力された画像データに所定の信号処理を施して、液晶モニタ24に出力する。
Step S110 is processing to display an image. The image data generated in step S109 is input to the
ステップS111は、画像データを記憶するか否かを判定する処理である。CPU20は、表示出力回路26に対して、表示された画像データを記憶するか否かをユーザに選択させるための表示を行う指示を行う。これを受けて、表示出力回路26は、表示している画像に、例えば「画像データを記憶しますか?」などのコメントを重畳させる。この表示を受けて実行される操作部材17からの操作信号に基づいて、CPU20は、画像データを記憶するか否かを判定する。操作部材17からの操作信号が、画像データを記憶することを示す信号であれば、CPU20は、ステップS111の判定をYesとして、ステップS112に進む。一方、操作部材17からの操作信号が、画像データを記憶しないことを示す信号であれば、CPU20は、ステップS111の判定Noとする。この場合は、図3のフローチャートの処理が終了する。
Step S111 is processing to determine whether or not to store image data. The
ステップS112は、画像データを記憶する処理である。データ処理回路23は、画像データを圧縮伸長処理回路25に出力する。これを受けて、圧縮伸長処理回路25は、入力された画像データに対して圧縮処理を施し、記憶媒体27に記憶する。ここで、画像データは、ステップS104、又はステップS117のいずれかの処理にて生成された顕著度マップが付帯情報として付帯された状態で、記憶媒体27に記憶される。
Step S112 is processing for storing image data. The
上述したステップS108において、レリーズボタンの全押し操作がない場合には、ステップS108の判定がNoとなり、ステップS113に進む。 If the release button is not fully pressed in step S108 described above, the determination in step S108 is No and the process proceeds to step S113.
ステップS113は、自動合焦動作の動作モードがコンティニュアスAFモードであるか否かを判定する処理である。自動合焦動作の動作モードがコンティニュアスAFモードであれば、CPU20は、ステップS113の判定処理をYesとし、ステップS114に進む。
Step S113 is a process for determining whether or not the operation mode of the automatic focusing operation is the continuous AF mode. If the operation mode of the automatic focusing operation is the continuous AF mode, the
一方、自動合焦動作の動作モードがシングルAFモードであれば、CPU20は、ステップS113の判定処理をNoとする。この場合、ステップS108に戻る。自動合焦動作の動作モードがシングルAFモードの場合、ステップS107にて実行されたAF処理により設定されるフォーカスレンズの位置が固定される。
On the other hand, if the operation mode of the automatic focusing operation is the single AF mode, the
ステップS114は、スルー画像を取得する処理である。このステップS114の処理はステップS101と同一の処理である。 Step S114 is processing to acquire a through image. The process of step S114 is the same process as step S101.
ステップS115は、情報を取得する処理である。このステップS115の処理は、ステップS102と同一の処理である。 Step S115 is a process for acquiring information. The process of step S115 is the same process as step S102.
ステップS116は、寄与率を設定する処理である。このステップS116の処理は、ステップS103と同一の処理である。 Step S116 is processing for setting a contribution rate. The process in step S116 is the same as that in step S103.
ステップS117は、顕著性マップを生成する処理である。このステップS117の処理は、ステップS104と同一の処理である。 Step S117 is processing for generating a saliency map. The process of step S117 is the same process as step S104.
ステップS118は、顕著性マップに基づいてAF領域を設定する処理である。このステップS118の処理は、ステップS105と同一の処理である。 Step S118 is processing for setting an AF area based on the saliency map. The process of step S118 is the same process as step S105.
ステップS119はAF処理である。このステップS119の処理は、ステップS107と同一の処理である。 Step S119 is an AF process. The process in step S119 is the same as that in step S107.
ここで、自動合焦動作の動作モードとしてコンティニュアスAFモードが設定され、且つレリーズボタンが半押し操作され続けた場合には、ステップS114からステップS119の処理が繰り返し実行される。つまり、スルー画像が取得される度に、顕著性マップが生成され、顕著性マップに基づいたAF処理が実行される。 Here, when the continuous AF mode is set as the operation mode of the automatic focusing operation and the release button is continuously pressed halfway, the processing from step S114 to step S119 is repeatedly executed. That is, each time a through image is acquired, a saliency map is generated, and AF processing based on the saliency map is executed.
このように、情報取得部31により得られる情報に基づいて、各特徴成分に対する比率が調整され、各特徴マップに対する寄与率が設定される。これにより、撮影時における画像の取得環境に応じた寄与率を設定することができ、適切な顕著性マップを生成することが可能となる。
Thus, based on the information obtained by the
また、生成された顕著性マップからAF領域が設定されることになるので、自動合焦動作を適切に行うことが可能となる。 In addition, since the AF area is set from the generated saliency map, it is possible to appropriately perform the automatic focusing operation.
なお、図3のフローチャートにおいては、特徴成分に対する比率を調整する場合に、自動合焦動作の動作モードを加味していないが、例えばステップS103における寄与率の設定において、自動合焦動作の動作モードとしてシングルAFモードに設定されている場合に、撮像光学系の合焦状態を判定した結果を加味することも可能である。この場合、撮像光学系が合焦している場合には、方向性エッジ成分に対する比率を上げ、色成分及び輝度コントラスト成分に対する比率を下げるように、各特徴成分に対する比率を調整する。また、AF動作中である場合には、方向性エッジ成分に対する比率を下げ、残りの特徴成分に対する比率を上げるように、各特徴成分に対する比率を調整する構成としてもよい。また、AE動作の実行中には、輝度コントラスト成分に対する比率を下げ、残りの特徴成分に対する比率を上げるように、各特徴成分に対する比率を調整する構成としてもよい。このように、撮像装置の各種調整中に得られた撮影画像については、調整に関連する特徴成分の比率を例えば下げるように調整する構成としてもよい。したがって、撮影状況に応じて、適切な顕著度の判断を行うことが可能となる。 In the flowchart of FIG. 3, when adjusting the ratio to the feature component, the operation mode of the automatic focusing operation is not taken into account, but for example, in the setting of the contribution rate in step S103, the operation mode of the automatic focusing operation If the single AF mode is set, the result of determining the in-focus state of the imaging optical system can be taken into account. In this case, when the imaging optical system is in focus, the ratio to each feature component is adjusted so that the ratio to the directional edge component is increased and the ratio to the color component and the luminance contrast component is decreased. Further, when the AF operation is in progress, the ratio to each feature component may be adjusted so that the ratio to the directional edge component is lowered and the ratio to the remaining feature components is increased. Further, during the execution of the AE operation, the ratio to each feature component may be adjusted so that the ratio to the luminance contrast component is decreased and the ratio to the remaining feature components is increased. As described above, the captured image obtained during various adjustments of the imaging apparatus may be configured to adjust the ratio of the characteristic components related to the adjustment to be reduced, for example. Therefore, it is possible to determine an appropriate saliency according to the shooting situation.
図3のフローチャートの処理においては、レリーズボタンの全押し操作が行われたと判定された場合(ステップS108がYesとなる場合)に撮像処理を実行しているが、これに限定される必要はなく、レリーズボタンの全押し操作が行われたと判定された場合に顕著性マップを生成し、生成された顕著性マップに基づいたAF処理を行った後、撮像処理を実行することも可能である。この場合、スルー画像に基づく顕著性マップの生成時に用いる各特徴成分の寄与率の設定においては、方向性エッジ成分の寄与率を下げ、色成分及び輝度コントラスト成分の寄与率を上げる。そして、レリーズボタンが全押し操作されたことに起因した顕著性マップの生成時に用いる各特徴成分の寄与率の設定時に、方向性エッジ成分の寄与率を上げ、色成分及び輝度コントラスト成分の寄与率を下げる。つまり、スルー画像に基づいて生成される顕著性マップは、自動合焦動作を行う際に使用する領域(AF領域)を設定するために使用し、レリーズボタンの全押し操作に起因した顕著性マップは、AF領域における顕著度が、他の領域に対する顕著度よりも高いか否かを判定し、ユーザにとって好ましい画像が得られるか否かを補助的に判断するために使用できる。 In the process of the flowchart of FIG. 3, the imaging process is executed when it is determined that the release button has been fully pressed (when Step S <b> 108 is Yes), but the present invention is not limited to this. When it is determined that the release button has been fully pressed, a saliency map is generated, and after performing AF processing based on the generated saliency map, imaging processing can be executed. In this case, in setting the contribution ratio of each feature component used when generating the saliency map based on the through image, the contribution ratio of the directional edge component is lowered and the contribution ratio of the color component and the luminance contrast component is increased. Then, when setting the contribution ratio of each feature component used when generating the saliency map due to the release button being fully pressed, the contribution ratio of the directional edge component is increased and the contribution ratio of the color component and the luminance contrast component is increased. Lower. That is, the saliency map generated based on the through image is used to set an area (AF area) to be used when the automatic focusing operation is performed, and the saliency map resulting from the full pressing operation of the release button. Can be used to determine whether or not the saliency in the AF area is higher than the saliency with respect to other areas, and to determine whether or not an image preferable for the user can be obtained.
本実施形態では、顕著度マップを用いて自動合焦動作を行う場合について説明しているが、これに限定される必要はなく、生成される顕著性マップから顕著度の高い領域を主要被写体の領域と推定し、推定される主要被写体の領域が適切な構図となるように、撮影倍率を変更するように、撮像光学系の各レンズを駆動制御してもよい。 In the present embodiment, the case of performing the automatic focusing operation using the saliency map is described. However, the present invention is not limited to this, and a region with high saliency is generated from the generated saliency map. Each lens of the imaging optical system may be driven and controlled to change the shooting magnification so that the estimated main subject area has an appropriate composition.
また、この他に、顕著度マップから顕著度の高い領域を含む矩形の領域を、トリミング(クロップ)処理を行う候補となる領域として抽出し、抽出された領域を、スルー画像と重畳表示させることも可能である。 In addition to this, a rectangular region including a region with high saliency is extracted from the saliency map as a region that is a candidate for trimming (crop) processing, and the extracted region is superimposed on the through image. Is also possible.
本実施形態では、スルー画像に基づいて顕著性マップを生成しているが、これに限定する必要はなく、撮影時に得られる画像に基づいて顕著性マップを生成することも可能である。撮影時に得られる画像に基づいて顕著性マップを生成する場合、例えばトリミング(クロップ)処理を行う候補となる領域の設定に使用することができる。また、連続撮影により得られる画像の場合には、複数の画像から得られる顕著性マップを用いて、取得された複数の画像のうち、最適な画像を選択することができる。 In this embodiment, the saliency map is generated based on the through image. However, the present invention is not limited to this, and the saliency map can be generated based on the image obtained at the time of shooting. When a saliency map is generated based on an image obtained at the time of shooting, it can be used, for example, for setting a candidate area for trimming (crop) processing. In the case of an image obtained by continuous shooting, an optimum image can be selected from the plurality of acquired images using a saliency map obtained from the plurality of images.
本実施形態では、撮像装置としているが、具体的には、デジタルカメラ、カメラ機能を備えた携帯型電話機に代表される携帯型端末機などが挙げられる。また、撮像装置の他に、図1及び図2に示すデータ処理回路23の各部の機能を備えた画像処理装置であっても、本発明を適用することが可能である。さらに、撮像装置や画像処理装置の他に、デジタルカメラなどの撮像装置と、PCとからなる撮像システムに適用することができる。
In the present embodiment, the imaging apparatus is used. Specifically, a digital camera, a portable terminal represented by a portable phone having a camera function, and the like can be given. In addition to the image pickup apparatus, the present invention can be applied to an image processing apparatus having the functions of the respective units of the
また、この他に、図1及び図2に示すデータ処理回路23の各部の機能を実行するための画像処理プログラムであってもよい。この画像処理プログラムは、メモリカード、磁気ディスク、光学ディスクなどのコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
In addition, an image processing program for executing the function of each unit of the
10…撮像装置、20…CPU、22…信号処理回路、23…データ処理回路、24…液晶モニタ、27…記憶媒体、31…情報取得部、32…比率調整部、33…マップ生成部、41…輝度情報抽出部、42…色情報抽出部、43…エッジ情報抽出部、44…マップ合成部
DESCRIPTION OF
Claims (17)
画像取得時における撮像光学系の焦点距離を示す情報を取得する情報取得手段と、
前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、
を備え、
前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、
前記調整手段は、前記撮像光学系の焦点距離が短くなると、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値となるように調整する画像処理装置。 Map generating means for generating a saliency map indicating saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components;
Information acquisition means for acquiring information indicating the focal length of the imaging optical system at the time of image acquisition ;
Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition unit;
Equipped with a,
One of the plurality of feature components is a directional edge component;
The adjustment unit is an image processing apparatus that adjusts a contribution rate associated with the directional edge component to a value smaller than an initial value when a focal length of the imaging optical system is shortened .
前記画像が光の強弱を色の濃淡で表した画像であるか否かを示す情報を取得する情報取得手段と、
前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、
を備え、
前記複数の特徴成分のうちの一つは、色成分であり、
前記調整手段は、前記画像が光の強弱を色の濃淡で表した画像である場合に、前記色成分に対応付けられた寄与率を0に調整する画像処理装置。 Map generating means for generating a saliency map indicating saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components;
Information acquisition means for acquiring information indicating whether or not the image is an image in which the intensity of light is represented by color shading;
Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition unit;
With
One of the plurality of characteristic components is a color component,
The image processing apparatus that adjusts a contribution rate associated with the color component to 0 when the image is an image in which the intensity of light is expressed by color shading .
前記画像を取得したときの被写界の明るさを示す情報を取得する情報取得手段と、
前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、
を備え、
前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分であり、
前記調整手段は、前記画像を取得したときの前記被写界の明るさが暗い場合に、前記色成分又は前記輝度コントラスト成分の少なくともいずれか一方に対応付けられた寄与率を初期値よりも小さい値に調整する画像処理装置。 Map generating means for generating a saliency map indicating saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components;
Information acquisition means for acquiring information indicating brightness of the object scene when the image is acquired;
Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition unit;
With
The plurality of characteristic components are a color component, a luminance contrast component, and a directional edge component,
The adjustment unit has a contribution rate associated with at least one of the color component and the luminance contrast component smaller than an initial value when the brightness of the object scene when the image is acquired is dark An image processing device that adjusts values .
前記画像におけるデフォーカス量の情報を取得する情報取得手段と、
前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、
を備え、
前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、
前記調整手段は、前記画像におけるデフォーカス量が大きいほど、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値に調整する画像処理装置。 Map generating means for generating a saliency map indicating saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components;
Information acquisition means for acquiring information of a defocus amount in the image;
Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition unit;
With
One of the plurality of feature components is a directional edge component;
The adjustment unit is an image processing apparatus that adjusts a contribution rate associated with the directional edge component to a value smaller than an initial value as a defocus amount in the image is larger .
前記画像におけるコントラストの情報を取得する情報取得手段と、
前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、
を備え、
前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分であり、
前記調整手段は、前記画像から得られるコントラストの値が小さいほど、前記色成分に対応付けられた寄与率を初期値よりも大きい値に調整する画像処理装置。 Map generating means for generating a saliency map indicating saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components;
Information acquisition means for acquiring information of contrast in the image;
Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition unit;
With
The plurality of characteristic components are a color component, a luminance contrast component, and a directional edge component,
The image processing apparatus , wherein the adjustment unit adjusts a contribution rate associated with the color component to a value larger than an initial value as a contrast value obtained from the image is smaller .
前記画像がフォーカス動作中に得られた画像であるか否かの情報を取得する情報取得手段と、
前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、
を備え、
前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、
前記調整手段は、前記画像がフォーカス動作中に得られた画像である場合に、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値に調整する画像処理装置。 Map generating means for generating a saliency map indicating saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components;
Information acquisition means for acquiring information as to whether or not the image is an image obtained during a focusing operation;
Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition unit;
With
One of the plurality of feature components is a directional edge component;
The image processing apparatus that adjusts a contribution rate associated with the directional edge component to a value smaller than an initial value when the image is an image obtained during a focusing operation .
フォーカス動作に関わる情報を取得する情報取得手段と、
前記情報取得手段により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整手段と、
を備え、
前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、
前記調整手段は、前記フォーカス動作がシングルAF動作となる場合に、レリーズボタンの操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率を、前記レリーズボタンの非操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率よりも大きな値に調整する画像処理装置。 Map generating means for generating a saliency map indicating saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components;
Information acquisition means for acquiring information related to the focus operation;
Adjusting means for adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition unit;
With
One of the plurality of feature components is a directional edge component;
When the focus operation is a single AF operation, the adjustment unit calculates a contribution rate associated with a directional edge component used when generating a saliency map obtained from an image based on an operation of a release button. An image processing apparatus that adjusts a value larger than a contribution rate associated with a directional edge component used when generating a saliency map obtained from an image based on non-operation of a release button .
前記特徴成分毎に対応付けられた前記寄与率は、予め設定された初期値を有し、
前記調整手段は、前記特徴成分毎に対応付けられた前記寄与率の初期値を基準にして、前記特徴成分毎に対応付けられた前記寄与率を調整する画像処理装置。 The image processing apparatus according to any one of claims 1 to 7 ,
The contribution rate associated with each feature component has a preset initial value,
The image processing apparatus, wherein the adjusting unit adjusts the contribution rate associated with each feature component with reference to an initial value of the contribution rate associated with each feature component .
前記特徴成分毎に対応付けられた前記寄与率の初期値は、複数の撮影モード毎に複数設定され、
前記調整手段は、撮影モードに対応付けられた前記寄与率の初期値を基準として、前記特徴成分毎に対応付けられた寄与率を調整する画像処理装置。 The image processing apparatus according to claim 8 .
A plurality of initial values of the contribution ratio associated with each feature component are set for each of a plurality of shooting modes,
The image processing apparatus that adjusts a contribution rate associated with each feature component, with the adjustment unit being based on an initial value of the contribution rate associated with a shooting mode .
フォーカス動作を行うことが可能な撮像光学系と、
前記撮像光学系により取り込まれた被写体光を受光し、画像を取得する撮像素子と、
を備える撮像装置。 The image processing apparatus according to any one of claims 1 to 9,
An imaging optical system capable of performing a focusing operation;
An image sensor that receives subject light captured by the imaging optical system and acquires an image;
An imaging apparatus comprising:
画像取得時における撮像光学系の焦点距離を示す情報を取得する情報取得工程と、 An information acquisition step of acquiring information indicating the focal length of the imaging optical system at the time of image acquisition;
前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、 An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition step;
を備え、 With
前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、 One of the plurality of feature components is a directional edge component;
前記調整工程は、前記撮像光学系の焦点距離が短くなると、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値となるように調整する画像処理プログラム。 The adjustment process is an image processing program that adjusts a contribution rate associated with the directional edge component to a value smaller than an initial value when a focal length of the imaging optical system is shortened.
前記画像が光の強弱を色の濃淡で表した画像であるか否かを示す情報を取得する情報取得工程と、 An information acquisition step of acquiring information indicating whether or not the image is an image in which the intensity of light is represented by color shading;
前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、 An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition step;
を備え、 With
前記複数の特徴成分のうちの一つは、色成分であり、 One of the plurality of characteristic components is a color component,
前記調整工程は、前記画像が光の強弱を色の濃淡で表した画像である場合に、前記色成分に対応付けられた寄与率を0に調整する画像処理プログラム。 The adjustment process is an image processing program that adjusts a contribution rate associated with the color component to 0 when the image is an image that expresses the intensity of light by color shading.
前記画像を取得したときの被写界の明るさを示す情報を取得する情報取得工程と、 An information acquisition step of acquiring information indicating the brightness of the object scene when the image is acquired;
前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、 An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition step;
を備え、 With
前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分であり、 The plurality of characteristic components are a color component, a luminance contrast component, and a directional edge component,
前記調整工程は、前記画像を取得したときの前記被写界の明るさが暗い場合に、前記色成分又は前記輝度コントラスト成分の少なくともいずれか一方に対応付けられた寄与率を初期値よりも小さい値に調整する画像処理プログラム。 In the adjustment step, when the brightness of the object scene when the image is acquired is dark, a contribution rate associated with at least one of the color component and the luminance contrast component is smaller than an initial value. An image processing program that adjusts values.
前記画像におけるデフォーカス量の情報を取得する情報取得工程と、
前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、
を備え、
前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、
前記調整工程は、前記画像におけるデフォーカス量が大きいほど、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値に調整する画像処理プログラム。 A map generation step of generating a saliency map indicating a saliency in the image based on a feature map for each of the plurality of feature components obtained from the image and a contribution rate associated with each of the plurality of feature components;
An information acquisition step of acquiring information on a defocus amount in the image ;
An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition step;
Equipped with a,
One of the plurality of feature components is a directional edge component;
The adjustment process is an image processing program for adjusting a contribution rate associated with the directional edge component to a value smaller than an initial value as a defocus amount in the image is larger.
前記画像におけるコントラストの情報を取得する情報取得工程と、 An information acquisition step of acquiring contrast information in the image;
前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、 An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition step;
を備え、 With
前記複数の特徴成分は、色成分、輝度コントラスト成分及び方向性エッジ成分であり、 The plurality of characteristic components are a color component, a luminance contrast component, and a directional edge component,
前記調整工程は、前記画像から得られるコントラストの値が小さいほど、前記色成分に対応付けられた寄与率を初期値よりも大きい値に調整する画像処理プログラム。 The adjustment process is an image processing program for adjusting a contribution rate associated with the color component to a value larger than an initial value as a contrast value obtained from the image is smaller.
前記画像がフォーカス動作中に得られた画像であるか否かの情報を取得する情報取得工程と、 An information acquisition step of acquiring information as to whether or not the image is an image obtained during a focusing operation;
前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、 An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition step;
を備え、 With
前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、 One of the plurality of feature components is a directional edge component;
前記調整工程は、前記画像がフォーカス動作中に得られた画像である場合に、前記方向性エッジ成分に対応付けられた寄与率を初期値よりも小さい値に調整する画像処理プログラム。 The adjustment process is an image processing program for adjusting a contribution rate associated with the directional edge component to a value smaller than an initial value when the image is an image obtained during a focusing operation.
フォーカス動作に関わる情報を取得する情報取得工程と、 An information acquisition process for acquiring information related to the focus operation;
前記情報取得工程により取得された前記情報に基づいて、前記複数の特徴成分のうち、少なくとも2以上の特徴成分に対応付けられた前記寄与率を調整する調整工程と、 An adjustment step of adjusting the contribution rate associated with at least two or more feature components among the plurality of feature components based on the information acquired by the information acquisition step;
を備え、 With
前記複数の特徴成分のうちの一つは、方向性エッジ成分であり、 One of the plurality of feature components is a directional edge component;
前記調整工程は、前記フォーカス動作がシングルAF動作となる場合に、レリーズボタンの操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率を、前記レリーズボタンの非操作に基づく画像から得られる顕著性マップの生成時に使用される方向性エッジ成分に対応付けられた寄与率よりも大きな値に調整する画像処理プログラム。 In the adjustment step, when the focus operation is a single AF operation, a contribution rate associated with a directional edge component used when generating a saliency map obtained from an image based on an operation of a release button is An image processing program for adjusting to a value larger than a contribution rate associated with a directional edge component used when generating a saliency map obtained from an image based on non-operation of a release button.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013039038A JP6232712B2 (en) | 2013-02-28 | 2013-02-28 | Image processing apparatus, imaging apparatus, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013039038A JP6232712B2 (en) | 2013-02-28 | 2013-02-28 | Image processing apparatus, imaging apparatus, and image processing program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017206934A Division JP2018019435A (en) | 2017-10-26 | 2017-10-26 | Image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014168141A JP2014168141A (en) | 2014-09-11 |
JP6232712B2 true JP6232712B2 (en) | 2017-11-22 |
Family
ID=51617631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013039038A Active JP6232712B2 (en) | 2013-02-28 | 2013-02-28 | Image processing apparatus, imaging apparatus, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6232712B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5515492B2 (en) * | 2009-07-31 | 2014-06-11 | カシオ計算機株式会社 | Image processing apparatus and method |
JP4862930B2 (en) * | 2009-09-04 | 2012-01-25 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
JP2012234497A (en) * | 2011-05-09 | 2012-11-29 | Canon Inc | Object identification device, object identification method, and program |
JP5862071B2 (en) * | 2011-06-30 | 2016-02-16 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and program |
-
2013
- 2013-02-28 JP JP2013039038A patent/JP6232712B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014168141A (en) | 2014-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI444041B (en) | Image processing apparatus, image processing method, and storage medium thereof | |
JP5187241B2 (en) | Imaging apparatus and imaging method | |
JP4982997B2 (en) | Image processing device | |
JP6521776B2 (en) | Image processing apparatus, image processing method | |
JP2010213213A (en) | Imaging device and imaging method | |
JP2007096753A (en) | Digital camera | |
JP5458937B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR EXECUTING THE IMAGING METHOD | |
JP4760302B2 (en) | Imaging device | |
JP4999871B2 (en) | Imaging apparatus and control method thereof | |
JP2016213582A (en) | Observation device | |
CN111434104B (en) | Image processing apparatus, image capturing apparatus, image processing method, and recording medium | |
JP5146015B2 (en) | Imaging apparatus and imaging method | |
JP5316923B2 (en) | Imaging apparatus and program thereof | |
JP4283704B2 (en) | Imaging device | |
JP2007124278A (en) | Imaging apparatus | |
JP5335964B2 (en) | Imaging apparatus and control method thereof | |
JP4977996B2 (en) | Imaging device | |
JP6232712B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5403087B2 (en) | Image processing device | |
JP2018019435A (en) | Image processing apparatus | |
JP5597942B2 (en) | Electronic camera | |
JP2015118274A (en) | Imaging device, imaging device control method, and program | |
JP5915242B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium recording the image processing program on a computer | |
JP2011253099A (en) | Focus detector | |
JP2015166767A (en) | Photometric device and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170313 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20170323 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170323 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171009 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6232712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |