JP3482923B2 - 自動構図決定装置 - Google Patents
自動構図決定装置Info
- Publication number
- JP3482923B2 JP3482923B2 JP30688499A JP30688499A JP3482923B2 JP 3482923 B2 JP3482923 B2 JP 3482923B2 JP 30688499 A JP30688499 A JP 30688499A JP 30688499 A JP30688499 A JP 30688499A JP 3482923 B2 JP3482923 B2 JP 3482923B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- heterogeneity
- area
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】この発明は自動構図決定装置に関
し、特に例えば原画像から注目領域を抽出し、抽出した
注目領域を画家や写真家などの専門家が制作した絵の構
図に適合して収まるように原画像から切り取る、注目領
域抽出装置を用いた自動構図決定装置に関する。
し、特に例えば原画像から注目領域を抽出し、抽出した
注目領域を画家や写真家などの専門家が制作した絵の構
図に適合して収まるように原画像から切り取る、注目領
域抽出装置を用いた自動構図決定装置に関する。
【０００２】ここで、注目領域とは、画像や映像におい
て人が注目する領域をいう。
て人が注目する領域をいう。
【０００３】
【従来の技術】この種の従来技術として、画像から観測
者が注目領域を抽出する手法に関しては、種々の方法が
提案されている。（１）Milanese,Itti およびKochら
は、画像中の不連続部分を注目領域と仮定し、画像から
得られる複数の物理的特徴に対応する特徴マップ（濃淡
画像）を生成し、次に、各特徴マップの不連続部分を求
め、それらを統合したものを注目領域として抽出してい
る。
者が注目領域を抽出する手法に関しては、種々の方法が
提案されている。（１）Milanese,Itti およびKochら
は、画像中の不連続部分を注目領域と仮定し、画像から
得られる複数の物理的特徴に対応する特徴マップ（濃淡
画像）を生成し、次に、各特徴マップの不連続部分を求
め、それらを統合したものを注目領域として抽出してい
る。
【０００４】（２）Milaneseらは、各特徴マップの不連
続部分を大きさが固定された複数のDifference-of-ofie
nted-Gaussiansフィルタを用いて特徴マップをフィルタ
リングし、出力が最大となるフィルタリング結果を選択
して求めた。Itti，Kochらは各特徴マップを各々の平均
値との二乗誤差で正規化し、全ての特徴マップを線形結
合により統合した。そして、Difference of Gaussianフ
ィルタにより統合特徴マップを再帰的にフィルタリング
し、最終的に得られるフィルタリング結果の局所的なピ
ークを注目領域として抽出していた。
続部分を大きさが固定された複数のDifference-of-ofie
nted-Gaussiansフィルタを用いて特徴マップをフィルタ
リングし、出力が最大となるフィルタリング結果を選択
して求めた。Itti，Kochらは各特徴マップを各々の平均
値との二乗誤差で正規化し、全ての特徴マップを線形結
合により統合した。そして、Difference of Gaussianフ
ィルタにより統合特徴マップを再帰的にフィルタリング
し、最終的に得られるフィルタリング結果の局所的なピ
ークを注目領域として抽出していた。
【０００５】このように、MilaneseやIttiらは、フィル
タリングや弛緩法などの画素レベルの処理により注目領
域を抽出していた。
タリングや弛緩法などの画素レベルの処理により注目領
域を抽出していた。
【０００６】（３）Martinや竹内らは、画像から得られ
る輝度情報をシャノンの情報理論に基づいて評価し、そ
の結果得られる情報量の高い部分を注目領域としてい
た。この方式では輝度値の分散が大きい領域つまり複雑
に見える領域や明るい領域が主に抽出される。
る輝度情報をシャノンの情報理論に基づいて評価し、そ
の結果得られる情報量の高い部分を注目領域としてい
た。この方式では輝度値の分散が大きい領域つまり複雑
に見える領域や明るい領域が主に抽出される。
【０００７】また、従来のカメラでは、人間が被写体お
よび被写体の構図を手動で決定していた。
よび被写体の構図を手動で決定していた。
【０００８】
【発明が解決しようとする課題】しかし、（１）や
（２）の手法では、画像によって注目領域の大きさが異
なるため、大きさが固定されたフィルタを用いて注目領
域を的確に抽出するのが困難であった。また、（３）の
手法では、たとえば複雑な模様の壁の前に置かれた黒色
の花瓶の絵のように、複雑に見える領域、あるいは明る
い領域が必ずしも注目領域と一致するとは言えない絵の
場合には、注目領域を的確に抽出するのが困難であっ
た。さらに、このような提案では、観測者（人間）の主
観と抽出結果との照合を行った例が少なく、実際に人間
の主観に適合する注目領域を抽出できるかどうかが疑問
であった。
（２）の手法では、画像によって注目領域の大きさが異
なるため、大きさが固定されたフィルタを用いて注目領
域を的確に抽出するのが困難であった。また、（３）の
手法では、たとえば複雑な模様の壁の前に置かれた黒色
の花瓶の絵のように、複雑に見える領域、あるいは明る
い領域が必ずしも注目領域と一致するとは言えない絵の
場合には、注目領域を的確に抽出するのが困難であっ
た。さらに、このような提案では、観測者（人間）の主
観と抽出結果との照合を行った例が少なく、実際に人間
の主観に適合する注目領域を抽出できるかどうかが疑問
であった。
【０００９】また、従来のカメラでは写真に対するセン
スのない一般の人が構図を決定した場合、必ずしもバラ
ンスの良い写真を撮影できるとは限らない。
スのない一般の人が構図を決定した場合、必ずしもバラ
ンスの良い写真を撮影できるとは限らない。
【００１０】
【００１１】それゆえに、この発明の主たる目的は、バ
ランスの良い構図を自動で決定することができる、自動
構図決定装置を提供することである。
ランスの良い構図を自動で決定することができる、自動
構図決定装置を提供することである。
【００１２】
【課題を解決するための手段】この発明は、原画像の物
理的特徴に基づいて誘目度を評価する評価手段、評価手
段の評価結果に応じて注目領域を抽出する抽出手段、基
準構図を有する基準画像に対応する画像データ、被写体
の形状データおよび被写体の位置データを含む、基準画
像相関データを保持する保持手段、および基準画像相関
データを参照して注目領域の画像を原画像から切り取る
切取手段を備える、自動構図決定装置である。
理的特徴に基づいて誘目度を評価する評価手段、評価手
段の評価結果に応じて注目領域を抽出する抽出手段、基
準構図を有する基準画像に対応する画像データ、被写体
の形状データおよび被写体の位置データを含む、基準画
像相関データを保持する保持手段、および基準画像相関
データを参照して注目領域の画像を原画像から切り取る
切取手段を備える、自動構図決定装置である。
【００１３】
【００１４】
【作用】この発明では、評価手段が原画像の物理的特徴
に従って誘目度を評価する。ここで、誘目度とは、人間
の主観に合ったパラメータをいう。抽出手段は、評価結
果から一番目立つ領域を注目領域として抽出する。つま
り、評価手段は物理的特徴に従って人間の主観に合った
評価をするので、人間の主観に適合した注目領域を抽出
することができる。そして、保持手段が、たとえば画家
が描いた絵画や写真家が撮影した写真に対応する絵画画
像および写真画像を基準画像とし、この基準画像に相関
するデータ（少なくとも基準画像に対応する画像デー
タ、被写体の形状データおよび被写体の位置データ）を
保持する。切取手段は、この基準画像に相関するデータ
を参照して注目領域の画像を原画像から切り取るので、
バランスの良い構図を自動で決定することができる。
に従って誘目度を評価する。ここで、誘目度とは、人間
の主観に合ったパラメータをいう。抽出手段は、評価結
果から一番目立つ領域を注目領域として抽出する。つま
り、評価手段は物理的特徴に従って人間の主観に合った
評価をするので、人間の主観に適合した注目領域を抽出
することができる。そして、保持手段が、たとえば画家
が描いた絵画や写真家が撮影した写真に対応する絵画画
像および写真画像を基準画像とし、この基準画像に相関
するデータ（少なくとも基準画像に対応する画像デー
タ、被写体の形状データおよび被写体の位置データ）を
保持する。切取手段は、この基準画像に相関するデータ
を参照して注目領域の画像を原画像から切り取るので、
バランスの良い構図を自動で決定することができる。
【００１５】たとえば、物理的特徴が色の異質度を含む
場合、各領域の色の違いに基づいて誘目度を評価するこ
とができる。
場合、各領域の色の違いに基づいて誘目度を評価するこ
とができる。
【００１６】また、物理的特徴が、色の異質度に加え
て、形の異質度、面積の異質度およびテクスチャ（模
様）の異質度をさらに含むので、この４つの異質度の少
なくとも１つの異質度に基づいて誘目度を評価すれば、
原画像の特徴に応じて的確に誘目度を評価することがで
きる。
て、形の異質度、面積の異質度およびテクスチャ（模
様）の異質度をさらに含むので、この４つの異質度の少
なくとも１つの異質度に基づいて誘目度を評価すれば、
原画像の特徴に応じて的確に誘目度を評価することがで
きる。
【００１７】また、色の３要素（色相、彩度、明度）に
ついても評価する場合であれば、人間の主観による目立
つ色（赤色）に近い領域を最も目立つ領域と評価するこ
とができる。
ついても評価する場合であれば、人間の主観による目立
つ色（赤色）に近い領域を最も目立つ領域と評価するこ
とができる。
【００１８】さらに、空間周波数や原画像における各領
域の面積についても評価すれば、最も目立つ領域の評価
をさらに的確に判断することができる。
域の面積についても評価すれば、最も目立つ領域の評価
をさらに的確に判断することができる。
【００１９】また、撮影手段で所望の映像を撮影し、た
とえば撮影した映像に対応する画像を合成し、原画像を
生成することもできる。
とえば撮影した映像に対応する画像を合成し、原画像を
生成することもできる。
【００２０】たとえば、撮影手段に含まれるカメラの位
置および高さを固定し、３６０°回転して撮影できるよ
うにしておけば、接合手段が１フレーム毎の画像を接合
することにより、３６０°の範囲内でパノラマ画像の原
画像を生成することができる。
置および高さを固定し、３６０°回転して撮影できるよ
うにしておけば、接合手段が１フレーム毎の画像を接合
することにより、３６０°の範囲内でパノラマ画像の原
画像を生成することができる。
【００２１】第２の発明の自動構図決定装置では、保持
手段が、たとえば画家が描いた絵画や写真家が撮影した
写真に対応する絵画画像および写真画像を基準画像と
し、この基準画像に関するデータを保持する。切取手段
は、この基準画像に関するデータを参照して注目領域の
画像を原画像から切り取るので、バランスの良い構図を
自動で決定することができる。
手段が、たとえば画家が描いた絵画や写真家が撮影した
写真に対応する絵画画像および写真画像を基準画像と
し、この基準画像に関するデータを保持する。切取手段
は、この基準画像に関するデータを参照して注目領域の
画像を原画像から切り取るので、バランスの良い構図を
自動で決定することができる。
【００２２】また、複数の基準画像に相関するデータを
保持しておけば、選択手段が注目領域の画像に適した構
図を選択できるので、あらゆる画像についてバランスの
良い構図を決定することができる。
保持しておけば、選択手段が注目領域の画像に適した構
図を選択できるので、あらゆる画像についてバランスの
良い構図を決定することができる。
【００２３】
【００２４】
【発明の効果】この発明によれば、人間の主観に合った
物理的特徴の評価結果に従って注目領域を抽出するの
で、人間の主観に適合した注目領域を抽出することがで
き、さらに基準画像の基準構図を用いてその注目領域を
原画像から切り取るので、バランスの良い構図を自動で
決定することができる。
物理的特徴の評価結果に従って注目領域を抽出するの
で、人間の主観に適合した注目領域を抽出することがで
き、さらに基準画像の基準構図を用いてその注目領域を
原画像から切り取るので、バランスの良い構図を自動で
決定することができる。
【００２５】
【００２６】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【００２７】
【実施例】図１を参照して、この実施例の自動構図決定
装置１０は、ビデオカメラ（以下、単に「カメラ」とい
う。）１２を含む。カメラ１２は、たとえば三脚などを
用いて撮影位置（位置および高さ）が固定され、３６０
°回転して撮影できる。カメラ１２で撮影した映像が画
像生成装置１４に入力され、撮影した映像から原画像と
してのパノラマ画像が生成される。なお、カメラ１２は
３６０°回転できるので、画像生成装置１４は３６０°
の範囲内でパノラマ画像を生成できる。
装置１０は、ビデオカメラ（以下、単に「カメラ」とい
う。）１２を含む。カメラ１２は、たとえば三脚などを
用いて撮影位置（位置および高さ）が固定され、３６０
°回転して撮影できる。カメラ１２で撮影した映像が画
像生成装置１４に入力され、撮影した映像から原画像と
してのパノラマ画像が生成される。なお、カメラ１２は
３６０°回転できるので、画像生成装置１４は３６０°
の範囲内でパノラマ画像を生成できる。
【００２８】画像生成装置１４は、ビデオキャプチャ１
６および画像接合装置１８を含み、図２に示すフロー図
に従ってパノラマ画像を生成する。つまり、カメラ１２
で撮影が開始されると、画像生成装置１４は処理を開始
し、ステップＳ１で、ビデオキャプチャ１６を用いて最
初のビデオフレーム（１フレーム目）をキャプチャし、
その１フレーム目に対応する画像から合成画像を生成し
た後、画像接合装置１８を用いてその合成画像からグレ
ースケール画像を生成する。
６および画像接合装置１８を含み、図２に示すフロー図
に従ってパノラマ画像を生成する。つまり、カメラ１２
で撮影が開始されると、画像生成装置１４は処理を開始
し、ステップＳ１で、ビデオキャプチャ１６を用いて最
初のビデオフレーム（１フレーム目）をキャプチャし、
その１フレーム目に対応する画像から合成画像を生成し
た後、画像接合装置１８を用いてその合成画像からグレ
ースケール画像を生成する。
【００２９】続くステップＳ３では、次のフレームをキ
ャプチャし、１フレーム目と同様にグレースケール画像
を生成する。ステップＳ５では、現フレーム（対象フレ
ーム）に対応する合成画像をどの位置から合成すればよ
いかを決定するため、図３に示すような対象フレームの
グレースケール画像から探索テンプレートを切り出す。
この探索テンプレートの幅は５０画素であり、その高さ
はフレーム画像と同じである。また、この探索プレート
は、対象フレームの原点から切り出される。
ャプチャし、１フレーム目と同様にグレースケール画像
を生成する。ステップＳ５では、現フレーム（対象フレ
ーム）に対応する合成画像をどの位置から合成すればよ
いかを決定するため、図３に示すような対象フレームの
グレースケール画像から探索テンプレートを切り出す。
この探索テンプレートの幅は５０画素であり、その高さ
はフレーム画像と同じである。また、この探索プレート
は、対象フレームの原点から切り出される。
【００３０】続いてステップＳ７では、合成画像のグレ
ースケール画像から探索範囲を設定し、探索範囲から探
索テンプレートと同じ大きさの画像を切り出す。つま
り、探索範囲の幅は１００画素であり、その高さはフレ
ーム画像と同じである。また、フレーム画像の左上を原
点（（ｘ，ｙ）＝（１，１））としたとき、探索プレー
トのｘ座標はフレーム画像の幅から１００だけ引いた位
置であり、そのｙ座標は１である。
ースケール画像から探索範囲を設定し、探索範囲から探
索テンプレートと同じ大きさの画像を切り出す。つま
り、探索範囲の幅は１００画素であり、その高さはフレ
ーム画像と同じである。また、フレーム画像の左上を原
点（（ｘ，ｙ）＝（１，１））としたとき、探索プレー
トのｘ座標はフレーム画像の幅から１００だけ引いた位
置であり、そのｙ座標は１である。
【００３１】次に、ステップＳ９では、探索範囲から探
索テンプレートと同じ大きさの画像を切り出し、切り出
した画像および探索プレートに対応する互いの画素値の
差の絶対値を算出する。続くステップＳ１１では、画素
値の差が最小（０）であるかどうかを判断する。ステッ
プＳ１１で“ＹＥＳ”であれば、切り出した画像が探索
プレートと同じ大きさであると判断し、ステップＳ１３
に進む。一方、ステップＳ１１で“ＮＯ”であれば、切
り出した画像と探索プレートとの大きさが異なると判断
し、ステップＳ１５で探索範囲をｘ軸の正の方向に１画
素ずらしてから、ステップＳ５に戻る。このように、１
画素ずつずらしながら、切り出した画像と探索テンプレ
ートとが同じ大きさになるまで、処理が繰り返される。
索テンプレートと同じ大きさの画像を切り出し、切り出
した画像および探索プレートに対応する互いの画素値の
差の絶対値を算出する。続くステップＳ１１では、画素
値の差が最小（０）であるかどうかを判断する。ステッ
プＳ１１で“ＹＥＳ”であれば、切り出した画像が探索
プレートと同じ大きさであると判断し、ステップＳ１３
に進む。一方、ステップＳ１１で“ＮＯ”であれば、切
り出した画像と探索プレートとの大きさが異なると判断
し、ステップＳ１５で探索範囲をｘ軸の正の方向に１画
素ずらしてから、ステップＳ５に戻る。このように、１
画素ずつずらしながら、切り出した画像と探索テンプレ
ートとが同じ大きさになるまで、処理が繰り返される。
【００３２】ステップＳ１３では、差の絶対値が最小
（０）である時のＸ座標を算出する。続くステップＳ１
７では、算出したＸ座標で合成画像と対象フレーム画像
とを重ね合わせ、新たな合成画像を生成する。そして、
ステップＳ１９では生成した合成画像からグレースケー
ル画像を生成し、ステップＳ２１でパノラマ画像が生成
されたかどうかを判断する。ステップＳ２１で“ＮＯ”
であれば、つまりパノラマ画像が生成されてなければ、
ステップＳ３に戻る。一方、ステップＳ２１で“ＹＥ
Ｓ”であれば、図４（Ａ）に示すようなパノラマ画像
（原画像）が生成されたと判断し、ステップＳ２３で原
画像を後段の注目領域抽出装置２０（図１）に出力し、
処理を終了する。
（０）である時のＸ座標を算出する。続くステップＳ１
７では、算出したＸ座標で合成画像と対象フレーム画像
とを重ね合わせ、新たな合成画像を生成する。そして、
ステップＳ１９では生成した合成画像からグレースケー
ル画像を生成し、ステップＳ２１でパノラマ画像が生成
されたかどうかを判断する。ステップＳ２１で“ＮＯ”
であれば、つまりパノラマ画像が生成されてなければ、
ステップＳ３に戻る。一方、ステップＳ２１で“ＹＥ
Ｓ”であれば、図４（Ａ）に示すようなパノラマ画像
（原画像）が生成されたと判断し、ステップＳ２３で原
画像を後段の注目領域抽出装置２０（図１）に出力し、
処理を終了する。
【００３３】図１に戻って、注目領域抽出装置２０は、
与えられた原画像から最も目立つ領域（注目領域）を抽
出する。具体的には、注目領域抽出装置２０は、図５に
示すフロー図に従って処理をする。つまり、原画像が画
像生成装置１４から与えられると、注目領域抽出装置２
０は処理を開始し、ステップＳ３１で原画像を領域分割
する。具体的には、図４（Ｂ）に示すように、原画像を
図領域と絵領域に分割する。この領域分割の方法には、
１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが
「Edge Flow:A Framework of Boundary Detection and
Image Segmentation」に記載した“edge flow ”に基づ
く境界検出方法が適用される。簡単に説明すると、この
方法は画像の各場所における色や模様の変化方向を求
め、変化方向と変化の強さ（大小）からなるedge flow
ベクトルを決定する。そして、反復処理によりedge flo
w ベクトルを各ベクトルの方向へ伝搬し、最終的ベクト
ル同士がぶつかり合う場所を各領域の境界線とする。
与えられた原画像から最も目立つ領域（注目領域）を抽
出する。具体的には、注目領域抽出装置２０は、図５に
示すフロー図に従って処理をする。つまり、原画像が画
像生成装置１４から与えられると、注目領域抽出装置２
０は処理を開始し、ステップＳ３１で原画像を領域分割
する。具体的には、図４（Ｂ）に示すように、原画像を
図領域と絵領域に分割する。この領域分割の方法には、
１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが
「Edge Flow:A Framework of Boundary Detection and
Image Segmentation」に記載した“edge flow ”に基づ
く境界検出方法が適用される。簡単に説明すると、この
方法は画像の各場所における色や模様の変化方向を求
め、変化方向と変化の強さ（大小）からなるedge flow
ベクトルを決定する。そして、反復処理によりedge flo
w ベクトルを各ベクトルの方向へ伝搬し、最終的ベクト
ル同士がぶつかり合う場所を各領域の境界線とする。
【００３４】したがって、ステップＳ３３では、図４
（Ｃ）に示すような分割した図領域を抽出し、ステップ
Ｓ３５で図領域の誘目度を評価する。つまり、図領域の
誘目度パラメータを求める。ここで、発明者が行った主
観評価実験により、誘目度の評価に必要な物理的特徴
は、色の異質度，テクスチャの異質度，形の異質度およ
び面積の異質度，色，空間周波数および面積であること
が分かった。また、一般に人間の主観評価結果と物理的
特性との関係はＳ字曲線で表されることが多いため、誘
目度の評価には数１に示すべ一夕関数が用いられる。
（Ｃ）に示すような分割した図領域を抽出し、ステップ
Ｓ３５で図領域の誘目度を評価する。つまり、図領域の
誘目度パラメータを求める。ここで、発明者が行った主
観評価実験により、誘目度の評価に必要な物理的特徴
は、色の異質度，テクスチャの異質度，形の異質度およ
び面積の異質度，色，空間周波数および面積であること
が分かった。また、一般に人間の主観評価結果と物理的
特性との関係はＳ字曲線で表されることが多いため、誘
目度の評価には数１に示すべ一夕関数が用いられる。
【００３５】
【数１】
【００３６】このベータ関数を用いて、数２に示すよう
な誘目度の評価関数が定義される。
な誘目度の評価関数が定義される。
【００３７】
【数２】
【００３８】また、数２に示す各領域の上記４つの異質
度に対する誘目度ＨＥＴは数３で定義される。
度に対する誘目度ＨＥＴは数３で定義される。
【００３９】
【数３】
【００４０】さらに、各物理的特徴の異質度Ｈは、特徴
値と全領域の平均特徴値との差をｄ，差ｄの平均値をｄ
ｍ，差ｄの標準偏差をｓｔｄとしたとき、数４に従って
算出される。
値と全領域の平均特徴値との差をｄ，差ｄの平均値をｄ
ｍ，差ｄの標準偏差をｓｔｄとしたとき、数４に従って
算出される。
【００４１】
【数４】
【００４２】つまり、各領域の色の異質度ＨＣは、ＣＩ
Ｅ Ｌ* ａ* ｂ* 知覚均等色空間における色差式を用い
て領域の平均色と全領域の平均色との色差、色差平均、
色差の標準偏差を算出し、算出した結果を数４に代入し
て求められる。なお、色差式は、１９９４「色彩科学ハ
ンドブック」に詳細に記載されている。具体的には、画
像の各画素の色情報（Ｒ，Ｇ，Ｂ）を均等知覚色空間Ｌ
* ａ* ｂ* に変換し、その空間におけるユークリッド距
離を色差としている。つまり、色差式は、数５のように
示される。
Ｅ Ｌ* ａ* ｂ* 知覚均等色空間における色差式を用い
て領域の平均色と全領域の平均色との色差、色差平均、
色差の標準偏差を算出し、算出した結果を数４に代入し
て求められる。なお、色差式は、１９９４「色彩科学ハ
ンドブック」に詳細に記載されている。具体的には、画
像の各画素の色情報（Ｒ，Ｇ，Ｂ）を均等知覚色空間Ｌ
* ａ* ｂ* に変換し、その空間におけるユークリッド距
離を色差としている。つまり、色差式は、数５のように
示される。
【００４３】
【数５】
【００４４】次に、テクスチャの異質度ＨＴについて説
明する。テクスチャは、１９９６ＩＥＥＥにおいてB.S.
Manjunath や W.Y.Ma らが「Texture Features for Bro
wsing and Retrieval of Image Data 」に記載したテク
スチャ特徴ベクトルで表現され、またテクスチャ間の差
はテクスチャ特徴ベクトル間のユークリッド距離によっ
て表現される。
明する。テクスチャは、１９９６ＩＥＥＥにおいてB.S.
Manjunath や W.Y.Ma らが「Texture Features for Bro
wsing and Retrieval of Image Data 」に記載したテク
スチャ特徴ベクトルで表現され、またテクスチャ間の差
はテクスチャ特徴ベクトル間のユークリッド距離によっ
て表現される。
【００４５】ここで、テクスチャ特徴ベクトルは、大き
さと方向の異なる複数のガボールフィルタで構成したガ
ボールフィルタバンクにより画像をフィルタリングした
ときの応答を要素とするベクトルで表現される。ただ
し、複数のガボールフィルタによりフィルタリングした
場合は、各応答には直交性がないため、フィルタリング
した結果には冗長な情報が含まれる可能性がある。そこ
で、ガボールフイルタバンク内の各フィルタのパラメー
タは、上述の１９９６ＩＥＥＥに記載されている手法に
よって決定される。具体的には、数６で示されるガボー
ルフィルタのθ、ａ、σｕおよびσｖを数７で求める。
なお、この手法は、図６に示すように、隣接するフィル
タがHalf-Peak で接するようにフィルタのスケール（大
きさ）および方位パラメータを定めるものであり、テク
スチャ特徴を表現するために、２４個のフィルタ（４ス
ケール、６方向）が用いられる。
さと方向の異なる複数のガボールフィルタで構成したガ
ボールフィルタバンクにより画像をフィルタリングした
ときの応答を要素とするベクトルで表現される。ただ
し、複数のガボールフィルタによりフィルタリングした
場合は、各応答には直交性がないため、フィルタリング
した結果には冗長な情報が含まれる可能性がある。そこ
で、ガボールフイルタバンク内の各フィルタのパラメー
タは、上述の１９９６ＩＥＥＥに記載されている手法に
よって決定される。具体的には、数６で示されるガボー
ルフィルタのθ、ａ、σｕおよびσｖを数７で求める。
なお、この手法は、図６に示すように、隣接するフィル
タがHalf-Peak で接するようにフィルタのスケール（大
きさ）および方位パラメータを定めるものであり、テク
スチャ特徴を表現するために、２４個のフィルタ（４ス
ケール、６方向）が用いられる。
【００４６】
【数６】
【００４７】
【数７】
【００４８】この数６によって、テクスチャ特徴ベクト
ルが表現される。したがって、各領域のテクスチャの異
質度ＨＴは、全領域の平均ベクトルとの距離、距離の平
均値、距離の標準偏差を数４に代入することにより算出
される。
ルが表現される。したがって、各領域のテクスチャの異
質度ＨＴは、全領域の平均ベクトルとの距離、距離の平
均値、距離の標準偏差を数４に代入することにより算出
される。
【００４９】さらに、各領域の面積の異質度ＨＳは、全
領域の平均面積との差、差の平均値、差の標準偏差を数
４に代入することにより算出される。
領域の平均面積との差、差の平均値、差の標準偏差を数
４に代入することにより算出される。
【００５０】さらにまた、各領域の形の異質度ＨＳｈ
は、領域の外形の異質度と、領域が包含する穴の異質度
を数８に示すように統合して得られる。
は、領域の外形の異質度と、領域が包含する穴の異質度
を数８に示すように統合して得られる。
【００５１】
【数８】
【００５２】ここで、形の違いについては、形状そのも
のの違いと、図形を回転することによる見え方の違いと
の両方を考慮する必要がある。そこで、１９８４／３
「電気通信学会論文誌」において上坂吉則が「開曲線に
も適用できる新しいフーリエ記述子」に記載したＰ型フ
ーリエ記述子を用いて、形状を記述することができる。
この場合、Ｐ型フーリエ変換後の各周波数に対するパワ
ーを検出すれば、２つの図形の形状が同じときには、パ
ワーが一致する。また、フーリエ記述子を用いれば、形
状と回転角が一致するときに限り、フーリエ記述子が一
致する。したがって、フーリエ記述子と各周波数に対す
るパワーとによって、２つの図形の形状と外見とがどの
程度一致するかを評価することができる。
のの違いと、図形を回転することによる見え方の違いと
の両方を考慮する必要がある。そこで、１９８４／３
「電気通信学会論文誌」において上坂吉則が「開曲線に
も適用できる新しいフーリエ記述子」に記載したＰ型フ
ーリエ記述子を用いて、形状を記述することができる。
この場合、Ｐ型フーリエ変換後の各周波数に対するパワ
ーを検出すれば、２つの図形の形状が同じときには、パ
ワーが一致する。また、フーリエ記述子を用いれば、形
状と回転角が一致するときに限り、フーリエ記述子が一
致する。したがって、フーリエ記述子と各周波数に対す
るパワーとによって、２つの図形の形状と外見とがどの
程度一致するかを評価することができる。
【００５３】以上から、外形の特徴はフーリエ係数とパ
ワーとからなるベクトルで表現でき、また外形の差は同
特徴ベクトル間のユークリッド距離を用いて表現でき
る。したがって、各領域の外形の異質度ＨＳｈは、全領
域の平均ベクトルとの距離、距離の平均値、距離の標準
偏差を数４に代入して算出される。
ワーとからなるベクトルで表現でき、また外形の差は同
特徴ベクトル間のユークリッド距離を用いて表現でき
る。したがって、各領域の外形の異質度ＨＳｈは、全領
域の平均ベクトルとの距離、距離の平均値、距離の標準
偏差を数４に代入して算出される。
【００５４】次に、穴の異質度Ｈｈｏに関して説明す
る。領域が包含する穴の特徴を表現するためには、穴の
形状だけでなく、穴の数および穴の位置も考慮する必要
がある。穴の位置の違いは、領域の一次モーメントを求
めることで定義できる。なお、一次モーメントは、１９
９２「画像解析ハンドブック」に記載されている。した
がって、穴の特徴は、数９に示すようなベクトルで表現
した。なお、穴の順番は、画像の原点に近い順にしてあ
る。
る。領域が包含する穴の特徴を表現するためには、穴の
形状だけでなく、穴の数および穴の位置も考慮する必要
がある。穴の位置の違いは、領域の一次モーメントを求
めることで定義できる。なお、一次モーメントは、１９
９２「画像解析ハンドブック」に記載されている。した
がって、穴の特徴は、数９に示すようなベクトルで表現
した。なお、穴の順番は、画像の原点に近い順にしてあ
る。
【００５５】
【数９】
【００５６】したがって、各領域の穴の異質度Ｈｈｏ
は、全領域の平均ベクトルとの距離、距離の平均値、距
離の標準偏差を数４に代入して算出される。
は、全領域の平均ベクトルとの距離、距離の平均値、距
離の標準偏差を数４に代入して算出される。
【００５７】また、数２に示す特徴誘目度ＦＰは、数１
０に示すように定義できる。
０に示すように定義できる。
【００５８】
【数１０】
【００５９】数１０において、まず色の誘目度ＰＣにつ
いて説明する。
いて説明する。
【００６０】従来研究おいて、１）暖色の方が寒色より
も目立つ、２）彩度が高いほうが目立つ、３）明度が高
いほうが目立つと報告されている。１）に関しては、神
作らが行った実験によって、赤色は背景色に依存せず誘
目度の高い色であると報告されている。この結果に基づ
き、この実施例では、赤色（Ｒ，Ｇ，Ｂ＝２５５，０，
０）が最も誘目度の高い色相とし、色相が赤色に近いほ
ど誘目度が高いと仮定する。ここで、色相を上述の１９
９２「画像解析ハンドブック」に詳細に記載されたＨＳ
Ｉ双六角錐カラーモデルを用いて求めると、赤色（Ｒ，
Ｇ，Ｂ＝２５５，０，０）の色相は０である。つまり、
ＨＳＩ双六角錐カラーモデルは、ＢＫ（黒）を原点と
し、それに対極する点がＷ（白）とされる。そして、Ｂ
ＫとＷとを結ぶ直線のほぼ中央であり、かつその直線に
直交するようにＲ（赤），Ｍ（マゼンダ），Ｂ（青），
Ｃ（シアン），Ｇ（緑）、Ｙ（イエロ）を頂点とする六
角形が形成される。このように形成されたＨＳＩ双六角
錐カラーモデルの色空間が用いられる。なお、色空間と
は、知覚色を空間の一点として表示するために用いる直
交三次元座標系の空間をいう。つまり、この実施例では
ＨＳＩ双六角錐カラーモデルを用いて色相を求めるた
め、色相が０に近いほど色相の誘目度Ｈｅが大きくな
る。このため、色相の誘目度Ｈｅは、数１１に示す式に
よって算出される。
も目立つ、２）彩度が高いほうが目立つ、３）明度が高
いほうが目立つと報告されている。１）に関しては、神
作らが行った実験によって、赤色は背景色に依存せず誘
目度の高い色であると報告されている。この結果に基づ
き、この実施例では、赤色（Ｒ，Ｇ，Ｂ＝２５５，０，
０）が最も誘目度の高い色相とし、色相が赤色に近いほ
ど誘目度が高いと仮定する。ここで、色相を上述の１９
９２「画像解析ハンドブック」に詳細に記載されたＨＳ
Ｉ双六角錐カラーモデルを用いて求めると、赤色（Ｒ，
Ｇ，Ｂ＝２５５，０，０）の色相は０である。つまり、
ＨＳＩ双六角錐カラーモデルは、ＢＫ（黒）を原点と
し、それに対極する点がＷ（白）とされる。そして、Ｂ
ＫとＷとを結ぶ直線のほぼ中央であり、かつその直線に
直交するようにＲ（赤），Ｍ（マゼンダ），Ｂ（青），
Ｃ（シアン），Ｇ（緑）、Ｙ（イエロ）を頂点とする六
角形が形成される。このように形成されたＨＳＩ双六角
錐カラーモデルの色空間が用いられる。なお、色空間と
は、知覚色を空間の一点として表示するために用いる直
交三次元座標系の空間をいう。つまり、この実施例では
ＨＳＩ双六角錐カラーモデルを用いて色相を求めるた
め、色相が０に近いほど色相の誘目度Ｈｅが大きくな
る。このため、色相の誘目度Ｈｅは、数１１に示す式に
よって算出される。
【００６１】
【数１１】
【００６２】また、２）に関しては、彩度と誘目度の間
には線形的な関係がある。したがって、この実施例で
は、彩度の誘目度は、ＨＳＩ双六角錐カラーモデルにお
ける彩度そのものを用いることとした。
には線形的な関係がある。したがって、この実施例で
は、彩度の誘目度は、ＨＳＩ双六角錐カラーモデルにお
ける彩度そのものを用いることとした。
【００６３】さらに、３）に関しては、人間の感覚量と
明度との関係に関する研究において、Semmelrothは数１
２で示す関係が成り立つことを示した。なお、数１２に
示す関係は、１９９６「新編 感覚・知覚 心理学ハン
ドブック」において、大山，今井，和気らによって示さ
れる。
明度との関係に関する研究において、Semmelrothは数１
２で示す関係が成り立つことを示した。なお、数１２に
示す関係は、１９９６「新編 感覚・知覚 心理学ハン
ドブック」において、大山，今井，和気らによって示さ
れる。
【００６４】
【数１２】
【００６５】また、数１２において、ｋ＝０．６５，ｍ
＝０．４，ｎ＝０．２の場合に、人間の感覚量とよく合
うことが示された。したがって、この実施例では、Semm
elrothによって示された式を明度の誘目度とした。
＝０．４，ｎ＝０．２の場合に、人間の感覚量とよく合
うことが示された。したがって、この実施例では、Semm
elrothによって示された式を明度の誘目度とした。
【００６６】上述のような色の３要素（色相、彩度、明
度）に対する誘目度を数１３を用いて線形結合し、色の
誘目度ＰＣが定義される。
度）に対する誘目度を数１３を用いて線形結合し、色の
誘目度ＰＣが定義される。
【００６７】
【数１３】
【００６８】次に、テクスチャ（空間周波数）の誘目度
ＰＴについて説明する。
ＰＴについて説明する。
【００６９】人間の視覚系においては、特定の空間周波
数で感度が最大となるような帯域通過器の性質を持つこ
とが明らかにされている。これまで、久保田や西澤ら
は、視覚の空間周波数特性を数１４のように定式化して
いる。なお、空間周波数特性の式は、１９８６／５「電
気通信学会論文誌」において、久保田らによって「テレ
ビジョン系の３次元雑音評価関数とその高品位テレビへ
の応用」に記載されている。なお、数１４では、空間周
波数の単位をｃｐｄ（視覚１°あたりのサイクル数）に
変換してある。
数で感度が最大となるような帯域通過器の性質を持つこ
とが明らかにされている。これまで、久保田や西澤ら
は、視覚の空間周波数特性を数１４のように定式化して
いる。なお、空間周波数特性の式は、１９８６／５「電
気通信学会論文誌」において、久保田らによって「テレ
ビジョン系の３次元雑音評価関数とその高品位テレビへ
の応用」に記載されている。なお、数１４では、空間周
波数の単位をｃｐｄ（視覚１°あたりのサイクル数）に
変換してある。
【００７０】
【数１４】
【００７１】この数１４に示す視覚反応Ｖによって、テ
クスチャ（空間周波数）の誘目度ＰＴが定義される。
クスチャ（空間周波数）の誘目度ＰＴが定義される。
【００７２】続いて、面積の誘目度ＰＳについて説明す
る。
る。
【００７３】一般に画像が提示された直後は、画像の中
心から近いオブジェクトの方が目立つと言われており、
また、注視点が移動されると、移動した注視点に近いオ
ブジェクトの方が誘目度が高くなると言われている。こ
れを、場の誘目度と定義する。このように、ある点（注
視点）を中心とし、その点から遠ざかる毎に各点の誘目
度が徐々に小さくなることをモデル化するために、数１
５に示す２次元ガウス関数が用いられる。ただし、注視
点が移動した時間に応じてガウス関数の中心が変化する
と仮定してある。
心から近いオブジェクトの方が目立つと言われており、
また、注視点が移動されると、移動した注視点に近いオ
ブジェクトの方が誘目度が高くなると言われている。こ
れを、場の誘目度と定義する。このように、ある点（注
視点）を中心とし、その点から遠ざかる毎に各点の誘目
度が徐々に小さくなることをモデル化するために、数１
５に示す２次元ガウス関数が用いられる。ただし、注視
点が移動した時間に応じてガウス関数の中心が変化する
と仮定してある。
【００７４】
【数１５】
【００７５】ここで、ガウス関数の広がり係数σは視点
から画像までの距離ｄに依存する。つまり、距離ｄが大
きくなれば、一度に観測可能な範囲が広くなる。一般
に、人間の可視視野は２０度〜３０度である。そこで、
提示される画像の画面高をＨとし、視距離をｄ・Ｈとし
たときの広がり係数σを数１６のように定義することが
できる。なお、Ｐｉｘは垂直方向の画素数であり、θは
２０度〜３０度（０．１７６＜tan θ／２＜０．２６
８）である。
から画像までの距離ｄに依存する。つまり、距離ｄが大
きくなれば、一度に観測可能な範囲が広くなる。一般
に、人間の可視視野は２０度〜３０度である。そこで、
提示される画像の画面高をＨとし、視距離をｄ・Ｈとし
たときの広がり係数σを数１６のように定義することが
できる。なお、Ｐｉｘは垂直方向の画素数であり、θは
２０度〜３０度（０．１７６＜tan θ／２＜０．２６
８）である。
【００７６】
【数１６】
【００７７】ここで、領域が画素の集合であることを考
慮すれば、領域の面積の誘目度ＰＳは、領域の画素の場
の誘目度の和で表現可能である。したがって、面積の誘
目度ＰＳは数１７のように定義される。
慮すれば、領域の面積の誘目度ＰＳは、領域の画素の場
の誘目度の和で表現可能である。したがって、面積の誘
目度ＰＳは数１７のように定義される。
【００７８】
【数１７】
【００７９】このように、定義した誘目度の評価関数に
より、ステップＳ３７で各図領域の誘目度を評価し、ス
テップＳ３９で誘目度が最大となる図領域を求める。つ
まり、最も目立つ領域を注目領域に決定する。したがっ
て、図４（Ｄ）に示すような注目領域を抽出することが
できる。
より、ステップＳ３７で各図領域の誘目度を評価し、ス
テップＳ３９で誘目度が最大となる図領域を求める。つ
まり、最も目立つ領域を注目領域に決定する。したがっ
て、図４（Ｄ）に示すような注目領域を抽出することが
できる。
【００８０】なお、この実施例では、誘目度の評価関数
の各係数は、［ｗｈ１，ｗｈ２，ｗｈ３，ｗｈ４］＝
［０．０３９，０．０１０，０．０２７，０．０２
０］，［ｗｆ１，ｗｆ２，ｗｆ３］＝［０．１３２，
０．００５，０．１００］，［ｍ，ｎ］＝［１．３５
８，４．２５０］を用い、数１４のθを２０度とし、ま
た視距離ｄを１ｍとし，Ｐ型フーリエ係数を第１０次ま
でとした。
の各係数は、［ｗｈ１，ｗｈ２，ｗｈ３，ｗｈ４］＝
［０．０３９，０．０１０，０．０２７，０．０２
０］，［ｗｆ１，ｗｆ２，ｗｆ３］＝［０．１３２，
０．００５，０．１００］，［ｍ，ｎ］＝［１．３５
８，４．２５０］を用い、数１４のθを２０度とし、ま
た視距離ｄを１ｍとし，Ｐ型フーリエ係数を第１０次ま
でとした。
【００８１】また、この実施例では、上記８つの物理的
特徴を用いて誘目度を評価するようにしたが、これはあ
らゆる特徴を有する複数の画像に適合させるためであ
り、全ての物理的特徴について必ずしも評価する必要は
ない。
特徴を用いて誘目度を評価するようにしたが、これはあ
らゆる特徴を有する複数の画像に適合させるためであ
り、全ての物理的特徴について必ずしも評価する必要は
ない。
【００８２】続いてステップＳ４１では、決定した注目
領域に隣接する図領域を求め、注目領域と隣接図領域と
の色差およびテクスチャ特徴ベクトルのユークリッド距
離を求め、色差が２．０以内であり、かつテクスチャ特
徴ベクトルのユークリッド距離が０．３以内であるもの
を注目領域とともに抽出して、処理を終了する。なお、
色差は、上述したように、数５に示すようなＣＩＥ Ｌ
* ａ* ｂ* 知覚均等色空間における色差式により求めら
れる。また、テクスチャ特徴ベクトルは、数６に従って
求められる。
領域に隣接する図領域を求め、注目領域と隣接図領域と
の色差およびテクスチャ特徴ベクトルのユークリッド距
離を求め、色差が２．０以内であり、かつテクスチャ特
徴ベクトルのユークリッド距離が０．３以内であるもの
を注目領域とともに抽出して、処理を終了する。なお、
色差は、上述したように、数５に示すようなＣＩＥ Ｌ
* ａ* ｂ* 知覚均等色空間における色差式により求めら
れる。また、テクスチャ特徴ベクトルは、数６に従って
求められる。
【００８３】図１に戻って、注目領域抽出装置２０で抽
出された注目領域は、構図切り取り装置２２に与えられ
る。構図切り取り装置２２にはメモリ２４が接続され、
メモリ２４には画家が描いた絵や写真家が撮影した写真
に関する複数のデータが記憶されている。構図切り取り
装置２２は、メモリ２４に記憶されたデータを参照し
て、画家や写真家の構図に合わせて原画像から注目領域
を切り取る。具体的には、構図切り取り装置２２は、図
７に示すフロー図に従って注目領域を切り取る。つま
り、注目領域抽出装置２０で注目領域および隣接する図
領域が抽出されると構図切り取り装置２２は処理を開始
し、ステップＳ５１で、注目領域の外周画素を求める。
つまり、抽出した注目領域の縁を求める。続くステップ
Ｓ５３では、上述の上坂が記載した論文の手法により、
第１０次までのＰ型フーリエ係数を求め、注目領域を形
状ベクトルにする。
出された注目領域は、構図切り取り装置２２に与えられ
る。構図切り取り装置２２にはメモリ２４が接続され、
メモリ２４には画家が描いた絵や写真家が撮影した写真
に関する複数のデータが記憶されている。構図切り取り
装置２２は、メモリ２４に記憶されたデータを参照し
て、画家や写真家の構図に合わせて原画像から注目領域
を切り取る。具体的には、構図切り取り装置２２は、図
７に示すフロー図に従って注目領域を切り取る。つま
り、注目領域抽出装置２０で注目領域および隣接する図
領域が抽出されると構図切り取り装置２２は処理を開始
し、ステップＳ５１で、注目領域の外周画素を求める。
つまり、抽出した注目領域の縁を求める。続くステップ
Ｓ５３では、上述の上坂が記載した論文の手法により、
第１０次までのＰ型フーリエ係数を求め、注目領域を形
状ベクトルにする。
【００８４】ここで、メモリ２４に記憶されたデータ
は、絵画画像や写真画像などの基準画像に対応する画像
データ、その絵画画像や写真画像から被写体を抽出して
Ｐ型フーリエ係数により被写体の外周形状を記述した形
状ベクトルのデータ、および図８に示すような被写体の
位置情報に対応する位置データである。つまり、被写体
の位置データは、基準画像の基準構図のデータであり、
被写体を囲む外接矩形の横の辺の長さをａ、縦の辺の長
さをｂ、外接矩形の原点（画像左上の頂点に最も近い頂
点）の位置を（ｗ１，ｈ１）、外接矩形の終点（画像右
下の頂点に最も近い頂点）の位置（画像右下の頂点を基
準とした位置）を（ｗ２，ｈ２）とした場合に、数１８
のようなベクトルで表される。
は、絵画画像や写真画像などの基準画像に対応する画像
データ、その絵画画像や写真画像から被写体を抽出して
Ｐ型フーリエ係数により被写体の外周形状を記述した形
状ベクトルのデータ、および図８に示すような被写体の
位置情報に対応する位置データである。つまり、被写体
の位置データは、基準画像の基準構図のデータであり、
被写体を囲む外接矩形の横の辺の長さをａ、縦の辺の長
さをｂ、外接矩形の原点（画像左上の頂点に最も近い頂
点）の位置を（ｗ１，ｈ１）、外接矩形の終点（画像右
下の頂点に最も近い頂点）の位置（画像右下の頂点を基
準とした位置）を（ｗ２，ｈ２）とした場合に、数１８
のようなベクトルで表される。
【００８５】
【数１８】位置データ［ｋｘ１，ｋｙ１，ｋｘ２，ｋｙ
２］＝［ｗ１／ａ，ｈ１／ｂ，ｗ２／ａ，ｈ２／ｂ］ 続いて、ステップＳ５５でステップＳ５３で求めた形状
ベクトルとメモリ２４に格納された絵画画像や写真画像
の形状ベクトルとのユーグリッド距離を求め、つまり基
準構図のデータとのマッチングを実行し、ステップＳ５
７で領域の形状が最も類似したデータを取得する。言い
換えると、最もユークリッド距離が小さい絵画画像の被
写体の位置データを取得する。つまり、複数の画像デー
タから注目領域および隣接する図領域に最適な画像デー
タが選択される。そして、ステップＳ５９で、注目領域
の外接矩形を求め、外接矩形の原点と終点から数１９に
従って原画像の一部を切り取る。なお、数１９では、＊
は乗算を意味する。
２］＝［ｗ１／ａ，ｈ１／ｂ，ｗ２／ａ，ｈ２／ｂ］ 続いて、ステップＳ５５でステップＳ５３で求めた形状
ベクトルとメモリ２４に格納された絵画画像や写真画像
の形状ベクトルとのユーグリッド距離を求め、つまり基
準構図のデータとのマッチングを実行し、ステップＳ５
７で領域の形状が最も類似したデータを取得する。言い
換えると、最もユークリッド距離が小さい絵画画像の被
写体の位置データを取得する。つまり、複数の画像デー
タから注目領域および隣接する図領域に最適な画像デー
タが選択される。そして、ステップＳ５９で、注目領域
の外接矩形を求め、外接矩形の原点と終点から数１９に
従って原画像の一部を切り取る。なお、数１９では、＊
は乗算を意味する。
【００８６】
【数１９】Ｘ１＝ｘ１−Ｗ＊ｋｘ１
Ｙ１＝ｙ１−Ｈ＊ｋｙ１
Ｘ２＝ｘ２＋Ｗ＊ｋｘ２
Ｙ２＝ｙ２＋Ｗ＊ｋｙ２
ただし、注目領域の外接矩形の幅をＷ、高さをＨ、外接
矩形の原点を（ｘ１，ｙ１）、終点を（ｘ２，ｙ２）と
する。また、Ｘ１＜１のときＸ１＝１，Ｙ１＜１のとき
Ｙ１＝１，Ｘ２＞原画像の幅のときＸ２＝原画像の幅，
Ｙ２＞原画像の高さのときＹ２＝原画像の高さとする。
このとき、切り取る矩形（画像）の頂点座標は数２０の
ように示される。
矩形の原点を（ｘ１，ｙ１）、終点を（ｘ２，ｙ２）と
する。また、Ｘ１＜１のときＸ１＝１，Ｙ１＜１のとき
Ｙ１＝１，Ｘ２＞原画像の幅のときＸ２＝原画像の幅，
Ｙ２＞原画像の高さのときＹ２＝原画像の高さとする。
このとき、切り取る矩形（画像）の頂点座標は数２０の
ように示される。
【００８７】
【数２０】切り取る画像の頂点座標＝［（Ｘ１，Ｙ
１），（Ｘ１，Ｙ２），（Ｘ２，Ｙ１），（Ｘ２，Ｙ
２）］ 続いて、ステップＳ６１で切り取った結果（画像）を出
力して、処理を終了する。
１），（Ｘ１，Ｙ２），（Ｘ２，Ｙ１），（Ｘ２，Ｙ
２）］ 続いて、ステップＳ６１で切り取った結果（画像）を出
力して、処理を終了する。
【００８８】したがって、図９（Ａ）に示すような絵画
画像の構図に合わせて、図９（Ｂ）に示すような注目領
域および隣接する図領域を切り取ることができる。
画像の構図に合わせて、図９（Ｂ）に示すような注目領
域および隣接する図領域を切り取ることができる。
【００８９】この実施例によれば、上述したような物理
的特徴に従って原画像から最も目立つ領域（注目領域）
を抽出するので、人間の主観に適合した注目領域を抽出
することができる。
的特徴に従って原画像から最も目立つ領域（注目領域）
を抽出するので、人間の主観に適合した注目領域を抽出
することができる。
【００９０】また、抽出した注目領域を画家が描いた絵
画や写真家が撮影した写真の構図に合わせて切り取るの
で、被写体をあたかもその構図で撮影したかのような写
真を生成することができる。つまり、バランスのよい構
図を自動で決定することができる。
画や写真家が撮影した写真の構図に合わせて切り取るの
で、被写体をあたかもその構図で撮影したかのような写
真を生成することができる。つまり、バランスのよい構
図を自動で決定することができる。
【００９１】なお、この注目領域抽出装置は画像領域の
誘目度を人間の主観に適合して求めることができるの
で、たとえば、ディジタル圧縮画像・映像の品質評価に
おいて、評価対象となる画像や映像の各領域の目立ち度
（誘目度）に応じて、その領域に重みづけを行うような
客観的な評価を実行するような装置に適用することがで
きる。
誘目度を人間の主観に適合して求めることができるの
で、たとえば、ディジタル圧縮画像・映像の品質評価に
おいて、評価対象となる画像や映像の各領域の目立ち度
（誘目度）に応じて、その領域に重みづけを行うような
客観的な評価を実行するような装置に適用することがで
きる。
【００９２】また、印刷分野では、品質管理の自動化に
おいて、印刷ずれ等の問題を軽視できる領域とそうでな
い領域とを誘目度に応じて自動で判断できる装置に適用
することができる。
おいて、印刷ずれ等の問題を軽視できる領域とそうでな
い領域とを誘目度に応じて自動で判断できる装置に適用
することができる。
【００９３】さらに、デザイン分野、特に広告に使用す
るポスター制作等においては、企業が最も訴えたい部分
が目立っているのか否かを客観的に評価する装置に適用
することができる。
るポスター制作等においては、企業が最も訴えたい部分
が目立っているのか否かを客観的に評価する装置に適用
することができる。
【００９４】また、ユーザが目立つ服装である場合に
は、注目領域抽出装置を用いてカメラの回転，チルトお
よびズームを制御すれば、カメラが自動でユーザを追う
ことができる。したがって、たとえば所定のタイミング
でシャッタを切るようにすれば、ユーザのスナップ写真
を撮ることができる。さらに、撮影した画像（原画像）
から構図決定装置を用いて自動で構図を決定することに
より、バランスの良いユーザのスナップ写真を作成する
ことができる。
は、注目領域抽出装置を用いてカメラの回転，チルトお
よびズームを制御すれば、カメラが自動でユーザを追う
ことができる。したがって、たとえば所定のタイミング
でシャッタを切るようにすれば、ユーザのスナップ写真
を撮ることができる。さらに、撮影した画像（原画像）
から構図決定装置を用いて自動で構図を決定することに
より、バランスの良いユーザのスナップ写真を作成する
ことができる。
【図１】この発明の一実施例を示す図解図である。
【図２】図１実施例に示す画像生成装置の処理の一部を
示すフロー図である。
示すフロー図である。
【図３】図１実施例の画像接合装置で原画像を合成する
方法を示す図解図である。
方法を示す図解図である。
【図４】図１実施例に示す注目領域抽出装置の処理の一
部を示すフロー図である。
部を示すフロー図である。
【図５】図４に示すフロー図に従って注目領域を抽出す
る方法を示す図解図である。
る方法を示す図解図である。
【図６】ガボールフィルタを示す図解図である。
【図７】図１実施例に示す構図切り取り装置の処理の一
部を示すフロー図である。
部を示すフロー図である。
【図８】図７に示すフロー図に従って画像を切り取る場
合の位置情報を示す図解図である。
合の位置情報を示す図解図である。
【図９】図７に示すフロー図に従って画像を切り取る場
合に参照する画家の絵画画像および参照して切り取った
画像を示す図解図である。
合に参照する画家の絵画画像および参照して切り取った
画像を示す図解図である。
１０ …注目領域抽出装置を用いた自動構図決定装置
１２ …カメラ
１４ …画像生成装置
１６ …ビデオキャプチャ
１８ …画像接合装置
２０ …注目度抽出装置
２２ …構図切り取り装置
２４ …メモリ
フロントページの続き
(56)参考文献 特開 平11−205648（ＪＰ，Ａ)
特開 平８−294025（ＪＰ，Ａ)
特開 平10−243274（ＪＰ，Ａ)
特開 平10−111947（ＪＰ，Ａ)
田中昭二外２名，画像領域の物理的特
徴に基づく誘目度評価モデルの検討，電
気情報通信学会技術研究報告ＮＣ99−48
〜53，1999年10月22日，Ｖｏｌ． 99,
Ｎｏ． 383，ｐｐ． １−８
林正樹外２名，パノラマ画像を使った
仮想カメラシステム，テレビジョン学会
誌，1995年10月20日，Ｖｏｌ． 49，
Ｎｏ． 10，ｐｐ． 1315−1322
田中昭二外３名，Ｉｍａｇｅ Ｒｅ−
Ｃｏｍｐｏｓｅｒ： 画家の構図を利用
した被写体再構成システム，電気情報通
信学会技術研究報告ＭＶＥ98−98〜104,
1999年 ３月24日，Ｖｏｌ．98， Ｎ
ｏ． 684，ｐｐ． １−８
西山晴彦外３名，映像の知識に基づく
仮想空間演出，電子情報通信学会論文誌
Ｄ−ＩＩ，1998年 １月25日，Ｖｏｌ.
Ｊ81−Ｄ−11， Ｎｏ． １，ｐｐ.
146−155
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 1/00
Claims (8)
- 【請求項１】原画像の物理的特徴に基づいて誘目度を評
価する評価手段、 前記評価手段の評価結果に応じて前記注目領域を抽出す
る抽出手段、 基準構図を有する基準画像に対応する画像データ、被写
体の形状データおよび被写体の位置データを含む、基準
画像相関データを保持する保持手段、および 前記基準画
像相関データを参照して前記注目領域の画像を原画像か
ら切り取る切取手段 を備える、自動構図決定装置。 - 【請求項２】前記保持手段は複数の前記基準画像に関す
る基準画像相関データを保持し、 前記注目領域の画像に適合した前記基準画像相関データ
を選択する選択手段をさらに備える 、請求項１記載の自
動構図決定装置。 - 【請求項３】前記物理的特徴は色の異質度を含む、請求
項１または２記載の自動構図決定装置。 - 【請求項４】前記物理的特徴は形の異質度、面積の異質
度およびテクスチャの異質度をさらに含み、 前記評価手段は、４つの異質度のうち少なくとも１つの
異質度に基づいて前記誘目度を評価する 、請求項２記載
の自動構図決定装置。 - 【請求項５】前記物理的特徴は色をさらに含む、請求項
１ないし４のいずれかに記載の自動構図決定装置。 - 【請求項６】前記物理的特徴は前記原画像における領域
の面積および空間周波数をさらに含む、請求項４記載の
自動構図決定装置。 - 【請求項７】所望の映像を撮影する撮影手段、および前
記映像に基づいて前記原画像を生成する画像生成手段を
さらに備える、請求項１ないし６のいずれかに記載の自
動構 図決定装置。 - 【請求項８】前記撮影手段はカメラ、および前記カメラ
を回転駆動する駆動手段を含み、 前記画像生成手段は前記カメラで撮影される前記映像を
１フレーム毎に接合する接合手段を含む、請求項７記載
の 自動構図決定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30688499A JP3482923B2 (ja) | 1999-10-28 | 1999-10-28 | 自動構図決定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30688499A JP3482923B2 (ja) | 1999-10-28 | 1999-10-28 | 自動構図決定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001126070A JP2001126070A (ja) | 2001-05-11 |
| JP3482923B2 true JP3482923B2 (ja) | 2004-01-06 |
Family
ID=17962421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30688499A Expired - Fee Related JP3482923B2 (ja) | 1999-10-28 | 1999-10-28 | 自動構図決定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3482923B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8902257B2 (en) | 2010-09-16 | 2014-12-02 | Kabushiki Kaisha Toshiba | Apparatus and method for producing a thumbnail image including a magnified characteristic region and another deformed region and non-transitory computer-readable medium thereof |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004199248A (ja) * | 2002-12-17 | 2004-07-15 | Seiko Epson Corp | 画像レイアウト装置、画像レイアウト方法、及びプログラム |
| JP2004361987A (ja) * | 2003-05-30 | 2004-12-24 | Seiko Epson Corp | 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法 |
| US7035439B2 (en) * | 2003-07-30 | 2006-04-25 | Xerox Corporation | System and method for measuring and quantizing document quality |
| JP4396430B2 (ja) | 2003-11-25 | 2010-01-13 | セイコーエプソン株式会社 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
| EP1544792A1 (en) * | 2003-12-18 | 2005-06-22 | Thomson Licensing S.A. | Device and method for creating a saliency map of an image |
| JP4207883B2 (ja) | 2004-03-24 | 2009-01-14 | セイコーエプソン株式会社 | 視線誘導度算出システム |
| JP4632830B2 (ja) * | 2004-08-19 | 2011-02-16 | 三菱電機株式会社 | 画像検索方法及び画像検索装置 |
| JP4639754B2 (ja) * | 2004-11-04 | 2011-02-23 | 富士ゼロックス株式会社 | 画像処理装置 |
| JP4752409B2 (ja) * | 2005-09-09 | 2011-08-17 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4765540B2 (ja) * | 2005-10-20 | 2011-09-07 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4650297B2 (ja) * | 2006-02-23 | 2011-03-16 | セイコーエプソン株式会社 | カメラ、カメラの制御方法、プログラムおよび記録媒体 |
| JP4936816B2 (ja) * | 2006-08-02 | 2012-05-23 | 三洋電機株式会社 | 撮像装置及び同時表示制御方法 |
| JP2009245406A (ja) * | 2008-04-01 | 2009-10-22 | Fujifilm Corp | 画像処理装置およびそのプログラム |
| KR101539043B1 (ko) | 2008-10-31 | 2015-07-24 | 삼성전자주식회사 | 인물 구도 제안 영상 촬영 장치 및 방법 |
| JP4775671B2 (ja) | 2008-12-26 | 2011-09-21 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4844657B2 (ja) * | 2009-07-31 | 2011-12-28 | カシオ計算機株式会社 | 画像処理装置及び方法 |
| JP2011035636A (ja) * | 2009-07-31 | 2011-02-17 | Casio Computer Co Ltd | 画像処理装置及び方法 |
| EP2515206B1 (en) * | 2009-12-14 | 2019-08-14 | Panasonic Intellectual Property Corporation of America | User interface apparatus and input method |
| JP5499818B2 (ja) * | 2010-03-25 | 2014-05-21 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
| CN102779338B (zh) * | 2011-05-13 | 2017-05-17 | 欧姆龙株式会社 | 图像处理方法和图像处理装置 |
| WO2012169288A1 (ja) * | 2011-06-06 | 2012-12-13 | 富士フイルム株式会社 | 画像加工装置、複眼撮像装置、画像加工方法及びプログラム |
| JP5000781B1 (ja) * | 2011-11-09 | 2012-08-15 | 楽天株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体 |
| JP5731033B2 (ja) * | 2014-02-26 | 2015-06-10 | オリンパス株式会社 | 画像処理装置、電子機器、及びプログラム |
| CN105225197A (zh) * | 2015-09-14 | 2016-01-06 | 北京金山安全软件有限公司 | 一种图片裁剪方法及装置 |
-
1999
- 1999-10-28 JP JP30688499A patent/JP3482923B2/ja not_active Expired - Fee Related
Non-Patent Citations (4)
| Title |
|---|
| 林正樹外２名，パノラマ画像を使った仮想カメラシステム，テレビジョン学会誌，１９９５年１０月２０日，Ｖｏｌ． ４９， Ｎｏ． １０，ｐｐ． １３１５−１３２２ |
| 田中昭二外２名，画像領域の物理的特徴に基づく誘目度評価モデルの検討，電気情報通信学会技術研究報告ＮＣ９９−４８〜５３，１９９９年１０月２２日，Ｖｏｌ． ９９， Ｎｏ． ３８３，ｐｐ． １−８ |
| 田中昭二外３名，Ｉｍａｇｅ Ｒｅ−Ｃｏｍｐｏｓｅｒ： 画家の構図を利用した被写体再構成システム，電気情報通信学会技術研究報告ＭＶＥ９８−９８〜１０４，１９９９年 ３月２４日，Ｖｏｌ．９８， Ｎｏ． ６８４，ｐｐ． １−８ |
| 西山晴彦外３名，映像の知識に基づく仮想空間演出，電子情報通信学会論文誌Ｄ−ＩＩ，１９９８年 １月２５日，Ｖｏｌ． Ｊ８１−Ｄ−１１， Ｎｏ． １，ｐｐ． １４６−１５５ |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8902257B2 (en) | 2010-09-16 | 2014-12-02 | Kabushiki Kaisha Toshiba | Apparatus and method for producing a thumbnail image including a magnified characteristic region and another deformed region and non-transitory computer-readable medium thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001126070A (ja) | 2001-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3482923B2 (ja) | 自動構図決定装置 | |
| CN106462944B (zh) | 高分辨率全景vr生成器及方法 | |
| US7821570B2 (en) | Adjusting digital image exposure and tone scale | |
| US7424218B2 (en) | Real-time preview for panoramic images | |
| US8073318B2 (en) | Determining scene distance in digital camera images | |
| JP5395053B2 (ja) | パンクロマティック画素を使用するエッジマッピング | |
| JP5016541B2 (ja) | 画像処理装置および方法並びにプログラム | |
| JP5291084B2 (ja) | パンクロマティック画素を組み込むエッジマッピング | |
| US20040062439A1 (en) | Method and system for generating a foreground mask for a composite image | |
| US20060152596A1 (en) | Noise cleaning sparsely populated color digital images | |
| JP2002514359A (ja) | モザイク画像を作成する方法及び装置 | |
| WO2005122089A1 (ja) | 画像処理方法および画像処理装置、画像拡大方法、サーバークライアントシステム、並びに表示端末 | |
| CN105915909A (zh) | 一种高动态范围图像分层压缩方法 | |
| CN107018335A (zh) | 图像拼接方法、装置及终端 | |
| CN109074637A (zh) | 用于从多个相应的输入图像通道生成输出图像的方法和系统 | |
| CN108154471A (zh) | 一种用于遥感影像拼接的方法与装置 | |
| JP2004240622A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| Weibel et al. | Contrast-enhancing seam detection and blending using graph cuts | |
| JP2004234069A (ja) | 画像処理方法、画像処理装置、及びプログラム | |
| US20070126876A1 (en) | Locating digital image planar surfaces | |
| CN113409247A (zh) | 一种多曝光融合图像质量评价方法 | |
| JP4046973B2 (ja) | 情報処理方法および画像混合装置 | |
| WO2019023957A1 (zh) | 一种智能终端的图像拍摄方法及图像拍摄系统 | |
| CN114022562A (zh) | 一种保持行人完整性的全景视频拼接方法和装置 | |
| JP2004242068A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030916 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081017 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091017 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101017 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101017 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |