JP3700871B2

JP3700871B2 - 画像変換装置

Info

Publication number: JP3700871B2
Application number: JP31737795A
Authority: JP
Inventors: 雅文倉重
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-11-11
Filing date: 1995-11-11
Publication date: 2005-09-28
Anticipated expiration: 2015-11-11
Also published as: US6088487A; JPH09135385A; US6219459B1

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）第１の実施形態（図１〜図４）
（２）第２の実施形態（図５〜図８）
（３）第３の実施形態（図９〜図１１）
（４）他の実施形態
発明の効果
【０００２】
【発明の属する技術分野】
本発明は画像変換装置に関し、特に撮像画像等の原画像を線画風の画像や絵画風の画像に変換するものに適用して好適なものである。
【０００３】
【従来の技術】
画像に含まれる構造的特徴のほとんどは、含まれる対象物の輪郭や境界等のエツジ部分の線的特徴として捉えることができる。そして画像を線的特徴として捉え表現した線画は、見た人に心理的な効果を及ぼすとともに強烈な印象を与えることができる。このために画像の線画化は、映像分野において特殊効果の一手法として用いられている。
またクレヨン画や油絵のような絵画は、上記線画に色付けしたものといえ、芸術性や独特の趣を感じさせる。
【０００４】
【発明が解決しようとする課題】
従来、このような線画や絵画は、人間の手作業によつて作成され、コンピユータ等の機械的な手段を用いて作成するのには不向きとされていた。
また一般に動画（アニメーシヨン）は、時間的変化に応じて描かれた多数の線画又は絵画からなり、これも大勢の人間の手作業により作成されている。
ところが人間の手作業によつて線画や絵画を作成するのでは大変な手間と時間が必要であり、手軽に実現できる方法が望まれていた。
【０００５】
本発明は以上の点を考慮してなされたもので、原画像をリアルタイムで線画や絵画に変換することができる画像変換装置を提案しようとするものである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するため本発明の画像変換装置においては、エツジ検出手段によつて検出された入力画像のエツジ信号を正規化手段で正規化し、さらに中間階調の成分が少なくなるようにノンリニア変換したエツジ信号をキー信号として２つの信号を混合するようにする。これら処理はかけ算や加算といつた単純な処理で実現できるため、入力画像のうち明暗変化の大きいエツジだけを抽出した線画風の画像をリアルタイムで得ることができる。
【０００７】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【０００８】
（１）第１の実施形態
図１に、原画像を線画に変換する場合に用いて好適な画像変換装置の構成例を示す。画像変換装置１の各部は次のように構成されている。
エツジ検出回路２は入力画像ｆを与える入力画像信号Ｖ_INを入力し、そのエツジを検出する回路である。ここではエツジ検出回路２として、人間が認識するエツジは濃淡が急激に変化する箇所であるという特性を利用するものを用いる。すなわち明るさの微分値を用いて検出するようになされている。
エツジ検出回路２は、１次元エツジ検出回路２Ａにおいて入力画像を水平方向（ｘ方向）及び垂直方向（ｙ方向）のそれぞれについて微分する。図中ではｘ方向についての微分をｆx で示し、またｙ方向についての微分をｆy で示している。
【０００９】
なおコンピユータを用いたデイジタル画像処理においては、微分演算だと計算が複雑になるので、実際には微分の代わりに差分演算を用いるようになされている。この例としてソーベルのオペレータを次式に示す。ただし各係数は、３×３の画素に掛ける係数である。
【数１】

【００１０】
エツジレベル検出回路２Ｂは、かかるオペレータによる演算結果を入力し、次式に基づいて、１次微分の大きさＥを求める。
【数２】

なお１次微分の大きさＥは明るさの変化が大きい部分で大きな値をとる一方、明るさの変化が平坦な部分で小さな値をとる。従つてこの値Ｅにより入力画像ｆにおける濃淡変化の大きい部分が分かる。
【００１１】
正規化回路３は入力画像ｆから求めたエツジのうち線とみなす部分を抽出する回路である。ここで線とみなすレベルを与えるしきい値Ｔh は任意に設定し得、外部より正規化回路３に与えられるようになされている。正規化回路３は当該しきい値Ｔh に基づいて、次式
【数３】

のように演算し、入力画像ｆより求められたエツジのうち、しきい値Ｔh を越える部分の値を「１」に飽和させる。
【００１２】
ノンリニア変換回路４は正規化回路３における正規化処理により線とみなされたレベルに近い中間レベルのエツジを少なくすることにより線が一層はつきり見えるようにするための回路であり、次式
【数４】

で与えられる変換曲線に基づいて信号レベルの分布を変換するようになされている。なお図２に（４）式で与えられるノンリニア変換曲線を示す。
【００１３】
ゲイン調整回路５は、ノンリニア変換された線画情報ｙ_out' の振幅を制御信号Ｓ_CONT1に基づいて増減する回路であり、この振幅制御により線画を構成する線の濃さを調整できるようになされている。例えばゲイン調整回路５においてゲインを小さくすれば線を薄くでき、ゲインを大きくすれば線を濃くできる。なお振幅変換後の信号はキー信号Ｋとして混合回路６に与えられる。
【００１４】
混合回路６はキー信号Ｋに基づいて第１及び第２の入力信号Ａ及びＢを、次式
【数５】

に基づいて混合し、出力する回路である。ここで混合回路６が混合する第１及び第２の入力信号Ａ及びＢはともに全面が単一色であつても良く、一方は線画を与える線の色信号であつて他方は背景画像となる画像信号であつても良い。例えば第２の入力信号Ｂとしてキヤンバスの絵を入れると、混合回路６の出力からはキヤンバス上に線画を描いたような現実味のある画像を得ることが可能となる。
【００１５】
以上の構成において、画像変換装置１による画像の変換処理例を説明する。なおここでは図３の左上段部分の画像が入力画像ｆとしてエツジ検出装置に入力されるものとし、第１及び第２の入力信号Ａ及びＢとしてそれぞれ白色及び灰色が入力されるものとする。
画像変換装置１は、入力画像ｆのエツジ検出、正規化、ノンリニア変換、ゲイン調整の各過程を経て、大小様々なエツジを画面全体に含む入力画像ｆから明るさの変化が大きいエツジ部分だけ（すなわち被写体を形どる基本線だけ）を抜き出したキー信号Ｋを得、混合回路６の出力端より灰色の下地（第２の入力信号Ｂ）に白色の線画（第１の入力信号Ａ）を重ねたような画像を出力する。この出力の一例を示したのが図４である。
【００１６】
なお線画を構成する線としてより大まかな輪郭に近いものを増やしたい場合には、ノンリニア変換回路４の変換特性曲線の指数ｎを大きくし、中間レベルの線を減らせば良く、その反対にもう少し中間レベルの線を増やしたいのであれば指数ｎを小さくすれば良い。
また線画をよりはつきり見せたいのであればゲインを上げれば良く、下地の上に淡く線画が見えるようにしたいのであればゲインを下げれば良い。
いずれにしてもユーザの感性に合致するような線画を簡単に作成することが可能となる画像変換装置を実現することができる。
【００１７】
またこのような特殊効果を与える作業は、より良い作品を得るために何度も試行錯誤を繰り返すのが通常であり、各パラメータを調整した結果をリアルタイムで確認できることが重要であるが、本例に示す画像変換装置１は大部分を掛け算器と加算器といつた簡単なハードウエアで実現できるのに加え、主要部であるノンリニア変換部についてもＲＯＭテーブルで実現できるので、低価格でかつリアルタイム処理できる装置を容易に作ることができる。これにより多くの人々にとつても使い易い特殊効果装置を実現することができる。
【００１８】
（２）第２の実施形態
図１との対応部分に同一符号を付して示す図５において、原画像を絵画風に変換する場合に用いて好適な画像変換装置の構成例を示す。
画像変換装置１１のうち図１と異なる部分について説明する。なおこの画像変換装置１１の場合には、入力画像ｆについて抽出したエツジ成分Ａと、入力画像ｆの色成分Ｂとを混合回路６で所定の割合Ｋで混合して出力するようになされている。
【００１９】
まず正規化回路３の後段に設けられているノンリニア変換回路１２について説明する。この絵画変換に用いられるノンリニア変換は線画変換の場合とは変換特性のカーブの向きが異なり、図６（Ａ）に示すような上に凸のカーブが用いられる。この変換は本来のエツジよりもエツジを濃く見せるような特性変換であり、人間が書いたのと同様に線の濃さを一定にすることを可能とする変換である。
このとき変換特性を与える変換曲線は、次式
【数６】

で与えられる。
【００２０】
反転コントロール回路１３はノンリニア変換回路１２によつて特性変換されたエツジ情報の明暗を逆転させる回路である。なおノンリニア変換回路１２と反転コントロール回路１３との合成変換特性は図６（Ｂ）で表される。この反転コントロールによつて、明度の高い部分が黒い線に変換される。
レベル調整回路１４は線の濃さを決める回路であり、反転コントロール回路１３から入力される反転出力ｙ_out”のレベルを制御信号Ｓ_CONT2によつて決定するようになされている。
【００２１】
遅延回路１５はエツジ部分についての処理が終了して混合回路６に入力されるタイミングと原画像である入力画像ｆが混合回路６に入力されるタイミングとを一致させる回路である。
なおこの例に示す混合回路６は、Ｙ（輝度）信号については第１の入力信号Ａと第２の入力信号Ｂとを混合して出力し、Ｃ（色）信号については第２の入力信号Ｂのゲインを調整して出力するようになされている。因に第１の入力信号Ａと第２の入力信号Ｂとの混合比Ｋは外部から与えることができるようになされている。このように混合比を自由に調整できるので混合回路６の出力端からは入力画像ｆそのものから絵画風の画像まで連続的に変化させることができる。
【００２２】
以上の構成において、画像変換装置１１による画像の変換処理例を説明する。なおここでは図７の画像が入力画像ｆとしてエツジ検出回路２に入力されるものとする。
画像変換装置１１は、入力画像ｆのエツジ検出、正規化、ノンリニア変換、反転コントロールの各過程を経てエツジの線が黒くはつきり見えるように変換し（第１の入力信号Ａ）、これを遅延回路１５で遅延させた色付きの入力画像ｆ（第２の入力信号Ｂ）と混合して出力端より出力する。このとき出力端からは図８に示すように、エツジ部分の線がはつきり分かるように縁どりされた画像が得られる。
【００２３】
なおエツジの線を増やしたい場合には、ノンリニア変換回路１２の変換特性曲線の指数ｎを大きくすれば良く、その反対にもう少し原画に近い線を増やしたいのであれば指数ｎを小さくすれば良い。
またエツジの線の濃さを濃くしたいのであればゲインを上げれば良く、薄くしたいのであればゲインを下げれば良い。
またエツジの線を強調した絵画風画像を得たいのであれば混合比Ｋの値を大きくすれば良く、入力画像ｆに近い画像を得たいのであれば混合比Ｋの値を小さくすれば良い。いずれにしてもユーザの感性に合致するような絵画を簡単に作成することを可能にできる画像変換装置を実現することができる。
【００２４】
またこの画像変換装置１１についても大部分を掛け算器と加算器といつた簡単なハードウエアで実現でき、また主要部であるノンリニア変換部についてもＲＯＭテーブルで実現できるので、低価格かつリアルタイム処理できる装置を容易に作ることができる。
【００２５】
（３）第３の実施形態
図１及び図５と対応する部分に同一符号を付して示す図９において、原画像をレリーフ風に変換する場合に用いて好適な画像変換装置の構成例を示す。
続いて画像変換装置２１の各部のうち図５と異なる部分について説明する。なおこの画像変換装置２１の場合には、入力画像ｆについてエツジ成分を抽出するための回路部分、すなわちエツジ検出回路２２に特徴があり、被写体に当たる光の向きや被写体表面の凹凸関係を自由に変更できるようになされている。
【００２６】
エツジ検出回路２２の入力段及び出力段には、先に説明した実施の形態と同様、１次元エツジ検出回路２Ａとエツジレベル検出回路２Ｂとが設けられているが、この例に示すエツジ検出回路２２はこれら２つの回路の中間に符号コントロール／ゲインコントロール回路２２Ａとオフセツト付加回路２２Ｂとが設けられていることに特徴がある。
ここで符号コントロール／ゲインコントロール回路２２Ａは、前段にある１次元エツジ検出回路２Ａから入力されるｆx 及びｆy の符号を外部からの制御信号Ｓ_CONT4に基づき自由に制御できるようになされている。
【００２７】
これを図１０を用いて説明する。なお図１０は、入力画像ｆを各方向に微分した微分ｆx 及びｆy の符号の正負の組み合わせについて得られる中間調画像を表すものである。ここで左上段の画像は（ｆx 、ｆy ）の符号の組み合わせが（＋、＋）のもの、右上段の画像は組み合わせが（−、＋）のもの、また左下段の画像は組み合わせが（−、−）であるもの、右下段の画像は組み合わせが（＋、−）のものであるがそれぞれ光の向きや凹凸の組み合わせが異なつている。
【００２８】
例えば符号コントロール／ゲインコントロール回路２２Ａにおいて、水平方向のエツジを与えるｆx の符号を反転すれば、上段にある左右２枚の画像の関係や下段にある左右２枚の画像の関係のように、光の方向を反対にしたイメージの画像を作ることができる。因に左側の画像は左側から右側に光が入射しているのに対し、右側の画像は右側から左側に光が入射されている。
【００２９】
また符号コントロール／ゲインコントロール回路２２Ａにおいて、水平方向のエツジを与えるｆx と垂直方向のエツジを与えるｆy の符号の組を共に入れ替えた関係にすると、すなわち（＋、＋）→（−、−）や（−、＋）→（＋、−）のように入れ替えた関係にすると、図１０のうち同じ側にある上段と下段の２枚の画像の関係のように、光の方向は同じで凹凸が反対の画像を作ることができる。このようにエツジを与えるｆx とｆy の符号をコントロールすることにより視覚的効果の異なる４種類の画像に自由に変換できる。またその際、重み付けを行えばその雰囲気についても自由な設定が可能となる。
【００３０】
続いてオフセツト付加回路２２Ｂについて説明する。オフセツト付加回路２２Ｂは、図１１に示すように、出力が負の部分（すなわち影の部分）が正の値を値をもつ（すなわち光が当たつている）ように効果を与えることができる回路である。なおオフセツト量は外部入力される制御信号Ｓ_CONT5によつて調整できるようになつている。
以上がエツジ検出回路２２の構成である。かかるエツジ検出回路２２の処理の後、画像変換装置２１は、正規化回路３によつて信号を正規化し、ノンリニア変換し、レベル変換する。なおノンリニア変換は図２に示した特性曲線に基づいて行われる。このノンリニア変換とノンリニア変換前のオフセツト付加により、金属光沢の質感を出力画像に付加することが可能になる。すなわち輝度が高く細いエツジを実現できる。
【００３１】
これら以外は基本的に図５に示した画像変換装置１１の場合と同様であるが、この画像変換装置２１の場合、レベル調整回路１４においてレベルを調整することにより凹凸の深さを連続的に変化させるといつた調整もできる。
例えばレベルを徐々に上げれば、図３右上の画像→左下の画像→右下の画像というふうに凹凸が深くなるように調整することができる。
なお画像変換装置２１は入力画像ｆの色信号Ｃ又は外部入力色信号Ｃ１のいずれかをスイツチＳＷで選択し、当該選択された色信号を加算器２３で加算して出力するようになされている。
このようにすればレリーフ画に入力画像の色を付して出力することもできるし、また外部入力色信号Ｃ１で指定した色を付けて出力することもできるようになつている。
【００３２】
以上の構成において、画像変換装置２１による画像の変換処理例を説明する。なおここでは図３の左上に示す画像が入力画像ｆとしてエツジ検出回路２２に入力されるものとする。
画像変換装置２１は、入力画像ｆのエツジ検出、符号及びゲインコントロール、オフセツト付加、エツジレベル検出、正規化、ノンリニア変換及びレベル調整の各過程を経て、被写体に当たる光の向き、凹凸の向き、金属光沢の強弱、エツジの解像度の増減、凹凸の深さを調整し、ユーザの感性に合致するような雰囲気のレリーフ画を簡単に得ることができる。
【００３３】
またこの画像変換装置２１についても大部分を掛け算器と加算器といつた簡単なハードウエアで実現でき、また主要部であるノンリニア変換部についてもＲＯＭテーブルで実現できるので、低価格かつリアルタイム処理できる装置を容易に作ることができる。
【００３４】
（４）他の実施形態
なお上述の例においては、いずれの画像変換装置についても掛け算器や加算器又ＲＯＭテーブルで構成する場合について述べたが、本発明はこれに限らず、ソフトウエア上の処理によりこれら各画像変換装置の各処理を実行するようにしても良い。
また上述の例においては、ノンリニア変換を実現する変換特性曲線を（４）式及び（６）式で与える場合について述べたが、本発明はこれに限らず、他のノンリニア曲線を用いて輝度を変化させるようにしても良い。
【００３５】
さらに上述の例においては、差分演算子の例としてソーベルのオペレータを用いる場合について述べたが、本発明はこれに限らず、次式
【数７】

で与えられるオペレータを用いても良い。
さらに上述の例においては、それぞれ各特殊効果の専用装置として実現する場合について述べたが、本発明はこれに限らず、図１、図５及び図９に示す回路に相当する機能部を全て又は組み合わせて有する装置に広く適用し得る。
【００３６】
【発明の効果】
上述のように本発明によれば、エツジ検出手段によつて検出された入力画像のエツジ信号を正規化手段で正規化し、さらに中間階調の成分が少なくなるようにノンリニア変換したエツジ信号をキー信号として２つの信号を混合することにより、入力画像のうち明暗変化の大きいエツジだけを抽出したような線画風画像をリアルタイムで得ることができる画像変換装置を実現できる。
【図面の簡単な説明】
【図１】本発明に係る画像変換装置の一実施例を示すブロツク図である。
【図２】ノンリニア変換特性を示す特性曲線図である。
【図３】入力画像とその変換後の画像を示す写真である。
【図４】線画変換後の画像を示す写真である。
【図５】本発明に係る画像変換装置の一実施例を示すブロツク図である。
【図６】ノンリニア変換特性及びその反転処理の説明に供する特性曲線図である。
【図７】入力画像を示す写真である。
【図８】絵画変換後の画像を示す写真である。
【図９】本発明に係る画像変換装置の一実施例を示すブロツク図である。
【図１０】レリーフ変換後の画像を示す写真である。
【図１１】オフセツトの付加の説明に供する略線図である。
【符号の説明】
１、１１、２１……画像変換装置、２、２２……エツジ検出回路、２Ａ……１次元エツジ検出回路、２Ｂ……エツジレベル検出回路、２２Ａ……符号コントロール／ゲインコントロール回路、２２Ｂ……オフセツト付加回路、３……正規化回路、４、１２……ノンリニア変換回路、５……ゲイン調整回路、６……混合回路、１３……反転コントロール回路、１４……レベル調整回路、１５……遅延回路、２３……加算器。

Claims

入力画像のエツジを検出するエツジ検出手段と、
上記エツジ検出手段によつて検出されたエツジ信号を正規化して出力する正規化手段と、
上記正規化されたエツジ信号のうち中間階調の成分が少なくなるようにノンリニア変換するノンリニア変換手段と、
上記ノンリニア変換されたエツジ信号をキー信号として２つの信号を混合して出力する混合手段と
を具えることを特徴とする画像変換装置。
上記２つの信号のうち一方は線の色を決定する信号であり、他方は背景画像を決定する信号である
ことを特徴とする請求項１に記載の画像変換装置。
上記キー信号の振幅を外部から与えられる制御信号に基づいて増減し、上記混合手段に与えるゲイン調整手段
を具えることを特徴とする請求項１に記載の画像変換装置。
上記エツジ検出手段、上記正規化手段、上記ノンリニア変換手段及び上記混合手段における処理は、ソフトウエア上における演算処理によつて実現される
ことを特徴とする請求項１に記載の画像変換装置。
入力画像のエツジを検出するエツジ検出手段と、
上記エツジ検出手段によつて検出されたエツジ信号を正規化して出力する正規化手段と、
上記正規化されたエツジ信号のうち中間階調の成分が多くなるようにノンリニア変換するノンリニア変換手段と、
上記ノンリニア変換されたエツジ信号の明暗を反転して出力する反転手段と、
上記反転手段によつて反転された上記エツジ信号と、上記入力画像とを所定の比率で混合して出力する混合手段と
を具えることを特徴とする画像変換装置。
上記比率の値は外部からの制御により連続的に調整し得る
ことを特徴とする請求項５に記載の画像変換装置。
上記エツジ検出手段、上記正規化手段、上記ノンリニア変換手段、上記反転手段及び上記混合手段における処理は、ソフトウエア上における演算処理によつて実現される
ことを特徴とする請求項５に記載の画像変換装置。
入力画像のエツジを検出し、当該検出されたエツジが画面上凹方向のエツジか凸方向のエツジかを与える符号を自由に制御し得るエツジ検出手段と、
上記エツジ検出手段において符号が制御されたエツジ信号を正規化して出力する正規化手段と、
上記正規化されたエツジ信号のうち中間階調の成分が少なくなるようにノンリニア変換するノンリニア変換手段と、
上記ノンリニア変換されたエツジ信号と、色信号とを混合して出力する混合手段と
を具えることを特徴とする画像変換装置。
上記エツジ検出手段は上記入力画像のうち水平方向のエツジの凹凸方向を与える第１のエツジ信号の符号と、垂直方向のエツジの凹凸方向を与える第２のエツジ信号の符号とをそれぞれ独立に制御し得るようになされている
ことを特徴とする請求項８に記載の画像変換装置。
上記色信号は上記入力画像の色信号である
ことを特徴とする請求項８に記載の画像変換装置。
上記ノンリニア変換されたエツジ信号の振幅を外部から与えられる制御信号に基づいて増減し、上記混合手段に与えるゲイン調整手段
を具えることを特徴とする請求項８に記載の画像変換装置。
上記エツジ検出手段、上記正規化手段、上記ノンリニア変換手段及び上記混合手段における処理は、ソフトウエア上における演算処理によつて実現される
ことを特徴とする請求項８に記載の画像変換装置。