JP4741916B2 - 画像処理装置、画像処理方法及び該方法を実行するための画像処理プログラムを格納したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は画像処理装置、画像処理方法及び該方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記録媒体に関し、詳細には大きな画像を分割して小さな表示面積で表示する画像処理方法に関する。

１つの大きな画像を、PDAや携帯電話に搭載されるような小さな表示器に表示する場合、通常、縮小処理もしくはレイアウト変更処理が行われる。この縮小処理とは、ビットマップ画像であれば画素の間引きを行い、文字画像であれば小ポイント文字への変換を意味する。また、レイアウト変更処理とは、各オブジェクトの配置を変えたり、表示器の大きさに合わせ文字列に折り返しを挿入したりする処理を意味する。しかし、これらの従来技術には、いくつか問題が存在する。

先ず、縮小処理には、縮小率が大きい場合、画像内容が判読しづらくなる欠点がある。例えば、新聞の１面画像を携帯電話（2.2インチ程度）に縮小表示しても、ほとんど内容を理解することはできない。本文の文字などは、表示器の解像度（通常200ppi程度）で表現できないこともあるが、たとえ高解像度の表示器であっても、人間の視覚能力を超えた小ささとなってしまうからである。このように縮小率が大きい場合、単純な縮小処理だけでは、好ましい表示を行うことができない。

次に、レイアウト変更処理には、ユーザの操作が煩雑となる欠点がある。例えば、インターネットのホームページを携帯電話のブラウザで表示する際、レイアウトを縦長に変更する処理が行われるが、横方向のスクロールは不要なものの、縦方向に非常に長いスクロールを行わなければならない。一方向に読み進む分には問題ないが、ジャンプ（順方向、逆方向とも）する場合、スクロール操作は非常に煩雑なものとなる。

そこで、１つの大きな画像が、多くのオブジェクト（文字、図形、写真など）を含んだものであれば、オブジェクト１つごと、あるいは、意味的につながりの強い複数のオブジェクト群ごとに画像を分割し、各分割画像を表示器のほぼ同じ位置に、時間をずらして表示することが考えられる。このような画像を分割して表示する技術は、従来よりいくつか提案されている。例えば、特許文献１では、画像をタイル状に分割し、意味的に重要なタイルから順に表示する技術が示されている。これにより、画像内容を表示の途中段階で早期に把握することができる。また、特許文献２では、画像を複数に分割し、各分割画像を順に短時間表示することで、視覚残像効果から全体の画像を知覚させる技術が示されている。これにより、コンテンツ画像の二次的な利用を防止することができる。
特開２０００−０６７２２０号公報 特開２００３−２６４８１６号公報

しかしながら、これらの特許文献１，２はいずれも、各分割画像を、表示器の異なる位置に表示するものであり、上述した大きな画像を小さな表示装置で表示する際の上記問題点を解決することができない。

本発明は上記問題点を解決するためのものであり、画像内容の判読性を保ちつつ、容易な操作で表示ができる、画像処理装置、画像処理方法及び該方法を実行するための画像処理プログラムを格納したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

前記問題点を解決するために、本発明の画像処理装置は、複数のオブジェクトを含んだ静止画像に対する画像処理を施す。そして、本発明の画像処理装置は、静止画像から複数のオブジェクトを分割する画像分割手段と、画像分割手段によって分割された各オブジェクトに画像の属性を付与する属性付与手段と、属性付与手段によって付与された属性に基づいて、分割された各オブジェクトを表示フレームに配分するコマ割り手段とを具備している。よって、画像内容の判読性を保ちつつ、容易な操作で表示ができる。

また、コマ割り手段は、属性付与手段によって付与された属性に基づいて、同一の表示フレームに任意の数のオブジェクトを配分してオブジェクトの重ね形態を設定することにより、意図的に関連のあるオブジェクト同士は同一の表示フレームに表示して画像内容の判読性を保持できる。

また、コマ割り手段は、属性付与手段によって付与された属性に基づいて、オブジェクトの移動表示形態を設定することにより、判読性を向上できる。

また、コマ割り手段は、複数の表示フレームの表示順序をループ状になるように設定することにより、複数の表示フレームが自動で切り替わるので、小さな表示装置で操作が煩雑でない表示を行うことができる。

更に、属性付与手段によって付与された属性に基づき、表示フレームの表示持続時間を設定する表示持続時間設定手段を備えたことにより、画像内容を正しく認識することができる。

また、別の発明としての画像処理方法によれば、静止画像から複数のオブジェクトを分割し、分割された各オブジェクトに画像の属性を付与し、付与された属性に基づいて、分割された各オブジェクトを表示フレームに配分することに特徴がある。よって、画像内容の判読性を保ちつつ、容易な操作で表示ができる。更に、別の発明として、上記画像処理方法を実行するための画像処理プログラムを格納したコンピュータ読み取り可能な記録媒体に特徴がある。よって、既存のシステムを変えることなく、画像処理システムを汎用的に構築することができる。

本発明の画像処理装置は、大きな画像であっても、オブジェクト単位に分割し、各オブジェクトに付与された画像の属性に基づく意味的につながる順序に、異なる時間で表示するようにしているので、画像内容の判読性を保ちつつ、小さな表示面積で表示を行うことができる。複数の表示フレームの順序がループ状になっており、また複数の表示フレームが自動で切り替わるので、操作が煩雑でない表示を行うことができる。また、オブジェクトの属性に応じ表示持続時間を変えているので、画像内容を正しく認識することができる。

図１は本発明の一実施の形態例に係る画像処理装置の構成を示すブロック図である。同図に示す本実施の形態例の画像処理装置１００は、ＣＰＵ１０１と、ＣＰＵ１０１が実行する制御プログラムやその他のデータを格納するＲＯＭ１０２と、処理する画像データや実行プログラム等を展開する作業メモリであるＲＡＭ１０３と、スキャナであれば紙文書のスキャニングするスキャナ、撮像によって電子画像を得る機能を持つデジタルカメラなどの画像入力部１０４と、電子画像を紙にプリントする機能を持つ画像出力部１０５と、スイッチ、ボタン等の操作部１０６と、LED、LCD等の表示部１０７と、イーサネット（登録商標）、電話回線、無線等の回線との間でデータの送受信を行う回線部１０８と、ICカード、CD、DVD等の着脱可能な記憶部１０９と、ＣＰＵ１０１により作成した、あるいは画像入力部１０５又は回線部１０８から取り込んだ１つの大きな画像からオブジェクト単位で複数のオブジェクトに分割する画像分割部１１０と、画像分割部１１０により分割された各オブジェクトに文字、イメージなどの属性を付与する属性付与部１１１と、分割されたオブジェクトを表示フレームに配分すると共に表示フレームの表示順を設定するコマ割り部１１２と、属性に応じて表示持続時間を設定する表示持続時間設定部１１３とを含んで構成され、内部バス１１４を介してそれぞれ接続されている。

図２は本実施の形態例の画像処理装置によって処理する入力画像の一例を示す図である。同図に示す入力画像例とは１つの大きな画像の例を示している。これは、図１の画像入力部１０４又は回線部１０８から取り込んだ、あるいはＣＰＵ１０１によって画像処理装置内部で作成した画像データである。この１つの大きな画像は、図１の画像分割部１１０によってオブジェクト単位に分割され、分割された各オブジェクトには図１の属性付与部１１１によって属性が付与される。図３に図２の入力画像をオブジェクト単位で分割して属性を付与した例を示す。図３に示すように、図２の１つの大きな画像をＡ〜Ｄの４つのオブジェクトに分割し、オブジェクトＡとＢに文字、オブジェクトＣとＤにイメージと言う属性を付与されている。ここで、１つの大きな画像が、プリンタ画像（PostScriptのようなページ記述言語を解釈して作成した画像）や、構造化文書画像（PDFやHTMLなど）であれば、オブジェクト分割と属性付与は容易である。つまり、ページ記述言語又は構造化文書自体が既に属性付与され分割されたオブジェクトの集合体であるからである。しかし、紙文書のスキャニングで得たようなビットマップ画像であった場合、特別な判定処理が必要となる。例えば対象画像を２値化し、非背景とされた画素の分布から、判定する処理などを行う。これは非背景画素間の距離が所定値以内のものを統合し、その固まりの外接矩形を、オブジェクトとして抽出し、そのオブジェクト内の非背景画素の分布、特に連続性（ラン）の分布の特徴が、各属性の特徴（既知）と一致するか否かで、属性を付与する処理である。この処理の詳細な技術は特開平０３−１２６１８１号公報の第５頁右上欄の「（Ｉ）最適２値化処理手段２０の動作」などに示されている。

更に、各オブジェクトには、見る順序を付与する必要がある。見る順序とは、この画像全体の意味を理解するのに適切であろう順序のことである。各オブジェクトの位置関係、各オブジェクトの大きさ、各オブジェクトの属性（文字、グラフィック、写真など）などを元にした推定処理で、順序を付ける。例えば、特開平１１−２５００４１号公報では、画像の「レイアウト構造」と「論理構造」を解析し、順序付けを行っている。図３の例ならば、オブジェクトＡが画像最上方に位置し、大サイズの文字属性を持つことから読み順を先頭に、オブジェクトＤは画像最下方に位置することから読み順を最後に、よってA→B→C→D、またはA→C→B→Dの順などとなる。

次に、本発明の画像処理装置におけるコマ割り部の処理について説明する。図１のコマ割り部１１２によるコマ割り処理とは、各オブジェクトを、複数の表示フレームに配分する処理である。図４〜図７にコマ割り処理結果の例を示す。例えば図４で、第１〜４の表示フレームは、この順に表示が切り替わることを表している。図４では、１つのオブジェクトを１つの表示フレームに割り当てている。表示が切り替えわる順序は、先に決定した「見る順序」に従う。この例では、各オブジェクトを縦と横の長さ比率を保持した状態で、フレームいっぱいに表示するような、変倍処理を施している。このように横長のオブジェクトＡ，Ｂ，Ｄでは、表示フレームの横方向の長さと、オブジェクトの横方向の長さに基づき、オブジェクトの表示倍率を決定している。例えば、表示フレームの横方向が３００画素で、オブジェクトの表示倍率が３０００画素であれば、縦横ともに１／１０に縮小処理した画像を表示することになる。

ところで、「見る順序A→B→C→D」で隣り合うオブジェクトＡ，Ｂは、上述の変倍処理の後、縦方向の長さを合わせても、なお表示フレームの縦方向に収まるので、図５のように、１つの表示フレームに２つのオブジェクト（図５の第１の表示フレームは同じ属性（文字と文字）の例）を割り当てることもできる。このように表示フレームと各オブジェクトの大きさに基づき、１フレーム内のオブジェクトの数を決定している。また、「見る順序A→C→B→D」で、隣り合うオブジェクトＡ，Ｃは、異なる属性（文字とイメージ）を持っているので、図６のように、１つの表示フレームに２つのオブジェクトを割り当て、重ねて表示することもできる。表示を重ねると通常、内容が理解しづらくなる障害が生じるが、属性が同じ（文字と文字、イメージとイメージ）場合に比べ、異なっている場合の方が、その障害の程度は小さい。また、文字オブジェクトを上に重ねる方が、通常好ましい結果が得られる。次に、図５の例では、文字のオブジェクトＡを透明度０（完全上書き）で、イメージのオブジェクトＣの上に重ねている。このように見る順序で隣り合うオブジェクトの属性に基づき、オブジェクトの重ね形態を決定している。

図７はオブジェクトが表示フレームの中で動く例を示す図である。同図に示すように、文字のオブジェクトＢは、文字数の多い文章と言う属性を持っているので、これを折り返しのない１行にして、電光掲示板のように、例えば右から左に動かして表示することもできる。このように、オブジェクトの属性に基づき、オブジェクトの動かし方を決定している。

以上説明したように、複数の表示フレームを一列に順序付けしていると、最終の表示フレームから再び先頭の表示フレームに表示を戻す場合、全ての表示フレームを表示しないと、先頭の表示フレームにたどり着けない。この問題を解決するため、最終の表示フレームの次を先頭の表示フレームとする、すなわち順序をループ状にする方法がある。具体的には、上述の「見る順序」の推定処理の結果、読み順の最後としたオブジェクトＤの次に、読み順の先頭としたオブジェクトＡをつなげる処理となる。図８は図４の順序をループ状にした例を示す図である。ここでは、最終の表示フレームである第４の表示フレームと先頭の表示フレームである第１の表示フレームの区切りが認識できるように、第０の表示フレームを挿入してある。なお、同図では、第０の表示フレームを「１つの大きな画像」全体を縮小したものとしている。また、上述のように、見る順序として、２つのもの（1→2→3→4と1→3→2→4）があった場合、0→1→2→3→4→0→1→3→2→4を１つのループとしてもよい。

なお、表示フレームの切り替えは、ユーザの指示で行わせてもよいが、自動（アニメーション）で行ってもよい。ところが、自動で行う場合、各表示フレームの表示持続時間を決定する必要がある。そこで、図１の表示持続時間設定部１１３は、オブジェクトの属性に基づき、表示持続時間を決定する。通常、イメージのオブジェクトは、短時間で認識できるが、文字のオブジェクトは、視線を移動して読む必要があるため、認識に時間がかかる。このためイメージのオブジェクトには短めの表示持続時間を、文字のオブジェクトには長めの表示持続時間を設定する。イメージのオブジェクトの中でも、複雑度の低いものには、さらに短い時間を設定したり、文字のオブジェクトの中でも、文字数の多いものには、さらに長い時間を設定したりしてもよい。例えばイメージのオブジェクトの複雑度を、隣接画素間の画素値の差の累計で測り、これが所定値未満ならば例えば１秒、所定値以上ならば２秒とし、また文字のオブジェクトでは１文字当たり０．１秒などと設定する。図４の例であれば、第１の表示フレーム（文字、９文字）＝１秒、第２の表示フレーム（文字、５３文字）＝５秒、第３の表示フレーム（イメージ、単純）＝１秒、第４の表示フレーム（イメージ、複雑）＝２秒、などとなる。また、Macromedia Flashや、SVG(Scalable Vector Graphics)のような、ファイルフォーマットであれば、複数のオブジェクトを配分した複数の表示フレームと、各表示フレームの順序、各表示フレーム毎の表示持続時間などの情報を、１つのファイルに記述できる。

よって、本発明の画像処理装置によれば、このようなファイルを作成し、Internet ExplorerやOperaのようなブラウザを搭載したPDAや携帯電話に送信すれば、大きな画像を小さな表示器で観察することができる。

なお、本発明は以上の説明に限定するものではない。例えば、大きな画像を、大きな表示器の一部分（小さな表示面積）で表示する場合にも適用できる。また、上述の「１つの大きな画像」は複数ページの画像であってもよい。各表示フレームの切り替え表現方法（オーバーラップ、スライド、ワイプなど）も限定しない。

次に、図９は本発明の画像処理方法の各実施の形態例を実行するプログラムを起動するための具体的な装置の構成を示すブロック図である。つまり、同図は上記実施例における画像処理方法によるソフトウェアを実行するマイクロプロセッサ等から構築されるハードウェアを示すものである。同図において、画像処理システムはインターフェース（以下Ｉ／Ｆと略す）８１、ＣＰＵ８２、ＲＯＭ８３、ＲＡＭ８４、表示装置８５、ハードディスク８６、キーボード８７及びＣＤ−ＲＯＭドライブ８８を含んで構成されている。また、汎用の処理装置を用意し、ＣＤ−ＲＯＭなどの読取可能な記録媒体８９には、本発明の画像処理方法を実行するプログラムが記憶されている。更に、Ｉ／Ｆ８１を介して外部装置から制御信号が入力され、キーボード８７によって操作者による指令又は自動的に本発明のプログラムが起動される。そして、ＣＰＵ８２は当該プログラムに従って上述の画像処理方法に伴う画像処理を施し、その処理結果をＲＡＭ８４やハードディスク７８等の記憶装置に格納し、必要により表示装置８５などに出力する。以上のように、本発明の画像処理方法を実行するプログラムが記録した記録媒体を用いることにより、既存のシステムを変えることなく、画像処理システムを汎用的に構築することができる。

なお、本発明は上記実施の形態例に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形や置換可能であることは言うまでもない。

本発明の一実施の形態例に係る画像処理装置の構成を示すブロック図である。 本実施の形態例の画像処理装置によって処理する入力画像の一例を示す図である。 図２の入力画像をオブジェクト単位で分割して属性を付与した例を示す図である。 コマ割り処理結果の例を示す図である。 コマ割り処理結果の例を示す図である。 コマ割り処理結果の例を示す図である。 コマ割り処理結果の例を示す図である。 ループ状の表示フレームの例を示す図である。 本発明の画像処理方法の各実施の形態例を実行するプログラムを起動するための具体的な装置の構成を示すブロック図である。

符号の説明

１００；画像処理装置、１０１；ＣＰＵ、１０２；ＲＯＭ、
１０３；ＲＡＭ、１０４；画像入力部、１０５；画像出力部、
１０６；操作部、１０７；表示部、１０８；回線部、１０９；記憶部、
１１０；画像分割部、１１１；属性付与部、１１２；コマ割り部、
１１３；表示持続時間設定部、１１４；内部バス。

Claims (10)

1. 複数のオブジェクトを含んだ静止画像に対する画像処理を施す画像処理装置について、
   前記静止画像から複数の前記オブジェクトを分割する画像分割手段と、
   該画像分割手段によって分割された前記各オブジェクトに画像の属性を付与する属性付与手段と、
   該属性付与手段によって付与された前記属性に基づいて、分割された前記各オブジェクトを表示フレームに配分するコマ割り手段と
   を具備することを特徴とした画像処理装置。
2. 前記コマ割り手段は、前記属性付与手段によって付与された前記属性に基づいて、同一の前記表示フレームに任意の数の前記オブジェクトを配分して前記オブジェクトの重ね形態を設定する請求項１記載の画像処理装置。
3. 前記コマ割り手段は、前記属性付与手段によって付与された前記属性に基づいて、前記オブジェクトの移動表示形態を設定する請求項１記載の画像処理装置。
4. 前記コマ割り手段は、複数の前記表示フレームの表示順序をループ状になるように設定する請求項１記載の画像処理装置。
5. 前記属性付与手段によって付与された前記属性に基づき、前記表示フレームの表示持続時間を設定する表示持続時間設定手段を備えた請求項１記載の画像処理装置。
6. 複数のオブジェクトを含んだ静止画像に対する画像処理を施す画像処理方法について、
   前記静止画像から複数の前記オブジェクトを分割し、分割された前記各オブジェクトに画像の属性を付与し、付与された前記属性に基づいて、分割された前記各オブジェクトを表示フレームに配分することを特徴とした画像処理方法。
7. 付与された前記属性に基づいて、同一の前記表示フレームに任意の数の前記オブジェクトを配分して、前記オブジェクトの重ね形態を設定する請求項６記載の画像処理方法。
8. 複数の前記表示フレームの表示順序をループ状になるように設定する請求項６又は７に記載の画像処理方法。
9. 前記属性に基づき、前記表示フレームの表示持続時間を設定する請求項６〜８のいずれかに記載の画像処理方法。
10. 請求項６〜９のいずれかに記載の画像処理方法を実行するための画像処理プログラムを格納したコンピュータ読み取り可能な記録媒体。

Images