JP3879677B2 - Image replacement method for architectural images - Google Patents

Image replacement method for architectural images Download PDF

Info

Publication number
JP3879677B2
JP3879677B2 JP2003034336A JP2003034336A JP3879677B2 JP 3879677 B2 JP3879677 B2 JP 3879677B2 JP 2003034336 A JP2003034336 A JP 2003034336A JP 2003034336 A JP2003034336 A JP 2003034336A JP 3879677 B2 JP3879677 B2 JP 3879677B2
Authority
JP
Japan
Prior art keywords
image
area
information
displayed
button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003034336A
Other languages
Japanese (ja)
Other versions
JP2004246510A (en
Inventor
克行 青井
靖記 西森
清敏 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2003034336A priority Critical patent/JP3879677B2/en
Publication of JP2004246510A publication Critical patent/JP2004246510A/en
Application granted granted Critical
Publication of JP3879677B2 publication Critical patent/JP3879677B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は建築画像における画像張り替え方法関するものである。
【0002】
【従来の技術】
【特許文献1】
特開昭59−119473号公報
【特許文献2】
特開2002−163308号公報
【0003】
特許文献1には、2次元のグラフィックデータの画面上での2次元座標値を、斜視図用補助パターン上の3次元座標値に変換するシステムが開示されており、実施例や図において、2次元のグラフィックデータ内の4点を指定することにより、斜視図補助パターン上の点を3次元座標値として処理する技術が開示されている。
特許文献2には、バーチャルリアリティ空間内の3次元のオブジェクトが保持しているテクスチャを交換する技術が開示されている。
【0004】
従来より、建築の分野においては、建築CADに代表されるように、汎用コンピュータ上で間取り図面を入力することにより建物の設計を行い、設計後の出力を2次元または3次元の情報として表示するものが知られている。また同様に、インターネットを通してサーバにアクセスし、建物を設計し結果を3次元で表示するものとして特許文献2が知られている。このものは、クライアントとなるブラウザに3次元ビューアを備え、その3次元ビューア内に表現されるバーチャルリアリティ空間内に3次元のオブジェクトを配置するための仕組みを備えている。ここで1つ1つのオブジェクトは、3次元形状に関する形状情報や、その形状に貼り付けるテクスチャ情報などを保有しており、貼り付けるテクスチャを交換することにより、バーチャルリアリティ空間におけるオブジェクトの見え方を変更させることが可能となっている。
【0005】
一方で、デジタルカメラなどで撮像した画像を取り込み、取り込んだ画像内における変更したい領域を指定させ、その指定された領域の画像を別の画像と交換することにより表示される画像の見え方を変更するものがある。このようなソフトウェアでは、領域の指定において、変更したい領域の角を一点ずつ指定することにより領域を指定するか、長方形を作成後にその頂点を移動することにより領域を指定するのが一般的な手法となっている。
【0006】
また、高機能なものになると、建物の角を6点指定させることにより、基準面を作成し、領域の指定の際に、長方形ではなく透視投影法に基づく形状を作成し張り替え作業を簡便化しているものも存在する。
【0007】
【発明が解決しようとする課題】
しかしながら、前述したように、基準面を指定する操作は、複雑でわかりにくいものであった。
本発明はかかる事情を鑑みて為したものであり、操作の簡単な建築画像における画像張り替え方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
請求項1の建築画像における画像張り替え方法にあっては、上記の課題を解決するために、ポインティングデバイスを少なくとも備える入力装置と、画像表示用のディスプレイを少なくとも備える出力装置と、画像ファイルを少なくとも格納可能な記憶装置と、前記各装置と接続され、メモリ上に出力装置に表示される画像を格納する画像作業領域を少なくとも備える情報処理装置とを少なくとも備えるコンピュータを用いて、あらかじめ撮像された建築画像を記憶装置から情報処理装置の画像作業領域に読み込み出力装置のディスプレイに表示するとともに、表示した画像内の任意の領域を入力装置のポインティングデバイスを用いて指定させ、指定された領域に応じてあらかじめ用意された画像と張り替えて表示する建築画像における画像張り替え方法において、前記領域を指定させる前に、入力装置のポインティングデバイス用いて基準点となる3点を入力させる基準点入力ステップと、入力された3点に基づき画像内の建物形状の基準面に関する情報を情報処理装置が作成する基準面作成ステップと、作成した基準面を入力装置のポインティングデバイスを用いて微調整して保持する面情報保持ステップとを備えるとともに、前記領域の指定の際に基準面に関する情報に応じて入力装置のポインティングデバイスを用いて領域を指定させる領域指定ステップを備え、前記3点を入力させる基準点入力ステップにおいて、入力装置のポインティングデバイスを用いて1点目が入力された際に1点目から表示した画像の鉛直方向に適当な長さの線分を描画するとともに、入力装置のポインティングデバイスを用いた2点目または3点目の入力に際し、当該点と1点目により生成される線分および前記線分とを隣り合う2辺とした四角形を基準面として描画する描画ステップを備えることを特徴とするものである。
【0009】
請求項2の発明によれば、請求項1に記載の描画ステップにおいて、前記基準面の描画の際に四角形とその内部をワイヤーフレーム方式で描画するようにしたことを特徴とする。
請求項3の発明によれば、請求項1または2のいずれかに記載の面情報保持ステップにおいて、各基準面の四角形で、前記2、3点目と1点目により生成される辺の各対辺の傾きを修正することで各基準面の形状を修正することにより調整を行うことを特徴とする。
請求項4の発明によれば、請求項1または2のいずれかに記載の面情報保持ステップにおいて、各基準面の上辺と下辺の延長線が交わる地平線の高さに関する情報を入力させることにより調整を行うことを特徴とする。
【0010】
請求項5の発明によれば、請求項1乃至4のいずれかに記載の方法において、前記3点の入力後、該3点を結ぶ線分のいずれかについて、画像における該当部分の現実の寸法を指定する寸法指定ステップを備えるとともに、前記あらかじめ用意された画像にかかる画像ファイル名とその実寸法を記憶した画像設定ファイルを備えることを特徴とする。
請求項6の発明によれば、請求項5に記載の方法において、前記画像設定ファイルは、指定された領域に引き伸ばして貼り付けるか、タイリングして貼り付けるかを選択する情報を備えることを特徴とする。
請求項7の発明によれば、請求項5に記載の方法において、前記あらかじめ用意された画像は、3次元形状情報を保有するオブジェクトとしたことを特徴とする。
【0011】
請求項8の発明によれば、請求項1乃至5のいずれかに記載の方法において、作成する領域の面の方向に関する情報を指定する面方向指定ステップを備え、前記領域指定ステップは、その面方向情報に応じて色分けして描画することを特徴とする。
請求項9の発明によれば、請求項6に記載の方法において、切り欠く領域の面の方向に関する情報を指定する面方向指定ステップと、面方向情報に基づき領域が保有する領域にかかる画像情報を切り欠くマスク指定ステップとを備え、マスクを指定する際には、その面方向情報に応じて色分けして描画することを特徴とする。
【0012】
請求項10の発明によれば、請求項1乃至7のいずれかに記載の方法において、指定された領域について、面方向情報に応じて一括してグループ化することを特徴とする
【0013】
請求項11の発明によれば、請求項1乃至10のいずれかに記載の方法において、前記画像設定ファイルは単価に関する情報を備えるとともに、貼り付けられた画像に対応する単価の合計を計算し表示する見積りステップを備えることを特徴とする。
【0014】
なお、撮像された建築画像とは、デジタルカメラや銀塩フィルムなどの所望の撮像手段にて、例えば、建物の外観や、建物の内部(内装など)といった建築物の様子を撮影した画像である。
【0015】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について説明する。ここでは、例えばCD−ROM等の記録媒体を用いてパーソナルコンピュータにインストールされたソフトウェアを実行することにより本発明の方法を実施する場合について説明する。
【0016】
図1は本発明の方法を用いたソフトウェアの初期画面の一例である。図中、10はタイトルバー、20はツールバー、30は操作ガイド、40はワークエリア、50は操作パネルである。本ソフトウェアは、デジタルカメラにより撮影された建築物の外観をカメレオンのように自由に変化させることができる機能を有しており、その機能に因んで、タイトルバー10の左端には本ソフトウェアの名称“デジカメレオン”(商標登録出願中)が表示されている。タイトルバー10の右端に配置された3つのボタン11〜13は画面操作のためのボタンであり、左から最小化ボタン11、最大化ボタン12、終了ボタン13である。
【0017】
ツールバー20に配置されたボタン群について説明する。
21は画像読込ボタンであり、デジタルカメラからパーソナルコンピュータに取り込んだ画像を読み込むためのボタンである。マウスでクリックすると、画像ファイルを開くための画面が現れて、ファイルの場所、ファイル名、ファイルの種類を指定してファイルを開くことにより、建築物を撮影した画像が読み込まれてワークエリア40に表示される。なお、デジタルカメラ等を用いて建築物を撮影した画像データはあらかじめパーソナルコンピュータのハードディスク等に保管されているものとする。この画像データは銀塩フィルムで撮影された住宅の写真をスキャナーで電子化したものでも構わない。
22は領域ボタンであり、変更したい範囲を指定する領域作成ステップへの切替ボタンである。
23はマスクボタンであり、指定した領域のうち変更したくない範囲を指定するマスク作成ステップへの切替ボタンである。
24は貼付ボタンであり、指定した領域に素材や部材を配置する画像貼り付けステップへの切替ボタンである。
25は陰影ボタンであり、貼り付けた素材の明度と陰影を調節する陰影効果付加ステップへの切替ボタンである。
26は保存ボタンであり、作業状態を所定の形式で保存させるときに操作するボタンである。
27は書出しボタンであり、画像のみをJPEGもしくはBMP形式で書き出すときに操作するボタンである。
【0018】
ここで、保存ボタン26と書出しボタン27の違いを説明すると、保存ボタン26では、現在の作業状態が保存されるので、後でもう一度呼び出して、続きから作業をすることが可能であるのに対して、書出しボタン27では、編集後の画像のみが保存され、作業状態は保存されない。
【0019】
28は終了ボタンであり、プログラムを終了させるボタンである。
201は表示倍率設定欄であり、ワークエリア40に表示されている画像41の表示倍率を変更できる。
202はヘルプボタンであり、マウスでクリックすると、ヘルプファイルが開いて、本ソフトウェアの説明画面が現れる。
【0020】
30は操作ガイドであり、ユーザーに現在のステップでは何をすべきかを案内するための説明を簡潔な文章で表示しており、ステップが進むにつれて説明文の内容は順次切替え表示される。
ワークエリア40は建築物を撮影した画像41が表示される領域であり、領域作成やマスク作成のステップを経て、画像の貼り付けステップ、陰影付加ステップ等で画像に編集が施されて行く様子が表示される領域である。
操作パネル50はユーザーが初心者であっても簡単に操作できるように、操作手順を視覚的に分かり易く表示しており、現在のステップで必要な操作ボタンだけが現れる仕組みになっている。
【0021】
以下、各ステップについて詳細に説明する。
(A)画像読み込みステップ
本ソフトウェアを起動した直後の初期画面では、図1のワークエリア40には画像41が表示されていない。また、操作パネル50には、画像読込ボタン51が表示され、“下のボタンをクリックして画像を読み込んでください”という説明がボタン51の上に表示されているだけで、初期設定の案内画面52は表示されていない。画像読込ボタン51の機能はツールバー20の画像読込ボタン21の機能と全く同じであり、ユーザーはどちらのボタンを操作しても画像を読み込むことができる。主として初心者は操作パネル50の画像読み込みボタン51を使う方が分かり易い。また、本ソフトウェアに習熟し、ツールバー20の各ボタンの機能を覚えた人は画像読込ボタン21を使えば良い。(なお、後述の領域作成ステップ(C)以降のステップになると、画像読み込みボタン51は操作パネル50には現れなくなるので、この段階で別の画像の編集をしたい場合にはツールバー20の画像読込ボタン21を用いることになる。)
【0022】
画像読込ボタン21又は51を用いて画像を読み込むと、ワークエリア40には図1に示すように建築物を撮影した画像41が表示される。図1では画像41はモノクロで表示されているが、実際のソフトウェアではカラー表示されている。また、画像41が読み込まれると、この段階で初めて、画像読込ボタン51の下に、初期設定の案内画面52が現れるようになっている。このように、ユーザーの操作にしたがって次に必要となる操作の案内が順々に現れることで、初心者でも混乱することなく使いこなせるように配慮されている。
【0023】
初期設定の案内画面52には“1,2,3の順に住宅の角をクリックして基準の向きを設定してください”と記載されており、操作ガイド30には“ファイルから画像データ読込み後、操作パネルの番号順に3点指定してワイヤー面を作成しましょう”という説明文が表示されているので、ユーザーは初期設定の案内画面52の番号1→2→3の順にワークエリア40に表示された画像41における住宅の角をマウスでクリックすべきであることを容易に理解できる。この操作が次の3次元情報入力ステップである。
【0024】
(B)3次元情報入力ステップ
図2と図3を用いて3次元情報入力ステップについて説明する。以下の説明では、見易くするために、図1のモノクロハーフトーンの画像41を線画に置き換えた図を用いて説明する。住宅の左側面と右側面とが交差する鉛直線の上端にマウスのカーソルを当てて、マウスを左クリックすると、図2(a)のように、マウスカーソルの当たっていた箇所に原点Oが表示されるとともに、この原点Oから垂下する線分が自動的に表示される。線分の下端Hは住宅の左側面と右側面とが交差する鉛直線の下端に合わせるのが良い。
【0025】
ところで、住宅を撮影した写真を分析してみると、住宅の左側面と右側面とが交差する鉛直線の上端は一般的に写っていることが多いが、該鉛直線の下端については、何か物が置かれていたり、植林されていたり、たまたま車が停めてあったりして、写っていないことがある。図2(a)を見ても、住宅の左側面と右側面とが交差する鉛直線の上端は見えているが、下端は見えていない。
【0026】
このような住宅を撮影した写真に固有の特性に配慮して、本ソフトウェアでは、3次元情報入力のための第1点(原点O)として、住宅の左側面と右側面とが交差する鉛直線の上端を取得することにしている。また、原点Oから垂下する線分O−Hの長さについては後から調整することも可能としているが、必ずしも調整する必要はない。ここで、図2(a)の線分O−Hは住宅の左側面と右側面とが交差する鉛直線と完全に重なっているが、これは下端Hを第2点として入力したのではなく、上述のように原点Oが決まると、下端Hは自動的に表示される。この自動的に表示された線分O−Hが都合よく住宅の左側面と右側面とが交差する鉛直線と重なる理由を説明すると、一般的に住宅を撮影した写真においては、住宅の左側面と右側面とが交差する鉛直線が、画像上においても垂直方向となるように撮影する人が大部分だからである。仮に、住宅の左側面と右側面とが交差する鉛直線が画像上において垂直方向となっていない(住宅そのものが傾いた)画像を読み込んだ場合には、本ソフトウェアの機能を十分に発揮できないことになるが、そのような場合には、住宅の左側面と右側面とが交差する鉛直線が画像上において垂直方向となるようにあらかじめ修正してから画像データを読み込むようにすればよい。画像を任意に回転させるソフトウェアは一般的に入手が容易であるので、本ソフトウェアでは読み込んだ画像の回転機能は備えていないが、本ソフトウェアに画像の回転機能や自動修正機能を付加しても良いことは言うまでも無い。
【0027】
このように、入力された第1点(原点O)から適当な長さの垂線が降りるように線分O−Hが自動的に描かれるところは本発明の特徴の1つであり、建造物には鉛直線が多く、通常、写真を撮影する際には、鉛直線に沿って縦横を決定することを利用したものである。
【0028】
次に、第2点の入力について説明する。第1点(原点O)の入力が完了してマウスボタンをリリースすると、図2(b)の画像が表示され、原点Oから伸びる第1の線分O−Hとは別の第2の線分上に第2点(左端L)が表示される。この第2点(左端L)はマウスカーソルと連動しており、マウスを移動させると、線分O−Lと線分O−Hを隣接する二辺とする四角形が、図2(b)→図2(c)→図2(d)のように変形していく。図2(d)に示すように、住宅の左側面の上辺と線分O−Lとが一致するように調整したうえで、マウスを左クリックすると、第2点(左端L)の入力が完了する。なお、線分O−Lと線分O−Hを隣接する二辺とする四角形は、線分O−L間を5等分する縦線と線分O−H間を5等分する斜線とで格子線(グリッド)を構成しており、この格子線を含む四角形を指して本明細書ではワイヤーフレームあるいはワイヤー面と呼んでいる。ワイヤー面を構成する格子線の本数は限定されるものではないが多すぎると見づらくなり、少なすぎると面情報を把握しにくくなるので、数本程度が適当である。
【0029】
次に、第3点の入力について説明する。第2点(左端L)の入力が完了してマウスボタンをリリースすると、図2(e)の画像が表示され、原点Oから伸びる第1の線分O−H、第2の線分O−Lとは別の第3の線分上に第3点(右端R)が表示される。この第3点(右端R)はマウスカーソルと連動しており、マウスを移動させると、線分O−Rと線分O−Hを隣接する二辺とする四角形が、図2(e)→図3(f)→図3(g)のように変形していく。図3(g)に示すように、住宅の右側面の上辺と線分O−Rとが一致するように調整したうえで、マウスを左クリックすると、第3点(右端R)の入力が完了する。なお、線分O−Rと線分O−Hを隣接する二辺とする四角形は、線分O−R間を5等分する縦線と線分O−H間を5等分する斜線とで格子線(グリッド)を構成している。この格子線を含む四角形を第2のワイヤー面とする。また、上述の図2(b)〜(d)で示したワイヤー面を第1のワイヤー面とすると、第1および第2のワイヤー面は、線分O−Hを枢支軸として蝶番状に変形し得る立体図形を現していることが分かる。この立体図形の第1面(第1のワイヤー面)を図2(d)のように住宅の左側面に貼り付けて、第2面(第2のワイヤー面)を図3(g)のように住宅の右側面に貼り付けて、且つ、図2(a)のように、住宅の左側面と右側面とが交差する鉛直線に第1および第2のワイヤー面の交差する線分O−Hが一致していることにより、本ソフトウェアは読み込まれた2次元の画像データに写し込まれた3次元情報を取得することができるのである。
【0030】
以上の第1点〜第3点の入力を完了すると、操作ガイド30と操作パネル50の表示が図4のように切り替わる。図4の操作パネル50を見ると、図1の操作パネル50の初期設定の案内画面52が消えて、壁面の微調整の設定画面53が現れているのが分かる。また、操作ガイド30には“作成したワイヤー面に対して壁面の微調整を行い、水色の矢印間の寸法を入力しましょう。”と表示されている。ここで、水色の矢印とは図3(g)の線分O−L間の矢印のことであり、住宅の左側面の寸法を入力可能な状態であることを示している。左側面の寸法を入力するには、寸法指定の操作画面54で「左側面の幅」が選択されていることを確認したうえで、寸法入力欄55に線分O−L間の実測の寸法を数値入力する。
【0031】
次に、右側面の寸法を入力するには、寸法指定の操作画面54で「右側面の幅」を選択する。これにより、ワークエリア40の画像は図3(h)のように切り替わり、線分O−R間の矢印が水色に表示される。この状態で寸法入力欄55に線分O−R間の実測の寸法を数値入力する。
【0032】
次に、高さを入力するには、原点Oから適当な長さで垂直に降ろされた線分O−Hの下端Hをマウスによりドラッグして住宅の下端に合わせるとともに、寸法指定の操作画面54で「高さ」を選択する。これにより、ワークエリア40の画像は図3(i)のように切り替わり、線分O−H間の矢印が水色に表示される。この状態で寸法入力欄55に線分O−H間の実測の寸法を数値入力する。
【0033】
第1点(原点O)、第2点(左端L)、第3点(右端R)の入力が3次元的な角度情報の入力であるとすれば、線分O−R、O−L、O−Hの長さの入力は3次元的な寸法情報の入力であり、これにより本ソフトウェアは読み込まれた2次元の画像データに写し込まれた3次元的な角度情報と寸法情報を取得することができるのである。なお、寸法の入力は省略することもできるが、外装材の貼り付け面積を自動計算して見積もりを算出したり、タイリングのピッチや貼り付けるオブジェクトの拡大縮小倍率を自動計算するには、寸法を入力する方が好ましい。
【0034】
以上で3次元情報入力ステップを終了できる場合もあるが、デジタルカメラの撮影時の焦点距離の設定が標準よりも望遠側あるいは広角側であったり、撮影位置が建造物を見上げるような位置であったか見下ろすような位置であったかによって、ワイヤー面の微調整が必要な場合がある。そこで、図3(i)の状態から壁面の微調整の設定画面53を用いて図3(j)のように各ワイヤー面の下辺の角度を住宅の左側面および右側面の角度に合わせる。なお、住宅の下辺が物影に隠れて良く見えないときには、窓枠やドア枠のように住宅の下辺と平行な情報を含む部材とワイヤー面の複数の格子線(グリッド)の向きを合わせれば良い。
【0035】
図5は壁面の微調整の設定画面53に設けた3本のスライドバー53a〜53cの機能を説明するための説明図である。例えば、図5(c)に示すワイヤー面に対して、左右両ワイヤー面の下辺L’−H、R’−Hを図5(a)に示すように長くして上から見下ろしたようにしたいときには、中央のスライドバー53bを下方に操作する。逆に、図5(c)に示すワイヤー面に対して、左右両ワイヤー面の下辺L’−H、R’−Hを図5(b)に示すように短くして下から見上げたようにしたいときには、中央のスライドバー53bを上方に操作する。
【0036】
また、図5(c)に示すワイヤー面に対して、鉛直線O−Hと左側のワイヤー面の下辺L’−Hとのなす角度を図5(d)に示すように小さくしたいときには、左側のスライドバー53aを上方に操作する。逆に、図5(d)の状態から図5(c)の状態に戻したいときには、スライドバー53aを下方に操作する。
【0037】
また、図5(c)に示すワイヤー面に対して、鉛直線O−Hと右側のワイヤー面の下辺R’−Hとのなす角度を図5(e)に示すように小さくしたいときには、右側のスライドバー53cを上方に操作する。逆に、図5(e)の状態から図5(c)の状態に戻したいときには、スライドバー53cを下方に操作する。
【0038】
これにより、図3(i)の状態から図3(j)のように各ワイヤー面の下辺の角度を住宅の左側面および右側面の角度に正確に合わせる。この初期設定の作業を精度よく実施しておけば、後で行う領域作成やマスク作成、素材貼付、パーツ配置等の作業が住宅の角度に沿って簡単に行える。その様子は図9、図10などに示されている。
【0039】
なお、図4および図5の例では、操作の分かり易さを重視して、左側のスライドバー53aと右側のスライドバー53cを別々に操作可能としているが、上述のように、この操作はデジタルカメラの撮影時の焦点距離の設定が標準よりも望遠側あるいは広角側にずれている場合の微調整に対応しているので、いずれか一方を合わせれば他方は自動的に連動して調節できるようにしても構わない。
【0040】
その原理を図6により説明する。図中の実線は住宅の左側面と右側面を原点O、下端H、左上端L、右上端R、左下端L’、右下端R’で表している。細長い点線は線分O−L、O−R、H−L’、H−R’を無限遠点に向けて延長した直線である。線分O−LとH−L’の各延長線が交わる点は太い点線で示す地平線上に存在する。また、線分O−RとH−R’の各延長線が交わる点もまた地平線上に存在する。したがって、線分H−L’と垂線O−Hのなす角度を決定すると、画像上での地平線の高さが決まることになるから、線分H−R’と垂線O−Hのなす角度も一義的に決まるのである。ゆえに、図4のスライドバー53a,53cに代えて、図7に示すような視野角調整用のスライドバー53dを設けて、デジタルカメラの撮影時の焦点距離を標準よりも望遠側あるいは広角側にシフトさせるように調整するだけでも構わない。
【0041】
以上の説明において、寸法入力と壁面の微調整については実施することが好ましいが、常に必要というわけではなく、寸法入力は省略しても良い。また、壁面の微調整についても標準的な撮影条件であれば殆ど省略できるようにワイヤー面の下辺と垂線のなす角度を予め初期設定しておくことが好ましい。
【0042】
3次元情報の入力を最初からやり直したい場合には、図4の操作パネル50の下方に設けたリセットボタン56を操作すると、図1の状態に戻ることができる。また、図3(j)のように3次元情報の入力を完了して、次のステップに移行したいときには、図4の操作パネル50の下方に設けた「次へ」のボタン57、もしくはツールバー20の領域ボタン22を操作すると、図8の状態に移行する。基本的には、操作パネル50の「次へ」のボタン57を操作することにより、1つ次のステップに移行できるようになっているので、順方向にばかり進むときにはツールバー20のボタンを操作する必要はないが、前のステップに戻りたいときには、「戻る」のボタンを用いて1ステップずつ戻るのではなく、ツールバー20のボタンを用いることで任意のステップまで一気に戻れるように工夫されているのである。また、ツールバー20のボタン21〜27のうちいずれか1つが反転表示(色の異なる表示もしくは押し込まれた状態での表示、好ましくはその両方)となっていることにより、現在のステップがどのステップなのかを表示する機能も兼用している。
【0043】
(C)領域作成ステップ
次に、領域作成ステップについて説明する。図8は領域作成ステップの初期状態の画面であり、ツールバー20の領域ボタン22は他のボタンとは異なる色で表示されている。操作ガイド30には“操作パネルのボタンを選定しリフォームする面を順に領域指定していきます。”と案内されている。
【0044】
操作パネル50の上方を見ると、“貼付領域を作成してください”と表示されており、その下には「▼左側面作成」として左側面を第1の色で塗られた住宅の絵が表示されている。その下には「▼右側面作成」として右側面を第2の色で塗られた住宅の絵が表示されている。その下には「▼面指定なし」として屋根を第3の色で塗られた住宅の絵が表示されている。また、各住宅の絵の右側にはそれぞれ「長方形」、「多角形」と表示されたボタン501〜506が配置されている。
【0045】
501は住宅の左側面に属する長方形の領域を作成するためのボタンであり、502は住宅の左側面に属する多角形の領域を作成するためのボタンである。これらのボタンを操作した後に作成された領域は左側面に属する領域であることを表す第1の色で表示される。
【0046】
503は住宅の右側面に属する長方形の領域を作成するためのボタンであり、504は住宅の右側面に属する多角形の領域を作成するためのボタンである。これらのボタンを操作した後に作成された領域は右側面に属する領域であることを表す第2の色で表示される。
【0047】
505は住宅の左側面にも右側面にも属さない長方形の領域を作成するためのボタンであり、506は住宅の左側面にも右側面にも属さない多角形の領域を作成するためのボタンである。これらのボタンを操作した後に作成された領域は左側面にも右側面にも属さない領域であることを表す第3の色で表示される。
【0048】
ボタン501または502を押すと、これから左側面に属する領域を作成することをユーザーに知らせるために、ワークエリア40には図9に示すように、左側面の水平線と鉛直線が格子状に表示される。
【0049】
ボタン503または504を押すと、これから右側面に属する領域を作成することをユーザーに知らせるために、ワークエリア40には図10に示すように、右側面の水平線と鉛直線が格子状に表示される。
【0050】
ボタン505または506を押すと、これから左側面にも右側面にも属さない領域を作成することをユーザーに知らせるために、ワークエリア40には図8に示すように、格子状の水平線と鉛直線は表示されない。
【0051】
長方形の領域を作成するためのボタン501,503,505のいずれかを操作すると、そのボタンだけが反転表示され、その後、ワークエリア40の画像上の任意の二点(始点と終点)を指定するだけで、これら二点を対角方向の二点とする長方形の領域を1個だけ作成することができる。作成された領域は今選択されている領域であることを示す第4の色で表示される。領域を1個作成すると、ボタンの反転表示が解除され、次の領域を作成するときは再度ボタン501〜506のいずれかを押してから作成することになる。
【0052】
多角形の領域を作成するためのボタン502,504,506のいずれかを操作すると、そのボタンだけが反転表示され、その後、ワークエリア40の画像上の任意の複数の点を指定することで、これら複数の点を頂点とする多角形の領域を1個だけ作成することができる。作成された領域は今選択されている領域であることを示す第4の色で表示される。領域を1個作成すると、ボタンの反転表示が解除され、次の領域を作成するときは再度ボタン501〜506のいずれかを押してから作成することになる。
【0053】
N個目(N≧2)の領域を作成すると、N個目の領域のみが今選択されている領域であることを示す第4の色で表示され、1個目〜(N−1)個目の領域は、左側面に属する領域については第1の色で、右側面に属する領域については第2の色で、左側面にも右側面にも属さない領域については第3の色でそれぞれ表示される。このように作成された領域を色分けすることで、今選択されている領域と選択されていない領域を区別したり、左側面に属する領域と右側面に属する領域と左右いずれの側面にも属さない領域とを一目で把握できるように配慮されている。
【0054】
なお、左側面に属する領域であることを表す第1の色と、右側面に属する領域であることを表す第2の色と、左側面にも右側面にも属さない領域であることを表す第3の色と、今選択されている領域であることを示す第4の色とはそれぞれ区別しやすい異なる色とすることは言うまでも無い。
【0055】
図11は長方形の領域作成の要領を示す説明図である。(イ)は左側面に属する長方形の作成、(ロ)は右側面に属する長方形の作成、(ハ)は左右いずれの側面にも属さない長方形の作成の要領を示している。図11(イ)または(ロ)の図形は、本来ならば長方形(厳密に言えば四角形)の4点をすべて指定しなければ作成できない図形であるが、本発明では、(B)の3次元情報入力ステップにより取得された3次元情報に基づいて、左側面に属する長方形については図9の格子線に沿って作成され、右側面に属する長方形については図10の格子線に沿って作成されるので、対角方向の二点(始点aと終点b)を指定するだけで簡単に作成できるのである。
なお、点a、bは始点aをクリック後、そのままドラッグし終点bでリリースすることにより指定することが可能となっており、長方形のどの頂点を始点としてもよいため、領域作成を容易なものとしている。
【0056】
図12は多角形の領域作成の要領を示す説明図である。図12(イ)に示すように、始点aからスタートして、複数の点b,c,d,eを指定して行き、終点fをダブルクリックすると、各点を頂点とする多角形が完成する。なお、終点fをダブルクリックする代わりに、始点aを再度クリックしても構わない。また、はじめに頂点の数の少ない多角形を作成しておいて、その後、頂点を追加することでも複雑な多角形を作成することができる。例えば、図12(ロ)に示すように、はじめに点a,c,d,fを頂点とする多角形を作成し、この既に作成された多角形の領域をマウスでクリックすることにより選択された状態とし、「多角形の頂点追加」のボタン507を押すと、その後、1個だけ多角形の頂点を追加することができる。例えば、線分a−cをマウスでクリックすると、b’の位置に多角形の頂点が追加される。これを点bの位置にドラッグする。同じ要領で、「多角形の頂点追加」のボタン507を押してから、線分d−fをマウスでクリックすると、e’の位置に多角形の頂点が追加される。これを点eの位置にドラッグする。このようにすれば、複雑な多角形を作成する際に、途中で1点か2点、指定を忘れたような場合でも、後で追加することができる。
【0057】
また、図12(ハ)の頂点a,b,c,dよりなる図形を変形するには、各頂点を1個ずつ移動させなければならないが、「枠と多角形の連動」の機能をONにすると、既に作成された図12(ハ)に示すような多角形を囲む枠の頂点α,β,γ,δのいずれかをドラッグすることにより、図12(ニ)に示すように、複数の頂点a,b,c,dを同時に移動させて変形された多角形を作成することができる。図12(ニ)の例では、枠の1つの頂点γをγ’に移動させただけであるが、複数の頂点a,b,c,dが同時に移動して全体として押し潰されたような図形に変形できることが分かる。
【0058】
既に作成された領域のうち削除したい領域があれば、その領域をマウスでクリックすることにより選択された状態とし、「削除」のボタン509を操作すると、第4の色で表示された1つの領域のみが削除される。また、「グループ化」のボタン508を押して、複数の領域を選択すると、それらの領域はグループ化され、一括して削除することも可能となる。
【0059】
領域作成のステップを最初からやり直したい場合には、操作パネル50の下方に設けたリセットボタン56を操作すると、そのステップに最初に移行したときの状態に戻ることができる。また、次のステップに移行したいときには、操作パネル50の下方に設けた「次へ」のボタン57、もしくはツールバー20のマスクボタン23を操作すると、図13の状態に移行する。
【0060】
(D)マスク作成ステップ
次に、マスク作成ステップについて説明する。このマスク作成ステップは、上述の領域作成ステップで指定された領域内の一部(例えば、窓、玄関ドア、雨とい部分等)に外装材を貼りたくない場合に、そこだけ領域を切り抜けるようにしたものであり、この切抜き領域のことをマスクと呼ぶ。
【0061】
図13はマスク作成ステップの初期状態の画面であり、ツールバー20のマスクボタン23は他のボタンとは異なる色で表示されている。操作ガイド30には“窓やドア等をマスクで領域指定してください。色表示されます。”と案内されている。操作パネル50の上方を見ると、“マスク領域を作成してください”と表示されており、その下に「追加」のボタン510と「削除」のボタン520が配置されている。これらのボタン510と520はいずれか一方が押された状態となっており、初期状態では「追加」のボタン510が押された状態となっている。この「追加」のボタン510が押された状態でマスクの領域を指定すると、指定された領域にマスクが追加される。また、「削除」のボタン520が押された状態でマスクの領域を指定すると、指定された領域からマスクが削除される。マスクの作成または削除に用いるボタン511〜516の機能については、領域作成に用いたボタン501〜506の機能と同じである。なお、マスクの色は周囲の色と区別しやすくするために、マスクの色の選択部517により三原色のいずれかを選択可能となっている。また、左側面、右側面、それ以外の領域のいずれに属するかでマスクを色分けして表示できるように構成しても良い。
【0062】
ここで、マスク作成とマスク削除の機能を別に設けている理由は、例えば、同じ高さの複数の窓が横一列に並んでいるような場合に、すべての窓を覆うような大きなマスクを作成し、その後、窓と窓の間のマスクを削除することで精度の高いマスクを簡単に作成できるようにしたり、あるいは、雨といや換気フードのような複雑な形状の部材に沿ってマスクを作成するのは面倒であるので、大きめのマスクで全体を覆い、その後、周囲をマスク削除の機能を用いて少しずつ削り取っていくことで、複雑な形状のマスクでも簡単に作成できるように工夫しているのである。なお、表示倍率設定欄201によりワークエリア40の画像41の表示倍率を200%とか400%のように大きく設定すれば、マスクの細かい部分も追加と削除を繰り返すことで容易に修正することができる。
【0063】
マスク作成のステップを最初からやり直したい場合には、操作パネル50の下方に設けたリセットボタン56を操作すると、そのステップに最初に移行したときの状態に戻ることができる。また、次のステップに移行したいときには、操作パネル50の下方に設けた「次へ」のボタン57、もしくはツールバー20の貼付ボタン24を操作すると、図15の状態に移行する。
【0064】
(E)画像貼り付けステップ
次に、画像貼り付けステップについて説明する。このステップでは、上述の領域作成ステップで指定された領域内に、外装材や屋根材の画像を貼り付けるものである。また、外装材や屋根材を貼り付けるほか、玄関ドア、窓、雨とい、ライト、木などのエクステリアパーツも配置することができる。
【0065】
図14は画像貼り付けステップの初期状態の画面であり、ツールバー20の貼付ボタン24は他のボタンとは異なる色で表示されている。操作ガイド30には“画像データの変更する領域をクリックしてください。操作パネルから素材を選択すれば画像が変更されます。”と案内されている。操作パネル50には素材の選択のための画面が表示されている。まず、貼り付け素材のカテゴリー選択欄521を用いて外装材、屋根材、雨とい、カラー、その他といったカテゴリーを選択し、さらに、素材の名称選択欄522からいずれかの素材を選択すると、素材の表示欄523に素材が表示される。表示された素材の上にマウスカーソルを当てると、素材の説明欄524に品名、サイズ、備考が表示される。好みの素材が見つかれば、ワークエリア40の画像41上のいずれかの領域をマウスでクリックして1つの領域を選択された状態とした後、素材の表示欄523に表示された素材をマウスでクリックすると、選択された領域に素材の画像を貼り付けることができる。また、グループ化のボタン526を押してから複数の領域をマウスでクリックすると、複数の領域を同時に選択された状態とすることができ、1回の操作で複数の領域に同じ素材を貼り付けることもできる。さらに、上述の領域作成ステップで面方向に応じて一括してグループ化した複数の領域に対して同じ素材を貼り付け可能としても良い。
【0066】
上述の(B)のステップで3次元の角度情報が入力されているので、貼られた外装材や屋根材にも図9または図10に示すような格子線に沿って遠近法を用いて描かれる。つまり、外装材や屋根材に繰り返し模様がある場合、手前に近づくにつれて模様は大きく描かれ、奥の方に遠ざかるほど模様は小さく描かれる。これにより、貼り付け後の画像に奥行き感が付与される。
【0067】
また、上述の(B)のステップで3次元の寸法情報が入力されていることにより、外装材や屋根材の画像を実寸に近い模様で貼り付けることができる。さらに、寸法当たりの単価に貼り付け面積を掛けることで、材料費や工賃を算出してリフォーム費用を見積もることができる。この見積もり機能については、ツールバー20または操作パネル50に「見積り」ボタンを追加して、編集作業中にいつでもリフォーム費用の見積もりを表示できるようにしても良いし、保存、書出し又は終了ボタンのいずれかを押したときに、「リフォーム費用の見積もりを表示しますか?(はい:Y/いいえ:N)」というプロンプトを表示して、「はい」と入力した場合にのみ見積もりを表示するように構成しても良い。
【0068】
なお、上述の(B)のステップで寸法入力を省略した場合でも貼付倍率の拡大/縮小ボタン525を用いれば、貼付倍率を指定の倍率で拡大または縮小することができる。例えば、図15(b)に示す状態から拡大または縮小ボタンを押すと、それぞれ同図(a)、(c)のように貼り付け素材が拡大または縮小表示される。
【0069】
上述の(C)のステップでは右側面にも左側面にも属さない図11(ハ)のような領域を指定可能としているので、例えば住宅の周りにライト、木などのパーツを配置することもできる。貼り付ける画像のうち、ライト、木などのパーツについては、縦×横のサイズが登録されており、且つ、タイリングしないで表示することを示すフラグが、例えば後述する図18に示すような形式で、画像設定ファイルに記録されている。したがって、上述の(B)のステップで3次元の寸法情報が入力されていれば、これらのパーツを画像上に貼り付ける際の拡大縮小倍率を自動計算することができ、画像上に実寸大で表示することが可能となる。これにより、画像を選択後、ワークエリアにドロップするなどのようにして、領域を作成していない部分にも画像を貼り付けることが可能となっている。また、3Dオブジェクトの形状データを格納しておくことで、パーツの向きを変えた場合にも二次元画像に実寸大で投影して表示することが可能となる。
【0070】
なお、上述の(B)のステップで寸法入力を省略した場合には、よりリアルに見せるために、配置後にサイズ変更を行うと効果的である。サイズ変更を行うには、表示モード切替操作部58により表示モードを「ワイヤーフレーム」に切り替えて図11(ハ)の領域のa点やb点を移動させて領域の縦×横のサイズを変更する。その後、表示モードを「テクスチャ」に戻せば、縦方向、横方向の表示倍率が変更されたパーツが表示される。なお、図11(イ)、(ロ)のような領域にパーツを貼り付けた場合には、それぞれ図9または図10の格子線に沿って遠近感を付与されたパーツが表示されることは言うまでも無い。
【0071】
ワークエリア40における画像表示は、(A)画像読み込みステップと、(B)3次元情報入力ステップでは、元画像のみが表示され、(C)領域作成ステップ、(D)マスク作成ステップ、(E)画像貼り付けステップ、(F)陰影効果付加ステップでは、元画像、ワイヤーフレーム、テクスチャーの3種類を選択することができる。「元画像」を選択すると、(A)の画像読み込みステップで読み込まれた画像が表示され、「ワイヤーフレーム」を選択すると、元画像のうえに、(C)の領域作成ステップや(D)のマスク作成ステップで指定された領域やマスクを重ねた画像が表示され、「テクスチャー」を選択すると、元画像の上に、(E)の画像貼り付けステップで素材を貼り付けた画像が表示される。
【0072】
ここでも、操作パネル50の下方に設けたリセットボタン56を操作すると、そのステップに最初に移行したときの状態に戻ることができる。また、次のステップに移行したいときには、操作パネル50の下方に設けた「次へ」のボタン57、もしくはツールバー20の陰影ボタン25を操作すると、図16の状態に移行する。
【0073】
(F)陰影効果付加ステップ
次に、陰影効果付加ステップについて説明する。このステップでは、貼り付けた外装材や屋根材の明度と陰影を調節するものである。
【0074】
図16は陰影効果付加ステップの初期状態の画面であり、ツールバー20の陰影ボタン26は他のボタンとは異なる色で表示されている。操作ガイド30には“明るさや陰影を調整し、元画像になじませましょう。”と案内されている。操作パネル50には明度調節用のスライドバー531と陰影調節用のスライドバー532が設けられており、その上に“つまみをドラッグすると明るさと陰影を調節できます”と表示されている。
【0075】
ワークエリア40の画像41上のいずれかの領域をマウスでクリックして1つの領域を選択された状態とし、明度調節用のスライドバー531を調節すると、その領域の明度を調節することができる。例えば、明度を半分にすると、選択された領域の各点の三原色の輝度値がそれぞれ半分になり、明度を2倍にすると、選択された領域の各点の三原色の輝度値がそれぞれ2倍になる。
【0076】
また、陰影調節用のスライドバー532を調節すると、選択された領域に貼り付けた素材の各点の三原色の輝度値が、当該領域における元画像の平均的な輝度値で変調した値に変更され、その変調度合いが深いと陰影が濃くなり、変調度合いが浅いと陰影が薄くなる。
【0077】
これを図17に示す住宅の画像42を例にとって説明する。住宅には凹凸があるので、光が当たると必ず陰影が生まれるが、上述の(E)のステップで素材を貼り付けただけでは、住宅の影の部分も明るい部分も同じ明るさの画像となる。これを、よりリアルで美しい仕上りにするために、明度と陰影を調節するのである。
【0078】
まず、図17の住宅の屋根の部分を見ると、明度の高い部分と低い部分があることが分かる。そこで、同じ屋根材を貼り付けたとしても、住宅の影になる部分は明度を低くし、光が当たっている部分は明度を高くすることにより、違和感の無い画像とすることができる。
【0079】
また、図17の住宅の壁の部分を見ると、屋根のすぐ下とか出窓の下には影が出来ていることが分かる。さらに、屋根や壁に出来た影を見ると、影の濃い部分と薄い部分とが混在していることが分かる。これは二重に影が出来ている部分は影が濃くなっていることを意味する。このような場合、明度の調節だけではリアルな陰影の調節はできない。そこで、元画像の各点の平均輝度値を例えば周囲数点〜数十点の輝度の平均値として取得し、貼り付けた素材の画像の輝度値を元画像の各点の平均輝度値で変調することにより、元画像にあった陰影を、その上に重ねた素材の画像上に反映させる。これにより貼り付け後の素材に陰影を持たせることができる。
【0080】
なお、グループ化のボタン533を押してから複数の領域をマウスでクリックすると、複数の領域を同時に選択された状態とすることができ、1回の操作で複数の領域に同じぐらいの陰影効果を付与することができる。
【0081】
ここでも、操作パネル50の下方に設けたリセットボタン56を操作すると、そのステップに最初に移行したときの状態に戻ることができる。また、次のステップに移行したいときには、操作パネル50の下方に設けた「次へ」のボタン57、もしくはツールバー20の保存ボタン26を操作すると、その時点までの作業を所定の形式のファイルとして保存することができる。さらに、ツールバー20の書出しボタン27を操作すると、そのときワークエリア40に表示されている画像41を書き出すことができる。ツールバー20の終了ボタン28またはタイトルバーの終了ボタン13を操作すると、プログラムを終了することができる。
【0082】
次に、上述の処理を実現するのに必要なハードウェア構成ならびにソフトウェア構成について説明する。
(ハードウェア構成について)
図18はハードウェアの構成を示している。図中、1は入力装置、2は出力装置、3は記憶装置、4は情報処理装置である。入力装置1はマウス等のポインティングデバイスや数値入力用のキーボード等よりなる。また、デジタルカメラから画像データを転送するための入力端子もしくは写真を電子化するためのスキャナー等を含んでいても良い。出力装置2はCRTモニタやLCDモニタ等のディスプレイで構成される。また、編集結果を印刷するためのプリンタ等を含んでいても良い。記憶装置3はハードディスクドライブやCD−ROMドライブ等よりなり、貼り付け画像の画像ファイルおよびその画像設定ファイルを格納している。貼り付け画像の画像設定ファイルは、例えば、貼り付け素材の名称、タイリングするのか拡大縮小して貼り付けるのかを識別するフラグ、ファイル名、素材の寸法、単価などの情報を含んで構成されている。また、記憶装置3には、3Dパーツの画像ファイルや形状ファイルが格納されていても良い。本ソフトウェアのプログラム本体はCD−ROMドライブから直接実行することもできるが、ハードディスクドライブにインストールして実行しても良い。情報処理装置4はCPUとRAMおよび入出力インターフェイスを含んで構成されている。RAM上には記憶装置3から読み込んだプログラム本体がCPUにより実行可能な状態で配置されるとともに、記憶装置3から読み込んだ元画像を格納しておく領域、ワークエリア40に表示される画像41を格納する第1の画像作業領域、リセットボタン56が押されたときに現モードの初期状態に戻れるように現モードの初期状態の画像を格納しておく第2の画像作業領域などが設けられている。第1の画像作業領域では、元画像の上にワイヤーフレームやテクスチャの情報を重ねた画像が作成され、入出力インターフェースを介して出力装置2のディスプレイ上に表示される。このようなハードウェア構成は、例えば、標準的なパーソナルコンピュータにより実現できるが、これに限定されるものではない。
【0083】
(ソフトウェア構成について)
図19はソフトウェアの構成を示している。5はイベント制御モジュールであり、主としてマウスの操作により発生するマウスイベントを管理している。入力インターフェースを介してマウスボタンのクリック、リリースといったイベントの発生を検知すると、イベント制御モジュール5は左ボタン、右ボタンの状態、マウスカーソルの座標等の情報を他の制御モジュールが利用可能なデータとして出力する。この種のプログラムはマウスドライバとしてライブラリ化された汎用のプログラムで構成できる。ロジック制御モジュール6はプログラムの主要部であり、領域作成ステップ制御モジュール61、マスク作成ステップ制御モジュール62、画像貼り付けステップ制御モジュール63、陰影付与ステップ制御モジュール64、書き出し制御モジュール65、保存制御モジュール66、見積り制御モジュール67などを含んで構成されている。このうち、書き出し制御モジュール65や保存制御モジュール66については「名前を付けて保存」として知られる汎用のライブラリを用いて構成することができる。その他の制御モジュールは本ソフトウェアのために新たにコード化されたプログラムである。インターフェース制御モジュール7は操作パネル50に現れる操作手順の説明の切り替えや操作ボタンの出現・消去を管理している。また、操作ガイド30に表示される説明文の切り替えを管理している。インターフェース制御モジュール7の“インターフェース”とはマン−マシンインターフェースのことであり、GUI制御モジュールと呼んでもよい。描画制御モジュール8はワークエリア40に表示される画像41の描画を制御している。描画制御モジュール8により作成されたワークエリア40の画像41ならびにインターフェース制御モジュール7により作成された操作パネル50の画像、操作ガイド30の画像は出力インターフェースを介してモニタの表示に反映される。
【0084】
図20はソフトウェアの全体の処理の流れを示している。まず、画像読み込みステップでは、画像読み込みボタン21または51が押されたときに「ファイルを開く」として知られる汎用のライブラリで構成されるプログラムを実行し、記憶装置3に格納された画像データを情報処理装置4の元画像を格納しておくRAM領域に読み込む。これにより、ワークエリア40に画像41が表示されて、3次元情報入力ステップに移行する。3次元情報入力ステップでは、第1点(左側面と右側面の交わる鉛直線の上端O)、第2点(左側面の上辺の左端L)、第3点(右側面の上辺の右端R)の座標を少なくとも取得する。また、必要に応じて線分O−H、O−L、O−Rの寸法の情報を取得する。さらに、微調整が必要な場合には、スライドバー53a,53cを用いて線分O−H,H−L’間の角度や、線分O−H,H−R’間の角度を微調整したり、スライドバー53bにより線分L−L’、線分R−R’の傾斜角度を調整する。
【0085】
これ以降のステップ切替処理は変数Stepを用いて自動的に行われる。初期状態ではStep=1と設定され、領域作成ステップに移行する。「次へ」ボタンが押されると、変数Stepが+1されてStep=2となり、マスク作成ステップに移行する。「次へ」ボタンが押されると、変数Stepが+1されてStep=3となり、画像貼り付け作成ステップに移行する。「次へ」ボタンが押されると、変数Stepが+1されてStep=4となり、陰影効果付加ステップに移行する。「次へ」ボタンが押されると、変数Stepが+1されてStep=5となり、処理を終了する。また、終了ボタンや保存・書出しボタンが押されたときにも処理を終了する。途中でツールバー20のステップ切替ボタン22〜25のいずれかが押されると、押されたボタンの番号mに応じて変数Stepの値は強制的にn=m−21に設定され、以前のステップに戻ることができる。(なお、ツールバー20の画像読み込みボタン21が押されたときは画像読み込みステップに戻るものとする。)
【0086】
図21は領域作成ステップ制御モジュール61における領域作成処理の概要を示す説明図である。ここでは、長方形の領域を作成する場合について説明する。はじめに面情報を取得する。例えば、ボタン501が押されていれば、左側面の長方形の領域を作成することが分かる。このとき、図9の格子線で示すような左側面の面情報が取得されることで、対角方向の二点を指定するだけで長方形の領域を作成することができる。オブジェクトの2次元情報として、画面上で図11(イ)のa点がマウスでクリックされると、これが始点座標(xa,ya)として取得される。次に、画面上で図11(イ)のb点がマウスでクリックされると、これが終点座標(xb,yb)として取得される。これらの始点座標(xa,ya)と終点座標(xb,yb)を通る線分を左側面図形の面情報に沿って描くと、左側面の長方形を作成できるので、これを領域情報として登録する。同時に、ワークエリア40の画像41上に左側面の長方形の図形が元画像のうえに重ねて描かれる。具体的には、各座標(x,y)の三原色の輝度情報RGB(,,)が特定の色に変更される。なお、上述の第1、第2、第3の色で領域を色分けする処理は、各図形ごとに図形1=(左側面、長方形、始点座標a、終点座標b)、図形2=(右側面、多角形、座標a、座標b、座標c、座標d)、図形3=(その他、長方形、始点座標a、終点座標b)のような情報のセットが記憶されているので、選択中でない図形について、左側面の図形であれば第1の色で、右側面の図形であれば第2の色で、左側面でも右側面でもなければ第3の色で、選択中の図形であれば第4の色で、というように図形を構成する各点の三原色の輝度情報RGB(,,)を切替えて表示するものである。
【0087】
図22はマスク作成ステップ制御モジュール62におけるマスク作成処理の概要を示す説明図である。図21に示した領域作成の処理と殆ど同じであるが、マスクの追加と削除を区別するためのフラグを取得する処理が追加されている点と、マスク追加のときは論理和、マスク削除のときは否定論理積の演算でマスクの追加と削除を行う点のみが異なる。
【0088】
図23は陰影効果付加ステップ制御モジュール64における陰影効果付加の処理の概要を示す説明図である。スライドバー531と532のいずれが選択されているかで「明度変更」なのか「陰影変更」なのかを識別するフラグを取得し、選択されているスライドバーの高さに基づいて明暗変更の強度の情報を取得し、取得した情報に合わせてワークエリアのビットマップ情報における各点の三原色の輝度情報RGB(,,)に所定の係数(<1)を乗じて明度または陰影を変更するものである。
【0089】
なお、具体的なプログラムの内容については、特許請求の範囲に記載された範囲内において種々の変形が可能であることは言うまでも無い。また、添付の図面に示された画面構成はあくまでも例示であって、図示された画面構成に限定する意図ではない。
【0090】
本発明の建築画像における画像張り替え方法は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【0091】
本明細書において、住宅の左側面、右側面という場合の「側面」とは建造物を構成する略鉛直な壁面のことを意味しているが、必ずしも外壁面である必要はなく、内壁面についても本発明を適用することは可能である。すなわち、外壁や屋根材の張り替えシミュレーションのみならず、内装用の壁材や床材、天井材の張り替えシミュレーションに本発明の方法を適用しても構わない。
【0092】
実施の形態では、本発明の方法を実施するためのプログラムをCD−ROM、フレキシブルディスク等の記録媒体に格納して配布することを前提に説明したが、通信回線を介してプログラムをダウンロードして使用できるようにしても構わない。
また、本実施の形態の他に、インターネット(不図示)を通じて利用する形態として、サーバ(不図示)がサーバプログラムを搭載し、クライアント(不図示)がインターネットを通じてアクセスするような構成とし、クライアントが最初にサーバにアクセスする際に、クライアント用プログラムをダウンロードするようにしても構わない。
【0093】
以下に、このような構成の場合の流れについての概要を示す。例えば、サーバでは、初期設定や領域作成、マスク作成などの処理を行い保存したファイルをアップロードしておく。
クライアントでは、サーバにアクセスし、前述のファイルを選択した後、その画像中の張り替えたい領域を指定し、張り替え画像選択後、張り替えボタンを押下する。クライアント用プログラムは、ステップの情報や、張り替えたい領域、張り替え画像などの情報をまとめ、イベント情報を作成し、サーバに送信する。サーバはそれら要求を含むイベント情報を解析し、HTMLを作成する。
サーバは、クライアントに張り替えた画像を含むHTMLを返信することにより、ユーザは、張り替えられた画像を確認することができる。
【0094】
最後に本明細書及び図面において用いた略字について説明すると、HTMLはHyper Text Markup Language、CADはComputer Aided Design、JPEGはPhotographic Coding Experts Group、BMPはBitMapを意味する。
【0095】
【発明の効果】
請求項1の発明によれば、2次元画像上の3点の座標入力だけで透視投影法による領域指定を可能としているので、基準面の入力が簡単に行えるという効果がある。また、請求項の発明によれば、現作業が単なる点の入力ではないことを意識できるような基準面の作成方法としたことで、面を意識して作成できるのでわかりやすいという効果がある。
請求項の発明によれば、ワイヤーフレームで基準面を表示するようにしたので、画像内の線に重ねることで基準面の微調整が容易に行える効果がある。
請求項の発明によれば、基準面の調整の仕方が直感的にわかりやすいという効果がある。
請求項の発明によれば、基準面の調整のための操作が1アクション軽減できるという効果がある。
【0096】
請求項の発明によれば、実寸法を入力可能としたので、画像を貼り付けるときに、寸法に応じた貼り付けが可能であり、貼り付け画像のタイリングサイズや引き伸ばし率を実寸法に基づいて決定できるという効果がある。
請求項の発明によれば、引き伸ばすかタイリングするかのフラグを貼り付け画像に持たせたので、そのまま貼り付けるのか、タイリングするのかをユーザに意識させなくても済むという効果がある。
請求項の発明によれば、3次元オブジェクトを貼り付け画像としたので、2次元の画像ファイルだけでなく、3次元のオブジェクトも配置できるという効果がある。
【0097】
請求項の発明によれば、領域を色分けしたので、作成中または作成後に、その領域がどちらの基準面に属するか分かりやすいという効果があり、間違った基準面で作成しようとすると、すぐに気づくという利点がある。
請求項の発明によれば、マスクを色分けしたので、作成中または作成後に、そのマスクがどちらの基準面に属するか分かりやすいという効果がある。
【0098】
請求項10の発明によれば、どちらの基準面に属すかでグループ化したい場合には、1つずつ選択しなくてもよいので便利であるという効果がある
【0099】
請求項11の発明によれば、見積り機能を付加したので、張り替えと同時に見積り額が分かるという効果がある。
【図面の簡単な説明】
【図1】本発明の方法を実施するためのコンピュータの画面構成の第1の表示状態を示す説明図である。
【図2】本発明の方法における基準点入力ステップを示す第1の説明図である。
【図3】本発明の方法における基準点入力ステップを示す第2の説明図である。
【図4】本発明の方法を実施するためのコンピュータの画面構成の第2の表示状態を示す説明図である。
【図5】本発明の方法における基準面作成ステップを示す第2の説明図である。
【図6】本発明の方法における面情報保持ステップにおいて地平線に関する情報を入力させる方法を示す説明図である。
【図7】本発明の方法における面情報保持ステップにおいて地平線に関する情報を入力させるための画面構成の一例を示す説明図である。
【図8】本発明の方法を実施するためのコンピュータの画面構成の第3の表示状態を示す説明図である。
【図9】本発明の方法を実施するためのコンピュータの画面構成の第4の表示状態を示す説明図である。
【図10】本発明の方法を実施するためのコンピュータの画面構成の第5の表示状態を示す説明図である。
【図11】本発明の方法における領域指定ステップを示す第1の説明図である。
【図12】本発明の方法における領域指定ステップを示す第2の説明図である。
【図13】本発明の方法を実施するためのコンピュータの画面構成の第6の表示状態を示す説明図である。
【図14】本発明の方法を実施するためのコンピュータの画面構成の第7の表示状態を示す説明図である。
【図15】図14の貼付倍率調整部の機能を説明するための説明図である。
【図16】本発明の方法を実施するためのコンピュータの画面構成の第8の表示状態を示す説明図である。
【図17】図16の明度と陰影の調整機能を説明するための説明図である。
【図18】本発明の方法を実施するためのハードウェア構成の一例を示すブロック図である。
【図19】本発明の方法を実施するためのソフトウェア構成の一例を示す説明図である。
【図20】本発明の方法を実施するためのソフトウェアの全体の処理の流れを示す説明図である。
【図21】図19のソフトウェア構成における領域作成ステップの処理の概要を示す説明図である。
【図22】図19のソフトウェア構成におけるマスク作成ステップの処理の概要を示す説明図である。
【図23】図19のソフトウェア構成における陰影効果付加ステップの処理の概要を示す説明図である。
【符号の説明】
20 ツールバー
21 画像読み込みボタン
22 領域ボタン
23 マスクボタン
24 貼付ボタン
25 陰影ボタン
30 操作ガイド
40 ワークエリア
50 操作パネル
[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image replacement method for architectural images.InIt is related.
[0002]
[Prior art]
[Patent Document 1]
JP 59-119473 A
[Patent Document 2]
JP 2002-163308 A
[0003]
Patent Document 1 discloses a system that converts a two-dimensional coordinate value on a screen of two-dimensional graphic data into a three-dimensional coordinate value on a perspective view auxiliary pattern. A technique for processing points on a perspective view auxiliary pattern as three-dimensional coordinate values by designating four points in three-dimensional graphic data is disclosed.
Patent Document 2 discloses a technique for exchanging textures held by a three-dimensional object in a virtual reality space.
[0004]
Conventionally, in the field of architecture, as represented by architectural CAD, a building is designed by inputting a floor plan on a general-purpose computer, and the output after design is displayed as two-dimensional or three-dimensional information. Things are known. Similarly, Patent Document 2 discloses that a server is accessed through the Internet, a building is designed, and the result is displayed in three dimensions. This includes a mechanism for arranging a three-dimensional object in a virtual reality space expressed in the three-dimensional viewer provided in a browser serving as a client. Here, each object has shape information related to the 3D shape and texture information to be attached to the shape, and the appearance of the object in the virtual reality space can be changed by exchanging the attached texture. It is possible to make it.
[0005]
On the other hand, change the appearance of the displayed image by importing an image captured by a digital camera, etc., specifying the area you want to change in the captured image, and replacing the image in the specified area with another image. There is something to do. In such software, it is common to specify an area by specifying the corner of the area to be changed point by point, or by specifying the area by moving the vertex after creating a rectangle. It has become.
[0006]
In addition, when it becomes highly functional, it is possible to create a reference plane by designating 6 corners of the building, and to create a shape based on the perspective projection method instead of a rectangle when designating the area, thereby simplifying the replacement work. There are also.
[0007]
[Problems to be solved by the invention]
However, as described above, the operation of designating the reference plane is complicated and difficult to understand.
The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image replacement method in an architectural image that is easy to operate.
[0008]
[Means for Solving the Problems]
  In the image replacement method in the architectural image of claim 1, in order to solve the above problem,An input device including at least a pointing device, an output device including at least a display for displaying an image, a storage device capable of storing at least an image file, and an image displayed on the output device on a memory connected to each of the devices. Using a computer including at least an information processing apparatus including at least an image work area to be stored,Captured architectural imagesFrom the storage device to the image work area of the information processing deviceReadOn the output device displayDisplay any area in the displayed image.Using the pointing device of the input deviceIn the image replacement method in the architectural image to be displayed and replaced with the image prepared in advance according to the specified area, before the area is specified,Input devicepointing deviceTheA reference point input step for inputting three points to be used as reference points, and information on a reference plane of the building shape in the image based on the inputted three points.Information processing deviceThe reference plane creation step to create and the created reference planeUsing the pointing device of the input deviceA surface information holding step that finely adjusts and holds the information, and according to information on a reference surface when the area is specifiedUsing the pointing device of the input deviceA reference point inputting step of inputting the three points, comprising a region specifying step for specifying a region;Using the pointing device of the input deviceWhen the first point is input, from the first pointOf the displayed imageWhile drawing a line segment of appropriate length in the vertical direction,Using the pointing device of the input deviceWhen inputting the second or third point, the line segment generated by the point and the first point and the line segment are set as two adjacent sides.Using a rectangle as a reference planeA drawing step for drawing is provided.
[0009]
  According to the invention of claim 2, in the drawing step according to claim 1, the drawing stepStandardWhen drawing a surfaceThe rectangle and its interiorIt is characterized by drawing with a wire frame method.
  According to the invention of claim 3, in the surface information holding step according to claim 1 or 2,By correcting the slope of each side of the side generated by the second, third and first points in the square of each reference planeThe adjustment is performed by correcting the shape of each reference plane.
  According to the invention of claim 4, in the surface information holding step according to claim 1 or 2,The height of the horizon where the extension lines of the upper and lower sides of each reference plane intersectIt is characterized in that adjustment is performed by inputting information related to.
[0010]
  According to a fifth aspect of the present invention, in the method according to any one of the first to fourth aspects, after the input of the three points, the actual dimension of the corresponding part in the image for any of the line segments connecting the three points. And a dimension specifying step for specifyingPrepared in advanceAn image setting file storing an image file name and an actual size of the image is provided.
  According to a sixth aspect of the present invention, in the method according to the fifth aspect, the image setting file includes information for selecting whether to paste in a specified area or to paste in a tiled area. Features.
  According to invention of Claim 7, in the method of Claim 5, the saidPrepared in advanceThe image is characterized by being an object having three-dimensional shape information.
[0011]
  According to invention of Claim 8, in the method in any one of Claim 1 thru | or 5, it has the surface direction designation | designated step which designates the information regarding the direction of the surface of the area | region to produce, The said area designation | designated step is the surface. It is characterized by drawing in different colors according to the direction information.
  According to the invention of claim 9, in the method of claim 6,Of the notch areaA surface direction designating step for designating information related to the direction of the surface, and a mask designating step for cutting out image information relating to the region held by the region based on the surface direction information. It is characterized by drawing with different colors according to the above.
[0012]
  According to a tenth aspect of the present invention, in the method according to any one of the first to seventh aspects, the specified region is collectively grouped according to the surface direction information..
[0013]
According to an eleventh aspect of the present invention, in the method according to any one of the first to tenth aspects, the image setting file includes information on a unit price, and calculates and displays a total of unit prices corresponding to the pasted image. An estimation step is provided.
[0014]
The captured architectural image is, for example, an image obtained by photographing the appearance of a building such as the exterior of the building or the interior (interior, etc.) of the building with a desired imaging means such as a digital camera or a silver halide film. .
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described. Here, a case will be described in which the method of the present invention is performed by executing software installed in a personal computer using a recording medium such as a CD-ROM.
[0016]
FIG. 1 is an example of an initial screen of software using the method of the present invention. In the figure, 10 is a title bar, 20 is a tool bar, 30 is an operation guide, 40 is a work area, and 50 is an operation panel. This software has a function that allows the appearance of a building photographed by a digital camera to be freely changed like a chameleon. Due to this function, the name of the software is displayed at the left end of the title bar 10. “Digital cameraleon” (Trademark registration pending) is displayed. Three buttons 11 to 13 arranged at the right end of the title bar 10 are buttons for screen operation, and are a minimize button 11, a maximize button 12, and an end button 13 from the left.
[0017]
A group of buttons arranged on the toolbar 20 will be described.
Reference numeral 21 denotes an image reading button, which is a button for reading an image taken into the personal computer from the digital camera. When the mouse is clicked, a screen for opening an image file appears. By specifying the file location, file name, and file type, and opening the file, an image of the building is read and displayed in the work area 40. Is displayed. Note that image data obtained by photographing a building using a digital camera or the like is stored in advance in a hard disk of a personal computer. This image data may be a picture of a house taken with a silver salt film and digitized with a scanner.
An area button 22 is a switch button to an area creation step for designating a range to be changed.
Reference numeral 23 denotes a mask button, which is a switch button to a mask creation step for designating a range that is not desired to be changed in the designated area.
Reference numeral 24 denotes a paste button, which is a switch button to an image pasting step for placing a material or a member in a designated area.
Reference numeral 25 denotes a shadow button, which is a switch button to a shadow effect adding step for adjusting the brightness and shadow of the pasted material.
Reference numeral 26 denotes a save button which is operated when saving the work state in a predetermined format.
Reference numeral 27 denotes a write button which is operated when writing only an image in JPEG or BMP format.
[0018]
Here, the difference between the save button 26 and the write button 27 will be described. Since the save button 26 saves the current work state, it can be called again later and work can be continued. In the write button 27, only the edited image is saved, and the working state is not saved.
[0019]
An end button 28 is a button for ending the program.
Reference numeral 201 denotes a display magnification setting field, which can change the display magnification of the image 41 displayed in the work area 40.
Reference numeral 202 denotes a help button. When the mouse is clicked with a mouse, a help file is opened and an explanation screen for this software appears.
[0020]
Reference numeral 30 denotes an operation guide, which displays a simple sentence to guide the user what to do in the current step, and the contents of the explanation are sequentially switched and displayed as the step proceeds.
The work area 40 is an area in which an image 41 of a building is displayed. After the area creation and mask creation steps, the image is edited in the image pasting step, the shadow adding step, and the like. This is the area to be displayed.
The operation panel 50 displays the operation procedure in a visually easy-to-understand manner so that even a user who is a beginner can easily operate it, and only the operation buttons necessary for the current step appear.
[0021]
Hereinafter, each step will be described in detail.
(A) Image reading step
In the initial screen immediately after starting this software, the image 41 is not displayed in the work area 40 of FIG. In addition, an image reading button 51 is displayed on the operation panel 50, and an explanation of “Please click the button below to read an image” is displayed on the button 51. 52 is not displayed. The function of the image reading button 51 is exactly the same as the function of the image reading button 21 of the toolbar 20, and the user can read an image by operating either button. For beginners, it is easier to use the image reading button 51 on the operation panel 50. A person who is familiar with the software and has learned the functions of the buttons on the toolbar 20 may use the image reading button 21. (Note that the image reading button 51 does not appear on the operation panel 50 in the steps after the area creation step (C) described later, so that if it is desired to edit another image at this stage, the image reading button on the toolbar 20 is used. 21 will be used.)
[0022]
When an image is read using the image reading button 21 or 51, an image 41 obtained by photographing a building is displayed in the work area 40 as shown in FIG. In FIG. 1, the image 41 is displayed in monochrome, but is displayed in color in actual software. When the image 41 is read, an initial setting guide screen 52 appears under the image reading button 51 for the first time at this stage. In this way, the next necessary operation guidance appears in accordance with the user's operation in order, so that even a beginner can use it without confusion.
[0023]
In the initial setting guide screen 52, “Please click the corner of the house in the order of 1, 2, 3 to set the reference direction” is described, and the operation guide 30 reads “After reading image data from file. ”Let's create a wire surface by designating 3 points in the order of the numbers on the operation panel” is displayed, so the user displays them in the work area 40 in the order of numbers 1 → 2 → 3 on the initial setting guide screen 52. It can be easily understood that the corner of the house in the displayed image 41 should be clicked with the mouse. This operation is the next three-dimensional information input step.
[0024]
(B) Three-dimensional information input step
The three-dimensional information input step will be described with reference to FIGS. In the following description, for the sake of easy understanding, the monochrome halftone image 41 shown in FIG. 1 is replaced with a line drawing. Place the mouse cursor on the top of the vertical line where the left and right sides of the house intersect, and left-click the mouse. As shown in Fig. 2 (a), the origin O is displayed at the location where the mouse cursor hits. At the same time, the line segment drooping from the origin O is automatically displayed. The lower end H of the line segment should be aligned with the lower end of the vertical line where the left and right sides of the house intersect.
[0025]
By the way, when analyzing photographs taken of houses, the top of the vertical line where the left and right sides of the house intersect often appears in general, but what about the bottom of the vertical line? Sometimes things are placed, planted, or accidentally parked, so they are not visible. Even if it sees Fig.2 (a), although the upper end of the perpendicular line where the left side surface and right side surface of a house cross | intersect is visible, the lower end is not visible.
[0026]
In consideration of the characteristics peculiar to the photograph which photographed such a house, this software uses the vertical line where the left side and the right side of the house intersect as the first point (origin O) for the input of three-dimensional information. To get the top of. Further, the length of the line segment OH hanging from the origin O can be adjusted later, but it is not always necessary to adjust. Here, the line segment OH in FIG. 2A completely overlaps with the vertical line where the left side and the right side of the house intersect, but this is not because the lower end H is input as the second point. When the origin O is determined as described above, the lower end H is automatically displayed. The reason why the automatically displayed line segment OH conveniently overlaps the vertical line where the left side surface and the right side surface of the house intersect will be explained. Generally, in a photograph taken of a house, the left side surface of the house This is because most people shoot so that the vertical line that intersects the right side and the right side of the image is also perpendicular to the image. If you read an image in which the vertical line where the left and right sides of the house intersect is not vertical on the image (the house itself is tilted), the function of this software cannot be fully demonstrated. However, in such a case, the image data may be read after correcting in advance so that the vertical line where the left side surface and the right side surface of the house intersect is in the vertical direction on the image. Software for arbitrarily rotating an image is generally easy to obtain, so this software does not have a rotation function for scanned images, but you may add an image rotation function or an automatic correction function to this software. Needless to say.
[0027]
As described above, it is one of the features of the present invention that the line segment OH is automatically drawn so that a perpendicular line having an appropriate length descends from the input first point (origin O). There are many vertical lines, and usually, when taking a picture, it is used to determine the vertical and horizontal directions along the vertical line.
[0028]
Next, input of the second point will be described. When the input of the first point (origin O) is completed and the mouse button is released, the image of FIG. 2B is displayed, and the second line different from the first line segment OH extending from the origin O is displayed. A second point (left end L) is displayed on the minute. This second point (left end L) is linked to the mouse cursor, and when the mouse is moved, a quadrangle having two adjacent sides of line segment OL and line segment OH is shown in FIG. The deformation is performed as shown in FIG. As shown in FIG. 2 (d), after adjusting the upper side of the left side of the house to match the line segment OL, left-clicking the mouse completes the input of the second point (left end L). To do. Note that a quadrangle having two adjacent sides of the line segment OL and the line segment OH is a vertical line that divides the line segment OL into five equal parts and a diagonal line that divides the line segment OH into five equal parts. A grid line (grid) is formed, and a quadrangle including the grid line is referred to as a wire frame or a wire surface in this specification. The number of grid lines constituting the wire surface is not limited, but it is difficult to see if it is too large, and it is difficult to grasp surface information if it is too small.
[0029]
Next, input of the third point will be described. When the input of the second point (left end L) is completed and the mouse button is released, the image of FIG. 2E is displayed, and the first line segment OH and the second line segment O- extending from the origin O are displayed. A third point (right end R) is displayed on a third line segment different from L. This third point (right end R) is interlocked with the mouse cursor, and when the mouse is moved, a quadrangle having two adjacent sides of the line segment O-R and the line segment OH is shown in FIG. The deformation is performed as shown in FIG. 3 (f) → FIG. 3 (g). As shown in Fig. 3 (g), after adjusting the upper side of the right side of the house and the line segment OR, left-clicking the mouse completes the input of the third point (right end R). To do. Note that a quadrangle having two adjacent sides of the line segment O-R and the line segment OH is a vertical line that divides the line segment OH into five equal parts and a diagonal line that divides the line segment OH into five equal parts. Constitutes a grid line. A quadrangle including the lattice lines is defined as a second wire surface. When the wire surface shown in FIGS. 2B to 2D is the first wire surface, the first and second wire surfaces are hinged with the line segment OH as a pivot. It can be seen that a solid figure that can be deformed is shown. The first surface (first wire surface) of this three-dimensional figure is attached to the left side surface of the house as shown in FIG. 2 (d), and the second surface (second wire surface) as shown in FIG. 3 (g). And a line segment O− where the first and second wire surfaces intersect with a vertical line where the left side surface and the right side surface of the house intersect as shown in FIG. By matching H, the software can acquire the three-dimensional information copied to the read two-dimensional image data.
[0030]
When the input of the first to third points is completed, the display of the operation guide 30 and the operation panel 50 is switched as shown in FIG. When the operation panel 50 in FIG. 4 is viewed, it can be seen that the initial setting guide screen 52 of the operation panel 50 in FIG. 1 disappears and the wall surface fine adjustment setting screen 53 appears. The operation guide 30 displays “Let's finely adjust the wall surface of the created wire surface and input the dimension between the light blue arrows.” Here, the light blue arrow is an arrow between line segments OL in FIG. 3G, and indicates that the dimension of the left side surface of the house can be input. In order to input the left side dimension, after confirming that “left side width” is selected on the dimension designation operation screen 54, the measured dimension between line segments OL in the dimension input field 55. Enter a numerical value.
[0031]
Next, in order to input the dimension of the right side surface, “width of the right side surface” is selected on the dimension designation operation screen 54. Thereby, the image of the work area 40 is switched as shown in FIG. 3H, and the arrow between the line segments OR is displayed in light blue. In this state, the measured dimension between the line segments O-R is numerically input in the dimension input field 55.
[0032]
Next, in order to input the height, drag the lower end H of the line segment OH, which is vertically lowered from the origin O, to the lower end of the house by dragging it with the mouse, and the operation screen for specifying the dimensions. The height is selected at 54. Thereby, the image of the work area 40 is switched as shown in FIG. 3I, and the arrow between the line segments OH is displayed in light blue. In this state, the actual measurement dimension between the line segments OH is input to the dimension input field 55 as a numerical value.
[0033]
If the input of the first point (origin O), the second point (left end L), and the third point (right end R) is an input of three-dimensional angle information, line segments OR, OL, The input of the length of OH is input of three-dimensional dimension information, so that the software acquires the three-dimensional angle information and dimension information copied to the read two-dimensional image data. It can be done. You can omit the dimension input, but you can calculate the estimate by automatically calculating the pasting area of the exterior material, or to automatically calculate the tiling pitch and scaling factor of the object to be pasted. Is more preferable.
[0034]
In some cases, the 3D information input step can be completed, but was the focal length setting for digital camera shooting set to the telephoto or wide-angle side than the standard, or was the shooting position looking up at the building? Depending on whether the position is looking down, fine adjustment of the wire surface may be necessary. Therefore, using the setting screen 53 for fine adjustment of the wall surface from the state of FIG. 3 (i), the angle of the lower side of each wire surface is matched to the angle of the left side surface and the right side surface of the house as shown in FIG. In addition, when the lower side of the house is hidden behind the object and cannot be seen well, if the direction of the grid lines (grids) on the wire surface is matched with a member containing information parallel to the lower side of the house, such as a window frame or door frame good.
[0035]
FIG. 5 is an explanatory diagram for explaining the functions of the three slide bars 53a to 53c provided on the setting screen 53 for fine adjustment of the wall surface. For example, with respect to the wire surface shown in FIG. 5 (c), the lower sides L'-H and R'-H of both the left and right wire surfaces should be lengthened as shown in FIG. 5 (a) and looked down from above. Sometimes, the center slide bar 53b is operated downward. Conversely, as shown in FIG. 5C, the lower sides L′-H and R′-H of the left and right wire surfaces are shortened as shown in FIG. If desired, the center slide bar 53b is operated upward.
[0036]
Further, when it is desired to reduce the angle formed by the vertical line OH and the lower side L′-H of the left wire surface with respect to the wire surface shown in FIG. 5C as shown in FIG. The slide bar 53a is operated upward. Conversely, when it is desired to return from the state of FIG. 5D to the state of FIG. 5C, the slide bar 53a is operated downward.
[0037]
When the angle formed between the vertical line OH and the lower side R′-H of the right wire surface with respect to the wire surface shown in FIG. 5C is to be reduced as shown in FIG. The slide bar 53c is operated upward. Conversely, when it is desired to return from the state of FIG. 5E to the state of FIG. 5C, the slide bar 53c is operated downward.
[0038]
Thereby, the angle of the lower side of each wire surface is exactly matched with the angle of the left side surface and the right side surface of the house from the state of FIG. 3 (i) as shown in FIG. 3 (j). If this initial setting work is carried out with high accuracy, work such as area creation, mask creation, material sticking, and part placement which will be performed later can be easily performed along the angle of the house. This is illustrated in FIGS. 9 and 10.
[0039]
In the examples of FIGS. 4 and 5, the left slide bar 53a and the right slide bar 53c can be operated separately with emphasis on the ease of understanding of the operation. However, as described above, this operation is performed digitally. Supports fine adjustment when the camera's focal length setting is deviated from the standard to the telephoto or wide-angle side, so that if one is combined, the other can be automatically linked and adjusted. It doesn't matter.
[0040]
The principle will be described with reference to FIG. The solid lines in the figure represent the left and right sides of the house as an origin O, a lower end H, a left upper end L, an upper right end R, a left lower end L ', and a right lower end R'. The elongated dotted line is a straight line obtained by extending line segments OL, OR, H-L ', and H-R' toward the infinity point. The point where the extension lines of the line segments OL and H-L ′ intersect exists on the horizon indicated by the thick dotted line. Moreover, the point where each extension line of line segment O-R and H-R 'crosses also exists on the horizon. Accordingly, when the angle formed between the line segment HL ′ and the perpendicular line OH is determined, the height of the horizon on the image is determined. Therefore, the angle formed between the line segment HR ′ and the perpendicular line OH is also determined. It is determined uniquely. Therefore, in place of the slide bars 53a and 53c in FIG. 4, a slide bar 53d for viewing angle adjustment as shown in FIG. 7 is provided, and the focal length at the time of shooting of the digital camera is set to the telephoto side or wide angle side from the standard. You may just adjust so that it may shift.
[0041]
In the above description, it is preferable to carry out dimension input and fine adjustment of the wall surface, but this is not always necessary, and dimension input may be omitted. In addition, it is preferable that the angle formed between the lower side of the wire surface and the perpendicular is preset in advance so that fine adjustment of the wall surface can be almost omitted under standard imaging conditions.
[0042]
When it is desired to start the input of the three-dimensional information from the beginning, the state shown in FIG. 1 can be restored by operating the reset button 56 provided below the operation panel 50 in FIG. When it is desired to move to the next step after completing the input of the three-dimensional information as shown in FIG. 3J, the “Next” button 57 provided on the lower side of the operation panel 50 in FIG. When the area button 22 is operated, the state shown in FIG. 8 is entered. Basically, it is possible to move to the next step by operating the “Next” button 57 on the operation panel 50, so the button on the toolbar 20 is operated when moving forward only. Although it is not necessary, when you want to return to the previous step, instead of using the “Return” button to return one step at a time, it is devised to return to any step at once by using the button on the toolbar 20. is there. In addition, any one of the buttons 21 to 27 of the toolbar 20 is highlighted (displayed in a different color or displayed in a pressed state, preferably both), so which step is the current step. It also has a function to display whether or not.
[0043]
(C) Region creation step
Next, the area creation step will be described. FIG. 8 is a screen in the initial state of the area creation step, and the area button 22 of the tool bar 20 is displayed in a color different from other buttons. The operation guide 30 is instructed to “select buttons on the operation panel and specify areas to be reformed in order.”
[0044]
Looking at the top of the operation panel 50, “Please create a pasting area” is displayed, and below it is a picture of a house with the left side painted in the first color as “▼ Create left side”. It is displayed. Below that, a picture of a house with the right side painted in the second color is displayed as “▼ Create right side”. Below that, a picture of the house with the roof painted in the third color is displayed as “no surface designation”. In addition, buttons 501 to 506 labeled “rectangle” and “polygon” are arranged on the right side of the picture of each house.
[0045]
Reference numeral 501 denotes a button for creating a rectangular area belonging to the left side of the house, and 502 denotes a button for creating a polygonal area belonging to the left side of the house. The area created after operating these buttons is displayed in the first color indicating that the area belongs to the left side.
[0046]
Reference numeral 503 denotes a button for creating a rectangular area belonging to the right side of the house, and reference numeral 504 denotes a button for creating a polygonal area belonging to the right side of the house. The area created after operating these buttons is displayed in the second color indicating that the area belongs to the right side.
[0047]
Reference numeral 505 denotes a button for creating a rectangular area that does not belong to the left side or the right side of the house. Reference numeral 506 denotes a button for creating a polygonal area that does not belong to the left side or the right side of the house. It is. The area created after operating these buttons is displayed in a third color indicating that the area does not belong to either the left side or the right side.
[0048]
When the button 501 or 502 is pressed, the horizontal and vertical lines on the left side are displayed in a grid pattern in the work area 40 as shown in FIG. 9 in order to inform the user that an area belonging to the left side will be created. The
[0049]
When the button 503 or 504 is pressed, the horizontal and vertical lines on the right side are displayed in a grid pattern in the work area 40, as shown in FIG. 10, in order to inform the user that an area belonging to the right side will be created. The
[0050]
When the button 505 or 506 is pressed, the work area 40 has a grid-like horizontal and vertical lines as shown in FIG. Is not displayed.
[0051]
When one of the buttons 501, 503, and 505 for creating a rectangular area is operated, only that button is highlighted, and then two arbitrary points (start point and end point) on the image of the work area 40 are designated. Only one rectangular area with these two points in the diagonal direction can be created. The created area is displayed in a fourth color indicating that it is the currently selected area. When one area is created, the reverse display of the button is canceled, and when the next area is created, it is created after pressing any of the buttons 501 to 506 again.
[0052]
When one of the buttons 502, 504, and 506 for creating a polygonal area is operated, only that button is highlighted, and then, by specifying any of a plurality of points on the image of the work area 40, Only one polygonal region having the plurality of points as vertices can be created. The created area is displayed in a fourth color indicating that it is the currently selected area. When one area is created, the reverse display of the button is canceled, and when the next area is created, it is created after pressing any of the buttons 501 to 506 again.
[0053]
When the Nth area (N ≧ 2) is created, only the Nth area is displayed in the fourth color indicating that the area is currently selected, and the first to (N−1) areas are displayed. The eye area is the first color for the area belonging to the left side, the second color for the area belonging to the right side, and the third color for the area not belonging to either the left side or the right side. Is displayed. By color-coding the areas created in this way, the currently selected area and the unselected area can be distinguished, or the area belonging to the left side and the area belonging to the right side, and not belonging to either the left or right side Consideration is given so that the area can be grasped at a glance.
[0054]
The first color indicating that the region belongs to the left side, the second color indicating that the region belongs to the right side, and the region that does not belong to the left side or the right side. Needless to say, the third color and the fourth color indicating the currently selected region are different from each other.
[0055]
FIG. 11 is an explanatory diagram showing a procedure for creating a rectangular region. (A) shows the creation of a rectangle that belongs to the left side, (B) shows the creation of a rectangle that belongs to the right side, and (C) shows how to create a rectangle that does not belong to either the left or right side. 11A or 11B is a figure that cannot be created unless all four points of a rectangle (strictly speaking, a quadrangle) are originally specified. In the present invention, the three-dimensional figure (B) is used. Based on the three-dimensional information acquired by the information input step, the rectangle belonging to the left side is created along the grid line of FIG. 9, and the rectangle belonging to the right side is created along the grid line of FIG. Therefore, it can be created simply by designating two points in the diagonal direction (start point a and end point b).
The points a and b can be specified by clicking and dragging the start point a and releasing it at the end point b. Since any vertex of the rectangle can be set as the start point, the area can be easily created. It is said.
[0056]
FIG. 12 is an explanatory diagram showing a procedure for creating a polygonal region. As shown in FIG. 12 (a), starting from a starting point a, specifying a plurality of points b, c, d, and e, and double-clicking an end point f, a polygon having each point as a vertex is completed. To do. Instead of double-clicking the end point f, the start point a may be clicked again. A complex polygon can also be created by first creating a polygon with a small number of vertices and then adding vertices. For example, as shown in FIG. 12 (b), a polygon having points a, c, d, and f as vertices is first created, and the region of the already created polygon is selected by clicking with the mouse. When the state is set and the “Add polygonal vertex” button 507 is pressed, only one polygonal vertex can be added thereafter. For example, when the line segment ac is clicked with the mouse, a polygonal vertex is added at the position b '. Drag this to the position of point b. In the same way, when the “add polygon vertex” button 507 is pressed and the line segment df is clicked with the mouse, a polygon vertex is added at the position of e ′. Drag this to the position of point e. In this way, when creating a complex polygon, even if one or two points are forgotten to be specified, they can be added later.
[0057]
In addition, in order to transform the figure consisting of the vertices a, b, c, and d in FIG. 12 (c), each vertex must be moved one by one, but the “link between frame and polygon” function is turned on. Then, by dragging any one of the vertices α, β, γ, and δ of the frame surrounding the polygon as shown in FIG. Can be created by simultaneously moving the vertices a, b, c, and d. In the example of FIG. 12D, only one vertex γ of the frame is moved to γ ′, but a plurality of vertices a, b, c, and d are simultaneously moved and crushed as a whole. You can see that it can be transformed into a figure.
[0058]
If there is an area to be deleted among the already created areas, the area is selected by clicking with the mouse, and when the “Delete” button 509 is operated, one area displayed in the fourth color is displayed. Only deleted. When a plurality of areas are selected by pressing the “Group” button 508, these areas are grouped and can be deleted at once.
[0059]
If it is desired to redo the area creation step from the beginning, the reset button 56 provided below the operation panel 50 can be operated to return to the state at the time of first transition to that step. Further, when it is desired to shift to the next step, when the “next” button 57 provided below the operation panel 50 or the mask button 23 of the tool bar 20 is operated, the state shifts to the state shown in FIG.
[0060]
(D) Mask creation step
Next, the mask creation step will be described. In this mask creation step, if it is not desired to attach an exterior material to a part of the region specified in the region creation step (for example, a window, a front door, a rain part, etc.) This cut-out area is called a mask.
[0061]
FIG. 13 is a screen in the initial state of the mask creation step, and the mask button 23 of the toolbar 20 is displayed in a color different from other buttons. The operation guide 30 is instructed to “Specify the area of the window or door with a mask. It is displayed in color.” Looking at the upper part of the operation panel 50, “Please create a mask area” is displayed, and an “add” button 510 and a “delete” button 520 are arranged below it. One of these buttons 510 and 520 is pressed, and in an initial state, the “add” button 510 is pressed. When a mask area is specified while the “add” button 510 is pressed, a mask is added to the specified area. If a mask area is specified while the “delete” button 520 is pressed, the mask is deleted from the specified area. The functions of the buttons 511 to 516 used for creating or deleting the mask are the same as the functions of the buttons 501 to 506 used for creating the area. Note that the mask color selection unit 517 can select any of the three primary colors so that the mask color can be easily distinguished from the surrounding colors. Further, the mask may be displayed in different colors depending on whether it belongs to the left side surface, the right side surface, or the other region.
[0062]
Here, the reason for providing separate mask creation and mask deletion functions is to create a large mask that covers all windows, for example, when multiple windows of the same height are arranged in a row. Then, it is possible to easily create a high-precision mask by deleting the mask between windows, or create a mask along a complicatedly shaped member such as a rain gutter or a ventilation hood. Since it is cumbersome to do, cover the whole with a large mask, and then scrape the surroundings little by little using the mask deletion function, so that even masks with complex shapes can be created easily It is. If the display magnification of the image 41 in the work area 40 is set to a large value such as 200% or 400% by the display magnification setting field 201, the fine part of the mask can be easily corrected by repeating addition and deletion. .
[0063]
If it is desired to start over from the beginning of the mask creation step, the reset button 56 provided below the operation panel 50 can be operated to return to the state at the time of initial transition to that step. When it is desired to move to the next step, when the “next” button 57 provided below the operation panel 50 or the paste button 24 of the toolbar 20 is operated, the state shifts to the state shown in FIG.
[0064]
(E) Image pasting step
Next, the image pasting step will be described. In this step, an image of an exterior material or a roof material is pasted in the region specified in the region creation step described above. In addition to attaching exterior materials and roofing materials, exterior parts such as entrance doors, windows, rain gutters, lights, and trees can also be placed.
[0065]
FIG. 14 is a screen in an initial state of the image pasting step, and the pasting button 24 of the toolbar 20 is displayed in a color different from other buttons. The operation guide 30 is instructed that “Please click on the area where you want to change the image data. If you select a material from the operation panel, the image will change.” On the operation panel 50, a screen for selecting a material is displayed. First, a category such as exterior material, roofing material, rain gutter, color, etc. is selected using the category selection column 521 of the pasting material, and when any material is selected from the material name selection column 522, the material The material is displayed in the display field 523. When the mouse cursor is placed on the displayed material, the product name, size, and remarks are displayed in the material description column 524. If a favorite material is found, after clicking one of the areas on the image 41 in the work area 40 with the mouse to select one area, the material displayed in the material display field 523 is selected with the mouse. Click to paste an image of the material in the selected area. If a plurality of areas are clicked with the mouse after the grouping button 526 is pressed, the plurality of areas can be selected at the same time, and the same material can be pasted to the plurality of areas in one operation. it can. Furthermore, the same material may be pasted to a plurality of areas grouped together according to the surface direction in the above-described area creation step.
[0066]
Since the three-dimensional angle information is input in the above step (B), it is drawn using the perspective method along the grid lines as shown in FIG. 9 or FIG. It is. That is, when there are repeated patterns on the exterior material and the roofing material, the pattern is drawn larger as it approaches the near side, and the pattern is drawn smaller as it moves farther away. Thereby, a feeling of depth is given to the image after pasting.
[0067]
Further, since the three-dimensional dimension information is input in the above step (B), an image of the exterior material or the roof material can be pasted in a pattern close to the actual size. Further, by multiplying the unit price per dimension by the pasting area, it is possible to estimate the renovation cost by calculating the material cost and labor cost. As for this estimation function, an “estimate” button may be added to the toolbar 20 or the operation panel 50 so that the estimate of the renovation cost can be displayed at any time during the editing operation, or any of the save, export, and end buttons can be displayed. Configure to display the estimate only when you press, prompt "Do you want to display renovation cost estimate? (Yes: Y / No: N)" and type "Yes" You may do it.
[0068]
Even when the dimension input is omitted in the above step (B), if the enlargement / reduction button 525 of the pasting magnification is used, the pasting magnification can be enlarged or reduced at the designated magnification. For example, when the enlargement or reduction button is pressed from the state shown in FIG. 15B, the pasting material is enlarged or reduced as shown in FIGS.
[0069]
In the above step (C), it is possible to designate an area as shown in FIG. 11C that does not belong to either the right side or the left side. For example, parts such as lights and trees may be arranged around the house. it can. Among the images to be pasted, the vertical and horizontal sizes are registered for parts such as lights and trees, and a flag indicating that the parts are displayed without tiling has a format as shown in FIG. And is recorded in the image setting file. Therefore, if the three-dimensional dimension information is input in the step (B) described above, the enlargement / reduction ratio when these parts are pasted on the image can be automatically calculated. It is possible to display. As a result, after selecting an image, it is possible to paste the image on a portion where no area has been created, such as dropping it in the work area. In addition, by storing the shape data of the 3D object, even when the orientation of the part is changed, it is possible to project and display the two-dimensional image at the actual size.
[0070]
In addition, when the dimension input is omitted in the above-described step (B), it is effective to change the size after arrangement in order to make it appear more realistic. To change the size, switch the display mode to “wire frame” using the display mode switching operation unit 58, and move the points a and b in the area of FIG. 11 (c) to change the vertical x horizontal size of the area. To do. After that, if the display mode is returned to “texture”, the parts whose display magnifications in the vertical and horizontal directions are changed are displayed. In addition, when parts are pasted in the areas as shown in FIGS. 11 (a) and 11 (b), the parts given perspective are displayed along the grid lines in FIG. 9 or FIG. 10, respectively. Needless to say.
[0071]
In the image display in the work area 40, only the original image is displayed in the (A) image reading step and (B) three-dimensional information input step, (C) region creation step, (D) mask creation step, (E) In the image pasting step and the (F) shadow effect adding step, three types of an original image, a wire frame, and a texture can be selected. When “original image” is selected, the image read in the image reading step of (A) is displayed, and when “wire frame” is selected, the area creation step of (C) or (D) is displayed on the original image. The area specified in the mask creation step and the image overlaid with the mask are displayed. When “Texture” is selected, the image with the material pasted in the image pasting step in (E) is displayed on the original image. .
[0072]
Again, if the reset button 56 provided below the operation panel 50 is operated, it is possible to return to the state at the time of the first transition to that step. When it is desired to move to the next step, when the “next” button 57 provided below the operation panel 50 or the shadow button 25 of the toolbar 20 is operated, the state shifts to the state shown in FIG.
[0073]
(F) Shading effect addition step
Next, the shadow effect adding step will be described. In this step, the brightness and shadow of the pasted exterior and roofing materials are adjusted.
[0074]
FIG. 16 is a screen in the initial state of the shadow effect adding step, and the shadow button 26 of the toolbar 20 is displayed in a color different from the other buttons. The operation guide 30 is instructed to “adjust brightness and shading and adjust to the original image”. The operation panel 50 is provided with a slide bar 531 for adjusting the brightness and a slide bar 532 for adjusting the shadow, and on top of that, “Drag and drag to adjust brightness and shadow” is displayed.
[0075]
By clicking any area on the image 41 in the work area 40 with the mouse so that one area is selected and adjusting the slide bar 531 for adjusting the brightness, the brightness of the area can be adjusted. For example, if the brightness is halved, the brightness values of the three primary colors at each point in the selected area are halved, and if the brightness is doubled, the brightness values of the three primary colors at each point in the selected area are each doubled. Become.
[0076]
Further, when the shadow adjustment slide bar 532 is adjusted, the luminance values of the three primary colors at each point of the material pasted on the selected region are changed to values modulated by the average luminance value of the original image in the region. When the modulation degree is deep, the shadow becomes deep, and when the modulation degree is shallow, the shadow becomes light.
[0077]
This will be described with reference to an image 42 of a house shown in FIG. Since the houses are uneven, shadows are always created when exposed to light, but if you only paste the material in step (E) above, the shadow and light areas of the house will have the same brightness. . In order to make this a more realistic and beautiful finish, the brightness and shadow are adjusted.
[0078]
First, looking at the roof portion of the house in FIG. 17, it can be seen that there are high and low brightness portions. Therefore, even if the same roofing material is pasted, the brightness of the shadowed portion of the house is lowered, and the brightness of the portion that is exposed to light is increased, thereby making it possible to obtain an image with no sense of incongruity.
[0079]
Moreover, when the wall part of the house of FIG. 17 is seen, it turns out that the shadow is made just under the roof or under the bay window. Furthermore, looking at the shadows on the roof and walls, it can be seen that dark and light shadows are mixed. This means that shadows are darker in areas where there are double shadows. In such a case, it is not possible to adjust a realistic shadow only by adjusting the brightness. Therefore, the average luminance value of each point of the original image is acquired as the average value of the luminance of several points to several tens of points, for example, and the luminance value of the pasted material image is modulated with the average luminance value of each point of the original image By doing so, the shadow in the original image is reflected on the image of the material superimposed on it. As a result, the material after pasting can be shaded.
[0080]
Clicking multiple areas with the mouse after pressing the grouping button 533 allows the multiple areas to be selected at the same time, giving the same shadow effect to multiple areas with a single operation. can do.
[0081]
Again, if the reset button 56 provided below the operation panel 50 is operated, it is possible to return to the state at the time of the first transition to that step. Further, when it is desired to move to the next step, if the “next” button 57 provided below the operation panel 50 or the save button 26 of the toolbar 20 is operated, the work up to that point is saved as a file of a predetermined format. can do. Further, when the write button 27 on the toolbar 20 is operated, the image 41 displayed in the work area 40 at that time can be written. When the end button 28 on the toolbar 20 or the end button 13 on the title bar is operated, the program can be ended.
[0082]
Next, a hardware configuration and a software configuration necessary for realizing the above-described processing will be described.
(About hardware configuration)
FIG. 18 shows a hardware configuration. In the figure, 1 is an input device, 2 is an output device, 3 is a storage device, and 4 is an information processing device. The input device 1 includes a pointing device such as a mouse, a numerical input keyboard, and the like. Further, an input terminal for transferring image data from a digital camera or a scanner for digitizing a photograph may be included. The output device 2 includes a display such as a CRT monitor or an LCD monitor. Further, it may include a printer for printing the edited result. The storage device 3 includes a hard disk drive, a CD-ROM drive, and the like, and stores an image file of a pasted image and its image setting file. The image setting file for the pasted image includes, for example, information such as the name of the pasted material, a flag for identifying whether to tile or paste by scaling, the file name, the size of the material, and the unit price. Yes. The storage device 3 may store an image file or a shape file of 3D parts. The program main body of this software can be directly executed from the CD-ROM drive, but may be installed and executed in the hard disk drive. The information processing device 4 includes a CPU, a RAM, and an input / output interface. On the RAM, the program main body read from the storage device 3 is arranged so as to be executable by the CPU, and an area for storing the original image read from the storage device 3 and an image 41 displayed in the work area 40 are displayed. There are provided a first image work area for storing, a second image work area for storing an image in the initial state of the current mode so that the initial state of the current mode can be returned to when the reset button 56 is pressed. Yes. In the first image work area, an image in which wire frame and texture information is superimposed on the original image is created and displayed on the display of the output device 2 via the input / output interface. Such a hardware configuration can be realized by, for example, a standard personal computer, but is not limited thereto.
[0083]
(About software configuration)
FIG. 19 shows a software configuration. An event control module 5 manages mouse events generated mainly by mouse operations. When the occurrence of an event such as a mouse button click or release is detected via the input interface, the event control module 5 uses information such as the left button, right button state, and mouse cursor coordinates as data that can be used by other control modules. Output. This type of program can be configured as a general-purpose program that is libraryed as a mouse driver. The logic control module 6 is a main part of the program, and includes an area creation step control module 61, a mask creation step control module 62, an image pasting step control module 63, a shading application step control module 64, a writing control module 65, and a storage control module 66. The estimation control module 67 is included. Among these, the writing control module 65 and the saving control module 66 can be configured using a general-purpose library known as “save as”. The other control modules are newly coded programs for this software. The interface control module 7 manages switching of explanations of operation procedures appearing on the operation panel 50 and appearance / deletion of operation buttons. Further, switching of the explanatory text displayed on the operation guide 30 is managed. The “interface” of the interface control module 7 is a man-machine interface, and may be called a GUI control module. The drawing control module 8 controls the drawing of the image 41 displayed in the work area 40. The image 41 of the work area 40 created by the drawing control module 8, the image of the operation panel 50 and the image of the operation guide 30 created by the interface control module 7 are reflected on the display of the monitor via the output interface.
[0084]
FIG. 20 shows the overall processing flow of the software. First, in the image reading step, a program composed of a general-purpose library known as “open file” is executed when the image reading button 21 or 51 is pressed, and the image data stored in the storage device 3 is stored as information. The original image of the processing device 4 is read into a RAM area for storing it. Thereby, the image 41 is displayed in the work area 40, and the process proceeds to the three-dimensional information input step. In the three-dimensional information input step, the first point (the upper end O of the vertical line where the left side and the right side intersect), the second point (the left end L of the upper side of the left side), and the third point (the right end R of the upper side of the right side) Get at least the coordinates. Moreover, the information of the dimension of line segment OH, OL, OR is acquired as needed. Further, when fine adjustment is necessary, the angle between the line segments OH and HL ′ and the angle between the line segments OH and HR ′ are finely adjusted using the slide bars 53a and 53c. Or the inclination angle of the line segment LL ′ and line segment RR ′ is adjusted by the slide bar 53b.
[0085]
Subsequent step switching processing is automatically performed using the variable Step. In the initial state, Step = 1 is set, and the process proceeds to the area creation step. When the “Next” button is pressed, the variable Step is incremented by 1 and Step = 2, and the process proceeds to the mask creation step. When the “Next” button is pressed, the variable Step is incremented by 1 and Step = 3, and the process proceeds to the image pasting creation step. When the “Next” button is pressed, the variable Step is incremented by 1 and Step = 4, and the process proceeds to the shadow effect adding step. When the “Next” button is pressed, the variable Step is incremented by 1 and Step = 5, and the process ends. The processing is also ended when the end button or the save / write button is pressed. When any of the step switching buttons 22 to 25 on the toolbar 20 is pressed halfway, the value of the variable Step is forcibly set to n = m-21 according to the number m of the pressed button, and the previous step is set. You can go back. (It is assumed that when the image reading button 21 on the toolbar 20 is pressed, the process returns to the image reading step.)
[0086]
FIG. 21 is an explanatory diagram showing an outline of the area creation processing in the area creation step control module 61. Here, a case where a rectangular region is created will be described. First, get the face information. For example, if the button 501 is pressed, a rectangular area on the left side is created. At this time, by acquiring the plane information on the left side as shown by the grid lines in FIG. 9, a rectangular region can be created simply by specifying two diagonal points. When the point a in FIG. 11A is clicked with the mouse on the screen as the two-dimensional information of the object, this is acquired as the starting point coordinates (xa, ya). Next, when point b in FIG. 11A is clicked on the screen with the mouse, this is acquired as end point coordinates (xb, yb). If a line passing through these start point coordinates (xa, ya) and end point coordinates (xb, yb) is drawn along the plane information of the left side figure, a rectangle on the left side can be created, and this is registered as area information. . At the same time, a rectangular figure on the left side is drawn on the original image on the image 41 in the work area 40. Specifically, the luminance information RGB (,,) of the three primary colors at each coordinate (x, y) is changed to a specific color. In addition, the process of color-coding the area with the above-described first, second, and third colors is as follows. For each figure, figure 1 = (left side, rectangle, start point coordinate a, end point coordinate b), figure 2 = (right side) , Polygon, coordinate a, coordinate b, coordinate c, coordinate d), figure 3 = (others, rectangle, start point coordinate a, end point coordinate b), etc. For the left side figure, it is the first color, the right side figure is the second color, the left side and the right side are the third color, and the selected figure is the second color. The four colors of luminance information RGB (,,) of the three primary colors of each point constituting the figure are switched and displayed.
[0087]
FIG. 22 is an explanatory diagram showing an outline of mask creation processing in the mask creation step control module 62. 21 is almost the same as the area creation process shown in FIG. 21, except that a process for obtaining a flag for distinguishing between addition and deletion of a mask is added, and when adding a mask, logical sum and mask deletion are performed. The only difference is the addition and deletion of masks in the operation of NAND.
[0088]
FIG. 23 is an explanatory diagram showing an outline of the shadow effect addition processing in the shadow effect addition step control module 64. A flag for identifying whether the slide bar 531 or 532 is selected is “brightness change” or “shadow change”, and based on the height of the selected slide bar, the intensity of the brightness change is obtained. Information is acquired, and brightness or shading is changed by multiplying the luminance information RGB (,,) of the three primary colors of each point in the bitmap information of the work area by a predetermined coefficient (<1) according to the acquired information. .
[0089]
In addition, it cannot be overemphasized that various deformation | transformation is possible about the content of a specific program within the range described in the claim. In addition, the screen configuration illustrated in the accompanying drawings is merely an example, and is not intended to be limited to the illustrated screen configuration.
[0090]
The image replacement method in the architectural image of the present invention is not limited to the above-described embodiment, and it is needless to say that various changes can be made without departing from the gist of the present invention.
[0091]
In this specification, the “side surface” in the case of the left side surface and the right side surface of a house means a substantially vertical wall surface that constitutes a building, but it is not necessarily an outer wall surface. It is also possible to apply the present invention. In other words, the method of the present invention may be applied not only to the replacement simulation of outer walls and roof materials, but also to the replacement simulation of interior wall materials, floor materials, and ceiling materials.
[0092]
The embodiment has been described on the assumption that a program for executing the method of the present invention is stored and distributed in a recording medium such as a CD-ROM or a flexible disk. However, the program can be downloaded via a communication line. You may make it usable.
In addition to this embodiment, as a form to be used through the Internet (not shown), a server (not shown) is loaded with a server program, and a client (not shown) accesses through the Internet. When accessing the server for the first time, the client program may be downloaded.
[0093]
Below, the outline | summary about the flow in the case of such a structure is shown. For example, the server uploads a saved file by performing processing such as initial setting, area creation, and mask creation.
The client accesses the server, selects the above-mentioned file, designates an area to be replaced in the image, selects the replacement image, and presses the replacement button. The client program collects step information, information to be replaced, information such as a replacement image, creates event information, and transmits it to the server. The server analyzes event information including these requests and creates HTML.
The server returns an HTML including the repainted image to the client, so that the user can confirm the repainted image.
[0094]
Finally, the abbreviations used in this specification and the drawings will be described. HTML means Hyper Text Markup Language, CAD means Computer Aided Design, JPEG means Photographic Coding Experts Group, and BMP means BitMap.
[0095]
【The invention's effect】
  According to the first aspect of the present invention, the area can be designated by the perspective projection method only by inputting the coordinates of three points on the two-dimensional image.Also,Claim1According to the invention, since the reference surface creation method is such that the current work is not a simple point input, the surface can be created while being conscious of the surface.
  Claim2According to the invention, since the reference plane is displayed with the wire frame, there is an effect that fine adjustment of the reference plane can be easily performed by superimposing the reference plane on the line in the image.
  Claim3According to this invention, there is an effect that the method of adjusting the reference plane is intuitively easy to understand.
  Claim4According to the invention, the operation for adjusting the reference plane can be reduced by one action.
[0096]
  Claim5According to the invention, since it is possible to input an actual dimension, when an image is pasted, pasting according to the dimension is possible, and a tiling size and an enlargement ratio of the pasted image are determined based on the actual dimension. There is an effect that can be done.
  Claim6According to this invention, since the flag for stretching or tiling is given to the pasted image, there is an effect that the user does not need to be aware of whether to paste or tiling as it is.
  Claim7According to the invention, since the 3D object is used as the pasted image, there is an effect that not only the 2D image file but also the 3D object can be arranged.
[0097]
  Claim8According to the invention, since the areas are color-coded, there is an effect that it is easy to understand which reference plane the area belongs to during or after creation, and the advantage that you can immediately notice if you try to create with the wrong reference plane There is.
  Claim9According to the invention, since the masks are color-coded, there is an effect that it is easy to understand which reference plane the mask belongs to during or after the creation.
[0098]
  According to the invention of claim 10, when it is desired to group by which reference plane it belongs to, there is an effect that it is convenient because it is not necessary to select one by one..
[0099]
According to the invention of claim 11, since the estimation function is added, there is an effect that the estimated amount can be understood simultaneously with the replacement.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a first display state of a screen configuration of a computer for carrying out a method of the present invention.
FIG. 2 is a first explanatory diagram showing a reference point input step in the method of the present invention.
FIG. 3 is a second explanatory diagram showing a reference point input step in the method of the present invention.
FIG. 4 is an explanatory diagram showing a second display state of a screen configuration of a computer for carrying out the method of the present invention.
FIG. 5 is a second explanatory view showing a reference plane creating step in the method of the present invention.
FIG. 6 is an explanatory diagram showing a method of inputting information relating to the horizon in the surface information holding step in the method of the present invention.
FIG. 7 is an explanatory diagram showing an example of a screen configuration for inputting information relating to the horizon in the surface information holding step in the method of the present invention.
FIG. 8 is an explanatory diagram showing a third display state of a screen configuration of a computer for carrying out the method of the present invention.
FIG. 9 is an explanatory diagram showing a fourth display state of a computer screen configuration for carrying out the method of the present invention;
FIG. 10 is an explanatory diagram showing a fifth display state of a computer screen configuration for carrying out the method of the present invention;
FIG. 11 is a first explanatory diagram showing a region designating step in the method of the present invention.
FIG. 12 is a second explanatory diagram showing a region designation step in the method of the present invention.
FIG. 13 is an explanatory diagram showing a sixth display state of a screen configuration of a computer for carrying out the method of the present invention.
FIG. 14 is an explanatory diagram showing a seventh display state of a computer screen configuration for carrying out the method of the present invention;
15 is an explanatory diagram for explaining a function of a sticking magnification adjusting unit in FIG. 14;
FIG. 16 is an explanatory diagram showing an eighth display state of a computer screen configuration for performing the method of the present invention;
FIG. 17 is an explanatory diagram for explaining the brightness and shadow adjustment function of FIG. 16;
FIG. 18 is a block diagram showing an example of a hardware configuration for carrying out the method of the present invention.
FIG. 19 is an explanatory diagram showing an example of a software configuration for carrying out the method of the present invention.
FIG. 20 is an explanatory diagram showing the overall processing flow of software for carrying out the method of the present invention;
FIG. 21 is an explanatory diagram showing an outline of processing of an area creation step in the software configuration of FIG. 19;
FIG. 22 is an explanatory diagram showing an outline of processing of a mask creation step in the software configuration of FIG. 19;
FIG. 23 is an explanatory diagram showing an outline of processing of a shadow effect adding step in the software configuration of FIG. 19;
[Explanation of symbols]
20 Toolbar
21 Load image button
22 Area button
23 Mask button
24 Paste button
25 Shadow button
30 Operation Guide
40 work area
50 Operation panel

Claims (11)

ポインティングデバイスを少なくとも備える入力装置と、画像表示用のディスプレイを少なくとも備える出力装置と、画像ファイルを少なくとも格納可能な記憶装置と、前記各装置と接続され、メモリ上に出力装置に表示される画像を格納する画像作業領域を少なくとも備える情報処理装置とを少なくとも備えるコンピュータを用いて、あらかじめ撮像された建築画像を記憶装置から情報処理装置の画像作業領域に読み込み出力装置のディスプレイに表示するとともに、表示した画像内の任意の領域を入力装置のポインティングデバイスを用いて指定させ、指定された領域に応じてあらかじめ用意された画像と張り替えて表示する建築画像における画像張り替え方法において、
前記領域を指定させる前に、入力装置のポインティングデバイスを用いて基準点となる3点を入力させる基準点入力ステップと、入力された3点に基づき画像内の建物形状の基準面に関する情報を情報処理装置が作成する基準面作成ステップと、作成した基準面を入力装置のポインティングデバイスを用いて微調整して保持する面情報保持ステップとを備えるとともに、
前記領域の指定の際に基準面に関する情報に応じて入力装置のポインティングデバイスを用いて領域を指定させる領域指定ステップを備え、
前記3点を入力させる基準点入力ステップにおいて、入力装置のポインティングデバイスを用いて1点目が入力された際に1点目から表示した画像の鉛直方向に適当な長さの線分を描画するとともに、入力装置のポインティングデバイスを用いた2点目または3点目の入力に際し、当該点と1点目により生成される線分および前記線分とを隣り合う2辺とした四角形を基準面として描画する描画ステップを備えることを特徴とする建築画像における画像張り替え方法。
An input device including at least a pointing device, an output device including at least a display for displaying an image, a storage device capable of storing at least an image file, and an image displayed on the output device on a memory connected to each of the devices. Using a computer having at least an information processing device including an image work area to be stored, a pre-captured architectural image is read from the storage device into the image work area of the information processing device and displayed on the display of the output device. In an image replacement method in an architectural image that allows an arbitrary region in an image to be specified using a pointing device of an input device and displayed in a replacement with an image prepared in advance according to the specified region,
Before designating the area, a reference point input step for inputting three points as reference points using a pointing device of the input device, and information on the reference plane of the building shape in the image based on the input three points A reference surface creation step created by the processing device, and a surface information holding step for finely adjusting and holding the created reference surface using the pointing device of the input device,
An area designating step of designating an area using a pointing device of an input device according to information on a reference plane when designating the area;
In the reference point input step for inputting the three points, when the first point is input using the pointing device of the input device, a line segment having an appropriate length is drawn in the vertical direction of the image displayed from the first point. In addition, when inputting the second point or the third point using the pointing device of the input device, a line segment generated by the point and the first point and a quadrilateral having two adjacent sides are used as a reference plane. An image replacement method for an architectural image, comprising a drawing step of drawing.
前記描画ステップにおいて、前記基準面の描画の際に四角形とその内部をワイヤーフレーム方式で描画するようにしたことを特徴とする請求項1に記載の建築画像における画像張り替え方法。    2. The method of replacing an image in an architectural image according to claim 1, wherein, in the drawing step, the quadrangle and the inside thereof are drawn by a wire frame method when the reference plane is drawn. 前記面情報保持ステップにおいて、各基準面の四角形で、前記2、3点目と1点目により生成される辺の各対辺の傾きを修正することで各基準面の形状を修正することにより調整を行うことを特徴とする請求項1または2のいずれかに記載の建築画像における画像張り替え方法。    In the surface information holding step, adjustment is performed by correcting the shape of each reference surface by correcting the inclination of each opposite side of the sides generated by the second, third, and first points in the quadrangle of each reference surface. The method of replacing an image in an architectural image according to claim 1, wherein: 前記面情報保持ステップにおいて、各基準面の上辺と下辺の延長線が交わる地平線の高さに関する情報を入力させることにより調整を行うことを特徴とする請求項1または2のいずれかに記載の建築画像における画像張り替え方法。    3. The building according to claim 1, wherein in the surface information holding step, adjustment is performed by inputting information relating to a height of a horizon where an extension line of an upper side and a lower side of each reference surface intersects. Image replacement method for images. 前記3点の入力後、該3点を結ぶ線分のいずれかについて、画像における該当部分の現実の寸法を指定する寸法指定ステップを備えるとともに、前記あらかじめ用意された画像にかかる画像ファイル名とその実寸法を記憶した画像設定ファイルを備えることを特徴とする請求項1乃至4のいずれかに記載の建築画像における画像張り替え方法。    After inputting the three points, the image processing apparatus includes a dimension designating step for designating an actual dimension of the corresponding part in the image for any of the line segments connecting the three points, and an image file name for the image prepared in advance and its actuality. 5. The method of replacing an image in an architectural image according to claim 1, further comprising an image setting file storing dimensions. 前記画像設定ファイルは、指定された領域に引き伸ばして貼り付けるか、タイリングして貼り付けるかを選択する情報を備えることを特徴とする請求項5に記載の建築画像における画像張り替え方法。    6. The method of replacing an image in an architectural image according to claim 5, wherein the image setting file includes information for selecting whether the image setting file is stretched and pasted to a specified area or is tiled and pasted. 前記あらかじめ用意された画像は、3次元形状情報を保有するオブジェクトとしたことを特徴とする請求項5に記載の建築画像における画像張り替え方法。    6. The method of replacing an image in an architectural image according to claim 5, wherein the image prepared in advance is an object having three-dimensional shape information. 作成する領域の面の方向に関する情報を指定する面方向指定ステップを備え、
前記領域指定ステップは、その面方向情報に応じて色分けして描画することを特徴とする請求項1乃至5のいずれかに記載の建築画像における画像張り替え方法。
A surface direction designating step for designating information about the surface direction of the area to be created;
6. The method of replacing an image in an architectural image according to any one of claims 1 to 5, wherein the area specifying step draws the image by color coding according to the surface direction information.
切り欠く領域の面の方向に関する情報を指定する面方向指定ステップと、面方向情報に基づき領域が保有する領域にかかる画像情報を切り欠くマスク指定ステップとを備え、
マスクを指定する際には、その面方向情報に応じて色分けして描画することを特徴とする請求項6に記載の建築画像における画像張り替え方法。
A surface direction designating step for designating information on the direction of the surface of the region to be cut out, and a mask designating step for cutting out image information relating to the region held by the region based on the surface direction information,
7. The method of replacing an image in an architectural image according to claim 6, wherein when the mask is designated, the mask is drawn by color coding according to the surface direction information.
指定された領域について、面方向情報に応じて一括してグループ化することを特徴とする請求項1乃至7のいずれかに記載の建築画像における画像張り替え方法。    8. The method of replacing an image in an architectural image according to any one of claims 1 to 7, wherein the designated area is collectively grouped according to surface direction information. 前記画像設定ファイルは単価に関する情報を備えるとともに、
貼り付けられた画像に対応する単価の合計を計算し表示する見積りステップを備えることを特徴とする請求項1乃至10のいずれかに記載の建築画像における画像張り替え方法。
The image setting file includes information about a unit price,
The method of replacing an image in an architectural image according to any one of claims 1 to 10, further comprising an estimation step of calculating and displaying a total unit price corresponding to the pasted image.
JP2003034336A 2003-02-12 2003-02-12 Image replacement method for architectural images Expired - Fee Related JP3879677B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003034336A JP3879677B2 (en) 2003-02-12 2003-02-12 Image replacement method for architectural images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003034336A JP3879677B2 (en) 2003-02-12 2003-02-12 Image replacement method for architectural images

Publications (2)

Publication Number Publication Date
JP2004246510A JP2004246510A (en) 2004-09-02
JP3879677B2 true JP3879677B2 (en) 2007-02-14

Family

ID=33020056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003034336A Expired - Fee Related JP3879677B2 (en) 2003-02-12 2003-02-12 Image replacement method for architectural images

Country Status (1)

Country Link
JP (1) JP3879677B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5524146B2 (en) * 2011-08-11 2014-06-18 株式会社ファイン Perspective diagram creation system, perspective diagram creation program, and perspective diagram creation method
JP2017059041A (en) * 2015-09-17 2017-03-23 株式会社リコー Image processing device, image processing method, and program
JP2019079340A (en) 2017-10-25 2019-05-23 富士ゼロックス株式会社 Information processing device and program
JP7123444B1 (en) 2021-09-03 2022-08-23 井上商事株式会社 Plotter and Layout System
JP7199127B1 (en) 2021-09-03 2023-01-05 井上商事株式会社 drawing device
JP7199126B1 (en) 2021-09-03 2023-01-05 井上商事株式会社 drawing device
CN114648546B (en) * 2022-05-18 2022-07-29 深圳小库科技有限公司 Building configuration scheme determination method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP2004246510A (en) 2004-09-02

Similar Documents

Publication Publication Date Title
US6529206B1 (en) Image processing apparatus and method, and medium therefor
US7148899B2 (en) Texture mapping 3D objects
US7728848B2 (en) Tools for 3D mesh and texture manipulation
US6434277B1 (en) Image processing apparatus and method, and medium therefor
US6867787B1 (en) Character generator and character generating method
KR101376832B1 (en) Object-level image editing
US6046745A (en) Three-dimensional model making device and its method
US8112712B2 (en) Image editing method, image editing apparatus, program for implementing image editing method, and recording medium recording program
CN1947155B (en) Image plotting device and method thereof
US20040196282A1 (en) Modeling and editing image panoramas
US6556195B1 (en) Image processing device and image processing method
CN112668085A (en) Home decoration plane automatic design method and device, computer equipment and storage medium
US20070146392A1 (en) System and method for magnifying and editing objects
US20050018902A1 (en) Image segmentation in a three-dimensional environment
US20030025694A1 (en) Method of rendering bitmap images into three dimensions
WO2022141888A1 (en) Home decoration material moving method and apparatus, and computer device and storage medium
JPWO2004107271A1 (en) 3D graphics data display device
JP3879677B2 (en) Image replacement method for architectural images
JP2005258821A (en) Image re-covering method for building image, renovation support system for building and program therefor
CN112800511B (en) Home decoration material adjusting method and device, computer equipment and storage medium
JPH05143711A (en) Image generating method
JP2003157290A (en) Processing method and processing system for image simulation, image simulation processing program, and recording medium
JP2002352259A (en) Reform simulation system
JP2001266176A (en) Picture processor, picture processing method and recording medium
JP3596959B2 (en) Texture editing system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061030

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees