JP7305795B2 - バーチャルペイントブラシ実現方法、装置およびコンピュータ読み取り可能な記憶媒体 - Google Patents

Description

（関連出願への相互参照）
本願は、２０１９年０４月２６日に出願し、出願番号が２０１９１０３４５７４５．４であり、発明の名称が「バーチャルペイントブラシ実現方法、装置およびコンピュータ読み取り可能な記憶媒体」である中国特許出願の優先権を主張し、その出願の全文を本願に組み込む。

本発明は、増強を実現する技術分野に属し、特に、バーチャルペイントブラシ（virtual paintbrush）の実現方法、装置およびコンピュータ読み取り可能な記憶媒体に関するものである。

バーチャル技術（virtual technology）は、撮影装置の撮影位置と角度を随時に検出した後、それに所定の画像、ビデオ、３Ｄモデルを追加する技術である。そのバーチャル技術の目的は表示パネルにおいてバーチャル画像を実際画像に組み込むことによりインタラクト（interact）をすることにある。

バーチャル技術の発展に伴い、使用者がバーチャル構造を想像する要求を満たすため、現在、バーチャルペイントブラシが販売されている。前記バーチャルペイントブラシはハードウェア装置であり、前記バーチャルペイントブラシをカメラの前で動かすことにより使用者の想像を目の前に形成することができる。

しかしながら、従来のバーチャルペイントブラシは実体のバーチャルペイントブラシであるので、そのバーチャルペイントブラシは、価格が高い欠点を有しており、かつカメラの前で絵をかく必要があるので、使用の利便性がよくないという欠点も有している。

本発明が解決しようとする技術的課題はバーチャルペイントブラシ実現方法を提供することにより従来のビデオの分類が不正確である技術的問題を解決することにある。本発明は、バーチャルペイントブラシ実現装置、バーチャルペイントブラシを実現するハードウェア装置、コンピュータ読み取り可能な記憶媒体およびバーチャルペイントブラシを実現する端末装置を更に提供する。

前記課題を解決するため本発明は次のような技術的手段を提供する。
本発明のバーチャルペイントブラシ実現方法は、
端末装置のカメラで現実の撮影場所を獲得するステップと、
前記端末装置上で実施する操作により前記現実の撮影場所にバーチャルペイントブラシの筆跡区域を形成するステップと、
前記筆跡区域により前記バーチャルペイントブラシの筆跡を形成し、前記筆跡と前記現実の撮影場所を融合し、融合後の画面を端末装置に表示するステップとを含む。

本発明の実施例において、前記端末装置上で実施する操作により前記現実の撮影場所にバーチャルペイントブラシの筆跡区域を形成するステップは、
前記端末装置上で実施する操作により前記バーチャルペイントブラシが前記現実の撮影場所に形成する少なくとも一点を確定するステップと、
前記少なくとも一点によりバーチャルペイントブラシの筆跡区域を形成するステップとを含む。

本発明の実施例において、前記少なくとも一点によりバーチャルペイントブラシの筆跡区域を形成するステップは、
点が複数個であるとき、前記現実の撮影場所において予め設定規則により前記複数の点を連結させるステップと、
前記複数の点を連結させる連結線によりバーチャルペイントブラシの筆跡区域を形成するステップとを含む。

本発明の実施例において、前記端末装置上で実施する操作により前記バーチャルペイントブラシが前記現実の撮影場所に形成する少なくとも一点を確定するステップは、
前記現実の撮影場所に三次元座標を形成し、かつ三次元座標の原点を確定するステップと、
前記三次元座標中の３つの軸において参照軸を選択し、かつ前記端末装置上で実施する操作が参照軸に沿って移動することにより前記現実の撮影場所に形成される少なくとも１つの点を確定するステップとを含む。

本発明の実施例において、前記点が複数個であるとき、前記現実の撮影場所において予め設定規則により前記複数の点を連結させるステップは、
前記点が複数個であるとき、現実の撮影場所中の三次元座標において前記参照軸の正方向または負方向に沿って前記複数の点を連結させるステップを含む。

本発明の実施例において、前記複数の点を連結させる連結線によりバーチャルペイントブラシの筆跡区域を形成するステップは、
前記点を連結させることにより第一ラインセグメントを獲得するステップであって、前記第一ラインセグメントは少なくとも１つのサブラインセグメントを含み、前記サブラインセグメントの端点は前記複数の点のうち所定の点で構成されるステップと、
各サブラインセグメントの端点をサブラインセグメントの垂直ラインセグメントにすることにより複数の垂直ラインセグメントを獲得するステップと、
位置の関係により複数の垂直ラインセグメントの端点を二種に分類し、各分類の端点をそれぞれ連結させることにより第二ラインセグメントと第三ラインセグメントを獲得するステップと、
一つ目の点に対応するサブラインセグメント、最後の点に対応するサブラインセグメント、前記第二ラインセグメントおよび第三ラインセグメントによりバーチャルペイントブラシの筆跡区域を形成するステップとを含む。

本発明の実施例において、前記筆跡区域により前記バーチャルペイントブラシの筆跡を形成するステップは、
前記筆跡区域の両端に予め設定形状を具備する延長区域をそれぞれ形成し、その延長区域をバーチャルペイントブラシの起点と終点にするステップと、
前記筆跡区域と前記延長区域により前記バーチャルペイントブラシの筆跡を形成するステップとを含む。

本発明の実施例において、前記筆跡区域により前記バーチャルペイントブラシの筆跡を形成するステップは、前記筆跡区域に色または素材を充填することにより前記バーチャルペイントブラシの筆跡を形成するステップを含む。

本発明の実施例において、前記バーチャルペイントブラシ実現方法は、
前記端末装置の移動方向と傾向角度を検出するステップと、
前記移動方向と傾向角度により前記バーチャルペイントブラシの筆跡が形成した平面の方向を確定するステップと、
前記方向により前記バーチャルペイントブラシの筆跡が形成した平面が表示パネルに向くようにするステップとを更に含む。

本発明の実施例において、前記バーチャルペイントブラシ実現方法は、前記端末装置の移動操作を検出しかつ前記移動操作により前記端末装置を操作するか或いは前記端末装置の表示パネル上で実施するジェスチャー操作を検出しかつ前記ジェスチャー操作により前記端末装置を操作するステップを更に含む。

本発明のバーチャルペイントブラシ実現装置は、端末装置のカメラで現実の撮影場所を獲得することに用いられる現実の背景獲得モジュールと、
前記端末装置上で実施する操作により前記現実の撮影場所にバーチャルペイントブラシの筆跡区域を形成することに用いられる筆跡区域形成モジュールと、
前記筆跡区域によりバーチャルペイントブラシの筆跡を形成することに用いられる筆跡形成モジュールとを含み、
前記筆跡と前記現実の撮影場所を融合し、融合後の画面を端末装置に表示する。

本発明の実施例において、前記筆跡区域形成モジュールは、
前記端末装置上で実施する操作により前記バーチャルペイントブラシが前記現実の撮影場所に形成する少なくとも一点を確定することに用いられる点形成ユニットと、
前記少なくとも一点によりバーチャルペイントブラシの筆跡区域を形成することに用いられる筆跡区域形成ユニットとを含む。

本発明の実施例において、前記筆跡区域形成ユニットは具体的に、点が複数個であるとき、前記現実の撮影場所において予め設定規則により前記複数の点を連結させ、前記複数の点を連結させる連結線によりバーチャルペイントブラシの筆跡区域を形成することに用いられる。

本発明の実施例において、前記点形成ユニットは具体的に、前記現実の撮影場所に三次元座標を形成し、かつ三次元座標の原点を確定することと、前記三次元座標中の３つの軸において参照軸を選択し、かつ前記端末装置上で実施する操作が参照軸に沿って移動することにより前記現実の撮影場所に形成される少なくとも１つの点を確定することに用いられる。

本発明の実施例において、前記筆跡区域形成ユニットは具体的に、前記点が複数個であるとき、前記現実の撮影場所中の三次元座標において前記参照軸の正方向または負方向に沿って前記複数の点を連結させることに用いられる。

本発明の実施例において、前記筆跡区域形成ユニットは具体的に、前記点を連結させる連結線により第一ラインセグメントを獲得することに用いられる。前記第一ラインセグメントは少なくとも１つのサブラインセグメントを含み、前記サブラインセグメントの端点は前記複数の点のうち所定の点で構成される。各サブラインセグメントの端点をサブラインセグメントの垂直ラインセグメントにすることにより複数の垂直ラインセグメントを獲得する。位置の関係により複数の垂直ラインセグメントの端点を二種に分類し、各分類の端点をそれぞれ連結させることにより第二ラインセグメントと第三ラインセグメントを獲得する。一つ目の点に対応するサブラインセグメント、最後の点に対応するサブラインセグメント、前記第二ラインセグメントおよび第三ラインセグメントによりバーチャルペイントブラシの筆跡区域を形成する。

本発明の実施例において、前記筆跡形成モジュールは具体的に、前記筆跡区域の両端に予め設定形状を具備する延長区域をそれぞれ形成し、その延長区域をバーチャルペイントブラシの起点と終点にし、前記筆跡区域と前記延長区域により前記バーチャルペイントブラシの筆跡を形成することに用いられる。

本発明の実施例において、前記筆跡形成モジュールは具体的に、前記筆跡区域に色または素材を充填することにより前記バーチャルペイントブラシの筆跡を形成することに用いられる。

本発明の実施例において、前記バーチャルペイントブラシ実現装置は筆跡形成平面確定モジュールを更に含む。筆跡形成平面確定モジュールは、前記端末装置の移動方向と傾向角度を検出し、前記移動方向と傾向角度により前記バーチャルペイントブラシの筆跡が形成した平面の方向を確定し、前記方向により前記バーチャルペイントブラシの筆跡が形成した平面が表示パネルに向くようにする。

本発明の実施例において、前記筆跡区域形成モジュールは前記端末装置の移動操作を検出しかつ前記移動操作により前記端末装置を操作するか或いは前記端末装置の表示パネル上で実施するジェスチャー操作を検出しかつ前記ジェスチャー操作により前記端末装置を操作することにも用いられる。

前記課題を解決するため本発明は次のような技術的手段を更に提供する。
電子装置であって、非過渡性コンピュータ読み取り可能な指令を記憶する記憶装置と、前記コンピュータ読み取り可能な指令を実行することにより前記いずれか１つのバーチャルペイントブラシ実現方法中の各ステップを実施する処理装置とを含む。

前記課題を解決するため本発明は次のような技術的手段を更に提供する。
コンピュータ読み取り可能な記憶媒体であって、非過渡性コンピュータ読み取り可能な指令を記憶し、前記非過渡性コンピュータ読み取り可能な指令がコンピュータに実行されることにより前記コンピュータは前記いずれか１つのバーチャルペイントブラシ実現方法中の各ステップを実施する。

前記課題を解決するため本発明は次のような技術的手段を更に提供する。
バーチャルペイントブラシ実現端末装置は前記いずれか１つのバーチャルペイントブラシ実現装置を含む。

本発明は、端末装置のカメラで現実の撮影場所を獲得し、前記端末装置上で実施する操作により前記現実の撮影場所にバーチャルペイントブラシの筆跡区域を形成し、かつ前記筆跡区域により前記バーチャルペイントブラシの筆跡を形成する。前記筆跡と前記現実の撮影場所を融合し、融合後の画面を端末装置に表示することにより実体のバーチャルペイントブラシを用いなくてもバーチャルペイントブラシの機能を実現することができ、かつ本発明は端末装置のカメラで獲得した現実の撮影場所においてバーチャルペイントブラシで画像を形成することにより、画像を形成する過程の難易度を低減し、バーチャルペイントブラシで画像を形成することをより簡単にすることができる。

以上、本発明の技術的事項を簡単に説明してきた。本発明の技術的事項をより詳細に理解し、明細書の内容のとおりに実施し、本発明の前記目的、特徴および発明の効果をより詳細に理解してもらうため、以下、本発明の好適な実施例と図面により本発明を詳細に説明する。

本発明の実施例の技術事項をより詳細に説明するため、以下、本発明の実施例において用いる図面を簡単に説明する。注意されたいことは、下記図面は本発明の例示にしか過ぎないものであり、この技術分野の技術者は下記図面により創造的な研究をしなくても他の図面を想到することができ、それらがあっても本発明に含まれることは勿論である。
本発明の実施例に係るバーチャルペイントブラシ実現方法を示す流れ図である。 本発明の他の実施例に係るバーチャルペイントブラシ実現方法を示す流れ図である。 本発明の実施例に係るバーチャルペイントブラシ実現方法中のバーチャルペイントブラシの位置を示す図である。 本発明の実施例に係るバーチャルペイントブラシ実現方法中のバーチャルペイントブラシの筆跡区域を示す図である。 本発明の実施例に係るバーチャルペイントブラシ実現方法中のバーチャルペイントブラシの筆跡区域の延長区域を示す図である。 本発明の実施例に係るバーチャルペイントブラシ実現装置の構造を示す図である。 本発明の実施例に係る電子装置の構造を示す図である。

以下、特定の具体的な実施例により本発明の実施形態を説明し、この技術分野の技術者はその明細書が公開する事項により本発明の利点と効果を容易に理解することができる。注意されたいことは、下記実施例は本発明の一部分の実施例を示すものであり、本発明のすべての実施例を示すものでない。この明細書に記載されていない他の具体的な実施形態により本発明を実施するか或いは応用することもできる。観点と応用が異なる場合、本発明の要旨を逸脱しない範囲において本発明の各細部に対していろいろな変更または改良をすることができる。注意されたいことは、矛盾がない場合、下記実施例と実施例中の特徴を組み合わせることができる。本発明の実施例において、本技術分野の技術者は創造的な研究をしなくても他の実施例を想到することができ、それらがあっても本発明に含まれることは勿論である。

注意されたいことは、下記明細書において特許請求の範囲に係る実施例の各事項を説明する。周知のように、この明細書において説明する事項をいろいろな方面に応用することができ、この明細書において説明する任意の特徴と／或いは機能は本発明の例示にしか過ぎないものである。本技術分野の技術者は本発明の事項により本発明の各実施例を独自に実施するか或いは複数の実施例において２つまたは２つ以上を組み合わせて実施することができる。例えば、本発明の任意の数量の実施例に係る装置と／或いは実施方法を自由に採用することができる。本発明において説明する１個または複数個の実施例にのみ限定されるものでなく、他の構造と／或いは機能を採用することにより本発明の装置と／或いは実施方法を実施することもできる。

注意されたいことは、本発明の実施例において提供する図面は本発明の基本的構成のみを示すものであり、図面には本発明の実施例に係るモジュールが示されているが、それらは本発明を実施するときの実際のモジュールの数量、形態およびサイズを示すものでない。本発明を実際に実施するとき、各モジュールの形態、数量および比例を自由に変化させ、各モジュールの配置もより複雑になることができる。

下記実施例において提供する具体的な細部は本発明を徹底的に理解してもらうための実例である。本技術分野の技術者は下記具体的な細部がなくても本発明を実施することができる。

従来の技術のバーチャルペイントブラシの実現が複雑である技術的事項を解決するため、本発明の実施例においてバーチャルペイントブラシ実現方法を提供する。図１ａに示すとおり、前記バーチャルペイントブラシ実現方法は主として、下記ステップＳ１～ステップＳ４を含む。

ステップＳ１において、端末装置のカメラで現実の撮影場所を獲得する。

端末装置は、携帯型端末（例えばスマートホン、iPhone（登録商標）、スマートカメラ（Smart Camera）、タブレット等）、ノートブックコンピューターまたは非携帯型端末装置（例えばデスクトップコンピュータ）であることができる。

例えば、バーチャルペイントブラシに適用するアプリケーション（例えばショートビデオアプリ）により端末装置のカメラを起動させることができる。具体的に、アプリケーションのバーチャルペイントブラシを用いるとき、アプリケーションの表示画面中のカメラ起動ボタンをクリックすることができる。すなわち使用者が前記カメラ起動ボタンをクリックすることにより端末装置のカメラを起動させ、撮影インターフェースに入り、撮影インターフェースにおいて現実の撮影場所を撮影することができる。また、アプリケーションの撮影インターフェースにおいて使用者はバーチャルペイントブラシを選択することによりバーチャルペイントブラシ機能を起動させることができる。バーチャルペイントブラシ機能を起動させた後、本発明のバーチャルペイントブラシ実現方法を実施することができる。

ステップＳ２において、端末装置上で実施する操作により現実の撮影場所にバーチャルペイントブラシの筆跡区域を形成する。

前記操作はカスタム設定であることができる。前記操作は端末装置の移動操作であるか或いは端末装置の表示パネルの前で実施するジェスチャー操作であることができる。

筆跡区域は固定形状を具備している密閉の区域であることができる。固定形状は、例えば矩形、多辺形、三角形、円形、人形または動物の形状であることができる。

ステップＳ３において、筆跡区域によりバーチャルペイントブラシの筆跡を形成し、前記筆跡と前記現実の撮影場所を融合し、融合後の画面を端末装置に表示する。

例えば、筆跡区域に色または素材を充填することによりバーチャルペイントブラシの筆跡を形成し、それによりバーチャル画面を形成する。

例えば、カメラで獲得した現実の撮影場所にテーブルが含まれていると仮定するとき、使用者は端末装置を操作することによりバーチャルペイントブラシの筆跡を形成し、前記筆跡で１つのリンゴ画像を形成する。次に、融合手段により前記リンゴを現実の撮影場所中のテーブル上に置き、融合した画像を前記端末装置の表示パネルに表示することにより現実の撮影場所中のテーブル上にリンゴが置かれている効果を獲得することができる。

本実施例において、端末装置のカメラで現実の撮影場所を獲得し、端末装置を操作することにより現実の撮影場所にバーチャルペイントブラシの筆跡区域を形成し、前記筆跡区域によりバーチャルペイントブラシの筆跡を形成する。前記筆跡と前記現実の撮影場所を融合させ、融合した画像を前記端末装置の表示パネルに表示することができるので、実体のバーチャルペイントブラシを用いなくてもバーチャルペイントブラシの機能を実現することができ、かつ本発明は端末装置のカメラで獲得した現実の撮影場所においてバーチャルペイントブラシで画像を形成することにより、画像を形成する過程の難易度を低減し、バーチャルペイントブラシで画像を形成することをより簡単にすることができる。

本発明の実施例において、図１ｂに示すとおり、ステップＳ２は具体的に下記ステップを含む。
ステップＳ２１において、端末装置上で実施する操作によりバーチャルペイントブラシが現実の撮影場所に形成する少なくとも一点を確定する。

例えば、端末装置の移動操作を検出し、端末装置の移動操作により端末装置が現実の撮影場所中に位置している位置を確定し（具体的に、従来の技術のＳＬＡＭ（Simultaneous Localization And Mapping）計算方法によりその位置を確定することができる）、前記位置を１つの点にする。端末装置が一回移動すると１つの点が形成され、複数回移動すると複数の点が形成される。具体的に、バーチャルペイントブラシの機能を実現するアプリケーションを用いることにより現実の撮影場所中の端末装置の位置を獲得し、その位置をバーチャルペイントブラシの起点にするか或いは現実の撮影場所中の三次元座標の原点にすることができる。

使用者が端末装置の表示パネルの前でジェスチャー操作をすることにより少なくとも１つの点を形成することもできる。例えば、端末装置の表示パネルを一回クリックするか或いはダブルクリックすることにより１つの点を形成するか或いは複数回クリックするか或いはダブルクリックすることにより複数の点を形成するか或いは、使用者が端末装置の表示パネルの前でスライド操作をすることを検出するときスライドの軌跡により複数の点を形成することができる。

ステップＳ２２において、前記少なくとも一点によりバーチャルペイントブラシの筆跡区域を形成する。

例えば、１つの点を形成するとき、その点を中心として拡大させることにより固定形状を具備する区域を形成することができる。その場合、前記固定形状の区域はバーチャルペイントブラシの筆跡区域である。前記固定形状は例えば、矩形、多辺形、三角形、円形、人形または動物の形状であることができる。複数の点を形成するとき、前記複数の点によりバーチャルペイントブラシの筆跡区域を形成することができる。次に、筆跡区域によりバーチャルペイントブラシの筆跡区域を形成する。

本発明の実施例において、ステップＳ２２は下記ステップを含む。
ステップＳ２２１において、点が複数個であるとき、現実の撮影場所において予め設定規則により複数の点を連結させる。

前記複数の点を連結させる連結線は直線または曲線であることができる。

予め設定規則は点を形成する時間の前後の順番であるか或いは点が空間内に位置している位置の前後の順番であることができる。

ステップＳ２２２において、前記連結線によりバーチャルペイントブラシの筆跡区域を形成する。

点を形成する時間の前後の順番に沿って複数の点を連結させる連結線により獲得した固定形状は例えば、三角形、円形、多辺形、球形、立方体、人形または動物の形状等であり、前記固定形状に対応する区域をバーチャルペイントブラシの筆跡区域にすることができる。点が空間内に位置している位置の前後の順番に沿って複数の点を連結させることにより複数のラインセグメントを形成し、前記複数のラインセグメントによりバーチャルペイントブラシの筆跡区域を形成することができる。

本発明の実施例において、ステップＳ２１は、現実の撮影場所に三次元座標を形成し、かつ三次元座標の原点を確定することと、三次元座標中の３つの軸において参照軸を選択し、かつ端末装置上で実施する操作が参照軸に沿って移動することにより現実の撮影場所に形成される少なくとも１つの点を確定することとを含む。

具体的に、Ｘ、Ｙ、Ｚ軸のうちいずれか１つの軸を参照軸にすることができる。

参照軸の正方向または負方向に沿って移動することにより現実の撮影場所に形成される少なくとも１つの点を確定することができる。

ステップＳ２２１は、前記点が複数個であるとき、現実の撮影場所中の三次元座標において参照軸の正方向または負方向に沿って前記複数の点を連結させることを含む。

本発明の実施例において、ステップＳ２２２は点を連結させる連結線により第一ラインセグメントを獲得するステップＳ２２２１を含む。前記第一ラインセグメントは少なくとも１つのサブラインセグメントを含み、前記サブラインセグメントの端点は複数の点のうち所定の点で構成される。

本発明において、異なるラインセグメントを区分するため、始めて現れるラインセグメントを第一ラインセグメントといい、後で現れるラインセグメントをそれぞれ第二ラインセグメントと第三ラインセグメントということができる。

ステップＳ２２２２において、各サブラインセグメントの端点をサブラインセグメントの垂直ラインセグメントにすることにより複数の垂直ラインセグメントを獲得する。

ステップＳ２２２３において、位置の関係により複数の垂直ラインセグメントの端点を二種に分類し、各分類の端点をそれぞれ連結させることにより第二ラインセグメントと第三ラインセグメントを獲得する。

位置の関係により第一ラインセグメントの同一側に位置している垂直ラインセグメントの端点を１つの種類に分類する。例えば、端点が第一ラインセグメントの上下の両側に位置しているとき、上側の端点を１つの種類に分類し、下側の端点を１つの種類に分類することにより第二ラインセグメントと第三ラインセグメントをそれぞれ獲得することができる。

ステップＳ２２２２４において、一つ目の点に対応するサブラインセグメント、最後の点に対応するサブラインセグメント、第二ラインセグメントおよび第三ラインセグメントによりバーチャルペイントブラシの筆跡区域を形成する。

以下、端末装置の移動操作を触発条件にする本発明の実施例を詳細に説明する。ＳＬＡＭ計算方法により端末装置が現実の撮影場所中に位置している現在の位置を確定し、前記現在の位置を座標（０、０、０）に設定することができる。端末装置が移動しているとき、Ｚ軸（その場合Ｚ軸を参照軸にする）の負方向においてバーチャルペイントブラシの点を確定する。図１ｃに示すとおり、点の位置の前後の順番に沿って複数の点を連結させることにより複数のサブラインセグメントで構成されるラインセグメントを獲得する。サブラインセグメント上の各点において、前記点の前部のサブラインセグメントを垂直ラインセグメントにし、垂直ラインセグメントの二辺に２つの端点を形成し、二辺の端点をそれぞれ連結させることによりバーチャルペイントブラシの筆跡区域を獲得する。それは図１ｄに示すとおりである。

本発明の実施例において、ステップＳ３は、筆跡区域の両端に予め設定形状を具備する延長区域をそれぞれ形成し、その延長区域をバーチャルペイントブラシの起点と終点にする。

具体的に、筆跡の両端が固定形状を具備するようにするため、予め設定形状を例えば歯波形またはばり（burr）形状にし、筆跡区域の両端に所定の延長区域を形成する必要がある。図１ｅに示すとおり、図１ｄに示される筆跡区域の前後の両端に歯波形または矩形を形成し、それをバーチャルペイントブラシの起点と終点にすることができる。

ステップＳ３２において、筆跡区域と延長区域によりバーチャルペイントブラシの筆跡を形成する。

本発明の実施例において、バーチャルペイントブラシ実現方法は、端末装置の移動方向と傾向角度を検出するステップＳ４と、移動方向と傾向角度によりバーチャルペイントブラシの筆跡が形成した平面の方向を確定するステップＳ５と、方向によりバーチャルペイントブラシの筆跡が形成した平面が表示パネルに向くようにするステップＳ６とを含む。

具体的に、観察角度が異なることにより最終に形成されるバーチャルペイントブラシの筆跡は二種がある。一つ目は形成される筆跡が変化しないことである。その場合、観察角度が変化すると、端末装置の表示パネルにより筆跡の厚さが変化することを観察することができる。他の１つは観察角度が変化するとき、端末装置のカメラで撮影した各フレームの画像の角度を再び計算することによりバーチャルペイントブラシの筆跡が常に表示パネルに向くようにすることである。その場合、端末装置の角度が変化しても筆跡の厚さは変化しない。

例えば、式
（外１）

によりベクトル
（外２）

を算出する。その式において、
（外３）

は観察角度であり、
（外４）

は端末装置の移動距離であり、それらをＳＬＡＭ計算方法により獲得することができる。ベクトルを掛けることにより
（外５）

と
（外６）

に垂直であるベクトル
（外７）

を獲得し、そのベクトル
（外８）

を筆跡の方向にすることにより筆跡が表示パネルに向くようにすることができる。

本技術分野の技術者が知っているように、前記複数の実施例により設計の変更（例えば複数の実施例を組み合わせる）をするか或いは一部分の事項を代替することができる。

以上、前記順番に沿って前記バーチャルペイントブラシ実現方法に係る実施例の各ステップを説明してきたが、この技術分野の技術者が知っているように、前記実施例の各ステップを前記順番に実施しなくてもよい。例えば逆の順番、並行、交差等のような方式に実施することもできる。本発明は前記ステップのみを含むものでなく、この技術分野の技術者は他のステップを更に追加することもできる。そのような実施例の変形または代替があっても本発明の特許請求の範囲が定めた範囲に含まれることは勿論であり、本発明はそのような実施例の変形または代替を１つずつ説明しない。

以下、本発明の実施例に係るバーチャルペイントブラシ実現装置を説明する。本発明の実施例に係るバーチャルペイントブラシ実現装置により前記バーチャルペイントブラシ実現方法中の各ステップを実施することができる。説明を簡単にするため、以下、バーチャルペイントブラシ実現装置に関する部分のみを説明し、説明されない技術的事項は前記バーチャルペイントブラシ実現方法中の説明を参照することができる。

バーチャルペイントブラシを実現する効率と随時性を向上させるため、本発明の実施例においてバーチャルペイントブラシ実現装置を提供する。その装置は前記バーチャルペイントブラシ実現方法中の各ステップを実施することができる。図２に示すとおり、前記バーチャルペイントブラシ実現装置は、主として、現実の背景獲得モジュール２１、筆跡区域形成モジュール２２と筆跡形成モジュール２３を含む。

現実の背景獲得モジュール２１は端末装置のカメラで現実の撮影場所を獲得することに用いられる。
筆跡区域形成モジュール２２は前記端末装置上で実施する操作により前記現実の撮影場所にバーチャルペイントブラシの筆跡区域を形成することに用いられる。
筆跡形成モジュール２３は前記筆跡区域によりバーチャルペイントブラシの筆跡を形成し、前記筆跡と前記現実の撮影場所を融合し、融合後の画面を端末装置に表示することに用いられる。

前記筆跡区域形成モジュール２２は点形成ユニット２２１と筆跡区域形成ユニット２２２を含む。
前記点形成ユニット２２１は前記端末装置上で実施する操作により前記バーチャルペイントブラシが前記現実の撮影場所に形成する少なくとも一点を確定することに用いられる。
前記筆跡区域形成ユニット２２２は前記少なくとも一点によりバーチャルペイントブラシの筆跡区域を形成することに用いられる。

前記筆跡区域形成ユニット２２２は具体的に、点が複数個であるとき、前記現実の撮影場所において予め設定規則により前記複数の点を連結させ、前記複数の点を連結させる連結線によりバーチャルペイントブラシの筆跡区域を形成することに用いられる。

前記点形成ユニット２２１は具体的に、前記現実の撮影場所に三次元座標を形成し、かつ三次元座標の原点を確定することと、前記三次元座標中の３つの軸において参照軸を選択し、かつ前記端末装置上で実施する操作が参照軸に沿って移動することにより前記現実の撮影場所に形成される少なくとも１つの点を確定することに用いられる。

前記筆跡区域形成ユニット２２２は具体的に、前記点が複数個であるとき、前記現実の撮影場所中の三次元座標において前記参照軸の正方向または負方向に沿って前記複数の点を連結させることに用いられる。

前記筆跡区域形成ユニット２２２は具体的に、前記点を連結させる連結線により第一ラインセグメントを獲得することに用いられる。前記第一ラインセグメントは少なくとも１つのサブラインセグメントを含み、前記サブラインセグメントの端点は前記複数の点のうち所定の点で構成される。各サブラインセグメントの端点をサブラインセグメントの垂直ラインセグメントにすることにより複数の垂直ラインセグメントを獲得する。位置の関係により複数の垂直ラインセグメントの端点を二種に分類し、各分類の端点をそれぞれ連結させることにより第二ラインセグメントと第三ラインセグメントを獲得する。一つ目の点に対応するサブラインセグメント、最後の点に対応するサブラインセグメント、前記第二ラインセグメントおよび第三ラインセグメントによりバーチャルペイントブラシの筆跡区域を形成する。

前記筆跡形成モジュール２３は具体的に、前記筆跡区域の両端に予め設定形状を具備する延長区域をそれぞれ形成し、その延長区域をバーチャルペイントブラシの起点と終点にし、前記筆跡区域と前記延長区域により前記バーチャルペイントブラシの筆跡を形成することに用いられる。

前記筆跡形成モジュール２３は具体的に、前記筆跡区域に色または素材を充填することにより前記バーチャルペイントブラシの筆跡を形成することに用いられる。

バーチャルペイントブラシ実現装置は筆跡形成平面確定モジュール２４を更に含む。筆跡形成平面確定モジュール２４は、前記端末装置の移動方向と傾向角度を検出し、前記移動方向と傾向角度により前記バーチャルペイントブラシの筆跡が形成した平面の方向を確定し、前記方向により前記バーチャルペイントブラシの筆跡が形成した平面が表示パネルに向くようにする。

前記筆跡区域形成モジュール２２は前記端末装置の移動操作を検出しかつ前記移動操作により前記端末装置を操作するか或いは前記端末装置の表示パネル上で実施するジェスチャー操作を検出しかつ前記ジェスチャー操作により前記端末装置を操作することにも用いられる。

本発明の実施例に係るバーチャルペイントブラシ実現装置の作動原理とそれによる発明の効果等はバーチャルペイントブラシ実現方法中の内容を参照することができるので、ここで再び説明しない。

図３を参照すると、その図面は本発明の実施例に適用する電子装置の構造を示す図である。本発明の実施例に係る電子装置は、例えば携帯電話、ノートブックコンピューター、デジタル放送受信機（Digital broadcasting receiver）、ＰＤＡ（携帯情報端末、Personal Digital Assistant）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルメディアプレーヤー）、車用端末装置（例えばナビゲーション）等の携帯式端末装置と、例えばデジタルＴＶ、デスクトップコンピュータ等の非携帯式端末装置とを含むことができるが、本発明はそれらにのみ限定されるものでない。図３に示される電子装置は、本発明の例示にしか過ぎないものであり、本発明の実施例の機能と使用の範囲を限定するものでない。

図３に示すとおり、電子装置は処理装置（例えば中央処理装置、画像処理装置等）３０１を含み、処理装置３０１はＲＯＭ（Read-Only Memory、リードオンリーメモリー）３０２に記憶されるプログラムまたは記憶装置３０８からＲＡＭ（Random Access Memory、ランダムアクセスメモリ）３０３に送信されるプログラムにより所定の作業と処理をすることができる。ＲＡＭ３０３には電子装置３００の操作に必要であるいろいろなプログラムとデータが更に記憶されている。処理装置３０１、ＲＯＭ３０２およびＲＡＭ３０３はバス３０４により互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース３０５もバス３０４に接続される。

下記装置たちは入力／出力（Ｉ／Ｏ）インターフェース３０５に接続されることができる。その装置たちは、例えばタッチパネル、タッチ基板、キーボード、マウス、画像センサー、マイク、加速度計、ジャイロスコープ等を含む入力装置３０６と、例えば液晶表示装置（ＬＣＤ）、スピーカー、振動機等を含む出力装置３０７と、例えばテープ、ハードディスク等を含む記憶装置３０８と、通信装置３０９とであることができる。通信装置３０９は電子装置と他の装置が無線または有線で通信をするようにし、それによりデータを交換することができる。図３にはいろいろな装置を具備する電子装置が示されているが、電子装置は前記いろいろな装置を全部具備するか或いは全部用いる必要はない。すなわち電子装置はより多いか或いはより少ない装置を具備するか或いは用いることができる。

特に、本発明の実施例において、前記流れ図に示されるステップはコンピュータソフトウェアプログラムにより実施されることができる。例えば、本発明の実施例はコンピュータプログラム製品を含み、そのコンピュータプログラム製品はコンピュータ読み取り可能な媒体に記憶されるコンピュータプログラムを含み、そのコンピュータプログラムは前記流れ図中の方法を実施するプログラムコードを含むことができる。その実施例において、通信装置３０９により前記コンピュータプログラムをネットワークからダウンロードするとともにインストールするか或いは、記憶装置３０８からダウンロードするとともにインストールするか或いは、ＲＯＭ３０２からダウンロードするとともにインストールすることができる。前記コンピュータプログラムが処理装置３０１により実施されるとき、前記実施例に係る方法中の所定の機能を実施することができる。

注意されたいことは、前記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、コンピュータ読み取り可能な記憶媒体またはその二つの組合せであることができる。コンピュータ読み取り可能な記憶媒体は、電気、磁性、光、電磁、赤外線であるか或いは、半導体のシステム、装置または部品であるか或いはそれらの任意の組合せであることができる。コンピュータ読み取り可能な記憶媒体の具体的な例として、１つまたは複数の導線により接続される携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ、Random Access Memory）、リードオンリーメモリー（ＲＯＭ、Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memoryまたはフラッシュメモリー）、光ファイバー、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、光記憶部品、磁性記憶部品またはそれらの任意の組合せを含むことができるが、本発明はそれらにのみ限定されるものでない。本発明の実施例において、コンピュータ読み取り可能な記憶媒体はプログラムを含むか或いは記憶する実物媒体であり、前記プログラムは指令実行システム、装置またはそれらの組合せに用いられることができる。本発明の実施例において、コンピュータ読み取り可能な信号媒体はベースバンド（base band）またはキャリアの一部分により伝送されるデータ信号を含み、コンピュータ読み取り可能な信号媒体にはコンピュータ読み取り可能なプログラムコードが記憶される。その方法により伝送されるデータ信号はいろいろな信号例えば電磁信号、光信号またはそれらの組合せであることができるが、それらにのみ限定されるものでない。コンピュータ読み取り可能な信号媒体はコンピュータ読み取り可能な記憶媒体以外のいずれかのコンピュータ読み取り可能な媒体であることができる。前記コンピュータ読み取り可能な信号媒体は指令実行システム、装置またはそれらの組合せに用いられるプログラムを送信、伝播または伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは適当な媒体、例えば電線、光ケーブル、ＲＦ（Radio Frequency）等により伝送されるか或いはそれらの組合せにより伝送されることができる。

前記コンピュータ読み取り可能な媒体は前記電子装置に設けられるか或いは前記電子装置に設けられず前記電子装置とそれぞれ存在するものであることができる。

前記コンピュータ読み取り可能な媒体は１つまたは複数のプログラムを記憶し、１つまたは複数のプログラムが前記電子装置により実行されるとき、前記電子装置は、端末装置のカメラで現実の撮影場所を獲得する。次に、前記端末装置上で実施する操作により前記現実の撮影場所にバーチャルペイントブラシの筆跡区域を形成する。次に、前記筆跡区域により前記バーチャルペイントブラシの筆跡を形成し、前記筆跡と前記現実の撮影場所を融合し、融合後の画面を端末装置に表示する。

１つまたは複数のプログラミング言語（programming language）またはそれらの組合せにより本発明の実施例に係る方法を実施するコンピュータプログラムコードを作成することができる。前記プログラミング言語は対象に向くプログラミング言語、例えばJava、Smalltalk、Ｃ＋＋を含むか或いは常用する過程式プログラミング言語、例えば「Ｃ」プログラミング言語またはそれに類似しているプログラミング言語を更に含むことができる。プログラムコードは使用者のコンピュータにより実行されるか或いは、一部分が使用者のコンピュータにより実行されるか或いは、独立しているソフトウェアパッケージとして実行されるか或いは、一部分が使用者のコンピュータにより実行されかつ一部分がリモートコンピュータにより実行されか或いは、リモートコンピュータまたはサーバーにより実行されることができる。リモートコンピュータの場合、リモートコンピュータはいずれかのネットワーク、例えばローカルエリアネットワーク（ＬＡＮ、local area network）またはワイドエリアネットワーク（ＷＡＮ、Wide Area Network）により使用者のコンピュータに接続されるか或いは外部のコンピュータに接続されることができる（例えばインターネットサービスプロバイダー（Internet Service Provider）が提供するインターネットにより外部のコンピュータに接続される）。

図面中の流れ図とブロックダイアグラム（block diagram）には本発明の実施例に係るシステム、方法およびコンピュータのプログラムを実施することができるシステムの構造、機能および操作方法が記載されている。流れ図とブロックダイアグラム中の各枠は、１つのモジュール、プログラムの一部分、コードの一部分を示し、前記モジュール、プログラムの一部分、コードの一部分は所定の機能を実現する実行可能な指令を含むことができる。注意されたいことは、他の実施例において、ブロックダイアグラムの各枠中の各ステップは図面に示される順番に実施されなくてもよい。例えば、隣接している各枠中のステップは通常、並行の順番に実施されるが、実現しようとする機能が異なることにより逆の順番に実施されることもできる。注意されたいことは、ブロックダイアグラムと／或いは流れ図中の各枠、ブロックダイアグラムと／或いは流れ図中の各枠の組合せは、所定の機能を獲得するか或いは所定の操作をすることができるハードウェアにより実施されるか或いは専用のハードウェアとコンピュータ指令の組合せにより実施されることができる。

本発明の実施例に係るユニットはソフトウェアにより実施されるか或いはハードウェアにより実施されることができる。特別な説明がない場合、ユニットの名称はそのユニットを限定するものでない。例えば第一獲得ユニットを「少なくとも２つのインターネットプロトコルアドレス（Internet Protocol Address）を獲得するユニット」ということもできる。

以上、本発明の好適な実施例とそれらに用いられる技術的事項を説明してきた。本技術分野の技術者が知っているように、本発明が公開する範囲は、前記技術的特徴の組合せによって構成される技術的事項にのみ限定されるものでなく、本発明の要旨を逸脱しない範囲において前記技術的特徴または類似の技術的特徴の組合せにより形成される他の技術的事項を更に含むこともできる。例えば、前記技術的特徴と本発明の実施例に公開される類似の技術的特徴（それにのみ限定されるものでない）により形成される技術的事項を更に含むこともできる。

Claims (12)

1. 端末装置のカメラで現実の撮影シーンを獲得するステップと、
   前記端末装置上で実施する操作により前記現実の撮影シーンにバーチャルペイントブラシの筆跡区域を形成するステップと、
   前記筆跡区域により前記バーチャルペイントブラシの筆跡を形成し、前記筆跡と前記現実の撮影シーンを融合し、融合後の画面を端末装置に表示するステップと、
   前記端末装置の移動方向と傾向角度を検出するステップと、
   前記移動方向と傾向角度により前記バーチャルペイントブラシの筆跡が形成した平面の方向を確定するステップと、
   前記方向により前記バーチャルペイントブラシの筆跡が形成した平面が表示パネルに向くようにするステップと、を含むことを特徴とするバーチャルペイントブラシ実現方法。
2. 前記端末装置上で実施する操作により前記現実の撮影シーンにバーチャルペイントブラシの筆跡区域を形成するステップは
   前記端末装置上で実施する操作により前記バーチャルペイントブラシが前記現実の撮影シーンに形成する少なくとも一点を確定するステップと、
   前記少なくとも一点によりバーチャルペイントブラシの筆跡区域を形成するステップとを含むことを特徴とする請求項１に記載のバーチャルペイントブラシ実現方法。
3. 前記少なくとも一点によりバーチャルペイントブラシの筆跡区域を形成するステップは、
   点が複数個であるとき、前記現実の撮影シーンにおいて予め設定規則により前記複数の点を連結させるステップと、
   前記複数の点を連結させる連結線によりバーチャルペイントブラシの筆跡区域を形成するステップとを含むことを特徴とする請求項２に記載のバーチャルペイントブラシ実現方法。
4. 前記端末装置上で実施する操作により前記バーチャルペイントブラシが前記現実の撮影シーンに形成する少なくとも一点を確定するステップは、
   前記現実の撮影シーンに三次元座標を形成し、かつ三次元座標の原点を確定するステップと、
   前記三次元座標中の３つの軸において参照軸を選択し、かつ前記端末装置上で実施する操作が参照軸に沿って移動することにより前記現実の撮影シーンに形成される少なくとも１つの点を確定するステップとを含むことを特徴とする請求項３に記載のバーチャルペイントブラシ実現方法。
5. 前記点が複数個であるとき、前記現実の撮影シーンにおいて予め設定規則により前記複数の点を連結させるステップは、
   前記点が複数個であるとき、現実の撮影シーン中の三次元座標において前記参照軸の正方向または負方向に沿って前記複数の点を連結させるステップを含むことを特徴とする請求項４に記載のバーチャルペイントブラシ実現方法。
6. 前記複数の点を連結させる連結線によりバーチャルペイントブラシの筆跡区域を形成するステップは、
   前記点を連結させることにより第一ラインセグメントを獲得するステップであって、前記第一ラインセグメントは少なくとも１つのサブラインセグメントを含み、前記サブラインセグメントの端点は前記複数の点のうち所定の点で構成されるステップと、
   各サブラインセグメントの端点をサブラインセグメントの垂直ラインセグメントにすることにより複数の垂直ラインセグメントを獲得するステップと、
   位置の関係により複数の垂直ラインセグメントの端点を二種に分類し、各分類の端点をそれぞれ連結させることにより第二ラインセグメントと第三ラインセグメントを獲得するステップと、
   一つ目の点に対応するサブラインセグメント、最後の点に対応するサブラインセグメント、前記第二ラインセグメントおよび第三ラインセグメントによりバーチャルペイントブラシの筆跡区域を形成するステップとを含むことを特徴とする請求項３に記載のバーチャルペイントブラシ実現方法。
7. 前記筆跡区域により前記バーチャルペイントブラシの筆跡を形成するステップは、
   前記筆跡区域の両端に予め設定形状を具備する延長区域をそれぞれ形成し、その延長区域をバーチャルペイントブラシの起点と終点にするステップと、
   前記筆跡区域と前記延長区域により前記バーチャルペイントブラシの筆跡を形成するステップとを含むことを特徴とする請求項１～６のうちいずれか一項に記載のバーチャルペイントブラシ実現方法。
8. 前記筆跡区域により前記バーチャルペイントブラシの筆跡を形成するステップは、
   前記筆跡区域に色または素材を充填することにより前記バーチャルペイントブラシの筆跡を形成するステップを含むことを特徴とする請求項１～６のうちいずれか一項に記載のバーチャルペイントブラシ実現方法。
9. 前記端末装置の移動操作を検出しかつ前記移動操作により前記端末装置を操作するか或いは前記端末装置の表示パネル上で実施するジェスチャー操作を検出しかつ前記ジェスチャー操作により前記端末装置を操作するステップを更に含むことを特徴とする請求項１～６のうちいずれか一項に記載のバーチャルペイントブラシ実現方法。
10. 端末装置のカメラで現実の撮影シーンを獲得する現実の背景獲得モジュールと、
    前記端末装置上で実施する操作により前記現実の撮影シーンにバーチャルペイントブラシの筆跡区域を形成する筆跡区域形成モジュールと、
    前記筆跡区域によりバーチャルペイントブラシの筆跡を形成し、前記筆跡と前記現実の撮影シーンを融合し、融合後の画面を端末装置に表示する筆跡形成モジュールと、
    前記端末装置の移動方向と傾向角度を検出し、前記移動方向と傾向角度により前記バーチャルペイントブラシの筆跡が形成した平面の方向を確定し、前記方向により前記バーチャルペイントブラシの筆跡が形成した平面が表示パネルに向くようにする筆跡形成平面確定モジュールと、を含むことを特徴とするバーチャルペイントブラシ実現装置。
11. 非一時的コンピュータ読み取り可能な指令を記憶する記憶装置と、
    前記コンピュータ読み取り可能な指令を実行することにより前記請求項１～９のいずれか一項に記載のバーチャルペイントブラシ実現方法を実施する処理装置とを含むことを特徴とする電子装置。
12. 非一時的コンピュータ読み取り可能な指令を記憶し、前記非一時的コンピュータ読み取り可能な指令がコンピュータに実行されることにより前記コンピュータは前記請求項１～９のいずれか一項に記載のバーチャルペイントブラシ実現方法を実施することを特徴とするコンピュータ読み取り可能な記憶媒体。

Images