JP6995208B2 - 画像のパンニング方法 - Google Patents

Description

本発明は、画像のパンニング方法に関する。具体的には、本発明は、マルチ深度画像の生成及び編集時にメイン画像に挿入画像を容易に挿入するための方法に関する。

この部分に記述した内容は、単に本発明についての背景情報を提供するに留まり、従来の技術を構成するものではない。

電子デバイスを用いて画像ファイルを開いたときに、画像ファイルの特定の部分についての詳細な情報または拡大した画像が要求されることがある。例えば、自動車の画像の場合、ヘッドライト、車輪などの特定の部分についてのより詳しい画像が要求される。

スマートフォンなどの携帯用電子デバイスの場合、画面が小さいので、全体の画像から特定の部分の詳しい画像を確認するのは難しい。特定の部分の詳しい画像を確認するために、該当部分の画像を拡大する方法を利用してもよいが、これは単にピクセルのサイズを増やすに過ぎず、満足のいく解像度を得ることができず、さらに、既存の画像を単純に拡大すること以外の追加の情報を得ることができないという問題がある。

このような問題を解決するために、本発明者は、基本となる一つの画像（以下、「メイン画像」）に追加の情報を提供する他の画像（以下、「挿入画像」）の挿入が可能な新しいフォーマットの画像（以下、「マルチ深度画像」）及びその生成方法についての発明を韓国特許第１０-１５０１０２８号（２０１５年０３月０４日付にて登録）に登録したことがある。

同文献は、マルチ深度画像の定義と、マルチ深度画像の作成及び編集のためのユーザインタフェースを開示している。本発明は、同発明の後継発明として、マルチ深度画像の作成及び編集時にメイン画像に挿入画像を容易に挿入するための方法についてである。

本発明が解決しようとする技術的課題は、マルチ深度画像の作成及び編集時にメイン画像に挿入画像を容易に挿入するための方法を提供することである。

本発明が解決しようとする技術的課題は、前述した技術的課題に限定せず、言及していない他の技術的課題が、以下の記載から、通常の技術者に自明に導き出される。

本発明の一実施例によると、電子デバイスの画面に表示した第１の個体上に第２の個体を配置させるために、電子装置によって実行される方法において、前記第２の個体を前記第１の個体上で第１の方向に移動させるドラッグに応答し、前記画面上に表示した前記第１の個体を前記第１の方向とは反対の第２の方向に移動させるステップ、及び、前記第２の個体に対するドラッグが終了すると、前記第１の個体上の前記ドラッグの終了位置に前記第２の個体を配置させるステップを含み、前記第１の個体を前記第２の方向に移動させるステップは、前記第１の個体の終端が、前記画面の終端に到達しても、前記第１の方向へのドラッグに応じて前記第１の個体を前記第２の方向に継続的に移動させることにより、前記第２の個体を前記第１の個体の終端近くまで、または、前記第１の個体の終端を超え、前記第１の個体の外部領域に移動させるドラッグを許容する方法を提供する。

本発明の一実施例によると、メイン画像を挿入画像のドラッグ方向とは反対の方向に移動させることで、ユーザーが容易にメイン画像に挿入画像を挿入することができる。

マルチ深度画像を説明するための概念図である。 画像ビューアで、図１のマルチ深度画像が実際に画面に表示される方式を例示した図である。 本発明の一実施例に係る方法であって、第２の個体の選択に応じた画面の変化を例示した図である。 本発明の一実施例に係る方法であって、第２の個体のドラッグによる画面の変化を例示した図である。 本発明の一実施例に係る方法であって、第２の個体が外部領域にドラッグした状態で、追加の機能を実行するための方法を例示した図である。 本発明の一実施例に係る方法であって、第２の個体の選択のためのユーザー入力の位置が画面の中央ではない場合の第２の個体の選択に応じた画面の変化を例示した図である。 本発明の一実施例に係る方法であって、第２の個体が既に親画像に挿入した画像である場合、第２の個体の選択に応じた画面の変化を例示した図である。 本発明の一実施形態による方法として、画面に収まらないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態で第２の個体を挿入しようとする場合に、第２の個体の選択に応じた画面の変化を例示した図である。 本発明の一実施形態による方法として、画面に収まらないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態で第２の個体を挿入しようとする場合に、第２の個体のドラッグによる第１の個体は、親画像、及びウィンドウの移動を例示した図である。 本発明の一実施形態による方法として、画面に収まらないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態で第２の個体を挿入しようとする場合に、第２の個体のウィンドウの外にドラッグしたとき、第１の個体、親画像、及びウィンドウの移動を例示した図である。 本発明の一実施形態に係る画像のパンニング方法を例示したフローチャートである。

以下、本発明の一実施例を例示的な図面を介して詳しく説明する。各図面の構成要素に参照符号を付加するにおいて同一の構成要素に対しては、たとえ他の図面上に表示されていても、可能な限り同一の符号を使用していることに留意しなければならない。また、本発明の一実施例を説明するにあたり、関連する公知の構成または機能についての具体的な説明が本発明の要旨を曖昧にすると判断した場合には、それについての詳しい説明を省く。

本発明の一実施例の構成要素を説明するにあたり、第１、第２、ｉ）、ｉｉ）、ａ）、ｂ）などの符合を用いる場合がある。このような符合は、その構成要素を他の構成要素と区別するだけで、その符合によってその構成要素の本質、順番、順序などが限定されるものではない。本明細書でどの部分がどのような構成要素を「含む」または「備える」とするとき、これは明示的に逆になる記載がない限り、該当部分が他の構成要素を付加することを排除するものではなく、他の構成要素をさらに含み得ることを意味する。「～部」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは「ハードウェア」、「ソフトウェア」または「ハードウェアとソフトウェアの組み合わせ」で具現してよい。

１.マルチ深度画像の構造
図１は、マルチ深度画像の構造を説明するための概念図である。

図１は、画像ビューアでマルチ深度画像を実際に表示した画面ではなく、マルチ深度画像の構造を表現した概念図である。

図１に示したように、マルチ深度画像は、複数個の画像がツリー構造でつながる構造である。ツリー構造にて最上位に位置する画像は、メイン画像である。図１では、自動車の全体的な画像をメイン画像として例示した。

メイン画像以外の画像は挿入画像である。ツリー構造でルートにはメイン画像が配置し、一つ以上の挿入画像は、互いに親、兄弟または子の関係を有してメイン画像の下につながる。

メイン画像は、０の深さを有し、メイン画像に直接挿入した挿入画像は１の深さを有する。例えば、自動車全体を表示した画像（以下、「自動車全体画像」）にヘッドライトを表示した画像（以下、「ヘッドライト画像」）及び車輪を表示した画像（以下、「車輪画像」）を挿入することができ、この場合ヘッドライト画像及び車輪画像は１の深さを有する。

挿入画像に挿入した他の挿入画像は２以上の深さを有する。例えば１の深さを有するヘッドライト画像に電球を表示した画像（以下、「電球画像」）及び反射鏡を表示した画像（以下、「反射鏡画像」）を挿入することができ、この場合、電球画像及び反射鏡画像は２の深さを有する。また、１の深さを有する車輪画像にタイヤホイールを表示した画像（以下、「タイヤホイール画像」）及びタイヤを表示した画像（以下、「タイヤ画像」）を挿入することができ、この場合、タイヤホイール画像及びタイヤ画像は２の深さを有する。

このような方式で継続して画像を挿入することができる。例えば電球画像、反射鏡画像、タイヤホイール画像、またはタイヤ画像に別の画像を挿入することができ、このとき挿入される画像は、３の深さを有するようになる。

このように、ツリー構造でつながった複数の画像は、画像間のつながり関係に関する属性と一緒に一つのファイルとして保存され、マルチデプス画像を構成することになる。

２.マルチ深度画像の表示
図１に自動車ノードの下にヘッドライトノード及び車輪ノードが配置し、ヘッドライトノードの下に電球ノード及び反射板ノードが位置し、車輪ノードの下にタイヤホイールノード及びタイヤノードが位置する。

マルチ深度画像は、図１に例示したツリー構造で親ノードの個体に子ノードの個体を挿入した形態の画像フォーマットである。親ノードの個体に子ノードの個体が挿入されるときに挿入される個体は、一般的に画像である。しかし、画像の他にも動画、テキスト、音声、その他のファイルへのリンク、インターネットアドレスのリンク、ブックマークなど、さまざまな個体が子ノードの個体として親ノードの個体に挿入することができる。ただし、以下では説明の便宜上、親ノードの個体及び子ノードの個体がすべて画像である場合を例に挙げて説明する。

親ノードの個体及び子ノードの個体が画像としたときに、図１に例示したツリー構造で親ノードの画像（以下、「親画像」）の適切した位置に子ノードの画像（以下、「子画像」）を挿入することにより、マルチ深度画像を生成することができる。親画像の適切な位置に子画像を挿入する方法として、親画像と子画像を比較した後、親画像にて子画像の特徴を発見した位置に子画像を挿入する方法を使用することができる。

図２は、画像ビューアにて、図１のマルチ深度画像は、実際に画面に表示した状態を例示した図である。

画像ビューアで図２のように車に対するマルチ深度画像２００を構成するすべての画像が一つの画面に表示してもよく、自動車に対するマルチ深度画像２００を構成する自動車全体画像２１０、ヘッドライト画像２２０、電球画像２２１、反射鏡画像２２２、車輪画像２３０、タイヤホイール画像２３１、またはタイヤ画像２３２が単独で表示されてもよい。それぞれの画像が単独で表示される場合、他の画像が挿入されていることを示すアイコン（図２では

状アイコン）をクリックまたはタッチすると、挿入した画像を表示することができる。

図２に示したように、マルチ深度画像は、自動車全体画像２１０からヘッドライト画像２２０と類似した特徴が発見された位置にヘッドライト画像２２０を挿入し、自動車全体画像２１０にて車輪画像２３０と類似した特徴が発見された位置に車輪画像２３０を挿入し、ヘッドライト画像２２０で電球画像２２１と類似した特徴が発見された位置に電球画像２２１を挿入し、ヘッドライト画像２２０で反射鏡画像２２２と類似した特徴が発見された位置に反射鏡画像２２２を挿入し、車輪画像２３０からタイヤホイール画像２３１と類似した特徴が発見された位置にタイヤホイール画像２３１を挿入し、車輪画像２３０でタイヤ画像２３２と類似した特徴が発見された位置にタイヤ画像２３２を挿入した形態の画像である。

ただし、必ず親画像で子画像の特徴が発見された位置に子画像を挿入しなければならないとは限らず、親画像の任意の位置に子画像を挿入した構造であれば、マルチ深度画像になる。

３.基本インターフェース
マルチ深度画像にて、ルートノードの画像が「メイン画像」であり、メイン画像以外のすべての画像が「挿入画像」である。メイン画像に挿入画像を挿入するためのユーザーインターフェイスは、次のように具現する。

１．ユーザーからメイン画像を選択する入力を受信する。
２．ユーザーから挿入画像を選択する入力を受信する。
３．メイン画像及び小さいサイズでアイコン化した挿入画像を画面に表示する。
４．ユーザーからアイコン化した挿入画像をドラッグする入力を受信する。
５．ユーザーからドラッグ入力の終了を受信する。
６．タッチ入力が終了した位置に挿入画像を挿入する。

挿入画像に他の挿入画像を挿入するためのユーザーインターフェイスは、次のように具現する。

１．ユーザーからメイン画像を選択する入力を受信する。
２．ユーザーから挿入画像を選択する入力を受信する。
３．メイン画像及び小さいサイズでアイコン化した挿入画像を画面に表示する。
４．ユーザーからアイコン化した挿入画像をドラッグする入力を受信する。
５．アイコン化した挿入画像が既存の挿入画像を挿入した位置にドラッグすると、メイン画像の代わりに、既存の挿入画像を画面に表示する。
６．ユーザーからアイコン化した挿入画像をドラッグする入力を受信する。
７．ユーザからドラッグ入力の終了を受信する。
８．タッチ入力が終了した位置に挿入画像を挿入する。既存の挿入画像の深さがＮである場合、新たに挿入した画像の深さは、Ｎ＋１になる。

以上のユーザーインターフェースによると、マルチ深度画像の作成及び編集時にワンタッチ（one touch）またはワンクリック（one click）で、メイン画像に挿入画像を挿入することができる。

しかし、スマートフォン、タブレットなどで提供するタッチインターフェイスは、指を使用するので、指の大きさにより、メイン画像の奥まった位置に挿入画像を挿入することが容易ではない。また、スマートフォンを握った状態で親指などの短い指を利用して挿入する画像をドラッグすると、ドラッグ可能な範囲が短いという問題がある。

以下、本発明の一実施例は、マルチ深度画像の作成及び編集時にメイン画像を挿入画像のドラッグ方向と反対方向に移動させることで、メイン画像に挿入画像を容易に挿入することができる方法を提供する。

新しい画像をメイン画像に挿入しようとする場合に、親画像は、メイン画像（深さ０）になり、第２の個体は、新しい画像（深さ１）になる。新しい画像を深さがＮである既存の挿入画像を挿入しようとする場合に、親画像は、既存の挿入画像（深さＮ）になり、第２の個体は、新しい画像（深さＮ＋１）になる。

以下、本明細書で、挿入する個体は「第２の個体」とし、第２の個体を挿入しようとする対象の画像は、「親画像」とし、親画像の全部または一部を画面に表示した領域は、「第１の個体」という。第２の個体は、一般的に画像である。しかし、画像の他にも動画、テキスト、音声、その他のファイルへのリンク、インターネットアドレスのリンク、ブックマークなど、さまざまな個体が第２の個体になってよい。以下では、第２の個体が画像である場合を例に挙げて説明する。

４.第１の実施例
図３は、本発明の一実施例に係る方法であって、第２の個体の選択に応じた画面の変化を例示した図である。

図３（ａ）は、電子デバイスが、ユーザーから、親画像に挿入する第２の個体を選択する入力を受信する画面を示した図である。具体的に、図３（ａ）は、第２の個体が画面に表示した状態で、第２の個体の選択のためのユーザー入力が画面中央で受信した場合を例示している。

第２の個体の選択のためのユーザ入力は、マウスをクリックすることであってよい。または、タッチスクリーンをタッチすることであってよい。または、マウスまたはタッチスクリーンを長押し（long press）することであってよい。

図３（ｂ）は、電子デバイスが、ユーザーから、親画像に挿入する第２の個体を選択する入力を受信した後の画面の変化を示した図である。

第２の個体が選択されると、第１の個体（親画像の全部または一部が画面に表示された領域）とアイコン化した第２の個体が画面に表示される。

アイコン化した第２の個体を表示した位置は、第２の個体の選択のためのユーザ入力の位置であってよい。図３（ａ）にて、第２の個体の選択のためのユーザー入力が画面中央で入力されたので、図３（ｂ）にて、アイコン化した第２の個体は画面中央に表示される。アイコン化した第２の個体から突き出た部分は、第２の個体が第１の個体上に挿入される位置を示す。

第２の個体の選択のためのユーザー入力が画面中央で入力された場合に、親画像の中心が画面の中央にくるようにして第１の個体を表示してよい。第１の個体は、親画像のサイズのまま表示されてもよく、画面に合わせて拡大または縮小して表示されてもよく、ユーザーが設定した割合どおり拡大または縮小して表示されてもよい。

図４は、本発明の一実施例に係る方法であって、第２の個体のドラッグによる画面の変化を例示した図である。

図４（ａ）は、電子デバイスが、ユーザから、第２の個体を左上方向にドラッグする入力を受信した後の画面の変化を示した図である。図４（ａ）に示すように、電子デバイスは、ユーザからの、第２の個体を左上方向にドラッグする入力を受信すると、第１の個体は、右下の方向に移動する。

図４（ｂ）は、電子デバイスが、ユーザから、第２の個体を右下の方向にドラッグする入力を受信した後の画面の変化を示した図である。図４（ｂ）に示すように、電子デバイスは、ユーザからの、第２の個体を右下の方向にドラッグする入力を受信すると、第１の個体は、左上方向に移動する。

図４（ａ）および図４（ｂ）に示すように、電子デバイスは、ユーザからの、第２の個体をドラッグする入力を受信すると、ドラッグ方向とは反対の方向に第１の個体が移動する。第１の個体の移動距離は、第２の個体のドラッグ距離によって決定される。具体的には、第１の個体の移動距離は、第２の個体のドラッグ距離のｋ倍（ｋは正の実数）である。ｋの値は、親画像のサイズ、親画像の拡大如何、親画像の中から現在の画面に表示された領域などによって決定される。ちなみに、図４（ａ）および図４（ｂ）は、第２の個体のドラッグ距離と、第１の個体の移動距離が同一である場合を例に挙げて説明している。

一方、図４（ａ）および図４（ｂ）に示すように、第１の個体の移動に応じて画面に第１の個体の終端を脱した外部領域を表示してよい。第１の個体の終端を脱した外部領域は、灰色背景、黒色背景などに表示してよい。

本発明の一実施例によると、第１の個体が第２の個体のドラッグ方向とは反対の方向に移動し、第１の個体の終端を脱した外部領域まで、画面に表示されるので、ユーザーは、親画像の奥まった位置に第２の個体を簡単に挿入することができる。

図４（ｃ）は、電子デバイスがユーザーからドラッグの終了を受信したときの画面の変化を示したものである。図４（ｃ）に示すように、ドラッグが終了すると、第１の個体上でドラッグが終了した位置に第２の個体が配置される。掲示する動作は、第１の個体上でドラッグが終了した位置に第２の個体を挿入する動作を含んでよい。

個体の挿入が完了すると、電子デバイスは、画面をリフレッシュ（refresh）することができる。リフレッシュは、第２の個体のドラッグ前の、第１の個体が表示されていたのと同じ状態で、第１の個体を表示し、第１の個体に挿入した第２の個体を第１の個体上で、特定のアイコンで表示するものであってよい。第１の個体上で第２の個体を挿入した位置を示すアイコンは

状アイコンであってよい。

図５は、本発明の一実施例に係る方法であって、第２の個体が外部領域にドラッグした状態で、追加の機能を実行するための方法を例示した図である。

電子デバイスは、ユーザからの、第２の個体をドラッグする入力を受信すると、第２の個体のドラッグ方向とは反対の方向に第１の個体が移動する。第２の個体のドラッグ方向と反対の方向に第１の個体が移動しながら、第１の個体の終端を脱した外部領域が画面に表示される。

図５（ａ）は、第２の個体が第１の個体の終端を脱した外部領域にドラッグした状態を示した図である。図５（ａ）に示すように、第１の個体の終端を脱した外部領域に第２の個体をドラッグすることが許容される。外部領域へのドラッグは、第２の個体を第１の個体の挿入する場所に位置させるためのドラッグではなく、追加の機能を実行するためのドラッグである。第２の個体が外部領域にドラッグした状態では、次のような方法で追加機能を実行させることができる。

図５（ｂ）は、外部領域にある第２の個体を左方向にドラッグするユーザ入力を受信している状態を示した図である。図５（ｂ）に示すように、外部領域にある第２の個体が左方向にドラッグすると、予め設定した機能を実行するようにすることができる。または、第１の個体の終端と左方向にドラッグした第２の個体の離間距離に応じて一つ以上の機能を選択的に実行するようにすることができる。

図５（ｂ）の場合とは逆に、第２の個体が右に継続してドラッグされ、第１の個体が左に継続して移動し、その結果、画面の右側に外部領域が表示され、第２の個体が外部領域に移動したと仮定する。この状態で、外部領域にある第２の個体が右方向にドラッグすると、予め設定した機能が実行されるようにすることができる。または、第１の個体の終端と右方向にドラッグした第２の個体の離間距離に応じて一つ以上の機能を選択的に実行するようにすることができる。

一方、第２の個体が上に継続してドラッグされ、第１の個体が下に継続して移動し、その結果、画面の上方に外部領域が表示され、第２の個体が外部領域に移動したと仮定しよう。この状態で、外部領域にある第２の個体を上方向にドラッグすると、予め設定した機能が実行されるようにすることができる。または、第１の個体の終端と上方向にドラッグした第２の個体の離間距離に応じて一つ以上の機能を選択的に実行するようにすることができる。

一方、第２の個体が下に継続してドラッグされ、第１の個体が上方に継続して移動し、その結果、画面の下方に外部領域が表示され、第２の個体が外部領域に移動したと仮定しよう。この状態で、外部領域にある第２の個体を下方向にドラッグすると、予め設定した機能が実行されるようにすることができる。または、第１の個体の終端と下方向にドラッグした第２の個体の離間距離に応じて一つ以上の機能を選択的に実行するようにすることができる。

図５（ｃ）は、外部領域にある第２の個体をドラッグしてジェスチャーを入力するユーザー入力を受信している状態を示した図である。図４（ｃ）に示すように、外部領域にある第２の個体をドラッグしてジェスチャーが入力されると、ジェスチャーの種類に応じて予め設定した機能が実行されるようにすることができる。

第２の個体が外部領域にある状態で、ジェスチャー入力以外の様々なユーザー入力を受信して予め設定した機能が実行されるようにすることができる。例えば第２の個体が外部領域にある状態で、ユーザーが音声で命令を下せば、ユーザーの音声コマンドを解析して、音声コマンドに基づいて予め設定した機能が実行されるようにすることができる。

第２の個体が外部領域にある状態で、電子デバイスが第２の個体を左、右、上、下にドラッグするユーザ入力を受信したり、ユーザージェスチャー、音声などによるユーザーイベントを受信したときに実行される追加機能は、以下の機能であってよい。

追加機能は、親画像を変更する機能である。親画像を変更しようとするとき、初期画面に戻って親画像を選択し、第２の個体を再度選択することは煩わしい。したがって、第２の個体の選択を維持した状態で、親画像を変更する必要があり、このような機能を外部領域でのドラッグまたはユーザーイベントを使用して実行することができる。

追加機能は、ページディテイルリン（page detailing）機能である。ページディテイルリンは、ツリー構造上で、親画像と同じレベルで、親画像についての追加情報を挿入する機能である。親画像と同じレベルに挿入される追加情報は、画像、ビデオ、テキスト、音声、その他のファイルへのリンク、インターネットアドレスのリンクＵＲＬなどであってよい。

追加機能は、スタッキング（stacking）機能であってよい。スタッキングは、挿入する個体を一方の画面に挟んで積んでおく（stacking）機能を意味する。スタッキング機能を用いて、アイコン化されて小さくなった個体を画面の特定の領域、例えば画面の右側または左側の隅の領域に挟んでおけば、挟まれた個体（stacked object）は、親画像から独立して常に画面の特定の領域に表示される。スタッキング機能を利用すれば、一つ以上の個体を親画像に簡単に挿入することができる。

そのほか、ポインタの削除、ポインタのキャンセル、前の段階に戻り、マルチ深度画像のツリー構造を示すナビゲーションマップの表示、挿入過程のキャンセル、挿入する個体の変更、親画像に挿入したすべての個体の削除などのさまざまな機能が追加機能として具現される。

図６は、本発明の一実施例に係る方法であって、第２の個体の選択のためのユーザ入力の位置が画面の中央ではない場合の第２の個体の選択に応じた画面の変化を例示した図である。

図６（ａ）は、電子デバイスがユーザーから親画像に挿入する第２の個体を選択する入力を受信する画面を示した図である。図３（ａ）において、第２の個体の選択のためのユーザ入力の位置が画面の中央であったのに対し、図６（ａ）では、第２の個体の選択のためのユーザ入力の位置が画面の左上である。

図６（ｂ）は、電子デバイスが、ユーザーから、親画像に挿入する第２の個体を選択する入力を受信した後の画面の変化を示した図である。

第２の個体が選択されると、第１の個体とアイコン化した第２の個体が画面に表示される。

アイコン化した第２の個体を表示した位置は、第２の個体の選択のためのユーザ入力の位置であってよい。図６（ａ）で第２の個体の選択のためのユーザー入力が画面の左上であることから、図６（ｂ）でアイコン化した第２の個体は、画面の左上に表示される。

第２の個体の選択のためのユーザー入力が画面の左上に入力された場合に、第１の個体が画面中央から画面の左上に向かう方向とは反対の方向に移動した位置に表示される。ユーザーが親画像の左上に第２の個体を挿入すると予想し、第１の個体を、あらかじめ、その逆方向に移動させて表示するものである。このとき、第１の個体の移動方向及び距離は図４で説明したのと同じ方式で決定する。

図７は、本発明の一実施例に係る方法であって、第２の個体が既に親画像に挿入した画像である場合、第２の個体の選択に応じた画面の変化を例示した図である。

図７（ａ）は、図４（ｃ）でのように、親画像に既に挿入した第２の個体を指で選択することを示している。図７（ｂ）は、親画像に既に挿入した第２の個体を選択したときの画面の変化を示している。

第２の個体が選択されると、第１の個体とアイコン化した第２の個体が画面に表示される。

アイコン化した第２の個体を表示した位置は、第２の個体の選択のためのユーザ入力の位置である。

第２の個体は、親画像の特定の位置に挿入した状態であるため、アイコン化した第２の個体は、第１の個体の挿入した位置に表示しなければならない。このために、第２の個体は、第２の個体の選択のためのユーザ入力の位置に表示し、第１の個体は、第２の個体を配置した位置を基準に移動させて表示する。例えば、画面の中央から第２の個体が離間した方向の逆方向に第１の個体を移動させて表示する。図７（ａ）にて、第２の個体Ｂを挿入した位置は、画面の中央から右下の方向に離間しているので、第１の個体Ａは、左上方向に移動して画面に表示される。

５.第２の実施例
図８ないし１０は、画面に入らないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態で第２の個体を挿入しようとする場合に適用される方法である。図８ないし１０は、親画像が３６０°画像、ＶＲ画像、パノラマ画像等である場合に特に有用な方法である。

図８は、本発明の一実施形態による方法として、画面に収まらないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態で第２の個体を挿入しようとする場合に、第２の個体の選択に応じた画面の変化を例示した図である。

図８（ａ）は、電子デバイスがユーザーから親画像に挿入する第２の個体を選択する入力を受信する画面を示した図である。図８（ａ）は、画面に収まらないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態で第２の個体を選択することと仮定する。

図８（ｂ）は、電子デバイスがユーザーから親画像に挿入する第２の個体を選択する入力を受信した後の画面の変化を示した図である。

第２の個体が選択されると、第１の個体とアイコン化した第２の個体が画面に表示される。

アイコン化した第２の個体を表示した位置は、第２の個体の選択のためのユーザ入力の位置であってよい。図８（ａ）にて、第２の個体の選択のためのユーザー入力が画面中央で入力したので、図８（ｂ）でアイコン化した第２の個体は、画面中央に表示される。

第２の個体の選択のためのユーザー入力が画面中央で入力された場合に、親画像の中心が画面の中央にくるようにして第１の個体を表示する。画面に入らないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態であるため、第１の個体は、画面いっぱいの状態になる。

某画像で一部の領域は、元の色のままで表示し、他の領域は、元の色より暗く表示することができる。親画像が元の色のままで表示される領域を「ウィンドウ」という。ウィンドウのサイズは、画面の大きさと同じに設定することができる。ただし、これに限定せず、ウィンドウのサイズが画面よりも大きくてもよく小さくてもよい。

某画像でウィンドウ内にある領域は、親画像で現在編集可能な領域、すなわち第２の個体を挿入しようとする領域を視覚的に強調するためのものであり、ウィンドウの外にある領域は、まだ該当領域が編集対象として入っていないことを示すためのものである。

ウィンドウは、編集可能領域を視覚的に強調するためのものなので、さまざまな方法でウィンドウを表示することができる。例えば、親画像を暗く表示せずにウィンドウを長方形のアウトラインだけを表示することもできる。

図９は、本発明の一実施形態による方法として、画面に収まらないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態で第２の個体を挿入しようとする場合に、第２の個体のドラッグによる第１の個体、親画像、及びウィンドウの移動を例示した図である。

図９（ａ）は、電子デバイスがユーザから第２の個体を左上方向にドラッグする入力を受信した後の画面の変化を示した図である。図９（ａ）に示すように、電子デバイスは、ユーザからの第２の個体を左上方向にドラッグする入力を受信すると、第１の個体は、右下の方向に移動する。親画像及びウィンドウも第１の個体と同じ方向及び距離を移動する。第１の個体、親画像、及びウィンドウの移動方向及び距離は図４で説明したのと同じ方式で決定することができる。

図９（ｂ）は、電子デバイスがユーザから第２の個体を右下の方向にドラッグする入力を受信した後の画面の変化を示した図である。図９（ｂ）に示すように、電子デバイスは、ユーザからの、第２の個体を右下の方向にドラッグする入力を受信すると、第１の個体は、左上方向に移動する。このとき、親画像及びウィンドウも第１の個体と同じ方向及び距離を移動する。第１の個体は、親画像、及びウィンドウの移動方向及び距離は図４で説明したのと同じ方式で決定することができる。

一方、図９（ａ）及び図９（ｂ）に示すように、第１の個体の移動に応じて画面に親画像の他の部分を表示してよい。ウィンドウの外にある部分は、元の色よりも暗く表示するようにすることができる。

ドラッグが終了すると、第１の個体上でドラッグが終了した位置に第２の個体が配置される。配置する動作は、第１の個体上でドラッグが終了した位置に第２の個体を挿入する動作を含んでよい。

個体の挿入が完了すると、電子デバイスは、画面をリフレッシュ（refresh）することができる。リフレッシュは、第２の個体のドラッグ前の第１の個体が表示されていたのと同じ状態で、第１の個体を表示し、第１の個体に挿入した第２の個体を第１の個体上で、特定のアイコンで表示するものであってよい。第１の個体上で第２の個体を挿入した位置を示すアイコンは

状アイコンであってよい。

図１０は、本発明の一実施形態による方法として、画面に収まらないほど大きな親画像を画面に入る大きさに縮小していない、もしくは画面に入る親画像を画面に入らない程度の大きさに拡大した状態で第２の個体を挿入しようとする場合に、第２の個体のウィンドウの外にドラッグしたとき、第１の個体、親画像、及びウィンドウの移動を例示した図である。

電子デバイスは、ユーザからの、第２の個体をドラッグする入力を受信すると、第２の個体のドラッグ方向とは反対の方向に第１の個体、親画像、及びウィンドウが移動する。第１の個体の移動に応じて画面に親画像の他の部分を表示することができ、ウィンドウの外にある部分は、元の色よりも暗く表示されるようにすることができる。

図１０（ａ）は、第２の個体をウィンドウの外にドラッグした状態を示した図である。図１０（ａ）に示すように、第２の個体をウィンドウの外にドラッグすることが許容される。

図１０（ｂ）は、第２の個体をウィンドウの外にドラッグした状態でドラッグを止め、クリックまたはタッチを維持するユーザーの入力を受信している状態を示した図である。図１０（ｂ）に示すように、第２の個体を画面の左上にドラッグし、ウィンドウの外に位置した状態でドラッグを停止してクリックまたはタッチを維持するとウィンドウが止まった状態で、親画像及び第１の個体だけを継続して移動させることができる。このとき、親画像及び第１の個体の移動速度を第１の速度とする。

ウィンドウの移動を停止し、親画像及び第１の個体を第１の速度で移動させることで、ユーザの編集可能領域に対する集中を維持させ、ユーザーが簡単に親画像の他の領域で第２の個体を挿入する場所を見つけるようにすることができる。

一方、第２の個体がウィンドウの外にドラッグした位置によって親画像及び第１の個体の移動速度を変更することができる。例えば第２の個体とウィンドウが予め設定した距離以上に離間したり、第２の個体が画面の隅に予め設定した距離以下に近接する場合に、親画像及び第１の個体を第１の速度と異なる第２の速度で移動させることができる。

また、第２の個体がウィンドウの外にドラッグした状態での追加ドラッグに応じて、親画像と第１の個体の移動方向を変更することができる。例えば第２の個体がウィンドウの外にドラッグした後、もう１回ドラッグされている場合は、もう１回ドラッグした方向とは反対の方向に、親画像と第１の個体を移動させることができる。

第２の個体を再度ウィンドウの外部から内部にドラッグすると、親画像及び第１の個体を第１の速度で移動させる動作を停止するようにすることができる。現在ウィンドウの内部に表示された領域に第２の個体を挿入できるようにするためである。

６.フローチャート
図１１は、本発明の一実施形態に係る画像のパンニング方法を例示したフローチャートである。

図１１に示すように、本発明の一実施形態に係る画像のパンニング方法は、電子デバイスの画面に表示した第１の個体上に第２の個体を配置させるために、電子装置によって実行される方法において、第２の個体を第１の個体上で第１の方向に移動させるドラッグする入力を受信するステップ（Ｓ１１１０）、第１の個体を第１の方向とは反対の第２の方向に移動させるステップ（Ｓ１１２０）、第１の個体の終端が画面の終端に到達すると（Ｓ１１３０の「はい」）、第１の方向へのドラッグに応じて第１の個体を第２の方向に継続的に移動させることで、第２の個体を第１の個体の終端近くまで、または第１の個体の終端を脱して第１の個体の外部領域に移動させるドラッグを許容するステップ（Ｓ１１４０）及びドラッグが終了すると（Ｓ１１５０の「はい」）、第１の個体上のドラッグの終了位置に第２の個体を配置させるステップ（Ｓ１１６０）を含む。

その他に前述した実施例で説明した内容と重複する内容は、詳しい説明を省く。

図１１は、Ｓ１１１０ないしＳ１１６０を順に実行することを記載しているが、これは本発明の技術思想を例示的に説明したにすぎず、Ｓ１１１０ないしＳ１１６０の動作が時系列的な順序に限定されるものではない。本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲でＳ１１１０ないしＳ１１６０の順序を変更したり、Ｓ１１１０ないしＳ１１６０で１つ以上のステップを省略したり、Ｓ１１１０ないしＳ１１６０で１つ以上のステップを並列的に実行するなど、図１１の方法を多様に修正及び変形することができるだろう。

一方、前述した実施例で説明した方法は、プロセッサを含むコンピュータまたはスマートフォンなどの電子デバイスが読むことができる記録媒体に、その電子デバイスが読むことができるコードとして具現することが可能である。コンピュータまたはスマートフォンが読むことができる記録媒体は、コンピュータシステムによって読み取ることができるデータが格納されるすべての種類の記録装置を含む。つまり、コンピュータまたはスマートフォンが読むことができる記録媒体は、磁気記録媒体（例えば、ＲＯＭ、フロッピーディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ－ＲＯＭ、ＤＶＤなど）、フラッシュメモリ（例えば、ＵＳＢ、ＳＳＤ）などのストレージ媒体を含む。また、ネットワークにつながったコンピュータシステムに分散され、分散方式でコンピュータまたはスマートフォンが読めるコードが格納されて実行することができる。

本実施例は、本発明の技術的思想を例示的に説明したに過ぎず、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で、本実施例の様々な修正及び変形が可能である。

本実施例は、本発明の技術的思想を限定するためのものではなく説明するためのものであり、従って、本実施例によって本発明の権利範囲が限定されるものではない。本発明の保護範囲は、特許請求の範囲によって解釈されるべきであり、それと同等、もしくは均等であると認められるすべての技術的思想は、本発明の権利範囲に含まれるものと解釈されるべきである。

本特許出願は、本明細書にその全体が参考として含まれる、２０１７年１２月２９日付にて韓国に出願した特許出願番号第１０－２０１７－０１８４７７２号に対して優先権を主張する。

Claims (13)

1. 電子デバイスの画面に表示した第１の個体上に第２の個体を配置させるために、電子装置によって実行される方法において、
   前記第２の個体を前記第１の個体上で第１の方向に移動させるドラッグに応答し、前記画面上に表示した前記第１の個体を前記第１の方向とは反対の第２の方向に移動させるステップ、及び、
   前記第２の個体に対するドラッグが終了すると、前記第１の個体上の前記ドラッグの終了位置に前記第２の個体を配置させるステップを含み、
   前記第１の個体を前記第２の方向に移動させるステップは、
   前記第１の個体の終端が前記画面の終端に到達しても、前記第１の方向へのドラッグに応じて前記第１の個体を前記第２の方向に継続的に移動させることで、前記第２の個体を前記第１の個体の終端まで、または、前記第１の個体の終端を超えて前記第１の個体の外部領域に移動させるドラッグを許容し、
   前記第１の個体の終端を脱した前記第１の個体の外部領域へのドラッグに応答して予め設定した動作を実行する方法。
2. 電子デバイスの画面に表示した第１の個体上に第２の個体を配置させるために、電子装置によって実行される方法において、
   前記第２の個体を前記第１の個体上で第１の方向に移動させるドラッグに応答し、前記画面上に表示した前記第１の個体を前記第１の方向とは反対の第２の方向に移動させるステップ、及び、
   前記第２の個体に対するドラッグが終了すると、前記第１の個体上の前記ドラッグの終了位置に前記第２の個体を配置させるステップを含み、
   前記第１の個体を前記第２の方向に移動させるステップは、
   前記第１の個体の終端が前記画面の終端に到達しても、前記第１の方向へのドラッグに応じて前記第１の個体を前記第２の方向に継続的に移動させることで、前記第２の個体を前記第１の個体の終端まで、または、前記第１の個体の終端を超えて前記第１の個体の外部領域に移動させるドラッグを許容し、
   前記第１の個体を前記第２の方向に移動させるステップの前に、さらに、
   前記第１の個体の全部または一部の領域を強調するためのウィンドウを前記第１の個体上にオーバーラップさせて前記画面に表示するステップを含み、
   前記第１の方向とは反対の第２の方向に移動させるステップは、前記第２の個体に対する前記第１の方向へのドラッグに応じて前記第１の個体と前記ウィンドウを同時に第２の方向に移動させ、
   前記第２の個体に対する第１の方向へのドラッグが前記ウィンドウの外部で停止すると、前記ウィンドウの移動を停止させ、前記第１の個体を第１の速度で前記第２の方向に移動させる方法。
3. 前記第１の個体は、画像の全部または一部の領域であることを特徴とする請求項１又は２に記載の方法。
4. 前記第２の個体を配置させるステップは、
   前記第１の個体内の前記終了位置に前記第２の個体を挿入するステップを含む請求項１又は２に記載の方法。
5. 前記第１の個体の終端から前記外部領域へのドラッグの方向及び前記第１の個体の終端から前記外部領域への離間距離のうち少なくとも一つに基づいて互いに異なる動作が実行されることを特徴とする請求項１に記載の方法。
6. 前記第２の個体が前記第１の個体の終端を脱して前記外部領域にドラッグした状態で、ユーザーからのイベントが入力されると、前記イベントに対応するアクションを実行することを特徴とする請求項１に記載の方法。
7. 前記第１の個体を前記第２の方向に移動させるステップの前に、さらに、
   前記第１の個体上に配置する前記第２の個体を選択するユーザー入力を受信するステップと、
   前記第２の個体をアイコン化して前記画面の前記ユーザー入力を受信した座標に表示するステップ、及び、
   前記画面の中央から前記受信した座標に向けた方向とは反対の方向に移動した第１の個体を前記画面に表示するステップを含む請求項１又は２に記載の方法。
8. さらに、前記第１の個体上に既に配置した前記第２の個体を選択するユーザー入力を受信するステップ、及び、
   前記画面の中央から前記第２の個体の配置した位置に向かう方向と反対方向に移動した第１の個体を前記画面に表示するステップを含む請求項１又は２に記載の方法。
9. 前記第１の個体を前記第２の方向に移動させるステップの前に、さらに、
   前記第１の個体の全部または一部の領域を強調するためのウィンドウを前記第１の個体上にオーバーラップさせて前記画面に表示するステップを含み、
   前記第１の方向とは反対の第２の方向に移動させるステップは、前記第２の個体に対する前記第１の方向へのドラッグに応じて前記第１の個体と前記ウィンドウを同時に第２の方向に移動させることを特徴とする請求項１に記載の方法。
10. 前記第１の個体のうち前記ウィンドウの内部に表示される領域と、前記ウィンドウの外部に表示される領域は、互いに異なる視覚効果で、前記画面にディスプレイされることを特徴とする請求項２又は９に記載の方法。
11. 前記第２の個体に対する前記第１の方向へのドラッグが前記ウィンドウの外部で停止した位置に基づき、前記第１の個体を前記第１の速度と異なる第２の速度で前記第２の方向に移動させることを特徴とする請求項２に記載の方法。
12. 前記第２の個体を再度前記ウィンドウの外部から内部にドラッグすると、第１の個体を第１の速度で前記第２の方向に移動させる動作を中止することを特徴とする請求項２に記載の方法。
13. 請求項１ないし請求項１２のいずれか一項の方法をコンピュータに実行させるプログラム。

Images