JP5835384B2 - 情報処理方法、情報処理装置、およびプログラム - Google Patents

情報処理方法、情報処理装置、およびプログラム Download PDF

Info

Publication number
JP5835384B2
JP5835384B2 JP2014054783A JP2014054783A JP5835384B2 JP 5835384 B2 JP5835384 B2 JP 5835384B2 JP 2014054783 A JP2014054783 A JP 2014054783A JP 2014054783 A JP2014054783 A JP 2014054783A JP 5835384 B2 JP5835384 B2 JP 5835384B2
Authority
JP
Japan
Prior art keywords
image
area
editing
output
smartphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014054783A
Other languages
English (en)
Other versions
JP2015176560A (ja
Inventor
弘憲 入江
弘憲 入江
敏之 寺下
敏之 寺下
佐々木 智彦
智彦 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2014054783A priority Critical patent/JP5835384B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP15765830.3A priority patent/EP3120328B1/en
Priority to CA2942559A priority patent/CA2942559C/en
Priority to CN201910967989.6A priority patent/CN110610531A/zh
Priority to CN201580013326.0A priority patent/CN106104632A/zh
Priority to PCT/JP2015/057610 priority patent/WO2015141606A1/en
Publication of JP2015176560A publication Critical patent/JP2015176560A/ja
Priority to US14/924,890 priority patent/US9646404B2/en
Application granted granted Critical
Publication of JP5835384B2 publication Critical patent/JP5835384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Description

本発明は、情報処理方法、情報処理装置、およびプログラムに関する。
従来、パノラマ画像を表示する方法が知られている。
パノラマ画像表示において、パノラマ画像の表示に対するユーザの指示を受け付けるためのユーザインタフェース(以下、UIという。)が知られている(例えば、特許文献1参照)。
しかしながら、従来のUIでは、スマートフォンなどで画像表示の際、いわゆるドラッグに画像をスクロールさせる機能を割り当てているため、ユーザは、例えば画像の編集など画像の操作が行いにくい場合があった。
本発明の1つの側面は、ユーザが画像の操作を行いやすくすることを目的とする。
一態様における、コンピュータに画像を処理させる情報処理方法であって、前記コンピュータに、前記画像を取得させる取得手順と、前記画像において、所定の領域を画像の編集が可能な編集領域とし、前記編集領域と、前記所定の領域以外の領域を変更領域とに区切って出力画像を出力させる出力手順と、を実行させ、前記変更領域に対して操作した場合、前記編集領域を移動させ、前記編集領域に対して操作した場合、前記編集領域を移動させないことを特徴とする。
ユーザが画像の操作を行いやすくできる。
本発明の一実施形態に係る撮影システムの全体構成の一例を説明する図である。 本発明の一実施形態に係る撮影装置の一例を説明する図である。 本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。 本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。 本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係るスマートフォンのハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る撮影システムによる全体処理の一例を説明するシーケンス図である。 本発明の一実施形態に係る全天球画像の一例を説明する図である。 本発明の一実施形態に係る全天球パノラマ画像の一例を説明する図である。 本発明の一実施形態に係る初期画像の一例を説明するための図である。 本発明の一実施形態に係る画像の編集を行うための初期状態の出力画像の一例を説明する図である。 本発明の一実施形態に係る出力する領域の編集の一例を説明するための図である。 本発明の一実施形態に係る出力する領域の拡大、および縮小の一例を説明するための図である。 本発明の一実施形態に係る別のズーム処理の一例を説明するための図である。 本発明の一実施形態に係る別のズーム処理の一例を説明するための表である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図である。 本発明の一実施形態に係る編集領域に基づいて所定の領域に対して行う編集の一例を説明するための図である。 本発明の一実施形態に係るスマートフォンによる全体処理の一例を説明するフローチャートである。 本発明の一実施形態に係る領域の区切りの変更の一例を説明するための図である。 本発明の一実施形態に係る撮影システムの機能構成の一例を説明する機能ブロック図である。
以下、本発明の実施の形態について説明する。
<第1実施形態>
<システムの全体構成>
図1は、本発明の一実施形態に係る撮影システムの全体構成の一例を説明する図である。
撮影システム10は、撮影装置1と、スマートフォン2と、を有する。
撮影装置1は、複数の光学系を有し、例えば撮影装置1の全方位など広い範囲を撮影した画像(以下、全天球画像という。)を生成し、スマートフォン2へ出力する。撮影装置1、および全天球画像の詳細は、後述する。撮影システム10で処理される画像は、例えば全天球画像である。パノラマ画像は、例えば全天球画像である。以下、全天球画像の例で説明する。
情報処理装置は、例えばスマートフォン2である。以下、スマートフォン2を例に説明する。スマートフォン2は、撮影装置1から取得した全天球画像をユーザに操作させるための装置である。スマートフォン2は、取得した全天球画像をユーザ出力するための装置である。スマートフォン2の詳細は、後述する。
撮影装置1、およびスマートフォン2は、有線、または無線で接続されている。例えば、スマートフォン2は、撮影装置1が出力する全天球画像などのデータを撮影装置1からダウンロードし、スマートフォン2に入力する。なお、接続は、ネットワークを介してもよい。
なお、全体構成は、図1に示した構成に限られない。例えば撮影装置1、およびスマートフォン2は、一体の装置となっていてもよい。また、撮影装置1、およびスマートフォン2以外の別のコンピュータを接続し、3以上の装置で構成してもよい。
<撮影装置>
図2は、本発明の一実施形態に係る撮影装置の一例を説明する図である。
図2は、撮影装置1の外観の一例を説明する図である。図2(a)は、撮影装置1の正面図の一例である。図2(b)は、撮影装置1の左側面図の一例である。図2(c)は、撮影装置1の平面図の一例である。
撮影装置1は、前面撮影素子1H1と、後面撮影素子1H2と、スイッチ1H3と、を有する。撮影装置1が内部に有するハードウェアについては後述する。
前面撮影素子1H1と、後面撮影素子1H2と、によって撮影された画像を用いて、撮影装置1は、全天球画像を生成する。
スイッチ1H3は、いわゆるシャッタボタンであり、ユーザが撮影装置1に撮影の指示を行うための入力装置である。
撮影装置1は、例えば図2(a)で示すようにユーザが手で持ち、スイッチ1H3を押すことによって撮影を行う。
図3は、本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。
図3に示すように、ユーザは、撮影装置1を手で持ち、図2のスイッチ1H3を押すことによって撮影を行う。撮影装置1は、図3に示すように、図2の前面撮影素子1H1と、図2の後面撮影素子1H2と、によって、撮影装置1の全方位を撮影することができる。
図4は、本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。
図4(a)は、図2の前面撮影素子1H1によって撮影された画像の一例である。図4(b)は、図2の後面撮影素子1H2によって撮影された画像の一例である。図4(c)は、図2の前面撮影素子1H1によって撮影された画像と、図2の後面撮影素子1H2によって撮影された画像と、に基づいて生成される画像の一例である。
図2の前面撮影素子1H1によって撮影された画像は、図4(a)に示すように、撮影装置1の前方方向の広い範囲、例えば画角で180°の範囲を撮影範囲とした画像である。図2の前面撮影素子1H1によって撮影された画像は、図2の前面撮影素子1H1が広い範囲を撮影するための光学系、例えばいわゆる魚眼レンズを用いる場合、図4(a)に示すように、歪曲収差を有する。図4(a)の図2の前面撮影素子1H1によって撮影された画像は、撮影装置1の一方の広い範囲、かつ、歪曲収差を有するいわゆる半球画像(以下、半球画像という。)である。
なお、画角は、180°以上200°以下の範囲が望ましい。特に画角が180°以上を超えた場合、後述する図4(a)の半球画像と、図4(b)の半球画像と、を合成する際、重畳する画像領域があるため、合成がしやすくなる。
図2の後面撮影素子1H2によって撮影された画像は、図4(b)に示すように、撮影装置1の後方方向の広い範囲、例えば画角で180°の範囲を撮影範囲とした画像である。
図4(b)の図2の後面撮影素子1H2によって撮影された画像は、図4(a)と同様の半球画像である。
撮影装置1は、歪補正処理、および合成処理などの処理を行い、図4(a)の前方の半球画像と、図4(b)の後方の半球画像と、から図4(c)に示す画像を生成する。図4(c)は、例えばいわゆるメルカトル(Mercator)図法、または正距円筒図法などで生成される画像、すなわち全天球画像である。
なお、全天球画像は、撮影装置1によって生成された画像に限られない。全天球画像は、例えば他のカメラなどで撮影された画像、または他のカメラで撮影された画像に基づいて生成された画像でもよい。全天球画像は、いわゆる全方位カメラ、またはいわゆる広角レンズのカメラなど広い視野角の範囲を撮影した画像が望ましい。
また、画像は、全天球画像を例に説明するが、全天球画像に限られない。画像は、例えばコンパクトカメラ、一眼レフカメラ、またはスマートフォンなどで撮影された画像などでもよい。画像は、水平、または垂直に伸びるパノラマ画像などでもよい。
<撮影装置のハードウェア構成>
図5は、本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。
撮影装置1は、撮影ユニット1H4と、画像処理ユニット1H7、撮影制御ユニット1H8と、CPU(Central Processing Unit)1H9と、ROM(Read−Only Memory)1H10と、を有する。また、撮影装置1は、SRAM(Static Random Access Memory)1H11と、DRAM(Dynamic Random Access Memory)1H12と、操作I/F(Interface)1H13と、を有する。さらに、撮影装置1は、ネットワークI/F1H14と、無線I/F1H15と、アンテナ1H16と、を有する。撮影装置1の各構成要素は、バス1H17で接続されて、データ、または信号の入出力を行う。
撮影ユニット1H4は、前面撮影素子1H1と、後面撮影素子1H2と、を有する。前面撮影素子1H1に対応してレンズ1H5、および後面撮影素子1H2に対応してレンズ1H6が設置されている。前面撮影素子1H1、および後面撮影素子1H2は、いわゆるカメラユニットである。前面撮影素子1H1、および後面撮影素子1H2は、CMOS(Complementary Metal Oxide Semiconductor)、またはCCD(Charge Coupled Device)などの光学センサを有する。前面撮影素子1H1は、レンズ1H5を通して入射した光を変換し、画像データを生成するための処理を行う。後面撮影素子1H2は、レンズ1H6を通して入射した光を変換し、画像データを生成するための処理を行う。撮影ユニット1H4は、前面撮影素子1H1、および後面撮影素子1H2が生成した画像データを画像処理ユニット1H7へ出力する。画像データは、例えば図4(a)の前方の半球画像、および図4(b)の後方の半球画像などである。
なお、前面撮影素子1H1、および後面撮影素子1H2は、レンズ以外に高画質の撮影を行うために、絞り、またはローパスフィルタなど他の光学要素を有してもよい。また、前面撮影素子1H1、および後面撮影素子1H2は、高画質の撮影を行うために、いわゆる欠陥画素補正、またはいわゆる手振れ補正などの処理を行ってもよい。
画像処理ユニット1H7は、撮影ユニット1H4から入力される画像データから図4(c)の全天球画像を生成するための処理を行う。全天球画像を生成するための処理の詳細は後述する。なお、画像処理ユニット1H7が行う処理は、処理の一部または全部を他のコンピュータによって並列、または冗長して行ってもよい。
撮影制御ユニット1H8は、撮影装置1の各構成要素を制御する制御装置である。
CPU1H9は、撮影装置1が行う各処理のための演算、制御を行う。例えばCPU1H9は、各種のプログラムを実行する。なお、CPU1H9は、並列処理によって高速化を行うために、複数のCPU、デバイス、または複数のコア(core)から構成されていてもよい。また、CPU1H9による処理は、撮影装置1の内部、または外部に別のハードウェアリソースを有し、撮影装置1の処理の一部、または全部を行わせてもよい。
ROM1H10、SRAM1H11、およびDRAM1H12は、記憶装置の例である。ROM1H10は、例えばCPU1H9が実行するプログラム、データ、またはパラメータを記憶する。SRAM1H11、およびDRAM1H12は、例えばCPU1H9がプログラムを実行する際、プログラム、プログラムが使用するデータ、プログラムが生成するデータ、またはパラメータなどを記憶する。なお、撮影装置1は、ハードディスクなど補助記憶装置を有してもよい。
操作I/F1H13は、スイッチ1H3など撮影装置1に対するユーザの操作を入力するための処理を行うインタフェースである。操作I/F1H13は、スイッチなどの操作デバイス、操作デバイスを接続するためのコネクタ、ケーブル、操作デバイスから入力された信号を処理する回路、ドライバ、および制御装置などである。なお、操作I/F1H13は、ディスプレイなど出力装置を有してもよい。また、操作I/F1H13は、入力装置と、出力装置が一体となったいわゆるタッチパネルなどでもよい。さらに、操作I/F1H13は、USB(Universal Serial Bus)などのインタフェースを有し、フラッシュメモリ(登録商標)など記憶媒体を接続し、撮影装置1からデータを入出力してもよい。
なお、スイッチ1H3は、シャッターの操作以外の操作を行う電源スイッチ、およびパラメータ入力スイッチなどを有してもよい。
ネットワークI/F1H14、無線I/F1H15、およびアンテナ1H16は、無線、または有線で撮影装置1と、ネットワークを介して他のコンピュータと、を接続するためのデバイス、および周辺回路などである。例えば撮影装置1は、ネットワークI/F1H14を介してネットワークに接続し、スマートフォン2へデータを送信する。なお、ネットワークI/F1H14、無線I/F1H15、およびアンテナ1H16は、USBなどコネクタ、およびケーブルなどを用いて接続する構成としてもよい。
バス1H17は撮影装置1の各構成要素間においてデータなどの入出力に用いられる。バス1H17は、いわゆる内部バスである。バス1H17は、例えばPCI Express(Peripheral Component Interconnect Bus Express)である。
なお、撮影装置1は、撮影素子が2つの場合に限られない。例えば、3つ以上の撮影素子を有してもよい。さらに、撮影装置1は、1つの撮影素子の撮影角度を変えて、複数の部分画像を撮影するでもよい。また、撮影装置1は、魚眼レンズを用いる光学系に限られない。例えば、広角レンズを用いてもよい。
なお、撮影装置1の行う処理は、撮影装置1が行うに限られない。撮影装置1の行う処理の一部、または全部は、撮影装置1がデータ、およびパラメータを送信し、スマートフォン2、またはネットワークで接続された別のコンピュータが行ってもよい。
<情報処理装置のハードウェア構成>
図6は、本発明の一実施形態に係るスマートフォンを含む情報処理装置のハードウェア構成の一例を説明するブロック図である。
情報処理装置は、コンピュータである。情報処理装置は、スマートフォンの他には、例えばノート型PC(Personal Computer)、PDA(Personal Digital Assistance)、タブレット、または携帯電話器などでもよい。
情報処理装置の一例であるスマートフォン2は、補助記憶装置2H1と、主記憶装置2H2と、入出力装置2H3と、状態センサ2H4と、CPU2H5と、ネットワークI/F2H6と、を有する。スマートフォン2の各構成要素は、バス2H7で接続されて、データ、または信号の入出力を行う。
補助記憶装置2H1は、CPU2H5、および制御装置などの制御によって、CPU2H5が行う処理の中間結果を含む各種データ、パラメータ、またはプログラムなどの情報を記憶する。補助記憶装置2H1は、例えば、ハードディスク、フラッシュSSD(Solid State Drive)などである。なお、補助記憶装置2H1が記憶する情報は、情報の一部または全部を補助記憶装置2H1に代えてネットワークI/F2H6で接続されたファイルサーバなどが記憶してもよい。
主記憶装置2H2は、CPU2H5が実行するプログラムが使用する記憶領域、いわゆるメモリ(Memory)などの主記憶装置である。主記憶装置2H2は、データ、プログラム、またはパラメータなどの情報を記憶する。主記憶装置2H2は、例えばSRAM(Static Random Access Memory)、DRAMなどである。主記憶装置2H2は、メモリに記憶、および取出を行う制御装置を有してもよい。
入出力装置2H3は、表示を行うための出力装置、およびユーザの操作を入力するための入力装置の機能を有する装置である。
入出力装置2H3は、いわゆるタッチパネル、周辺回路、およびドライバなどである。
入出力装置2H3は、例えば所定のGUI(Graphical User Interface)、およびスマートフォン2に入力された画像をユーザに表示するための処理を行う。
入出力装置2H3は、例えば表示しているGUI、または画像をユーザが操作する場合、ユーザの操作を入力するための処理を行う。
状態センサ2H4は、スマートフォン2の状態を検出するためのセンサである。状態センサ2H4は、ジャイロ(gyro)センサ、または角度センサなどである。状態センサ2H4は、例えばスマートフォン2の有する一辺が水平に対して所定の角度以上になったか否かを判定する。すなわち、状態センサ2H4は、スマートフォン2が縦方向の姿勢の状態となっているか横方向の姿勢の状態の検出を行う。
CPU2H5は、スマートフォン2が行う各処理の演算、およびスマートフォン2の有する装置の制御を行う。例えばCPU2H5は、各種プログラムを実行する。なお、CPU2H5は、並列、冗長、または分散して処理するために、複数のCPU、デバイス、または複数のコア(core)から構成されていてもよい。また、CPU2H5による処理は、スマートフォン2の内部、または外部に別のハードウェアリソースを有し、スマートフォン2の処理の一部、または全部を行わせてもよい。例えばスマートフォン2は、画像処理を行うためのGPU(Graphics Processing Unit)などを有してもよい。
ネットワークI/F2H6は、無線、または有線でネットワークを介して他のコンピュータと接続し、データなどを入出力するためのアンテナなどの装置、周辺回路、およびドライバなどである。例えば、スマートフォン2は、CPU2H5、およびネットワークI/F2H6によって撮影装置1から画像データを入力するための処理を行う。スマートフォン2は、CPU2H5、およびネットワークI/F2H6によって撮影装置1へ所定のパラメータなどを出力するための処理を行う。
<撮影システムによる全体処理>
図7は、本発明の一実施形態に係る撮影システムによる全体処理の一例を説明するシーケンス図である。
ステップS0701では、撮影装置1は、全天球画像を生成する処理を行う。
図8は、本発明の一実施形態に係る全天球画像の一例を説明する図である。
図8は、ステップS0701の全天球画像を生成する処理の一例を説明する図である。
図8(a)は、図4(a)の半球画像を光軸に対して水平方向、および垂直方向の入射角が等位となる箇所を線で結んで示した図である。以下、光軸に対して水平方向の入射角をθ、光軸に対して垂直方向の入射角をφと記載する。
図8(b)は、図8(a)と同様に、図4(b)の半球画像を光軸に対して水平方向、および垂直方向の入射角が等位となる箇所を線で結んで示した図である。
図8(c)は、メルカトル図法によって処理された画像の一例を説明する図である。図8(c)は、図8(a)、または図8(b)示した状態の画像を、例えばあらかじめ作成してあるLUT(LookUpTable)などで対応させ、正距円筒図法によって処理した場合の例である。
図8(d)は、図8(c)で説明した処理を図8(a)、および図8(b)に行った画像を合成する合成処理の一例である。
図8(d)で示すように、合成処理は、例えば図8(c)で示した状態の画像を複数用いて画像を生成する。なお、合成処理は、前処理された画像を単に連続して配置する処理に限られない。例えば全天球画像の水平方向中心がθ=180°としない場合、合成処理は、図4(a)の前処理した画像を全天球画像の中心に配置し、左右に図4(b)の前処理した画像を分割して配置して合成処理を行い図4(c)に示す全天球画像を生成する処理でもよい。
なお、全天球画像を生成する処理は、正距円筒図法による処理に限られない。例えば図8(b)のようにφ方向の画素の並びが図8(a)の並びに対して上下が逆、およびθ方向の画素の並びが図8(a)の並びに対して左右が逆となっている、いわゆる天地逆転の場合である。天地逆転の場合、撮影装置1は、前処理して図8(b)の状態の画像を図8(a)のφ方向、およびθ方向の画素の並びと揃えるために、180°Roll回転させる処理をおこなってもよい。
また、全天球画像を生成する処理は、図8(a)、および図8(b)の状態の画像が有する歪曲収差を補正するために補正処理を行ってもよい。さらに全天球画像を生成する処理は、画質を向上させるための処理、例えばシェーディング補正、ガンマ補正、ホワイトバランス、手振れ補正、オプティカル・ブラック補正処理、欠陥画素補正処理、エッジ強調処理、またはリニア補正処理などを行ってもよい。
なお、合成処理は、例えば半球画像の撮影範囲と、他方の半球画像の撮影範囲と、が重複する場合、高精度に合成処理をするために、重複する範囲を利用して補正を行ってもよい。
全天球画像を生成する処理によって、撮影装置1は、撮影装置1が撮影する半球画像から全天球画像を生成する。
ステップS0702では、スマートフォン2は、ステップS0701で生成された全天球画像を取得する処理を行う。以下、スマートフォン2が、図8(d)の全天球画像を取得した場合を例に説明する。
ステップS0703では、スマートフォン2は、ステップS0702で取得した全天球画像から全天球パノラマ画像を生成する。全天球パノラマ画像は、全天球画像を球形状に張り付けた画像である。
図9は、本発明の一実施形態に係る全天球パノラマ画像の一例を説明する図である。
ステップS0703では、スマートフォン2は、図8(d)の全天球画像から図9の全天球パノラマ画像を生成する処理を行う。
全天球パノラマ画像を生成する処理は、例えばOpenGL ES(OpenGL(登録商標) for Embedded Systems)などのAPI(Application Programming Interface)で実現される。
全天球パノラマ画像は、画像を三角形に分割し、三角形の頂点P(以下、頂点Pという。)をつなぎ合わせて、ポリゴンとして貼り付けて生成する。
ステップS0704では、スマートフォン2は、ユーザに画像の出力を開始するための操作を入力させる処理を行う。ステップS0704では、スマートフォン2は、例えばステップS0703で生成した全天球パノラマ画像を縮小して出力する、いわゆるサムネイル(thumbnail)画像を表示する。複数の全天球パノラマ画像がスマートフォン2に記憶されている場合、スマートフォン2は、例えば出力する画像をユーザに選択させるため、サムネイル画像を一覧で出力する。ステップS0704では、スマートフォン2は、例えばユーザがサムネイル画像の一覧から1つの画像を選択する操作を入力させる処理を行う。
ステップS0705では、スマートフォン2は、ステップS0704で選択された全天球パノラマ画像に基づいて初期画像を生成する処理を行う。
図10は、本発明の一実施形態に係る初期画像の一例を説明するための図である。
図10(a)は、本発明の一実施形態に係る初期画像の一例を説明するための3次元座標系を説明する図である。
以下、図10(a)で示すように、XYZ軸の3次元座標系で説明する。スマートフォン2は、原点の位置に仮想カメラ3を設置し、仮想カメラ3の視点で各種の画像を生成する。全天球パノラマ画像は、図10(a)の座標系の場合、例えば立体球CSのように表現される。仮想カメラ3は、設置された位置から立体球CSとした全天球パノラマ画像に対して、全天球パノラマ画像を見るユーザの視点に相当する。
図10(b)は、本発明の一実施形態に係る仮想カメラによる所定領域の一例を説明するための図である。
図10(b)は、図10(a)を三面図で表した場合である。図10(b)は、図10(a)の原点に仮想カメラ3を設置した場合である。図10(c)は、本発明の一実施形態に係る仮想カメラによる所定領域の一例を投影図である。
所定領域Tは、仮想カメラ3の視野角を立体球CSに投影した領域である。スマートフォン2は、所定領域Tに基づいて画像を生成する。
図10(d)は、本発明の一実施形態に係る仮想カメラによる所定領域を決定するための情報の一例を説明するための図である。
所定領域Tは、例えば所定領域情報(x,y,α)によって決定される。
視野角αは、図10(d)に示すように仮想カメラ3の画角を示す角度である。視野角αによって表される所定領域Tの対角線画角2Lの場合、所定領域Tの中心点CPの座標は、所定領域情報の(x,y)で示される。
なお、仮想カメラ3からの中心点CPまでの距離は、下記(1)式で示される。
初期画像は、予め設定されている初期設定に基づいて所定領域Tを決定し、決定された所定領域Tに基づいて生成される画像である。初期設定は、例えば(x,y,α)=(0,0,34)などである。
ステップS0706では、スマートフォン2は、ユーザに画像の編集を行うモードに切り替えさせる操作を行わせる。なお、ユーザが画像の編集を行うモードに切り替える操作を行わない場合、スマートフォン2は、例えば初期画像を出力する。
ステップS0707では、スマートフォン2は、画像の編集ための出力画像を出力する処理を行う。
図11は、本発明の一実施形態に係る画像の編集を行うための初期状態の出力画像の一例を説明する図である。
出力画像は、例えば初期状態の出力画像21である。出力画像は、初期状態の編集領域31と、初期状態の変更領域41と、を有する。
出力画像は、ユーザの操作を受け付けるため、GUI(Graphical User Interface)用のボタンを表示する。GUIは、例えば、ぼかし編集ボタン51、および取消編集ボタン52などである。なお、出力画像は、他のGUIを有してもよい。
初期状態の編集領域31、および初期状態の変更領域41は、合わせてステップS0705で生成された初期画像と同じ出力となる。出力画像は、編集領域31と、変更領域41と、を区切って出力するために、区切線211を有する。なお、区切線211は、実線に限られない。区切線211は、例えば破線、または模様などでもよい。また、区切線211の出力される周辺の画素に対してユーザが見やすいようにするため、スマートフォン2は、区切線211の色、または線種など区切線211のパターンを変更してもよい。例えば雪景色のように白い被写体が多い出力画像の場合、スマートフォン2は、区切線211の色を青色、かつ、実線で出力する。例えば高層ビル群のように反射の多い被写体が多い出力画像の場合、スマートフォン2は、区切線211の色を赤色、かつ、太い実線で出力する。例えばグラフ、または設計図のような多い被写体が多い出力画像の場合、スマートフォン2は、区切線211の色を緑色、かつ、太い破線で出力する。
被写体、または背景などに応じて区切線のパターンを変更することで、スマートフォン2は、ユーザに領域の区切りを見やすくさせることができる。
なお、区切線が明示されることで、ユーザに領域の区切りが見やすいようになるが、区切線が表示されないようにしても良い。例えば、操作に慣れてきたユーザにとっては、区切線が邪魔となるため、スマートフォン2は、区切線の表示/非表示を制御できるようにしても良い。さらに、区切線を表示する代わりに、スマートフォン2は、編集領域のコントラストと、変更領域のコントラストと、を変更することで、領域の区切りが区別できるようにしても良い。この場合、実施形態は、スマートフォン2が編集領域の座標、および編集領域の座標を用いて、出力画像中の領域毎にコントラストを制御する構成で実現される。
ユーザは、画像の編集を行うモードで画像を編集するため、出力画像で表示された編集領域、または変更領域に対して操作を行う。
ステップS0708では、スマートフォン2は、画像の編集ための操作をユーザに入力させる処理を行う。
ステップS0709では、スマートフォン2は、入出力装置2H3にユーザが操作を入力した座標を取得する。ステップS0709では、スマートフォン2は、取得した座標に基づいて図11の初期状態の編集領域31の領域に対して操作を行ったか、図11の初期状態の変更領域41の領域に対して操作を行ったかを判定する処理を行う。
画像の編集は、ユーザの操作に基づいて行う編集である。出力する領域の編集は、変更領域に基づいて画像で出力する領域を変更する編集、または編集領域に基づいて所定の領域に対して行う編集である。
出力する領域を変更する編集は、ステップS0709で変更領域の領域に操作があった場合に行われる。
編集領域に基づいて所定の領域に対して行う編集は、ステップS0709で編集領域の領域に操作があった場合に行われる。
変更領域に対してユーザが操作した場合(ステップS0709で変更領域の領域と判定)、スマートフォン2は、ステップS0710に進む。編集領域に対してユーザが操作した場合(ステップS0709で編集領域の領域と判定)、スマートフォン2は、ステップS0712に進む。
<出力する領域を変更する編集>
図12は、本発明の一実施形態に係る出力する領域の編集の一例を説明するための図である。
図12(a)は、本発明の一実施形態に係る出力する領域の編集後の出力画像の一例を説明する図である。
出力画像は、例えば出力する領域の編集後の出力画像22である。出力する領域の編集後の出力画像22は、出力する領域の編集後の編集領域32と、出力する領域の編集後の変更領域42と、を有する。出力する領域の編集後の出力画像22は、初期状態の出力画像21と同様に、出力する領域の編集後の編集領域32と、出力する領域の編集後の変更領域42と、を区切って出力するために、区切線211を有する。
出力する領域の編集後の出力画像22は、図11の初期状態の出力画像21から図10で説明した所定領域Tを変更して生成された画像である。初期状態の出力画像21と同様に、出力する領域の編集後の出力画像22は、出力する領域の編集後の編集領域32、および出力する領域の編集後の変更領域42で変更された所定領域Tに対応する画像を出力する。
図12(b)は、本発明の一実施形態に係る出力する領域の編集後の所定領域の一例を説明する図である。
出力する領域の編集後の出力画像22は、例えば図12(b)で示すように図10(b)の状態にあった仮想カメラ3をパン(Pan)回転させた場合の視点である。
図12(c)は、本発明の一実施形態に係る出力する領域の編集の際の操作の一例を説明する図である。
出力する領域の編集は、ユーザが、変更画像が出力される画面の領域を操作することによって行われる。
ステップS0708で入力される操作は、例えば出力する領域を画像の左右方向について変更する操作などである。
ユーザが入力する操作は、図12の場合、図12(c)で示すように図11の初期状態の変更領域41が出力される画面を画面の左右方向に指でなぞる、いわゆるスワイプ(swipe)の操作などである。
ここで、スワイプの操作による入力量を(dx,dy)とする。
図8の全天球の極座標系(φ,θ)、および入力量を(dx,dy)は、下記(2)の式で関係を示せる。
上述の(2)式でkは、調整を行うための所定の定数である。
スワイプの操作で入力した入力量に基づいて出力画像が変更されるため、ユーザは、地球儀のような球体を回転させるような感覚で画像を操作することができる。
なお、処理を簡単にするため、スワイプの操作が画面のどの位置で入力されたかを考慮しなくともよい。すなわち、初期状態の変更領域41が出力される画面のどの位置でスワイプの操作を行っても(2)式での入力量を(dx,dy)は、同様の値が入力されるとしてもよい。
出力する領域の編集後の変更領域42は、(2)式で計算された(φ,θ)に基づいて頂点Pの3次元空間上の座標(Px,Py,Pz)を透視投影変換する。
ユーザが図12(a)の場合で入力量(dx2,dy2)のスワイプの操作を行った場合、全天球の極座標系(φ,θ)は、下記(3)式で示される。
上述の(3)で示すように、全天球の極座標系(φ,θ)は、各スワイプの操作の入力量を合計した値に基づいて計算される。複数のスワイプの操作が行われた場合などでも全天球の極座標系(φ,θ)の計算から行うことで、一貫した操作性を保つことができる。
なお、出力する領域の編集は、パン回転に限られない。例えば画像の上下方向である仮想カメラ3のチルト(Tilt)回転で実現されてもよい。
ステップS0708で入力される操作は、例えば出力する領域を拡大、または縮小する操作などである。
図13は、本発明の一実施形態に係る出力する領域の拡大、および縮小の一例を説明するための図である。
ユーザが入力する操作は、出力する領域の拡大を行う場合、図13(a)、で示すように図11の初期状態の変更領域41が出力される画面で二本の指を広げる、いわゆるピンチアウト(pinch out)の操作などである。
ユーザが入力する操作は、出力する領域の縮小を行う場合、図13(b)、で示すように図11の初期状態の変更領域41が出力される画面で二本の指を狭める、いわゆるピンチイン(pinch in)の操作などである。
なお、ピンチアウト、およびピンチインの操作は、ユーザの指が接触する最初の位置が変更画像が表示されている領域であればよく、その後、編集領域が表示されている領域を用いる操作であってもよい。また、操作は、タッチパネルを操作するための道具である、いわゆるスタイラスペンなどで行ってもよい。
図13で説明した操作が入力された場合、スマートフォン2は、いわゆるズーム(Zoom)処理を行う。
ズーム処理は、入力されたユーザの操作に基づいて所定の領域を拡大、または縮小した画像を生成する処理である。
図13で説明した操作が入力された場合、スマートフォン2は、入力されたユーザの操作に基づいて変化量dzを取得する。
ズーム処理は、変化量dzに基づいて下記(4)式の計算を行う処理である。
上述の(4)式で示すαは、図10で説明した仮想カメラ3の視野角αである。(4)式で示すmは、ズーム量を調整するための係数である。(4)式で示すα0は、初期状態の視野角α、すなわちステップS0705で初期画像を生成した際の視野角αである。
図13で説明した操作が入力された場合、スマートフォン2は、(4)式で計算された視野角αを投影行列に用いて図10の所定領域Tの範囲を決定する。
(4)式で計算される場合にユーザが変化量dz2となる操作を行った場合、スマートフォン2は、下記(5)式の計算を行う。
上述の(5)で示すように、視野角αは、図13で説明した操作による変化量を合計した値に基づいて計算される。複数の図13で説明した操作が行われた場合などでも全天球の視野角αの計算から行うことで、一貫した操作性を保つことができる。
なお、ズーム処理は、(4)式、または(5)式による処理に限られない。
ズーム処理は、仮想カメラ3の視野角α、および視点位置の変更を組み合わせて実現してもよい。
図14は、本発明の一実施形態に係る別のズーム処理の一例を説明するための図である。
図14は、別のズーム処理を説明するためのモデル図である。図14の立体球CSは、図10の立体球CSと同様である。図14では、立体球CSの半径を「1」として説明する。
図14の原点は、仮想カメラ3の初期位置である。仮想カメラ3は、光軸、すなわち図10(a)のZ軸上で位置を変更する。仮想カメラ3の移動量dは、原点からの距離で示せる。例えば仮想カメラ3が原点に位置している場合、すなわち初期状態の場合、移動量dは、「0」となる。
仮想カメラ3の移動量d、および視野角αに基づいて図10の所定領域Tとなる範囲は、画角ωで表される。図14で図示する画角ωは、仮想カメラ3が原点に位置する場合、すなわちd=0の場合の画角である。
仮想カメラ3が原点に位置する場合、すなわちd=0の場合、画角ω、および視野角αは、一致する。仮想カメラ3が原点から離れた場合、すなわちdの値が大きくなった場合、画角ω、および視野角αは、異なる範囲を示す。
別のズーム処理は、画角ωを変更する処理である。
図15は、本発明の一実施形態に係る別のズーム処理の一例を説明するための表である。
説明表4は、画角ωの範囲が60°乃至300°の場合を例に説明する。
説明表4で示すように、スマートフォン2は、ズーム指定値ZPに基づいて視野角α、および仮想カメラ3の移動量dのどちらを優先的に変更するかを決定する。
「範囲」は、ズーム指定値ZPに基づいて決定する範囲である。
「出力倍率」は、別のズーム処理によって決定した画像パラメータに基づいて計算された画像の出力倍率である。
「ズーム指定値ZP」は、出力させる画角に対応した値である。別のズーム処理は、ズーム指定値ZPに基づいて移動量d、および視野角αの決定する処理を変更する。別のズーム処理の行う処理は、説明表4に示すようにズーム指定値ZPに基づいて4つの方法のいずれかに決定される。ズーム指定値ZPの範囲は、A〜Bの範囲、B〜Cの範囲、C〜Dの範囲、およびD〜Eの範囲の4つの範囲に区分される。
「画角ω」は、別のズーム処理によって決定した画像パラメータに対応する画角ωである。
「変更するパラメータ」は、ズーム指定値ZPに基づいて4つの方法でそれぞれ変更するパラメータを説明する記載である。「備考」は、「変更するパラメータ」についての備考である。
説明表4の「viewWH」は、出力領域の幅、または高さを示す値である。出力領域が横長の場合、「viewWH」は、幅の値である。出力領域が縦長の場合、「viewWH」は、高さの値である。すなわち、「viewWH」は、出力領域の長手方向のサイズを示す値である。
説明表4の「imgWH」は、出力画像の幅、または高さを示す値である。出力領域が横長の場合、「viewWH」は、出力画像の幅の値である。出力領域が縦長の場合、「viewWH」は、出力画像の高さの値である。すなわち、「viewWH」は、出力画像の長手方向のサイズを示す値である。
説明表4の「imgDeg」は、出力画像の表示範囲の角度を示す値である。出力画像の幅を示す場合、「imgDeg」は、360°である。出力画像の高さを示す場合、「imgDeg」は、180°である。
図16は、本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図である。
以下、図16でいわゆるズームアウトの場合を例に説明する。なお、図16の各図の左図は、出力する画像の一例を示す。図16の各図の右図は、出力の際の仮想カメラ3の状態の一例を図14で説明したモデル図で示している図である。
図16(a)は、図15の説明表4の「範囲」が「A〜B」となるズーム指定値ZPが入力された場合の出力の一例である。「A〜B」の場合、仮想カメラ3の視野角αは、例えばα=60°と固定される。「A〜B」の場合、仮想カメラ3の移動量dは、図16(a)で図示するように視野角αが固定された状態で変更される。視野角αが固定された状態で仮想カメラ3の移動量dが大きくなっていく場合、画角ωは、広げられる。「A〜B」の場合、視野角αを固定し、仮想カメラ3の移動量dを大きくすることでズームアウト処理が実現できる。なお、「A〜B」の場合の仮想カメラ3の移動量dは、0から立体球CSの半径までである。すなわち、図16の場合、立体球CSの半径が「1」であるため、仮想カメラ3の移動量dは、0〜1の範囲の値となる。仮想カメラ3の移動量dは、ズーム指定値ZPに対応する値となる。
図16(b)は、図15の説明表4のが「B〜C」となるズーム指定値ZPが入力された場合の出力の一例である。「B〜C」は、「A〜B」よりズーム指定値ZPが大きい値の場合である。「B〜C」の場合、仮想カメラ3の移動量dは、仮想カメラ3が立体球CSの外縁に位置する値に固定される。すなわち、図16(b)で図示するように、仮想カメラ3の移動量dは、立体球CSの半径である「1」に固定される。「B〜C」の場合、仮想カメラ3の移動量dが固定された状態で視野角αが変更される。仮想カメラ3の移動量dが固定された状態で視野角αが大きくなっていく場合、画角ωは、図16(a)から図16(b)になるように広げられる。「B〜C」の場合、仮想カメラ3の移動量dを固定し、視野角αを大きくすることでズームアウト処理が実現できる。「B〜C」の場合、視野角αは、ω/2で計算される。「B〜C」の場合、視野角αの範囲は、「A〜B」の場合に固定されていた値である60°から120°である。
「A〜B」、および「B〜C」の場合、画角ωは、ズーム指定値ZPと一致する。「A〜B」、および「B〜C」の場合、画角ωは、値が増加する。
図16(c)は、図15の説明表4の「範囲」が「C〜D」となるズーム指定値ZPが入力された場合の出力の一例である。「C〜D」は、「B〜C」よりズーム指定値ZPが大きい値の場合である。「C〜D」の場合、視野角αは、例えばα=120°と固定される。「C〜D」の場合、仮想カメラ3の移動量dは、図16(c)で図示するように視野角αが固定された状態で変更される。視野角αが固定された状態で仮想カメラ3の移動量dが大きくなっていく場合、画角ωは、広げられる。仮想カメラ3の移動量dは、図15の説明表4で示すズーム指定値ZPに基づいた式で計算される。「C〜D」の場合、仮想カメラ3の移動量dは、最大表示距離dmax1まで変更される。
最大表示距離dmax1は、スマートフォン2の出力領域で立体球CSを最大に表示する距離である。出力領域は、例えばスマートフォン2が画像などを出力する画面のサイズなどである。最大表示距離dmax1は、例えば図16(d)の場合である。最大表示距離dmax1は、下記(6)で計算される。
上述の(6)式で「viewW」は、スマートフォン2の出力領域の幅を示す値である。上述の(6)式で「viewH」は、スマートフォン2の出力領域の高さを示す値である。以下、同様に示す。
最大表示距離dmax1は、スマートフォン2の出力領域である「viewW」、および「viewH」の値に基づいて計算される。
図16(d)は、図15の説明表4の「D〜E」となるズーム指定値ZPが入力された場合の出力の一例である。「D〜E」は、「C〜D」よりズーム指定値ZPが大きい値の場合である。「D〜E」の場合、視野角αは、例えばα=120°と固定される。「D〜E」の場合、仮想カメラ3の移動量dは、図16(d)で図示するように視野角αが固定された状態で変更される。仮想カメラ3の移動量dは、限界表示距離dmax2まで変更される。限界表示距離dmax2は、スマートフォン2の出力領域で立体球CSが内接するして表示される距離である。限界表示距離dmax2は、下記(7)で計算される。限界表示距離dmax2は、例えば図16(e)の場合である。
限界表示距離dmax2は、スマートフォン2の出力領域である「viewW」、および「viewH」の値に基づいて計算される。限界表示距離dmax2は、スマートフォン2が出力できる最大の範囲、すなわち仮想カメラ3の移動量dの限界の値を示す。実施形態は、ズーム指定値ZPが図15の説明表4で説明した範囲に収まる、すなわち、仮想カメラ3の移動量dの値が限界表示距離dmax2以下となるように制限してもよい。制限によって、スマートフォン2は、出力領域である画面に出力画像をフィットさせた状態、または所定の出力倍率で画像をユーザに出力した状態となり、ズームアウトを実現できる。
「D〜E」の処理によって、スマートフォン2は、ユーザに出力されている画像が全天球パノラマであることを認識させることができる。
なお、「C〜D」、および「D〜E」の場合、画角ωは、ズーム指定値ZPと一致しない。また、図15の説明表4、および図16で示した通り各範囲間では、画角ωは、連続しているが、広角側へのズームアウトによって画角ωは、一様に増加しない。すなわち、仮想カメラ3の移動量dが変更される「C〜D」の場合、画角ωは、仮想カメラ3の移動量dに伴い増加する。仮想カメラ3の移動量dが変更される「D〜E」の場合、画角ωは、仮想カメラ3の移動量dに伴い減少する。「D〜E」の仮想カメラ3の移動量dの減少は、立体球CSの外側の領域が写り込むためである。ズーム指定値ZPによって240°以上の広視野域を指定する場合、スマートフォン2は、仮想カメラ3の移動量dを変更することによって、ユーザに違和感の少ない画像を出力し、かつ、画角ωを変化させることができる。
ズーム指定値ZPで広角方向に変更する際、画角ωは、広くなる場合が多い。画角ωが広くなる場合、スマートフォン2は、仮想カメラ3の視野角αを固定し、仮想カメラ3の移動量dを大きくする。スマートフォン2は、仮想カメラ3の視野角αを固定することによって、仮想カメラ3の視野角αの増加を少なくすることができる。仮想カメラ3の視野角αの増加を少なくすることによって、スマートフォン2は、歪みの少ない画像をユーザに出力することができる。仮想カメラ3の視野角αが固定された場合、スマートフォン2は、仮想カメラ3の移動量dを大きくする、すなわち仮想カメラ3を遠ざける方向に動かすことで広角表示の開放感をユーザに与えることができる。また、仮想カメラ3を遠ざける方向に動かす動きは、人間が広範囲を確認する際の動きと類似であるため、スマートフォン2は、仮想カメラ3を遠ざける方向に動かす動きによって違和感の少ないズームアウトを実現できる。
「D〜E」の場合、画角ωは、ズーム指定値ZPで広角方向に変更するに伴い、減少する。「D〜E」の場合、スマートフォン2は、画角ωを減少させることで、ユーザに立体球CSから遠ざかっていく感覚を与えることができる。スマートフォン2は、ユーザに立体球CSから遠ざかっていく感覚を与えることで、ユーザに違和感の少ない画像を出力することができる。
よって、図15の説明表4で説明した別のズーム処理によって、スマートフォン2は、ユーザに違和感の少ない画像を出力することができる。
なお、実施形態は、図15の説明表4で説明した仮想カメラ3の移動量d、または視野角αのみを変更する場合に限られない。実施形態は、図15の説明表4で説明した条件において、優先的に仮想カメラ3の移動量d、または視野角αを変更する形態であればよく、例えば調整のため、固定となっている値を十分小さい値変更してもよい。
また、実施形態は、ズームアウトに限られない。実施形態は、例えばズームインを実現してもよい。
なお、出力する領域の編集が行われる場合は、変更領域に対して操作が行われた場合に限られない。スマートフォン2は、例えば編集領域に対して操作が行われる場合に出力する領域の編集を行ってもよい。
<編集領域に基づいて所定の領域に対して行う編集>
編集領域に基づいて所定の領域に対して行う編集は、所定の画素をぼかすぼかしの編集である。ここで、他の編集としては、画像中の指定範囲の消去、画像の色調、色深度などの変更、および画像中の指定範囲の色変更などが挙げられる。
以下、ユーザがぼかしの編集を図12の出力する領域の編集後の出力画像22に対して行った場合を例に説明する。
ユーザがぼかし編集ボタン51を押す操作を行った場合、スマートフォン2は、ユーザに図12の出力する領域の編集後の出力画像22の編集領域32が表示されている領域に、いわゆるタップ(tap)の操作を入力させる。
スマートフォン2は、ユーザがタップした点を中心に所定の範囲をぼかす処理を行う。
図17は、本発明の一実施形態に係る編集領域に基づいて所定の領域に対して行う編集の一例を説明するための図である。
図17(a)は、本発明の一実施形態に係るぼかしの編集の一例を説明するための図である。図17(a)は、ぼかしの編集後の出力画像23を示す図である。ぼかしの編集後の出力画像23は、ぼかしの編集後の編集領域33と、ぼかしの編集後の変更領域43と、を有する。ぼかしの編集後の出力画像23は、初期状態の出力画像21と同様に、ぼかしの編集後の編集領域33と、ぼかしの編集後の変更領域43と、を区切って出力するために、区切線211を有する。
ぼかしの編集後の出力画像23は、図12の出力する領域の編集後の出力画像に対してぼかしの編集を行って生成される。ぼかしの編集は、例えばガウス(Gauss)関数、周辺の画素の平均、またはローパスフィルタ(Low−pass filter)などで実現される。ぼかしの編集は、例えばぼかし編集領域5のように図示される。
図17(b)は、本発明の一実施形態に係るぼかしを取り消す編集の一例を説明するための図である。
編集領域に基づいて所定の領域に対して行う編集は、ぼかしの編集でぼかされたぼかし編集領域5についてぼかしの編集を取り消す編集である。
ユーザが取消編集ボタン52を押す操作を行った場合、スマートフォン2は、ぼかしの編集を行ったぼかし編集領域5を塗りつぶし領域6で示す取消の編集用の出力画像24を出力する。取消の編集用の出力画像24は、図17(b)で図示するように、図17(a)のぼかしの編集後の編集領域33のぼかし編集領域5を、塗りつぶし領域6で示す画像である。ユーザは、表示された塗りつぶし領域6、すなわちぼかしが行われた領域に対してタップの操作を行う。スマートフォン2は、ユーザがタップした点を中心に所定の範囲をぼかしの編集を取り消す処理を行う。すなわち、ぼかしの編集を取り消す編集では、スマートフォン2は、ぼかしの編集後の編集領域33でユーザがタップした点を中心に所定の範囲を図12の出力する領域の編集後の出力画像22の状態にする。
人の顔、または撮影禁止の建物が撮影された画像は、インターネット上に公開、または共有されてしまうと、トラブルの原因のなる場合がある。特に広範囲を撮影するパノラマ画像の場合、広範囲を撮影するため、被写体が多くなる場合が多い。したがって、公開、または共有の際、ユーザは、問題となる可能性の被写体をぼかす処理によってトラブルを少なくすることができる。編集領域で所定の領域に対して行う編集によって、スマートフォン2は、画像で写っている人の顔などをぼかす処理を操作しやすくできる。よって、スマートフォン2は、編集領域に基づいて所定の領域に対して行う編集によって、ユーザが画像の操作を行いやすくできる。
なお、出力する領域の編集が行われる場合、スマートフォン2は、編集領域に基づいて所定の領域に対して行われた編集を倍率に合わせて範囲などを変更してもよい。
ステップS0710では、スマートフォン2は、出力する座標の移動量を計算する。すなわち、ステップS0710では、スマートフォン2は、例えば上述の(2)に基づいてユーザのスワイプ操作に対応する図10の所定領域Tの位置を計算する。
ステップS0711では、スマートフォン2は、ステップS0710で計算した位置に図10の所定領域Tの位置を更新する。
ステップS0712では、スマートフォン2は、編集の対象となる点の座標を計算する。すなわち、ステップS0712では、スマートフォン2は、ユーザのタップ操作に対応する座標を計算し、3次元上の座標に射影する計算を行う。
ステップS0713では、スマートフォン2は、ステップS0712で計算された座標を中心として編集領域に基づいて編集を行う所定の領域を計算する。すなわち、ステップS0713では、スマートフォン2は、ユーザのタップ操作で指定された点、および点の周辺であるぼかしなどの編集の対象となる画素を計算する。
ステップS0714では、スマートフォン2は、編集領域を生成する。ステップS0714では、ユーザが変更領域に対して操作を行った場合、スマートフォン2は、ステップS0711で更新された所定領域Tに基づいて変更領域を生成する。ステップS0714では、ユーザが編集領域に対して操作を行った場合、スマートフォン2は、ステップS0713で計算された画素にぼかし処理を反映した編集領域を生成する。
ステップS0715では、スマートフォン2は、変更領域を生成する。ステップS0715では、ユーザが変更領域に対して操作を行った場合、スマートフォン2は、ステップS0711で更新された所定領域Tに基づいて変更領域を生成する。ステップS0715では、ユーザが編集領域に対して操作を行った場合、スマートフォン2は、ステップS0713でぼかしの対象となっている箇所を示した変更領域を生成する。
スマートフォン2は、ステップS0708乃至ステップS0715の処理を繰り返す。
<スマートフォンによる処理>
図18は、本発明の一実施形態に係るスマートフォンによる全体処理の一例を説明するフローチャートである。
ステップS1801では、スマートフォン2は、図1の撮影装置1などから画像を取得する処理を行う。ステップS1801の処理は、図7のステップS0702の処理に対応する。
ステップS1802では、スマートフォン2は、パノラマ画像を生成する処理を行う。ステップS1802の処理は、ステップS1801で取得した画像に基づいて行う。ステップS1802の処理は、図7のステップS0703の処理に相当する。
ステップS1803では、スマートフォン2は、出力する画像をユーザに選択させる処理を行う。ステップS1803の処理は、図7のステップS0704の処理に相当する。出力する画像をユーザに選択させる処理は、具体的にはサムネイル画像を出力、およびサムネル画像に対してユーザが操作を行うためのUIを提供する処理などである。
ステップS1804では、スマートフォン2は、初期画像を生成する処理を行う。ステップS1804の処理は、図7のステップS0705の処理に相当する。ステップS1804では、スマートフォン2は、ステップS1803でユーザに選択された画像を初期画像として生成し、出力する。
ステップS1805では、スマートフォン2は、画像の編集を行うモードに切り替えるか否かの判断を行う。ステップS1805の処理は、図7のステップS0706におけるユーザの操作があるか否かによって判断を行う。ステップS1805で画像の編集を行うモードに切り替えがあったと判断した場合(ステップS1805でYES)、スマートフォン2は、ステップS1807に進む。ステップS1805で画像の編集を行うモードに切り替えがないと判断した場合(ステップS1805でNO)、スマートフォン2は、ステップS1804に戻る。
ステップS1805で画像の編集を行うモードに切り替えがあったと判断される場合は、ユーザによって画像の編集を開始する旨が入力された場合である。ステップS1805で画像の編集を行うモードに切り替えがないと判断される場合は、ユーザが操作を行わない場合である。したがって、スマートフォン2は、ユーザによる操作がない場合、初期画像を出力し続けてユーザの画像の編集を開始する旨が入力されるのを待機する。
ステップS1806では、スマートフォン2は、画像を編集するための出力画像を出力する処理を行う。ステップS1806の処理は、図7のステップS0707の処理に相当する。また、スマートフォン2は、出力画像を出力することによって図7のステップS0708に係るユーザの操作を受け付ける。
ステップS1807では、スマートフォン2は、ユーザの操作が編集領域に対してか変更領域に対してかの判断を行う。ステップS1807の処理は、図7のステップS0709の処理に相当する。スマートフォン2は、図7のステップS0708に係るユーザの操作が編集領域に対してか変更領域に対してかの判断を行う。
ユーザの操作が変更領域に対してであると判断する場合(ステップS1807で変更領域)、スマートフォン2は、ステップS1808に進む。ユーザの操作が編集領域に対してであると判断する場合(ステップS1807で編集領域)、スマートフォン2は、ステップS1810に進む。
ステップS1808では、スマートフォン2は、操作による所定領域の移動量を計算する処理を行う。ステップS1808の処理は、図7のステップS0710の処理に相当する。ステップS1808では、スマートフォン2は、ユーザが行った所定領域を変更するスワイプ操作に基づいて所定領域を移動させる移動量を計算する。
ステップS1809では、スマートフォン2は、所定領域を更新する処理を行う。ステップS1809の処理は、図7のS0711の処理に相当する。ステップS1809では、スマートフォン2は、ステップS1808で計算した移動量に対応する位置に図10の所定領域Tを移動させ、所定領域Tを初期画像の位置からユーザのスワイプ操作に対応する位置に更新する。
ステップS1810では、スマートフォン2は、操作の対象となる座標を計算し、3次元上に射影する処理を行う。ステップS1810の処理は、図7のステップS0712の処理に相当する。ステップS1810では、スマートフォン2は、ユーザのタップ操作で指定された点に対応する全天球画像上の座標を計算する。
ステップS1811では、スマートフォン2は、ぼかしの対象となる画素を計算する処理を行う。スマートフォン2は、例えばぼかしの対象になるか否かのフラグデータを各画素に対応させた編集状態テーブルを有する。編集状態テーブルは、各画素がぼかしの状態で出力されるか否かを表す。スマートフォン2は、編集状態テーブルを参照し、出力画像の各画素をぼかしの状態で出力するか否かを判定し、画像を出力する。ステップS1811の処理は、すなわち編集状態テーブルを更新する処理である。ユーザによるタップの操作で、図17(a)で説明したぼかし、または図17(b)で説明した取り消しのいずれかの操作があった場合、スマートフォン2は、操作に基づいて編集状態テーブルを更新する。
ステップS1812では、スマートフォン2は、編集領域を生成する処理を行う。ステップS1812の処理は、図7のステップS0714の処理に相当する。
ステップS1813では、スマートフォン2は、変更領域を生成する処理を行う。ステップS1813の処理は、図7のステップS0715の処理に相当する。
スマートフォン2は、ステップS1807に戻り、先に示した処理を繰り返す。
ステップS1812、およびステップS1813の処理によって、スマートフォン2は、出力画像を生成し、ユーザに対して出力を行う。
ステップS1812、およびステップS1813の処理では、スマートフォン2は、編集状態テーブルに基づいてぼかしの対象となっている場合、例えば図17(a)で説明したようにぼかしの処理を行って出力する。
スマートフォン2がユーザに出力する画像は、ユーザが動画の再生を滑らかに感じる1秒間に30フレーム以上で出力される。スマートフォン2は、特にユーザが再生を滑らかに感じる1秒間に60フレーム以上を出力するが望ましい。なお、フレームレートは、1秒間に60フレームを例えば1秒間に59.94フレームとする出力でもよい。
なお、ステップS1812、およびステップS1813の処理は、スマートフォン2がぼかし処理を行って出力を行う処理に限られない。
例えばスマートフォン2は、予め出力する画像の全画素をぼかし処理した画像と、ぼかし処理をしていない画像と、を有する。スマートフォン2は、編集状態テーブルに基づいてぼかし処理した画像と、ぼかし処理をしていない画像と、を選択しながら各画素を出力する。スマートフォン2は、予めぼかし処理をしておくことによって画像を出力する際の計算量を少なくできる。すなわち、選択しながら各画素を出力することによって、スマートフォン2は、1秒間に60フレームなど高速な画像の出力を実現することができる。
また、例えば選択しながら各画素を出力した場合、スマートフォン2は、出力した画像を記憶してもよい。ユーザが編集の操作を行わない場合、スマートフォン2は、記憶した画像を出力する。記憶によって、出力する画像の各画素を選択して生成する処理が不要になるため、スマートフォン2は、計算量を少なくできる。したがって、スマートフォン2は、出力した画像を記憶することによって、1秒間に60フレームなど高速な画像の出力を実現することができる。
なお、出力画像は、図11などで説明した画像に限られない。例えば編集領域、および変更領域の形状、位置、大きさ、および範囲は、変更されてもよい。
図19は、本発明の一実施形態に係る領域の区切りの変更の一例を説明するための図である。
図19(a)は、本発明の一実施形態に係る領域の区切りの変更の一例を行う際のユーザの操作を説明する図である。
スマートフォン2は、例えばユーザに区切線211を長押し、いわゆるロングタップの操作を入力させる。長押し、およびロングタップは、図19(a)の場合、区切線211が出力されている位置の画面をユーザが指で所定時間以上押し続ける操作である。
ロングタップの操作の入力があった場合、スマートフォン2は、区切線211の位置、大きさ、または範囲を変更する処理を行う。
図19(b)は、本発明の一実施形態に係る領域の区切線の変更の一例を説明する図である。
図19(b)は、スマートフォン2がロングタップの操作を受け付けた場合の状態の一例である。
変更前区切線211Aは、変更前の区切線の位置を示す。変更前区切線211Aは、すなわち図19(a)の状態である。
変更後区切線211Bは、変更後の区切線の位置を示す。図19(b)で示すように、スマートフォン2は、ユーザの指が画面をなぞる動きに伴って区切線を変更する。スマートフォン2は、区切線の変更に伴って、編集領域、および変更領域を出力する位置、大きさ、および範囲を変更して出力する。
領域の区切りの変更を行うことによって、ユーザは、操作が行いやすい編集領域、および変更領域の位置、大きさ、および範囲にすることができる。領域の区切りの変更を行うことによって、スマートフォン2は、ユーザが画像の操作が行いやすい出力画像を出力することができる。
<機能構成>
図20は、本発明の一実施形態に係る撮影システムの機能構成の一例を説明する機能ブロック図である。
撮影システム10は、撮影装置1と、スマートフォン2と、を有する。撮影システム10は、第一撮影部1F1と、第二撮影部1F2と、全天球画像生成部1F3と、を有する。撮影システム10は、画像取得部2F1と、生成部2F2と、入出力部2F3と、記憶部2F4と、制御部2F5と、を有する。
第一撮影部1F1、および第二撮影部1F2は、全天球画像の素材となる画像を撮影し、生成する。第一撮影部1F1は、例えば図2の前面撮影素子1H1などによって実現される。第二撮影部1F2は、例えば図2の後面撮影素子1H2などによって実現される。全天球画像の素材となる画像は、例えば図4(a)、および図4(b)で示す半球画像などである。
全天球画像生成部1F3は、全天球画像などスマートフォン2に出力する画像を生成する。全天球画像生成部1F3は、例えば図5の画像処理ユニット1H7などによって実現される。全天球画像生成部1F3は、第一撮影部1F1、および第二撮影部1F2が撮影した半球画像から全天球画像を生成する。
画像取得部2F1は、撮影装置1から全天球画像など画像データを取得する。画像取得部2F1は、例えば図6のネットワークI/F2H6などによって実現される。画像取得部2F1は、スマートフォン2が全天球画像など画像データを取得するための処理を行う。
生成部2F2は、各種画像と、線と、を生成する処理、および画像の生成のために必要な各種計算を行う。生成部2F2は、変更領域生成部2F21と、編集領域生成部2F22と、区切線生成部2F23と、を有する。生成部2F2は、図6のCPU2H5などによって実現される。
変更領域生成部2F21は、変更領域の生成を行うための処理を行う。変更領域生成部2F21は、例えば記憶部2F4から画像データと、編集状態テーブルと、を取得する。変更領域生成部2F21は、取得した編集状態テーブル、および画像データに基づいて変更領域を生成する。
編集領域生成部2F22は、編集領域の生成を行うための処理を行う。編集領域生成部2F22は、例えば記憶部2F4から画像データと、編集状態テーブルと、を取得する。編集領域生成部2F22は、取得した編集状態テーブル、および画像データに基づいて編集領域を生成する。
また、変更領域生成部2F21、および編集領域生成部2F22は、図19で説明した操作があった場合、出力を行う各領域の位置、大きさ、および範囲などを変更して各領域で出力する画像を生成する。
区切線生成部2F23は、図11の区切線211など区切線を生成する。区切線生成部2F23は、例えば図19で説明した操作があった場合、区切線の出力を変更するために必要な処理を行う。
生成部2F2は、ユーザがタップ、およびスワイプの操作を行った場合、操作に係る座標を計算し、編集状態テーブルとして記憶する。また、生成部2F2が生成した画像は、記憶部2F4に記憶し、処理に応じて取り出してもよい。
入出力部2F3は、ユーザの操作を入力するための処理を行う。入出力部2F3は、ユーザに生成部2F2が生成した画像を出力する処理を行う。入出力部2F3は、例えば図6の入出力装置2H3などによって実現される。
記憶部2F4は、スマートフォン2が取得、または生成した各種情報を記憶する。記憶部2F4は、例えば編集状態テーブル記憶部2F41と、画像記憶部2F42と、を有する。記憶部2F4は、例えば図6の補助記憶装置2H1、または主記憶装置2H2などによって実現される。
編集状態テーブル記憶部2F41は、ぼかし処理が行われる画素を示すテーブルのデータを記憶する。
画像記憶部2F42は、画像取得部2F1が取得した全天球画像、および生成部2F2が生成した出力画像などを記憶する。
制御部2F5は、スマートフォン2の有する各種要素を制御する。制御部2F5は、各種処理および各種処理を補助する処理などを、各種要素を制御することによって実現する。制御部2F5は、例えば図6のCPU2H5などによって実現される。
なお、全体処理は、図7に示した場合に限られない。例えば各処理の一部、または全部は、図7で示した装置以外の他の装置によって処理されてもよい。
なお、実施形態は、区切線で編集領域と、変更領域と、を区切って出力するに限られない。例えば実施形態は、スマートフォン2が、変更領域をぼかし、所定の色で着色など装飾して出力することによってユーザに領域が違うことを認識させ、編集領域と、変更領域と、を区切って出力する実施形態であってもよい。
スマートフォン2は、撮影装置1などから取得した全天球画像などに基づいて、編集領域と、変更領域と、を生成する。編集領域は、所定領域Tで決まる所定の領域を出力し、ぼかし、およびぼかしの取消などの編集の操作をユーザに行わせるための画像を出力する領域である。変更領域は、所定領域Tの位置、大きさ、および範囲などの変更する操作をユーザに行わせるための画像を出力する領域である。スマートフォン2は、少なくとも編集領域と、変更領域と、を有する出力画像を出力する。出力画像が、編集領域と、変更領域と、を有することによって、スマートフォン2は、ユーザにぼかしなどの編集を行いながら編集領域で出力される領域を変更領域で変更させることができる。したがって、スマートフォン2は、ユーザが全天球画像などに対してぼかしの操作を行う場合、操作の行いやすい画像を出力することができる。ゆえに、スマートフォン2が編集領域と、変更領域と、を有する出力画像を出力することによって、ユーザが画像の操作を行いやすくできる。
なお、スマートフォン2は、アセンブラ、C、C++、C#、およびJava(登録商標)などのレガシープログラミング言語、またはオブジェクト指向プログラミング言語などで記述されたコンピュータが実行できるプログラムによって実現されてもよい。プログラムは、ROM、またはEEPROM(Electrically Erasable Programmable ROM)などの記録媒体に格納して頒布することができる。プログラムは、EPROM(Erasable Programmable ROM)などの記録媒体に格納して頒布することができる。プログラムは、フラッシュメモリ、フレキシブルディスク、CD−ROM、CD−RW、DVD−ROM、DVD−RAM、またはDVD−RWなどの記録媒体に格納して頒布することができる。プログラムは、ブルーレイディスク、SD(登録商標)カード、またはMOなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。
なお、実施形態における画像は、静止画に限られない。例えば画像は、動画でもよい。
また、実施形態の各処理の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ(FPGA)などのプログラマブル・デバイス(PD)で実現されてもよい。さらに、実施形態の各処理の一部または全部は、ASIC(Application Specific Integrated Circuit)で実現されてもよい。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
10 撮影システム
1 撮影装置
1H1 前面撮影素子
1H2 後面撮影素子
1H3 スイッチ
1H4 撮影ユニット
1H5、1H6 レンズ
1H7 画像処理ユニット
1H8 撮影制御ユニット
1H9 CPU
1H10 ROM
1H11 SRAM
1H12 DRAM
1H13 操作I/F
1H14 ネットワークI/F
1H15 無線I/F
1H16 アンテナ
1H17 バス
1F1 第一撮影部
1F2 第二撮影部
1F3 全天球画像生成部
2 スマートフォン
2H1 補助記憶装置
2H2 主記憶装置
2H3 入出力装置
2H4 状態センサ
2H5 CPU
2H6 ネットワークI/F
2H7 バス
2F1 画像取得部
2F2 生成部
2F21 変更領域生成部
2F22 編集領域生成部
2F33 区切線生成部
2F3 入出力部
2F4 記憶部
2F41 編集状態テーブル記憶部
2F42 画像記憶部
2F5 制御部
3 仮想カメラ
T 所定領域
CS 立体球
α 視野角
2L 対角線画角
21 初期状態の出力画像
211 区切線
211A 変更前区切線
211B 変更後区切線
22 出力する領域の編集後の出力画像
23 ぼかしの編集後の出力画像
24 取消の編集用の出力画像
31 初期状態の編集領域
32 出力する領域の編集後の編集領域
43 ぼかしの編集後の編集領域
41 初期状態の変更領域
42 出力する領域の編集後の変更領域
43 ぼかしの編集後の変更領域
51 ぼかし編集ボタン
52 取消編集ボタン
dz、dz2 変化量
ZP ズーム指定値
4 説明表
5 ぼかし編集領域
6 塗りつぶし領域
特開2011−76249号公報

Claims (10)

  1. コンピュータに画像を処理させる情報処理方法であって、
    前記コンピュータに、
    前記画像を取得させる取得手順と、
    前記画像において、所定の領域を画像の編集が可能な編集領域とし、前記編集領域と、前記所定の領域以外の領域を変更領域とに区切って出力画像を出力させる出力手順と、
    を実行させ
    前記変更領域に対して操作した場合、前記編集領域を移動させ、
    前記編集領域に対して操作した場合、前記編集領域を移動させない情報処理方法。
  2. 前記編集領域を用いて前記編集の対象となる領域である編集箇所を取得させる編集箇所入力手順と、
    前記編集箇所を編集処理させる編集手順と、を実行させる請求項1に記載の情報処理方法。
  3. 前記編集手順は、
    前記編集箇所をぼかし処理させる手順である請求項2に記載の情報処理方法。
  4. 前記取得手順で取得された取得画像と、ぼかし処理で生成されたぼかし画像と、を生成し、
    前記出力画像は、
    前記編集箇所に前記ぼかし画像の画素、および前記編集箇所以外に前記取得画像の画素を選択して出力される請求項3に記載の情報処理方法。
  5. 前記編集領域で出力した画像の一部、または全部の領域を指定する指定箇所を取得させる指定箇所入力手順と、
    前記指定箇所に対して行われた前記ぼかし処理を取り消させる取消手順と、を実行させる請求項3または4に記載の情報処理方法。
  6. 前記変更領域を用いて前記編集領域で出力する前記所定の領域を変更、拡大、および縮小する操作を取得させる操作入力手順を実行させる請求項1乃至5のいずれかに記載の情報処理方法。
  7. 前記操作入力手順よって取得される操作に基づいて視点位置、および視野角を決定させる決定手順を実行させ、
    前記決定は、
    前記視点位置、および前記視野角のいずれかを前記操作入力手順よって取得される操作で示された領域に基づいて変更する請求項6に記載の情報処理方法。
  8. 前記編集領域と、前記変更領域と、の区切を変更する操作に基づいて前記編集領域、および前記変更領域を出力する位置、大きさ、または範囲を変更させる変更手順と、を実行させる請求項1乃至7のいずれかに記載の情報処理方法。
  9. 画像を処理する情報処理装置であって、
    前記画像を取得する取得手段と、
    前記画像において、所定の領域を画像の編集が可能な編集領域とし、前記編集領域と、前記所定の領域以外の領域を変更領域とに区切って出力画像を出力させる出力手段と、
    を有し
    前記変更領域に対して操作した場合、前記編集領域を移動させ、
    前記編集領域に対して操作した場合、前記編集領域を移動させない情報処理装置。
  10. コンピュータに画像を処理させるためのプログラムであって、
    前記コンピュータに、
    前記画像を取得させる取得手順と、
    前記画像において、所定の領域を画像の編集が可能な編集領域とし、前記編集領域と、前記所定の領域以外の領域を変更領域とに区切って出力画像を出力させる出力手順と、
    を実行させ
    前記変更領域に対して操作した場合、前記編集領域を移動させ、
    前記編集領域に対して操作した場合、前記編集領域を移動させないプログラム。
JP2014054783A 2014-03-18 2014-03-18 情報処理方法、情報処理装置、およびプログラム Active JP5835384B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2014054783A JP5835384B2 (ja) 2014-03-18 2014-03-18 情報処理方法、情報処理装置、およびプログラム
CA2942559A CA2942559C (en) 2014-03-18 2015-03-10 Systems and methods for processing and editing all celestial sphere images
CN201910967989.6A CN110610531A (zh) 2014-03-18 2015-03-10 图像处理方法、图像处理装置和记录介质
CN201580013326.0A CN106104632A (zh) 2014-03-18 2015-03-10 信息处理方法、信息处理设备和程序
EP15765830.3A EP3120328B1 (en) 2014-03-18 2015-03-10 Information processing method, information processing device, and program
PCT/JP2015/057610 WO2015141606A1 (en) 2014-03-18 2015-03-10 Information processing method, information processing device, and program
US14/924,890 US9646404B2 (en) 2014-03-18 2015-10-28 Information processing method, information processing device, and program that facilitates image processing operations on a mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014054783A JP5835384B2 (ja) 2014-03-18 2014-03-18 情報処理方法、情報処理装置、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015216014A Division JP2016021267A (ja) 2015-11-02 2015-11-02 装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015176560A JP2015176560A (ja) 2015-10-05
JP5835384B2 true JP5835384B2 (ja) 2015-12-24

Family

ID=54144575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014054783A Active JP5835384B2 (ja) 2014-03-18 2014-03-18 情報処理方法、情報処理装置、およびプログラム

Country Status (6)

Country Link
US (1) US9646404B2 (ja)
EP (1) EP3120328B1 (ja)
JP (1) JP5835384B2 (ja)
CN (2) CN106104632A (ja)
CA (1) CA2942559C (ja)
WO (1) WO2015141606A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD782513S1 (en) * 2015-01-02 2017-03-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP5987931B2 (ja) 2015-02-09 2016-09-07 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
CN108702441A (zh) 2016-02-24 2018-10-23 株式会社理光 图像处理设备、图像处理系统及程序
US9961261B2 (en) * 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
KR20180040465A (ko) * 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10614606B2 (en) * 2016-11-30 2020-04-07 Ricoh Company, Ltd. Information processing apparatus for creating an animation from a spherical image
JP6786378B2 (ja) * 2016-12-26 2020-11-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20180307352A1 (en) * 2017-04-25 2018-10-25 Gopro, Inc. Systems and methods for generating custom views of videos
JP7154858B2 (ja) 2018-07-26 2022-10-18 キヤノン株式会社 撮像装置
JP7187307B2 (ja) * 2018-12-28 2022-12-12 キヤノン株式会社 電子機器及びその制御方法
JP7267764B2 (ja) * 2019-02-08 2023-05-02 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
CN110983914B (zh) * 2019-12-19 2022-06-17 徐工集团工程机械股份有限公司道路机械分公司 一种具有全景贴边压实系统的压路机
USD980865S1 (en) * 2021-01-18 2023-03-14 Kwai Games Pte. Ltd. Display screen or portion thereof with graphical user interface

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325144A (ja) 1993-05-12 1994-11-25 Toppan Printing Co Ltd レイアウトデザイン装置
JPH10340075A (ja) 1997-06-06 1998-12-22 Matsushita Electric Ind Co Ltd 画像表示方法
US6769131B1 (en) * 1999-11-18 2004-07-27 Canon Kabushiki Kaisha Image processing apparatus and method, image distribution system and storage medium
JP4439763B2 (ja) * 2001-07-04 2010-03-24 株式会社リコー 画像録画再生システムおよび画像録画再生方法
JP2003132362A (ja) 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
JP3641747B2 (ja) * 2001-10-23 2005-04-27 ヴイストン株式会社 画像表示方法及び画像表示装置
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4635437B2 (ja) 2004-01-07 2011-02-23 ソニー株式会社 電子機器及び画像表示方法
JP4756876B2 (ja) * 2004-06-09 2011-08-24 キヤノン株式会社 画像表示制御装置、画像表示制御方法、プログラム、及び記憶媒体
JP4916237B2 (ja) * 2005-09-16 2012-04-11 株式会社リコー 画像表示装置、画像表示方法、その方法をコンピュータに実行させるプログラム、および画像表示システム
WO2007055335A1 (ja) 2005-11-11 2007-05-18 Sony Corporation 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
EP3567840B1 (en) 2005-12-16 2024-04-10 The 41st Parameter, Inc. Methods and apparatus for securely displaying digital images
US8477154B2 (en) 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
JP4841449B2 (ja) * 2007-01-29 2011-12-21 ソニー株式会社 撮像装置、画像編集方法及びプログラム
JP5297665B2 (ja) * 2008-03-12 2013-09-25 京セラ株式会社 情報端末装置および情報端末装置の音声調整方法
US8259208B2 (en) 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
US8214766B1 (en) * 2008-07-09 2012-07-03 Adobe Systems Incorporated Method and system for preview control for image adjustment
US20100162163A1 (en) * 2008-12-18 2010-06-24 Nokia Corporation Image magnification
EP2207342B1 (en) * 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
JP5464955B2 (ja) * 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
WO2011055451A1 (ja) 2009-11-06 2011-05-12 パイオニア株式会社 情報処理装置、その方法、および、表示装置
CN101763214A (zh) * 2009-12-30 2010-06-30 宇龙计算机通信科技(深圳)有限公司 一种移动终端显示页面的缩放方法、系统及移动终端
CN101794192B (zh) * 2010-02-10 2013-01-02 深圳市同洲电子股份有限公司 触摸屏终端的图片处理方法及该触摸屏终端
KR101662846B1 (ko) * 2010-05-12 2016-10-06 삼성전자주식회사 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
JP5589644B2 (ja) * 2010-07-27 2014-09-17 日本精機株式会社 周辺画像表示装置及びその表示方法
JP5701040B2 (ja) 2010-12-14 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US8898630B2 (en) 2011-04-06 2014-11-25 Media Direct, Inc. Systems and methods for a voice- and gesture-controlled mobile application development and deployment platform
JP2012249175A (ja) 2011-05-30 2012-12-13 Olympus Imaging Corp 撮像装置、表示方法およびプログラム
CN103024133A (zh) * 2011-09-23 2013-04-03 中兴通讯股份有限公司 触屏待机墙纸显示设置方法及其装置
CN103186324A (zh) * 2011-12-29 2013-07-03 富泰华工业(深圳)有限公司 图像编辑系统及图像编辑方法
US8831371B2 (en) * 2012-03-02 2014-09-09 Adobe Systems Incorporated Methods and apparatus for applying blur patterns to images
US9041727B2 (en) * 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US8548778B1 (en) 2012-05-14 2013-10-01 Heartflow, Inc. Method and system for providing information from a patient-specific model of blood flow
JP5388385B2 (ja) * 2012-05-16 2014-01-15 パナソニック株式会社 表示制御装置、表示制御方法、およびプログラム
US10037820B2 (en) 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
JP6186775B2 (ja) 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
JP5920057B2 (ja) * 2012-06-29 2016-05-18 株式会社リコー 送信装置、画像共有システム、送信方法、及びプログラム
KR20140028311A (ko) * 2012-08-28 2014-03-10 삼성전자주식회사 출력화면의 편집 영역을 설정하기 위한 전자 장치 및 방법
JP6075066B2 (ja) 2012-12-28 2017-02-08 株式会社リコー 画像管理システム、画像管理方法、及びプログラム
KR101999140B1 (ko) 2013-01-03 2019-07-11 삼성전자주식회사 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
KR101988313B1 (ko) * 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
JP6079297B2 (ja) * 2013-02-26 2017-02-15 株式会社リコー 編集装置、編集方法、及び編集プログラム
US20150046299A1 (en) 2013-08-12 2015-02-12 Sap Ag Inventory Assessment with Mobile Devices

Also Published As

Publication number Publication date
CA2942559A1 (en) 2015-09-24
CN110610531A (zh) 2019-12-24
US9646404B2 (en) 2017-05-09
WO2015141606A1 (en) 2015-09-24
EP3120328A1 (en) 2017-01-25
CN106104632A (zh) 2016-11-09
EP3120328A4 (en) 2017-05-10
JP2015176560A (ja) 2015-10-05
CA2942559C (en) 2018-02-27
EP3120328B1 (en) 2019-03-06
US20160048992A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
JP5835383B2 (ja) 情報処理方法、情報処理装置、およびプログラム
JP5835384B2 (ja) 情報処理方法、情報処理装置、およびプログラム
JP6350695B2 (ja) 装置、方法、およびプログラム
JP2019012881A (ja) 撮像制御装置及びその制御方法
JP6583486B2 (ja) 情報処理方法、情報処理プログラムおよび情報処理装置
JP6128185B2 (ja) 装置、方法、およびプログラム
JP6777208B2 (ja) プログラム
JP2018109946A (ja) 表示装置、プログラム、表示方法
JP6673459B2 (ja) 画像処理装置、画像処理システム及びプログラム
JP2016021267A (ja) 装置、方法、およびプログラム
WO2017159014A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2017224330A (ja) 装置、方法、およびプログラム
JP2018109740A (ja) 表示装置、プログラム、表示方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151019

R151 Written notification of patent or utility model registration

Ref document number: 5835384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151