JP6740900B2 - Image processing apparatus, image processing method and program - Google Patents

Image processing apparatus, image processing method and program Download PDF

Info

Publication number
JP6740900B2
JP6740900B2 JP2016531163A JP2016531163A JP6740900B2 JP 6740900 B2 JP6740900 B2 JP 6740900B2 JP 2016531163 A JP2016531163 A JP 2016531163A JP 2016531163 A JP2016531163 A JP 2016531163A JP 6740900 B2 JP6740900 B2 JP 6740900B2
Authority
JP
Japan
Prior art keywords
image
effect
shake
degree
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016531163A
Other languages
Japanese (ja)
Other versions
JPWO2016002322A1 (en
Inventor
楽公 孫
楽公 孫
山本 耕司
耕司 山本
雅史 若園
雅史 若園
洋一郎 佐藤
洋一郎 佐藤
和博 嶋内
和博 嶋内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016002322A1 publication Critical patent/JPWO2016002322A1/en
Application granted granted Critical
Publication of JP6740900B2 publication Critical patent/JP6740900B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G06T5/70
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Description

本開示は、画像処理装置、画像処理方法およびプログラムに関する。 The present disclosure relates to an image processing device, an image processing method, and a program.

デジタルカメラなどにおける手ぶれ(camera shaking)補正技術は、例えば特許文献1にも記載されているように既に一般的である。手ぶれ補正技術では、例えば、撮像装置に搭載されたジャイロセンサを用いて手ぶれを検出し、補正用のレンズを駆動して手ぶれを打ち消す方向に光軸を移動させる光学式の手法が知られている。また、撮像された画像における手ぶれを検出し、被写体領域が一定になるように領域を切り出す電子式の手ぶれ補正手法も知られている。 A camera shaking correction technique in a digital camera or the like is already general as described in Patent Document 1, for example. In the image stabilization technology, for example, an optical method is known in which a gyro sensor mounted in an image pickup device is used to detect an image blur, and a lens for correction is driven to move an optical axis in a direction to cancel the image blur. .. In addition, there is also known an electronic camera shake correction method that detects camera shake in a captured image and cuts out an area so that a subject area becomes constant.

特開2009−272890号公報JP, 2009-272890, A

上記のような手ぶれ補正の技術によって、撮像装置に揺れが発生しているような環境下で撮像が実行された場合にも、安定した画像を記録することができる。その一方で、手ぶれ補正を施された画像では、撮像時の臨場感が十分に再現されない可能性もある。上記のような技術では、撮像時に手ぶれ補正をするか否かは選択可能でありうるものの、一旦画像を撮像して記録した後には手ぶれ補正の有無を変更することは困難であり、画像の再生時にユーザの所望に応じて安定感または臨場感を表現することが十分にできているとはいえなかった。 With the image stabilization technique as described above, it is possible to record a stable image even when imaging is performed in an environment where the imaging device is shaken. On the other hand, in an image that has been subjected to image stabilization, there is a possibility that the realistic sensation at the time of imaging may not be sufficiently reproduced. With the above-described technology, it may be possible to select whether or not to perform image stabilization during image capture, but it is difficult to change the presence or absence of image stabilization after an image has been captured and recorded. At times, it has not been possible to sufficiently express a sense of stability or a sense of presence according to the user's desire.

そこで、本開示では、ユーザの所望に応じた効果が付加された画像を再生することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。 Therefore, the present disclosure proposes a new and improved image processing apparatus, image processing method, and program capable of reproducing an image to which an effect added according to a user's desire is reproduced.

本開示によれば、画像の揺れに関する揺れ情報に基づいて、上記画像に揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置が提供される。 According to the present disclosure, there is provided an image processing apparatus including an image destabilization processing unit that adds an effect of expressing shaking to the image based on shaking information regarding shaking of the image.

また、本開示によれば、画像に付加される揺れを表現する効果の程度を、上記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部を備える画像処理装置が提供される。 Further, according to the present disclosure, there is provided an image processing device including an image destabilization processing unit that determines the degree of an effect of expressing a shake added to an image based on an expected value of the immersive feeling of an observer with respect to the image. Provided.

また、本開示によれば、プロセッサが、画像の揺れに関する揺れ情報に基づいて、上記画像に揺れを表現する効果を付加することを含む画像処理方法が提供される。 Also, according to the present disclosure, there is provided an image processing method including a processor adding an effect of expressing a shake to the image based on shake information regarding shake of the image.

本開示によれば、プロセッサが、画像に付加される揺れを表現する効果の程度を、上記画像に対する観察者の没入感の期待値に基づいて決定することを含む画像処理方法が提供される。 According to the present disclosure, there is provided an image processing method including a processor determining the degree of an effect of expressing a shake added to an image based on an expected value of an immersive feeling of an observer with respect to the image.

また、本開示によれば、画像の揺れに関する揺れ情報に基づいて、上記画像に揺れを表現する効果を付加する機能をコンピュータに実現させるためのプログラムが提供される。 Further, according to the present disclosure, there is provided a program for causing a computer to realize a function of adding the effect of expressing a shake to the image based on the shake information regarding the shake of the image.

また、本開示によれば、画像に付加される揺れを表現する効果の程度を、上記画像に対する観察者の没入感の期待値に基づいて決定する機能をコンピュータに実現させるためのプログラムが提供される。 Further, according to the present disclosure, there is provided a program for causing a computer to realize a function of determining the degree of the effect of expressing a shake added to an image based on an expected value of the viewer's immersive feeling with respect to the image. It

以上説明したように本開示によれば、ユーザの所望に応じた効果が付加された画像を再生することができる。 As described above, according to the present disclosure, it is possible to reproduce an image to which an effect added according to a user's request is added.

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。 Note that the above effects are not necessarily limited, and in addition to or in place of the above effects, any of the effects shown in this specification, or other effects that can be grasped from this specification. May be played.

本開示の第1の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。FIG. 1 is a schematic block diagram showing a functional configuration example of an image processing system according to a first embodiment of the present disclosure. 本開示の第1の実施形態における録画処理の例を示すフローチャートである。3 is a flowchart showing an example of recording processing according to the first embodiment of the present disclosure. 本開示の第1の実施形態における再生処理の例を示すフローチャートである。5 is a flowchart showing an example of a reproduction process according to the first embodiment of the present disclosure. 本開示の第1の実施形態に係る画像処理システムにおいて録画処理を実行するための機能構成をより詳細に示すブロック図である。FIG. 3 is a block diagram showing in more detail a functional configuration for executing recording processing in the image processing system according to the first embodiment of the present disclosure. 本開示の第1の実施形態に係る画像処理システムに含まれるデマルチプレクサ・デコードモジュールの機能構成をより詳細に示すブロック図である。FIG. 3 is a block diagram showing in more detail a functional configuration of a demultiplexer/decode module included in the image processing system according to the first embodiment of the present disclosure. 本開示の第1の実施形態に係る画像処理システムに含まれる没入度算出モジュールの機能構成をより詳細に示すブロック図である。FIG. 3 is a block diagram showing in more detail the functional configuration of an immersion degree calculation module included in the image processing system according to the first embodiment of the present disclosure. 本開示の第1の実施形態に係る画像処理システムに含まれる画像逆安定化モジュールの機能構成をより詳細に示すブロック図である。FIG. 3 is a block diagram showing in more detail the functional configuration of an image destabilizing module included in the image processing system according to the first embodiment of the present disclosure. 本開示の第1の実施形態に係る画像処理システムに含まれるディスプレイモジュールの機能構成をより詳細に示すブロック図である。FIG. 3 is a block diagram showing in more detail a functional configuration of a display module included in the image processing system according to the first embodiment of the present disclosure. 本開示の第1の実施形態に係る画像処理システムにおける没入度算出の処理について、さらに説明するための図である。FIG. 7 is a diagram for further explaining the process of calculating the degree of immersion in the image processing system according to the first embodiment of the present disclosure. 本開示の第1の実施形態における画像の表示の第1の例を示す図である。FIG. 5 is a diagram showing a first example of image display according to the first embodiment of the present disclosure. 本開示の第1の実施形態における画像の表示の第2の例を示す図である。FIG. 8 is a diagram showing a second example of displaying an image according to the first embodiment of the present disclosure. 本開示の第2の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。FIG. 8 is a schematic block diagram showing a functional configuration example of an image processing system according to a second embodiment of the present disclosure. 本開示の第2の実施形態における録画処理の例を示すフローチャートである。9 is a flowchart illustrating an example of recording processing according to the second embodiment of the present disclosure. 本開示の第2の実施形態における再生処理の例を示すフローチャートである。9 is a flowchart showing an example of a reproduction process according to the second embodiment of the present disclosure. 本開示の第3の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。FIG. 16 is a schematic block diagram showing a functional configuration example of an image processing system according to a third embodiment of the present disclosure. 本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。FIG. 3 is a block diagram showing a hardware configuration example of an image processing apparatus according to an embodiment of the present disclosure.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In this specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.

なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.機能構成
1−2.処理フロー
1−3.各部の詳細な機能構成
1−4.没入度算出の処理
1−5.表示例
2.第2の実施形態
3.第3の実施形態
4.ハードウェア構成
5.補足
The description will be given in the following order.
1. 1. First embodiment 1-1. Functional configuration 1-2. Processing flow 1-3. Detailed functional configuration of each part 1-4. Immersion Degree Calculation Processing 1-5. Display example 2. Second embodiment 3. Third embodiment 4. Hardware configuration 5. Supplement

(1.第1の実施形態)
(1−1.機能構成)
図1は、本開示の第1の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図1を参照すると、画像処理システム100は、画像信号取得・処理モジュール110と、エンコード・マルチプレクサモジュール120と、メモリモジュール130と、デマルチプレクサ・デコードモジュール140と、没入度算出モジュール150と、画像逆安定化モジュール160と、ディスプレイモジュール190とを含む。没入度算出モジュール150には、モード設定170と、視聴環境設定180が入力される。なお、それぞれの構成要素の詳細については後述する。
(1. First embodiment)
(1-1. Functional configuration)
FIG. 1 is a schematic block diagram showing a functional configuration example of an image processing system according to the first embodiment of the present disclosure. Referring to FIG. 1, the image processing system 100 includes an image signal acquisition/processing module 110, an encode/multiplexer module 120, a memory module 130, a demultiplexer/decode module 140, an immersion degree calculation module 150, and an image inverse unit. It includes a stabilizing module 160 and a display module 190. The mode setting 170 and the viewing environment setting 180 are input to the immersion degree calculation module 150. The details of each component will be described later.

上記の画像処理システム100の機能構成は、例えば、単一の画像処理装置によって実現されもよいし、複数の画像処理装置に分散して実現されてもよい。例えば、デジタルカメラや、カメラを搭載したスマートフォンまたはタブレットなどの端末装置において、上記の画像処理システム100の機能構成の全体が実現されてもよい。この場合、端末装置によって撮像された画像に、逆安定化の処理を施したうえで、端末装置自身で閲覧することができる。メモリモジュール130は、端末装置に内蔵されていてもよいし、リムーバブル記録媒体であってもよい。 The functional configuration of the image processing system 100 described above may be realized by, for example, a single image processing device, or may be realized by being distributed to a plurality of image processing devices. For example, the entire functional configuration of the image processing system 100 may be realized in a digital camera or a terminal device such as a smartphone or a tablet equipped with the camera. In this case, the image captured by the terminal device can be viewed by the terminal device itself after being subjected to destabilization processing. The memory module 130 may be built in the terminal device or may be a removable recording medium.

また、例えば、画像処理システム100の機能構成は、端末装置とサーバ装置とに分散して実現されてもよい。この場合、例えば、画像信号取得・処理モジュール110およびディスプレイモジュール190が端末装置で実現され、その間の機能構成、つまりエンコード・マルチプレクサモジュール120、メモリモジュール130、デマルチプレクサ・デコードモジュール140、没入度算出モジュール150、および画像逆安定化モジュール160が1または複数のサーバ装置によって実現されてもよい。端末装置とサーバ装置との間の通信、およびサーバ装置間の通信は、インターネット、Wi−Fi、Bluetooth(登録商標)などを含む有線または無線の各種ネットワークを介して実行される。 Further, for example, the functional configuration of the image processing system 100 may be realized by being distributed to the terminal device and the server device. In this case, for example, the image signal acquisition/processing module 110 and the display module 190 are realized by the terminal device, and the functional configuration therebetween, that is, the encode/multiplexer module 120, the memory module 130, the demultiplexer/decode module 140, the immersion degree calculation module. 150 and image destabilization module 160 may be implemented by one or more server devices. Communication between the terminal device and the server device and communication between the server devices are performed via various wired or wireless networks including the Internet, Wi-Fi, Bluetooth (registered trademark), and the like.

なお、エンコード・マルチプレクサモジュール120、メモリモジュール130、デマルチプレクサ・デコードモジュール140、没入度算出モジュール150、および画像逆安定化モジュール160の一部は、端末装置において実現されてもよい。また、この場合、画像信号取得・処理モジュール110が実現される端末装置と、ディスプレイモジュール190が実現される端末装置とは、別であってもよい。例えば、デジタルカメラにおいて画像信号取得・処理モジュール110が実現され、それとは別のパーソナルコンピュータにおいてディスプレイモジュール190が実現されてもよい。 Note that part of the encode/multiplexer module 120, the memory module 130, the demultiplexer/decode module 140, the immersion degree calculation module 150, and the image destabilizing module 160 may be realized in a terminal device. Further, in this case, the terminal device in which the image signal acquisition/processing module 110 is realized may be different from the terminal device in which the display module 190 is realized. For example, the image signal acquisition/processing module 110 may be realized in a digital camera, and the display module 190 may be realized in a personal computer other than that.

(1−2.処理フロー)
図2は、本開示の第1の実施形態における録画処理の例を示すフローチャートである。図2を参照すると、まず、画像信号取得・処理モジュール110が、撮像装置のモーションをキャプチャする(S101)とともに、音声および画像をキャプチャする(S102
)。さらに、画像信号取得・処理モジュール110は、S101で取得されたモーションに応じて画像の安定化を実施し(S103)、エンコード・マルチプレクサモジュール120が音声および画像をエンコードするとともに多重化する(S104)。そして、メモリアクセス(S105)によって、音声および画像のデータがメモリモジュール130に格納される。
(1-2. Processing flow)
FIG. 2 is a flowchart showing an example of recording processing according to the first embodiment of the present disclosure. Referring to FIG. 2, first, the image signal acquisition/processing module 110 captures a motion of the image capturing apparatus (S101) and also captures a sound and an image (S102).
). Furthermore, the image signal acquisition/processing module 110 stabilizes the image according to the motion acquired in S101 (S103), and the encode/multiplexer module 120 encodes and multiplexes the sound and the image (S104). .. Then, the memory access (S105) causes the audio and image data to be stored in the memory module 130.

ここで、本実施形態では、S103の画像の安定化におけるフレーム画像の移動量を示すベクトルが、安定化された画像のデータとともにエンコードおよび多重化され(S104)、メモリモジュール130に格納される(S105)。ベクトルは、後述する再生時の処理において利用される。 Here, in the present embodiment, the vector indicating the movement amount of the frame image in the stabilization of the image in S103 is encoded and multiplexed together with the data of the stabilized image (S104) and stored in the memory module 130 ( S105). The vector is used in the processing at the time of reproduction described later.

図3は、本開示の第1の実施形態における再生処理の例を示すフローチャートである。図3を参照すると、まず、メモリモジュール130から読み出された画像および音声のデータについて、デマルチプレクサ・デコードモジュール140が、逆多重化およびデコードを実施する(S121)。このとき、画像および音声のデータとともにメモリモジュール130に格納された安定化ベクトルのデータも読み出され、デコードおよび逆多重化される。 FIG. 3 is a flowchart showing an example of a reproduction process according to the first embodiment of the present disclosure. Referring to FIG. 3, first, the demultiplexer/decode module 140 performs demultiplexing and decoding on the image and audio data read from the memory module 130 (S121). At this time, the data of the stabilization vector stored in the memory module 130 is also read together with the image and sound data, and is decoded and demultiplexed.

次に、逆安定化に先立ち、再生する画像の表示に適した没入度が決定される。なお、没入度の定義については後述する。没入度算出モジュール150は、モード設定170に基づいて、モードを判定する(S122)。モードが「マニュアル」の場合、没入度算出モジュール150は、没入度をマニュアルで設定する(S123)。ここで設定される没入度の値は、例えばユーザ操作によって入力された値でありうる。一方、S122の判定において、モードが「オート」の場合、没入度算出モジュール150は、画像の解析を実施し(S124)、没入度を自動的に算出する(S125)。 Next, prior to the destabilization, the degree of immersion suitable for displaying the image to be reproduced is determined. The definition of the degree of immersion will be described later. The immersion degree calculation module 150 determines the mode based on the mode setting 170 (S122). When the mode is "manual", the immersion degree calculation module 150 sets the immersion degree manually (S123). The value of the immersion degree set here may be a value input by a user operation, for example. On the other hand, when the mode is “auto” in the determination of S122, the immersion degree calculation module 150 analyzes the image (S124) and automatically calculates the immersion degree (S125).

没入度算出モジュール150がS125において自動的に算出した没入度、またはS123においてマニュアルで設定した没入度に基づいて、画像逆安定化モジュール160が画像の逆安定化を実施する(S126)。さらに、ディスプレイモジュール190が、逆安定化された画像を表示する(S127)。 The image destabilizing module 160 performs the image destabilization based on the immersiveness automatically calculated by the immersiveness calculation module 150 in S125 or the immersiveness manually set in S123 (S126). Further, the display module 190 displays the destabilized image (S127).

(1−3.各部の詳細な機能構成)
図4は、本開示の第1の実施形態に係る画像処理システムにおいて録画処理を実行するための機能構成をより詳細に示すブロック図である。以下、図4を参照して、主に画像信号取得・処理モジュール110およびエンコード・マルチプレクサモジュール120の構成について、さらに説明する。
(1-3. Detailed functional configuration of each part)
FIG. 4 is a block diagram showing in more detail the functional configuration for executing the recording process in the image processing system according to the first embodiment of the present disclosure. Hereinafter, the configurations of the image signal acquisition/processing module 110 and the encode/multiplexer module 120 will be further described with reference to FIG.

画像信号取得・処理モジュール110は、レンズ111と、ジャイロセンサ112と、イメージセンサ113と、マイクロフォン114と、画像安定化処理部115とを含む。イメージセンサ113は、レンズ111から入射する光を受講し、画像データを生成する。ジャイロセンサ112は、レンズ111を含む筺体の振動を検出する。ジャイロセンサ112が検出する振動に応じて、レンズ111に含まれる補正用のレンズをシフトさせることによって、ぶれを打ち消す方向に光軸を移動させる光学式の手ぶれ補正(画像の安定化)が実現される。図示していないが、イメージセンサ113をシフトさせることによって光学式の手ぶれ補正が実現されてもよい。 The image signal acquisition/processing module 110 includes a lens 111, a gyro sensor 112, an image sensor 113, a microphone 114, and an image stabilization processing unit 115. The image sensor 113 receives the light incident from the lens 111 and generates image data. The gyro sensor 112 detects the vibration of the housing including the lens 111. By shifting the correction lens included in the lens 111 according to the vibration detected by the gyro sensor 112, optical image stabilization (stabilization of the image) of moving the optical axis in the direction of canceling the blur is realized. It Although not shown, the optical image stabilization may be realized by shifting the image sensor 113.

また、ジャイロセンサ112が検出する振動に応じて、画像安定化処理部115が、イメージセンサ113から出力される画像について電子式の手ぶれ補正(画像の安定化)を実施する。より具体的には、画像安定化処理部115は、イメージセンサ113から提供される入力画像の領域よりも小さい領域を出力画像の領域とし、出力画像に含まれる被写体領域
が一定になるように、入力画像から出力画像の領域を切り出す処理を実施する。ここで、画像安定化処理部115は、ジャイロセンサ112による振動の検出結果に応じて切り出しの領域を決定してもよいし、画像の解析によって切り出しの領域を決定してもよい。
In addition, the image stabilization processing unit 115 performs electronic image stabilization (stabilization of the image) on the image output from the image sensor 113 according to the vibration detected by the gyro sensor 112. More specifically, the image stabilization processing unit 115 sets the area smaller than the area of the input image provided from the image sensor 113 as the area of the output image, and the subject area included in the output image becomes constant. A process of cutting out the area of the output image from the input image is performed. Here, the image stabilization processing unit 115 may determine the clipping region according to the vibration detection result by the gyro sensor 112, or may determine the clipping region by analyzing the image.

画像安定化処理部115によって安定化された画像は、エンコード・マルチプレクサモジュール120の画像エンコード部122に入力される。また、本実施形態では、ジャイロセンサ112から画像安定化処理部115に提供された筺体の振動を示すベクトル、または、画像安定化処理部115よる画像の安定化処理に対応するベクトル(例えば、入力画像から切り出される出力画像の位置の、中心からのずれを示すベクトル)が、エンコード・マルチプレクサモジュール120の安定化ベクトルエンコード部121に入力される。上記のベクトルを、以下では安定化ベクトルともいう。さらに、マイクロフォン114によって取得された、画像に対応する音声データが、エンコード・マルチプレクサモジュール120の音声エンコード部123に入力される。 The image stabilized by the image stabilization processing unit 115 is input to the image encoding unit 122 of the encode/multiplexer module 120. Further, in the present embodiment, a vector indicating the vibration of the housing provided from the gyro sensor 112 to the image stabilization processing unit 115, or a vector corresponding to the image stabilization processing by the image stabilization processing unit 115 (for example, input A vector indicating the shift of the position of the output image cut out from the image from the center) is input to the stabilized vector encoding unit 121 of the encode/multiplexer module 120. Hereinafter, the above vector is also referred to as a stabilizing vector. Further, the audio data corresponding to the image acquired by the microphone 114 is input to the audio encoding unit 123 of the encode/multiplexer module 120.

ここで、上記の手ぶれ補正(画像の安定化)の処理は、撮像時における撮像装置の揺れの影響の少なくとも一部を除去する処理でありうる。このような処理によって、画像安定化処理部115は安定化された画像を出力する。この場合において、画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像である。また、後述するように、画像逆安定化モジュール160は、画像に揺れを表現する効果を付加することによって、画像に撮像装置の揺れを再現する。安定化ベクトルは、撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報の一例である。 Here, the above-described camera shake correction (image stabilization) processing may be processing for removing at least a part of the influence of the shake of the image pickup apparatus during image pickup. By such processing, the image stabilization processing unit 115 outputs a stabilized image. In this case, the image is an image in which at least a part of the influence of the shake of the imaging device is removed. Further, as will be described later, the image destabilizing module 160 reproduces the shake of the image pickup apparatus on the image by adding the effect of expressing the shake to the image. The stabilization vector is an example of image pickup apparatus shake information indicating the shake of the image pickup apparatus that has occurred during image pickup.

エンコード・マルチプレクサモジュール120は、安定化ベクトルエンコード部121と、画像エンコード部122と、音声エンコード部123と、マルチプレクサ124とを含む。各エンコード部は、上記のように、画像信号取得・処理モジュール110から提供される画像データ、音声データ、および安定化ベクトルをエンコードする。マルチプレクサ124は、各エンコード部によってエンコードされたデータを多重化する。多重化されたデータは、メモリモジュール130を構成するデータストレージ131に格納される。 The encoding/multiplexing module 120 includes a stabilizing vector encoding unit 121, an image encoding unit 122, an audio encoding unit 123, and a multiplexer 124. Each encoding unit encodes the image data, the audio data, and the stabilization vector provided from the image signal acquisition/processing module 110 as described above. The multiplexer 124 multiplexes the data encoded by each encoding unit. The multiplexed data is stored in the data storage 131 that constitutes the memory module 130.

図5は、本開示の第1の実施形態に係る画像処理システムに含まれるデマルチプレクサ・デコードモジュールの機能構成をより詳細に示すブロック図である。図5を参照すると、デマルチプレクサ・デコードモジュール140は、デマルチプレクサ141と、安定化ベクトルデコード部142と、画像デコード部143と、音声デコード部144とを含む。 FIG. 5 is a block diagram showing in more detail the functional configuration of the demultiplexer/decode module included in the image processing system according to the first embodiment of the present disclosure. Referring to FIG. 5, the demultiplexer/decode module 140 includes a demultiplexer 141, a stabilizing vector decoding unit 142, an image decoding unit 143, and an audio decoding unit 144.

デマルチプレクサ141は、上記のエンコード・マルチプレクサモジュール120によってメモリモジュール130のデータストレージ131に格納されたデータを逆多重化し、安定化ベクトルのデータと、画像データと、音声データとを得る。各デコード部は、エンコード・マルチプレクサモジュール120においてエンコードされた画像データ、音声データ、および安定化ベクトルをデコードする。これによって、デコードされた安定化ベクトル145と、デコードされた画像(安定化されている)146と、デコードされた音声147とが得られる。 The demultiplexer 141 demultiplexes the data stored in the data storage 131 of the memory module 130 by the encode/multiplexer module 120, and obtains stabilization vector data, image data, and audio data. Each decoding unit decodes the image data, the audio data, and the stabilization vector encoded by the encode/multiplexer module 120. This yields a decoded stabilization vector 145, a decoded image (stabilized) 146, and a decoded audio 147.

図6は、本開示の第1の実施形態に係る画像処理システムに含まれる没入度算出モジュールの機能構成をより詳細に示すブロック図である。図6を参照すると、没入度算出モジュール150は、モーション解析部151と、画像解析部152と、音声解析部153と、表示装置解析部154と、没入感解析部155とを含む。 FIG. 6 is a block diagram showing in more detail the functional configuration of the immersion degree calculation module included in the image processing system according to the first embodiment of the present disclosure. Referring to FIG. 6, the immersion degree calculation module 150 includes a motion analysis unit 151, an image analysis unit 152, a voice analysis unit 153, a display device analysis unit 154, and an immersion feeling analysis unit 155.

モーション解析部151は、デコードされた安定化ベクトル145に基づく解析を実行する。画像解析部152は、デコードされた画像(安定化されている)146に基づく解析を実行する。音声解析部153は、デコードされた音声147に基づく解析を実行する。また、表示装置解析部154は、別途取得した表示装置に関する情報に基づく解析を実行する。 The motion analysis unit 151 executes analysis based on the decoded stabilization vector 145. The image analysis unit 152 performs analysis based on the decoded image (stabilized) 146. The voice analysis unit 153 executes analysis based on the decoded voice 147. In addition, the display device analysis unit 154 executes analysis based on the separately acquired information about the display device.

没入感解析部155は、各解析部によって実行された解析の結果に基づいて、没入感についての解析を実行する。このとき、没入感解析部155は、モード設定(オート/マニュアル)170、および視聴環境設定180をさらに入力として用いる。没入感解析部155は、解析の結果に基づいて没入度157を出力する。なお、没入感解析部155における解析処理の具体的な例については後述する。 The immersive feeling analysis unit 155 executes the analysis of the immersive feeling based on the result of the analysis executed by each analysis unit. At this time, the immersion analysis unit 155 further uses the mode setting (auto/manual) 170 and the viewing environment setting 180 as inputs. Immersion feeling analysis unit 155 outputs the degree of immersion 157 based on the result of the analysis. Note that a specific example of the analysis process in the immersion feeling analysis unit 155 will be described later.

図7は、本開示の第1の実施形態に係る画像処理システムに含まれる画像逆安定化モジュールの機能構成をより詳細に示すブロック図である。図7を参照すると、画像逆安定化モジュール160は、画像逆安定化部161を含む。画像逆安定化部161は、没入度157に基づいて、画像の逆安定化処理を実行する。画像逆安定化部161は、デコードされた安定化ベクトル145と、デコードされた画像(安定化されている)146とを入力として用いる。画像逆安定化部161は、逆安定化された画像162を出力する。 FIG. 7 is a block diagram showing in more detail the functional configuration of the image destabilizing module included in the image processing system according to the first embodiment of the present disclosure. Referring to FIG. 7, the image destabilizing module 160 includes an image destabilizing unit 161. The image destabilizing unit 161 executes the image destabilizing process based on the immersion degree 157. The image destabilization unit 161 uses the decoded stabilization vector 145 and the decoded image (stabilized) 146 as inputs. The image destabilizing unit 161 outputs the destabilized image 162.

ここで、画像逆安定化モジュール160は、画像の揺れに関する揺れ情報に基づいて、画像に揺れを表現する効果を付加する画像逆安定化処理部の一例である。揺れ情報は、画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報、つまり安定化ベクトル145を含みうる。また、後述するように、画像逆安定化モジュール160は、前記効果の程度を、没入度算出モジュール150によって算出される没入度157に基づいて決定する。本実施形態において、没入度157は、画像の撮影環境に関する撮影環境情報、または画像の視聴環境に関する視聴環境情報を表現する。 Here, the image destabilization module 160 is an example of an image destabilization processing unit that adds an effect of expressing the shake to the image based on the shake information regarding the shake of the image. The shake information may include the image pickup device shake information indicating the shake of the image pickup device that occurs when the image is captured, that is, the stabilization vector 145. Further, as described later, the image inverse stabilizing module 160 determines the degree of the effect based on the immersion degree 157 calculated by the immersion degree calculating module 150. In the present embodiment, the degree of immersion 157 represents shooting environment information regarding the shooting environment of the image or viewing environment information regarding the viewing environment of the image.

また、画像逆安定化モジュール160は、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部の一例であるともいえる。本実施形態では、没入度157が没入感の期待値を示す。後述するように、没入度算出モジュール150は、没入度157を、画像の撮影環境を示す撮影環境情報、または画像の視聴環境を示す視聴環境情報に基づいて決定する。 The image destabilization module 160 is an example of an image destabilization processing unit that determines the degree of the effect of expressing the shake added to the image based on the expected value of the viewer's immersive feeling for the image. Can also be said. In the present embodiment, the degree of immersion 157 indicates the expected value of the feeling of immersion. As will be described later, the immersion degree calculation module 150 determines the immersion degree 157 based on the shooting environment information indicating the shooting environment of the image or the viewing environment information indicating the viewing environment of the image.

図8は、本開示の第1の実施形態に係る画像処理システムに含まれるディスプレイモジュールの機能構成をより詳細に示すブロック図である。図8を参照すると、ディスプレイモジュール190は、ディスプレイI/O191を含む。ディスプレイI/O191は、逆安定化された画像162と、デコードされた音声147とに基づいて、画像の表示および音声の出力を実行する。あるいは、ディスプレイI/O191は、画像信号および音声信号を、外部接続されるディスプレイ装置に送信する。 FIG. 8 is a block diagram showing in more detail the functional configuration of the display module included in the image processing system according to the first embodiment of the present disclosure. Referring to FIG. 8, the display module 190 includes a display I/O 191. The display I/O 191 performs image display and audio output based on the destabilized image 162 and the decoded audio 147. Alternatively, the display I/O 191 transmits the image signal and the audio signal to an externally connected display device.

(1−4.没入度算出の処理)
図9は、本開示の第1の実施形態に係る画像処理システムにおける没入度算出の処理について、さらに説明するための図である。以下では、没入度算出モジュール150に含まれるモーション解析部151、画像解析部152、音声解析部153、表示装置解析部154、没入感解析部155、および視聴環境設定180を用いた解析について説明する。
(1-4. Immersion degree calculation process)
FIG. 9 is a diagram for further explaining the process of calculating the degree of immersion in the image processing system according to the first embodiment of the present disclosure. Hereinafter, an analysis using the motion analysis unit 151, the image analysis unit 152, the sound analysis unit 153, the display device analysis unit 154, the immersive feeling analysis unit 155, and the viewing environment setting 180 included in the immersion degree calculation module 150 will be described. ..

ここで、本明細書において、没入度は、表示された画像の観察者が感じる没入感の期待値である。没入感は、例えば、迫力や臨場感などと言い換えられてもよい。従って、表示に適した没入度は、観察者に没入感(迫力、または臨場感)を強く与えたいと想定される画像ほど高くなる。例えば、コンテンツの内容やシーン、画像の色合いなどから、画像の表示に適した没入度を算出することができる。 Here, in the present specification, the degree of immersion is an expected value of the feeling of immersion that an observer of the displayed image feels. Immersion may be paraphrased as, for example, force or presence. Therefore, the degree of immersiveness suitable for display is higher for an image in which it is assumed that the observer is required to have a stronger immersive feeling (power or realism). For example, the immersiveness suitable for displaying an image can be calculated from the content, the scene, the color tone of the image, and the like.

モーション解析部151は、安定化ベクトル(画像のフレームの移動ベクトル)の向き、大きさ、またはそれらの傾向に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度157によって表現される撮影環境情報は、画像のフレームの移動ベクトルに関する情報を含みうる。モーション解析部151による解析には、ベクトル変化量(VC)およびモーション種類ごとの重みが用いられる。ベクトル変化量(VC)は、例えばベクトルのノルムの変化や角度の変化のような元の安定化ベクトルから抽出される特徴を、出力値にマッピングする関数である。モーション種類ごとの重(MW)みは、予め生成されたテーブルで定義されている。定義されるモーション種類は、例えば、モーション解析の結果に基づいて決定される。図示された例では、「加速」のモーションに重みMW1が設定されている。このとき、モーション解析部151では、ベクトル変化量の出力VCと、モーション種類に対する重みMW1とに基づいて、VC*MW1の値が出力される。 The motion analysis unit 151 outputs a value for calculating the degree of immersion according to the orientation, size, or tendency of the stabilization vector (movement vector of the frame of the image). That is, in the present embodiment, the shooting environment information represented by the immersion degree 157 may include information about the movement vector of the frame of the image. A vector change amount (VC) and a weight for each motion type are used for the analysis by the motion analysis unit 151. The vector change amount (VC) is a function that maps a feature extracted from the original stabilizing vector, such as a change in the norm of the vector or a change in the angle, to an output value. The weight (MW) of each motion type is defined in a table generated in advance. The defined motion type is determined, for example, based on the result of motion analysis. In the illustrated example, the weight MW1 is set for the "acceleration" motion. At this time, the motion analysis unit 151 outputs the value of VC*MW1 based on the output VC of the vector change amount and the weight MW1 for the motion type.

より具体的には、モーション解析部151は、例えば、動きが大きい場合には出力される値(VC*MW)が大きくなるように設定されていてもよい。この場合、例えば動きが大きい場合の出力値が大きくなるようにベクトル変化量(VC)が設定されていてもよいし、動きが大きい場合について重み(MW)が大きく設定されていてもよい。 More specifically, for example, the motion analysis unit 151 may be set so that the output value (VC*MW) becomes large when the motion is large. In this case, for example, the vector change amount (VC) may be set so that the output value becomes large when the motion is large, or the weight (MW) may be set large when the motion is large.

また、モーション解析部151は、縦横の運動や回転など、動きの種類に応じて出力される値(VC*MW)が変化するように設定されていてもよい。例えば、モーション解析部151は、縦横の運動に対しては出力される値(VC*MW)が大きくなり、逆安定化がされやすくなるように設定されている一方で、回転の動きに対しては出力される値(VC*MW)が小さくなり、逆安定化がされにくくなる(つまり、画像が安定する)ように設定されていてもよい。 Further, the motion analysis unit 151 may be set such that the output value (VC*MW) changes according to the type of motion such as vertical and horizontal motion or rotation. For example, the motion analysis unit 151 is set so that the value (VC*MW) that is output increases with respect to vertical and horizontal movements and is easily de-stabilized, while it is set with respect to rotational movements. May be set so that the output value (VC*MW) becomes small and destabilization becomes difficult (that is, the image becomes stable).

画像解析部152は、画像によって示される特徴に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度157によって表現される撮影環境情報は、画像によって示される画像特徴を含みうる。画像解析部152による解析には、画像変化量(IC)およびシーン種類ごとの重みが用いられる。画像変化量(IC)は、例えば輝度変化や色分布の変化のような元の入力画像から抽出される特徴を、出力値にマッピングする関数である。つまり、本実施形態において、画像特徴は、画像の輝度または色の特徴を含みうる。また、画像特徴は、シーンの種類を含んでもよい。シーン種類ごとの重み(SW)は、予め生成されたテーブルで定義されている。定義されるシーン種類は、例えば、シーン解析の結果に基づいて決定される。図示された例では、「スキー」のシーンに重みSW2が設定されている。このとき、画像解析部152では、画像変化量の出力ICと、シーン種類に対する重みSW2とに基づいて、IC*SW2の値が出力される。 The image analysis unit 152 outputs a value for calculating the degree of immersion according to the feature indicated by the image. That is, in the present embodiment, the shooting environment information expressed by the immersion degree 157 may include the image feature indicated by the image. For the analysis by the image analysis unit 152, the amount of image change (IC) and the weight for each scene type are used. The image change amount (IC) is a function that maps a feature extracted from the original input image, such as a change in luminance or a change in color distribution, to an output value. That is, in the present embodiment, the image features may include image brightness or color features. The image feature may also include the type of scene. The weight (SW) for each scene type is defined in a table generated in advance. The defined scene type is determined, for example, based on the result of scene analysis. In the illustrated example, the weight SW2 is set for the "ski" scene. At this time, the image analysis unit 152 outputs the value of IC*SW2 based on the output IC of the image change amount and the weight SW2 for the scene type.

より具体的には、画像解析部152は、例えば、スポーツやスキーなどのシーンでは出力される値(IC*SW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。この場合、例えば上記のようなシーンの輝度変化や色分布が大きく反映されるように画像変化量(IC)が設定されていてもよいし、上記のようなシーンの種類について重み(SW)が大きく設定されていてもよい。 More specifically, for example, the image analysis unit 152 may be set so that the output value (IC*SW) becomes large in a scene such as sports or skiing, and the destabilization is likely to occur. In this case, for example, the image change amount (IC) may be set so as to largely reflect the brightness change and color distribution of the scene as described above, and the weight (SW) is set for the kind of scene as described above. It may be set large.

また、画像解析部152は、色分布の変化が大きい場合には出力される値(IC*SW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。その一方で、画像解析部152は、色分布の変化が小さい場合には出力される値(IC*SW)が小さくなり、逆安定化がされにくくなるように設定されていてもよい。色分布の変化は、画面がどの程度激しく変わっているかを示していると考えられるためである。例えば、会議室のような画面の変化が小さい場所で撮像した画像では、色分布の変化が小さい。一方、ローラーコースターのような画面の変化が激しい場所で撮像した画像では、色分布の変化が大きい。 Further, the image analysis unit 152 may be set so that the output value (IC*SW) becomes large when the change in the color distribution is large, and the destabilization is facilitated. On the other hand, the image analysis unit 152 may be set so that the output value (IC*SW) becomes small when the change in the color distribution is small, and the destabilization becomes difficult. This is because the change in the color distribution is considered to indicate how drastically the screen is changing. For example, in an image captured in a place where the screen change is small, such as a conference room, the change in color distribution is small. On the other hand, in an image captured in a place such as a roller coaster where the screen changes greatly, the color distribution changes greatly.

音声解析部153は、画像に付随する音声によって示される特徴に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度157によって表現される撮影環境情報は、画像に付随する音声によって示される音声特徴を含みうる。音声解析部153による解析には、音声変化量(AC)および音声種類ごとの重みが用いられる。音声変化量(AC)は、例えば音声の高周波成分エネルギーの変化や音声の振幅のような元の入力音声から抽出される特徴を、出力値にマッピングする関数である。つまり、本実施形態において、音声特徴は、音声の周波数成分、音声の振幅、または音声によって示される音の種類を含みうる。音声種類ごとの重み(AW)は、予め生成されたテーブルで定義されている。定義される音声の種類は、例えば、音声解析の結果に基づいて決定される。図示された例では、「叫び声」のシーンに重みAW1が設定されている。このとき、音声解析部153では、音声変化量の出力ACと、音声種類に対する重みAW1とに基づいて、AC*AW1の値が出力される。 The voice analysis unit 153 outputs a value for calculating the degree of immersion in accordance with the feature indicated by the voice accompanying the image. That is, in the present embodiment, the shooting environment information represented by the degree of immersion 157 may include the audio feature indicated by the audio accompanying the image. For the analysis by the voice analysis unit 153, the voice change amount (AC) and the weight for each voice type are used. The voice change amount (AC) is a function that maps a feature extracted from an original input voice, such as a change in energy of a high frequency component of the voice or an amplitude of the voice, to an output value. That is, in the present embodiment, the voice feature may include a frequency component of voice, an amplitude of voice, or a type of sound indicated by the voice. The weight (AW) for each voice type is defined in a table generated in advance. The type of voice defined is determined, for example, based on the result of voice analysis. In the illustrated example, the weight AW1 is set for the "screaming" scene. At this time, the voice analysis unit 153 outputs the value of AC*AW1 based on the output AC of the voice change amount and the weight AW1 for the voice type.

より具体的には、音声解析部153は、例えばモーターの音やドリフトの音などの騒がしい音声が取得されている場合には、出力される値(AC*AW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。この場合、例えば上記のような音声の周波数成分や振幅が大きく反映されるように音声変化量(AC)が設定されていてもよいし、上記のような音声の種類について重み(AW)が大きく設定されていてもよい。一方、音声解析部153は、静かな環境を示す音声が取得されている場合には、出力される値(AC*AW)が小さくなり、逆安定化がされにくくなる(つまり、画像が安定する)ように設定されていてもよい。 More specifically, the voice analysis unit 153 increases the output value (AC*AW) when the noisy voice such as the noise of the motor or the noise of the drift is acquired, and the inverse stabilization is performed. It may be set to be easily performed. In this case, for example, the voice change amount (AC) may be set so that the frequency component and the amplitude of the voice as described above are largely reflected, and the weight (AW) is large for the types of voice as described above. It may be set. On the other hand, when the voice indicating the quiet environment is acquired, the voice analysis unit 153 has a small output value (AC*AW) and is less likely to be destabilized (that is, the image is stabilized). ) May be set as follows.

表示装置解析部154による解析には、装置解析量(DA)および装置種類ごとの重みが用いられる。装置解析量(DA)は、例えば表示装置の画面サイズや解像度などを出力値にマッピングする関数である。つまり、本実施形態において、没入度157によって表現される視聴環境情報は、画像が表示される画面のサイズを含みうる。表示装置の画面サイズや解像度などは、例えば装置に内蔵されるモニタまたはプロジェクタの動作状態を示す情報や外部モニタインターフェースを介して取得される情報から取得することができる。装置種類ごとの重み(DW)は、予め生成されたテーブルで定義されている。図示された例では、「スマートフォン」に重みDW3が設定されている。このとき、表示装置解析部154では、装置解析量の出力値DAと、装置種類に対する重みDW3とに基づいて、DA*DW3の値が出力される。 The analysis by the display device analysis unit 154 uses the device analysis amount (DA) and the weight for each device type. The device analysis amount (DA) is a function that maps, for example, the screen size and resolution of the display device to output values. That is, in the present embodiment, the viewing environment information represented by the immersion degree 157 may include the size of the screen on which the image is displayed. The screen size and resolution of the display device can be acquired from, for example, information indicating the operating state of a monitor or projector built in the device or information acquired via an external monitor interface. The weight (DW) for each device type is defined in a table generated in advance. In the illustrated example, the weight DW3 is set for the "smartphone". At this time, the display device analysis unit 154 outputs the value of DA*DW3 based on the output value DA of the device analysis amount and the weight DW3 for the device type.

より具体的には、表示装置解析部154は、画面サイズが大きい、および/または解像度が高いほど出力される値(DA*DW)が小さくなり、逆安定化がされにくくなるように設定されていてもよい。その一方で、表示装置解析部154は、画面サイズが小さい、および/または解像度が低いほど出力される値(DA*DW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。画面サイズが大きい場合や、解像度が高い場合には、画像の臨場感よりも、画像の安定化によって観察者への負荷(例えば映像酔い)を抑えることが有用である場合が多いためである。 More specifically, the display device analysis unit 154 is set so that the output value (DA*DW) becomes smaller as the screen size becomes larger and/or the resolution becomes higher, so that destabilization becomes difficult. May be. On the other hand, the display device analysis unit 154 is set such that the smaller the screen size and/or the lower the resolution, the larger the output value (DA*DW) and the easier the destabilization becomes. Good. This is because when the screen size is large or the resolution is high, it is often more useful to suppress the load on the observer (for example, motion sickness) by stabilizing the image rather than the realism of the image.

視聴環境設定180を用いた解析では、視聴環境解析量(WA)および視聴環境設定ごとの重みが用いられる。視聴環境解析量(WA)は、例えば観察者から画面までの距離などを出力値にマッピングする関数である。つまり、本実施形態において、没入度157によって表現される視聴環境情報は、観察者から画像が表示される画面までの距離を含みうる。視聴環境設定ごとの重み(EW)は、予め生成されたテーブルで定義されている。テーブルは、例えばユーザによる設定操作に基づいて生成されうる。図示された例では、「Home」の視聴環境設定に重みEW2が設定されている。このとき、視聴環境設定180を用いた解析では、視聴環境解析量の出力値WAと、視聴環境設定ごとの重みEW2とに基づいて、WA*EW2の値が出力される。 In the analysis using the viewing environment setting 180, the viewing environment analysis amount (WA) and the weight for each viewing environment setting are used. The viewing environment analysis amount (WA) is a function that maps, for example, the distance from the observer to the screen to the output value. That is, in the present embodiment, the viewing environment information represented by the immersion degree 157 may include the distance from the observer to the screen on which the image is displayed. The weight (EW) for each viewing environment setting is defined in a table generated in advance. The table can be generated, for example, based on the setting operation by the user. In the illustrated example, the weight EW2 is set in the viewing environment setting of "Home". At this time, in the analysis using the viewing environment setting 180, the value WA*EW2 is output based on the output value WA of the viewing environment analysis amount and the weight EW2 for each viewing environment setting.

より具体的には、視聴環境設定180を用いた解析では、観察者から画面までの距離が小さいほど出力される値(WA*EW)が小さくなり、逆安定化がされにくくなるように設定されていてもよい。その一方で、視聴環境設定180を用いた解析では、観察者から画面までの距離が大きいほど出力される値(WA*EW)が大きくなり、逆安定化がされやすくなるように設定されていてもよい。画面が観察者に近い場合には、画像の臨場感よりも、画像の安定化によって観察者への負荷(例えば映像酔い)を抑えることが有用である場合が多いためである。 More specifically, in the analysis using the viewing environment setting 180, the smaller the distance from the observer to the screen is, the smaller the output value (WA*EW) is, so that the destabilization is less likely to occur. May be. On the other hand, in the analysis using the viewing environment setting 180, the larger the distance from the observer to the screen is, the larger the output value (WA*EW) becomes, so that the inverse stabilization is easily performed. Good. This is because when the screen is close to the observer, it is often more useful to suppress the load on the observer (for example, motion sickness) by stabilizing the image, rather than the realism of the image.

没入感解析部155では、モーション解析部151、画像解析部152、音声解析部153、表示装置解析部154、および視聴環境設定180を用いた解析の結果が結合され
る。結合は、例えば図示された例のように、VC*MW1+IC*SW2+AC*AW1+DA*DW3+EA*EW2として重みづけられた出力値を足し合わせることによって実行されうる。さらに、没入度関数(ID)によって、結合された結果が没入度157の出力値にマッピングされる。没入度157は、画像逆安定化モジュール160において、画像の逆安定化の制御に用いられる。
Immersion analysis unit 155 combines the results of analysis using motion analysis unit 151, image analysis unit 152, audio analysis unit 153, display device analysis unit 154, and viewing environment setting 180. The combining may be performed by adding the weighted output values as VC*MW1+IC*SW2+AC*AW1+DA*DW3+EA*EW2, for example as shown in the example. Further, the combined result is mapped to the output value of the immersion degree 157 by the immersion degree function (ID). The immersion degree 157 is used in the image destabilizing module 160 for controlling the image destabilization.

ここで、図示されているように、没入度157は、連続的な値として出力されうる。画像逆安定化モジュール160は、例えば、没入度157の値に応じて、安定化ベクトルを用いた逆安定化によって、再生される画像において撮像時の撮像装置の揺れをどの程度再現するか(画像に揺れを表現する効果の程度)を決定してもよい。この場合、画像逆安定化モジュール160は、没入度157が所定の閾値を超えるか否かに基づいて、安定化ベクトルを用いた逆安定化によって、再生される画像において撮像時の撮像装置の揺れを再現するか否か(画像に揺れを表現する効果を付加するか否か)を決定してもよい。なお、上記の通り、本実施形態において、没入度157は、画像の撮影環境に関する撮影環境情報、または画像の視聴環境に関する視聴環境情報を表現する。従って、上記のような画像逆安定化モジュール160による決定は、撮影環境情報または視聴環境情報に基づく決定ともいえる。 Here, as illustrated, the immersion degree 157 may be output as a continuous value. The image destabilizing module 160 reproduces the shake of the image pickup apparatus at the time of image pickup in the image to be reproduced by the destabilization using the stabilization vector according to the value of the immersion degree 157 (image The degree of the effect of expressing shaking can be determined. In this case, the image destabilization module 160 performs the destabilization using the stabilization vector on the basis of whether or not the immersion degree 157 exceeds a predetermined threshold value, and thereby shakes the image pickup apparatus at the time of image pickup in the image to be reproduced. May be determined (whether to add the effect of expressing shaking to the image). As described above, in the present embodiment, the degree of immersion 157 represents shooting environment information regarding the shooting environment of the image or viewing environment information regarding the viewing environment of the image. Therefore, the determination by the image destabilizing module 160 as described above can be said to be a determination based on the shooting environment information or the viewing environment information.

(1−5.表示例)
図10は、本開示の第1の実施形態における画像の表示の第1の例を示す図である。図10に示された例では、モード設定170をオート、マニュアル(OFF)、マニュアル(ON)にした場合の、単独の画面、およびサブ画面付きの画面での表示例が示されている。なお、図中において、「R」は逆安定化された画像を示し、「S」は安定化された(逆安定化されていない)画像を示す。
(1-5. Display example)
FIG. 10 is a diagram showing a first example of displaying an image according to the first embodiment of the present disclosure. The example shown in FIG. 10 shows a display example on a single screen and a screen with a sub screen when the mode setting 170 is set to auto, manual (OFF), and manual (ON). In the figure, “R” indicates a destabilized image, and “S” indicates a stabilized (non-destabilized) image.

モード設定170がオートの場合、例えば上記のような没入度算出モジュール150の処理において算出された没入度157に基づいて、単独の画面の場合には逆安定化された画像または安定化された画像のうちのいずれかが表示される。一方、サブ画面付きの画面の場合、没入度157に応じて、メイン画面に逆安定化された画像を表示してサブ画面に安定化された画像を表示するか、逆にメイン画面に安定化された画像を表示してサブ画面に逆安定化された画像を表示するかが選択される。 When the mode setting 170 is auto, for example, based on the immersion degree 157 calculated in the processing of the immersion degree calculation module 150 as described above, in the case of a single screen, an inversely stabilized image or a stabilized image is obtained. One of these is displayed. On the other hand, in the case of a screen with a sub screen, depending on the degree of immersion 157, the destabilized image is displayed on the main screen and the stabilized image is displayed on the sub screen, or conversely stabilized on the main screen. The selected image is displayed and the destabilized image is displayed on the sub-screen.

ここで、モード設定170がオートの場合、没入度157が所定の閾値を超えていれば、単独の画面には逆安定化された画像が表示され、サブ画面付きの画面ではメイン画面に逆安定化された画像が表示されうる。一方、没入度157が所定の閾値を超えていなければ、単独の画面には安定化された画像が表示され、サブ画面付きの画面ではサブ画面に逆安定化された画像が表示されうる。 Here, when the mode setting 170 is auto, if the immersion degree 157 exceeds a predetermined threshold value, a destabilized image is displayed on a single screen, and a destabilized image is displayed on the main screen on a screen with a sub screen. The converted image can be displayed. On the other hand, if the immersion degree 157 does not exceed the predetermined threshold value, the stabilized image may be displayed on the single screen, and the destabilized image may be displayed on the sub screen in the screen with the sub screen.

一方、モード設定170がマニュアル(OFF)の場合、没入度157に関わらず、単独の画面に安定化された(逆安定化されていない)画像が表示される。この場合、没入度算出モジュール150は、没入度157を算出するための処理を実行しなくてもよい。 On the other hand, when the mode setting 170 is manual (OFF), a stabilized (non-destabilized) image is displayed on a single screen regardless of the immersion degree 157. In this case, the immersion degree calculation module 150 does not need to execute the process for calculating the immersion degree 157.

また、モード設定170がマニュアル(ON)の場合、没入度157に関わらず、単独の画面には逆安定化された画像が表示され、サブ画面付きの画面ではメイン画面に逆安定化された画像が表示される。この場合、没入度算出モジュール150は、没入度157を算出するための処理を実行しなくてもよい。なお、この例において、メイン画面に逆安定化された画像を表示してサブ画面に安定化された画像を表示するか、逆にメイン画面に安定化された画像を表示してサブ画面に逆安定化された画像を表示するかは、マニュアル操作によって入れ替え可能であってもよい。 Further, when the mode setting 170 is manual (ON), the destabilized image is displayed on a single screen regardless of the immersion degree 157, and the destabilized image is displayed on the main screen on a screen with a sub screen. Is displayed. In this case, the immersion degree calculation module 150 does not need to execute the process for calculating the immersion degree 157. In this example, the destabilized image is displayed on the main screen and the stabilized image is displayed on the sub screen, or the stabilized image is displayed on the main screen and the sub screen is displayed on the contrary. Whether to display the stabilized image may be interchangeable by a manual operation.

図11は、本開示の第1の実施形態における画像の表示の第2の例を示す図である。図11に示された例では、サブ画面としてパノラマ画像が表示される画面において、メイン画面(Main)に逆安定化された画像が表示され、パノラマ画像が表示されるサブ画面(Panorama)に安定化された(逆安定化されていない)画像が表示される。ここで、パノラマ画像は、例えば広い範囲の俯瞰などに用いられることが多いため、図示され
た例のように、没入度157に関わらず安定化された画像が表示されるように設定されていてもよい。
FIG. 11 is a diagram illustrating a second example of displaying an image according to the first embodiment of the present disclosure. In the example shown in FIG. 11, the destabilized image is displayed on the main screen (Main) and the panoramic image is displayed on the sub screen (Panorama). The rendered (not destabilized) image is displayed. Here, since a panoramic image is often used, for example, for a wide-range bird's-eye view, it is set so that a stabilized image is displayed regardless of the degree of immersion 157, as in the illustrated example. Good.

(2.第2の実施形態)
図12は、本開示の第2の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図12を参照すると、画像処理システム200は、画像信号取得・処理モジュール110と、エンコード・マルチプレクサモジュール120と、メモリモジュール130と、デマルチプレクサ・デコードモジュール140と、没入度算出モジュール150と、画像逆安定化モジュール160と、ディスプレイモジュール190とを含む。没入度算出モジュール150には、モード設定170と、視聴環境設定180が入力される。
(2. Second embodiment)
FIG. 12 is a schematic block diagram showing a functional configuration example of an image processing system according to the second embodiment of the present disclosure. Referring to FIG. 12, the image processing system 200 includes an image signal acquisition/processing module 110, an encode/multiplexer module 120, a memory module 130, a demultiplexer/decode module 140, an immersion degree calculation module 150, and an image inverse. It includes a stabilizing module 160 and a display module 190. The mode setting 170 and the viewing environment setting 180 are input to the immersion degree calculation module 150.

なお、本実施形態に係る画像処理システム200は、構成要素については上記の第1の実施形態と同様であるが、その配置が異なる。本実施形態では、画像信号取得・処理モジュール110によって取得された画像、音声、および安定化ベクトルが、エンコード・マルチプレクサモジュール120に入力されるとともに、没入度算出モジュール150にも入力される。没入度算出モジュール150によって算出された没入度は、画像、音声、および安定化ベクトルとともにエンコード・マルチプレクサモジュール120においてエンコードおよび多重化され、メモリモジュール130に格納される。 The image processing system 200 according to this embodiment has the same components as those of the first embodiment, but the arrangement is different. In the present embodiment, the image, sound, and stabilization vector acquired by the image signal acquisition/processing module 110 are input to the encode/multiplexer module 120 and also to the immersion degree calculation module 150. The immersiveness calculated by the immersiveness calculation module 150 is encoded and multiplexed in the encode/multiplexer module 120 together with the image, the sound, and the stabilization vector, and stored in the memory module 130.

メモリモジュール130からデータを読み出したデマルチプレクサ・デコードモジュール140は、データを逆多重化およびデコードすることによって、画像、音声、および安定化ベクトルとともに、没入度を得る。画像、音声、安定化ベクトル、および没入度は、画像逆安定化モジュール160に入力され、画像逆安定化モジュール160において、画像の没入度に応じた逆安定化が実施される。画像逆安定化モジュール160の処理を経た画像および音声は、ディスプレイモジュール190において出力される。 The demultiplexer/decode module 140, which has read the data from the memory module 130, demultiplexes and decodes the data to obtain the degree of immersion along with the image, sound, and stabilizing vectors. The image, the sound, the stabilization vector, and the degree of immersion are input to the image destabilization module 160, and the image destabilization module 160 performs destabilization according to the degree of image immersion. The image and sound that have been processed by the image destabilizing module 160 are output on the display module 190.

本実施形態では、録画された画像がデータとしてメモリモジュール130に格納されるときに既に没入度が算出されているため、再生時に画像解析を実行しなくても画像の逆安定化を実施することができる。このような構成は、例えば、再生処理を実行する装置の処理能力が高くなく、かつ録画処理を実行する装置が十分な処理能力を有しているような場合に有効である。なお、例えばモード設定170や視聴環境設定180が、再生時において録画時と異なる設定になったような場合、再生時に没入度算出モジュール150の処理の一部が再実行され、没入度が更新されてもよい。 In the present embodiment, since the degree of immersion is already calculated when the recorded image is stored as data in the memory module 130, it is possible to perform the image destabilization without executing the image analysis during reproduction. You can Such a configuration is effective, for example, when the device that executes the reproduction process does not have a high processing capability and the device that executes the recording process has sufficient processing capability. Note that, for example, when the mode setting 170 or the viewing environment setting 180 is set to be different from that at the time of recording at the time of reproduction, part of the processing of the immersion degree calculation module 150 is re-executed at the time of reproduction to update the immersion degree. May be.

図13は、本開示の第2の実施形態における録画処理の例を示すフローチャートである。図13を参照すると、まず、画像信号取得・処理モジュール110が、撮像装置のモーションをキャプチャする(S201)とともに、音声および画像をキャプチャする(S202)。さらに、画像信号取得・処理モジュール110は、S201で取得されたモーションに応じて画像の安定化を実施する(S203)。 FIG. 13 is a flowchart showing an example of recording processing according to the second embodiment of the present disclosure. Referring to FIG. 13, first, the image signal acquisition/processing module 110 captures a motion of the image capturing apparatus (S201) and also captures a sound and an image (S202). Further, the image signal acquisition/processing module 110 stabilizes the image according to the motion acquired in S201 (S203).

本実施形態では、ここで、画像の没入度が決定される。没入度算出モジュール150は、モード設定170に基づいて、モードを判定する(S204)。モードが「マニュアル」の場合、没入度算出モジュール150は、没入度をマニュアルで設定する(S205)。ここで設定される没入度の値は、例えばユーザ操作によって入力された値でありうる。一方、S204の判定において、モードが「オート」の場合、没入度算出モジュール150は、画像の解析を実施し(S206)、没入度を自動的に算出する(S207)。 In this embodiment, the degree of immersion of the image is determined here. The immersion degree calculation module 150 determines the mode based on the mode setting 170 (S204). When the mode is “manual”, the immersion degree calculation module 150 sets the immersion degree manually (S205). The value of the immersion degree set here may be a value input by a user operation, for example. On the other hand, when the mode is "auto" in the determination of S204, the immersion degree calculation module 150 analyzes the image (S206) and automatically calculates the immersion degree (S207).

没入度算出モジュール150がS207において自動的に算出した没入度、またはS205においてマニュアルで設定した没入度に基づいて、エンコード・マルチプレクサモジュール120が画像、音声、安定化ベクトル、および没入度をエンコードするとともに多重化する(S208)。そして、メモリアクセス(S209)によって、多重化されたデータがメモリモジュール130に格納される。 The encoder/multiplexer module 120 encodes the image, the sound, the stabilization vector, and the immersiveness based on the immersiveness automatically calculated by the immersiveness calculation module 150 in S207 or manually set in S205. It is multiplexed (S208). Then, the memory access (S209) causes the multiplexed data to be stored in the memory module 130.

図14は、本開示の第2の実施形態における再生処理の例を示すフローチャートである。図14を参照すると、まず、メモリモジュール130から読み出された画像および音声のデータについて、デマルチプレクサ・デコードモジュール140が、逆多重化およびデコードを実施する(S221)。このとき、画像および音声のデータとともにメモリモジュール130に格納された安定化ベクトルおよび没入度のデータも読み出され、デコードおよび逆多重化される。 FIG. 14 is a flowchart showing an example of the reproduction process according to the second embodiment of the present disclosure. Referring to FIG. 14, first, the demultiplexer/decode module 140 performs demultiplexing and decoding on the image and audio data read from the memory module 130 (S221). At this time, the stabilization vector and the immersion degree data stored in the memory module 130 are also read together with the image and audio data, and are decoded and demultiplexed.

次に、画像逆安定化モジュール160が、デコードされた安定化ベクトルおよびデコードされた没入度に基づいて、画像の逆安定化を実施する(S222)。さらに、ディスプレイモジュール190が、逆安定化された画像を表示させる(S223)。 Next, the image destabilization module 160 performs image destabilization based on the decoded stabilization vector and the decoded immersion degree (S222). Further, the display module 190 displays the destabilized image (S223).

(3.第3の実施形態)
図15は、本開示の第3の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図15を参照すると、画像処理システム300は、画像信号取得・処理モジュール110と、エンコード・マルチプレクサモジュール120と、メモリモジュール130と、デマルチプレクサ・デコードモジュール140と、没入度算出モジュール150と、画像逆安定化モジュール160と、ディスプレイモジュール190とを含む。没入度算出モジュール150には、モード設定170と、視聴環境設定180が入力される。また、画像処理システム300は、さらに、第2のメモリモジュール310を含む。
(3. Third embodiment)
FIG. 15 is a schematic block diagram showing a functional configuration example of an image processing system according to the third embodiment of the present disclosure. Referring to FIG. 15, the image processing system 300 includes an image signal acquisition/processing module 110, an encode/multiplexer module 120, a memory module 130, a demultiplexer/decode module 140, an immersion degree calculation module 150, and an image inverse. It includes a stabilizing module 160 and a display module 190. The mode setting 170 and the viewing environment setting 180 are input to the immersion degree calculation module 150. Further, the image processing system 300 further includes a second memory module 310.

本実施形態に係る画像処理システム300は、没入度算出モジュール150による没入度の算出が、メモリモジュール130から読み出されてデマルチプレクサ・デコードモジュール140によって逆多重化およびデコードされた画像、音声、および安定化ベクトルに基づいて実施される点では、上記の第1の実施形態と同様である。ただし、本実施形態では、没入度算出モジュール150によって算出された没入度が、第2のメモリモジュール310に格納される。画像逆安定化モジュール160は、デマルチプレクサ・デコードモジュール140によってデコードされた画像、音声、および安定化ベクトルと、第2のメモリモジュール310から読み出された没入度に基づいて、逆安定化の処理を実施する。 In the image processing system 300 according to this embodiment, the calculation of the immersiveness by the immersiveness calculation module 150 is read out from the memory module 130 and demultiplexed and decoded by the demultiplexer/decode module 140. It is similar to the first embodiment in that it is performed based on the stabilization vector. However, in this embodiment, the immersion degree calculated by the immersion degree calculation module 150 is stored in the second memory module 310. The image destabilization module 160 performs the destabilization process based on the image, the sound, and the stabilization vector decoded by the demultiplexer/decode module 140 and the immersion degree read from the second memory module 310. Carry out.

本実施形態では、没入度算出モジュール150によって算出された没入度が一旦メモリモジュール310に格納されるため、画像の再生に先立って没入度の算出処理を実行することが可能である。従って、例えば、画像が録画されてから再生されるまでの間にバッチ処理などによって没入度を算出し、再生時には画像解析を実行しなくても画像の逆安定化を実施することができる。このような構成は、例えば、録画処理を実行する装置も、再生処理を実行する装置も、いずれも処理能力が高くない場合に、サーバに没入度の算出処理を依頼するような場合に有効である。 In the present embodiment, since the immersion degree calculated by the immersion degree calculation module 150 is temporarily stored in the memory module 310, it is possible to execute the immersion degree calculation process prior to the reproduction of the image. Therefore, for example, the immersion degree can be calculated by batch processing or the like from the recording of the image to the reproduction thereof, and the image can be inversely stabilized without executing the image analysis during the reproduction. Such a configuration is effective, for example, when requesting the server to calculate the immersion degree when neither the device that executes the recording process nor the device that executes the reproduction process has high processing capability. is there.

なお、録画処理を実行する装置や再生処理を実行する装置が十分な処理能力を有している場合であっても、サーバに没入度の算出処理を依頼することによって、例えばモバイルやウェアラブルの装置のバッテリーを節約することができる。そのような場合にも、本実施形態の構成は有効でありうる。 Even if the device that executes the recording process or the device that executes the reproduction process has sufficient processing capacity, by requesting the server to calculate the immersion degree, for example, a mobile or wearable device. Can save the battery. Even in such a case, the configuration of this embodiment can be effective.

(4.ハードウェア構成)
次に、図16を参照して、本開示の実施形態に係る画像処理装置のハードウェア構成に
ついて説明する。図16は、本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。図示された画像処理装置900は、例えば、上記の実施形態における端末装置および/またはサーバ装置を実現しうる。
(4. Hardware configuration)
Next, with reference to FIG. 16, a hardware configuration of the image processing apparatus according to the embodiment of the present disclosure will be described. FIG. 16 is a block diagram showing a hardware configuration example of the image processing apparatus according to the embodiment of the present disclosure. The illustrated image processing device 900 can realize, for example, the terminal device and/or the server device in the above-described embodiment.

画像処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、画像処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、画像処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。画像処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。 The image processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905. The image processing apparatus 900 may also include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925. Furthermore, the image processing device 900 may include an image capturing device 933 and a sensor 935 as necessary. The image processing apparatus 900 may have a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or together with the CPU 901.

CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、画像処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。 The CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation of the image processing apparatus 900 or a part thereof according to various programs recorded in the ROM 903, the RAM 905, the storage apparatus 919, or the removable recording medium 927. The ROM 903 stores programs used by the CPU 901, calculation parameters, and the like. The RAM 905 temporarily stores a program used in the execution of the CPU 901, parameters that change appropriately in the execution, and the like. The CPU 901, the ROM 903, and the RAM 905 are mutually connected by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected via a bridge 909 to an external bus 911 such as a PCI (Peripheral Component Interconnect/Interface) bus.

入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、画像処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、画像処理装置900に対して各種のデータを入力したり処理動作を指示したりする。 The input device 915 is a device operated by a user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. The input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that corresponds to the operation of the image processing device 900. The input device 915 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data to the image processing apparatus 900 and instruct the processing operation.

出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、画像処理装置900の処理により得られた結果を、テキストまたは画像などの画像として出力したり、音声または音響などの音声として出力したりする。 The output device 917 is configured by a device capable of visually or audibly notifying the user of the acquired information. The output device 917 may be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, an audio output device such as a speaker and headphones, and a printer device. .. The output device 917 outputs the result obtained by the processing of the image processing device 900 as an image such as a text or an image, or a voice such as a voice or a sound.

ストレージ装置919は、画像処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。 The storage device 919 is a data storage device configured as an example of a storage unit of the image processing device 900. The storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device. The storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.

ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、画像処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ9
21は、装着されているリムーバブル記録媒体927に記録を書き込む。
The drive 921 is a reader/writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the image processing apparatus 900. The drive 921 reads the information recorded in the mounted removable recording medium 927 and outputs it to the RAM 905. Also, drive 9
The reference numeral 21 writes the record in the mounted removable recording medium 927.

接続ポート923は、機器を画像処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、画像処理装置900と外部接続機器929との間で各種のデータが交換されうる。 The connection port 923 is a port for directly connecting a device to the image processing apparatus 900. The connection port 923 may be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like. The connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like. By connecting the external connection device 929 to the connection port 923, various data can be exchanged between the image processing apparatus 900 and the external connection device 929.

通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。 The communication device 925 is, for example, a communication interface including a communication device for connecting to the communication network 931. The communication device 925 may be, for example, a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or a communication card for WUSB (Wireless USB). The communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various kinds of communication. The communication device 925 transmits/receives signals and the like to/from the Internet and other communication devices using a predetermined protocol such as TCP/IP. The communication network 931 connected to the communication device 925 is a wired or wirelessly connected network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.

撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。 The image pickup device 933 uses, for example, an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and various members such as a lens for controlling the formation of a subject image on the image pickup device. This is a device that images a real space and generates a captured image. The image capturing device 933 may capture a still image, or may capture a moving image.

センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば画像処理装置900の筐体の姿勢など、画像処理装置900自体の状態に関する情報や、画像処理装置900の周辺の明るさや騒音など、画像処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。 The sensor 935 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor. The sensor 935 acquires information about the state of the image processing apparatus 900 itself, such as the orientation of the housing of the image processing apparatus 900, and information about the surrounding environment of the image processing apparatus 900, such as the brightness and noise around the image processing apparatus 900. To do. Further, the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.

以上、画像処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。 The example of the hardware configuration of the image processing apparatus 900 has been described above. Each component described above may be configured by using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed depending on the technical level at the time of implementation.

(5.補足)
本開示の実施形態は、例えば、上記で説明したような画像処理装置(端末装置またはサーバ装置)、システム、画像処理装置またはシステムで実行される情報処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
(5. Supplement)
Embodiments of the present disclosure include, for example, an image processing device (terminal device or server device), a system, an image processing device or an information processing method executed by the system, and a program for causing the image processing device to function, as described above. , And a non-transitory tangible medium on which the program is recorded.

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 The preferred embodiments of the present disclosure have been described above in detail with reference to the accompanying drawings, but the technical scope of the present disclosure is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present disclosure can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that the invention also belongs to the technical scope of the present disclosure.

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 Further, the effects described in the present specification are merely illustrative or exemplary, and are not limiting. That is, the technique according to the present disclosure can exert other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.

なお、以下のような構成も本開示の技術的範囲に属する。
(1)画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。
(2)前記揺れ情報は、前記画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む、前記(1)に記載の画像処理装置。
(3)前記画像逆安定化処理部は、前記効果の程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する、前記(1)または(2)に記載の画像処理装置。
(4)前記画像逆安定化処理部は、前記効果を付加する程度を、前記撮影環境情報に基づいて決定する、前記(3)に記載の画像処理装置。
(5)前記画像逆安定化処理部は、前記効果を付加する程度として、前記効果を付加するか否かを決定する、前記(4)に記載の画像処理装置。
(6)前記撮影環境情報は、前記画像のフレームの移動ベクトルに関する情報を含む、前記(3)〜(5)のいずれか1項に記載の画像処理装置。
(7)前記撮影環境情報は、前記画像によって示される画像特徴を含む、前記(3)〜(6)のいずれか1項に記載の画像処理装置。
(8)前記画像特徴は、前記画像の輝度または色の特徴を含む、前記(7)に記載の画像処理装置。
(9)前記画像特徴は、シーンの種類を含む、前記(7)または(8)に記載の画像処理装置。
(10)前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、前記(3)〜(9)のいずれか1項に記載の画像処理装置。
(11)前記音声特徴は、前記音声の周波数成分、前記音声の振幅、または前記音声によって示される音の種類を含む、前記(10)に記載の画像処理装置。
(12)前記画像逆安定化処理部は、前記効果の程度を、前記画像の視聴環境に関する視聴環境情報に基づいて決定する、前記(1)〜(11)のいずれか1項に記載の画像処理装置。
(13)
前記視聴環境情報は、前記画像が表示される画面のサイズを含む、前記(12)に記載の画像処理装置。
(14)前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、前記(12)または(13)に記載の画像処理装置。
(15)前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現する前記(1)〜(14)のいずれか1項に記載の画像処理装置。
(16)画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部を備える画像処理装置。
(17)前記没入感の期待値は、前記画像の撮影環境を示す撮影環境情報に基づいて決定される、前記(16)に記載の画像処理装置。
(18)前記撮影環境情報は、前記画像によって示される画像特徴を含む、前記(17)に記載の画像処理装置。
(19)前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、前記(17)または(18)に記載の画像処理装置。
(20)前記没入感の期待値は、前記画像の視聴環境を示す視聴環境情報に基づいて決定される、前記(16)〜(19)のいずれか1項に記載の画像処理装置。
(21)前記視聴環境情報は、前記画像が表示される画面のサイズを含む、前記(20)に記載の画像処理装置。
(22)前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、前記(21)に記載の画像処理装置。
(23)前記画像逆安定化処理部は、前記効果を、前記画像の揺れに関する揺れ情報に基づいて付加する、前記(16)〜(22)のいずれか1項に記載の画像処理装置。
(24)プロセッサが、画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加することを含む画像処理方法。
(25)プロセッサが、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定することを含む画像処理方法。
(26)画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する機能をコンピュータに実現させるためのプログラム。
(27)画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する機能をコンピュータに実現させるためのプログラム。
(28)画像の撮影環境に関する撮影環境情報に基づいて、画像の揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。
(29)画像の視聴環境に関する視聴環境情報に基づいて、画像の揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。
The following configurations also belong to the technical scope of the present disclosure.
(1) An image processing apparatus including an image destabilization processing unit that adds an effect of expressing a shake to the image based on shake information regarding shake of the image.
(2) The image processing device according to (1), wherein the shake information includes image pickup device shake information indicating a shake of the image pickup device that occurs when the image is picked up.
(3) The image processing apparatus according to (1) or (2), wherein the image destabilization processing unit determines the degree of the effect based on shooting environment information regarding a shooting environment of the image.
(4) The image processing device according to (3), wherein the image destabilization processing unit determines the degree to which the effect is added based on the shooting environment information.
(5) The image processing device according to (4), wherein the image destabilization processing unit determines whether or not to add the effect as a degree to which the effect is added.
(6) The image processing device according to any one of (3) to (5), wherein the shooting environment information includes information about a movement vector of a frame of the image.
(7) The image processing device according to any one of (3) to (6), wherein the shooting environment information includes an image feature indicated by the image.
(8) The image processing device according to (7), wherein the image feature includes a brightness or color feature of the image.
(9) The image processing device according to (7) or (8), wherein the image feature includes a type of scene.
(10) The image processing device according to any one of (3) to (9), wherein the shooting environment information includes a voice feature indicated by a voice accompanying the image.
(11) The image processing device according to (10), wherein the voice feature includes a frequency component of the voice, an amplitude of the voice, or a type of a sound indicated by the voice.
(12) The image according to any one of (1) to (11), wherein the image destabilization processing unit determines the degree of the effect based on viewing environment information regarding a viewing environment of the image. Processing equipment.
(13)
The image processing device according to (12), wherein the viewing environment information includes a size of a screen on which the image is displayed.
(14) The image processing device according to (12) or (13), wherein the viewing environment information includes a distance from an observer to a screen on which the image is displayed.
(15) The image is an image from which at least a part of the influence of the shake of the image pickup apparatus is removed, and the image destabilization processing unit adds the effect to the image, thereby performing the image pickup on the image. The image processing apparatus according to any one of (1) to (14), which reproduces shake of the apparatus.
(16) An image processing apparatus including an image destabilization processing unit that determines the degree of the effect of expressing a shake added to an image based on an expected value of the viewer's immersive feeling for the image.
(17) The image processing device according to (16), wherein the expected value of the immersive feeling is determined based on shooting environment information indicating a shooting environment of the image.
(18) The image processing device according to (17), wherein the shooting environment information includes an image feature indicated by the image.
(19) The image processing device according to (17) or (18), wherein the shooting environment information includes a voice feature indicated by a voice accompanying the image.
(20) The image processing device according to any one of (16) to (19), wherein the expected value of the immersive feeling is determined based on viewing environment information indicating a viewing environment of the image.
(21) The image processing device according to (20), wherein the viewing environment information includes a size of a screen on which the image is displayed.
(22) The image processing device according to (21), wherein the viewing environment information includes a distance from an observer to a screen on which the image is displayed.
(23) The image processing device according to any one of (16) to (22), wherein the image destabilization processing unit adds the effect based on shake information regarding shake of the image.
(24) An image processing method, comprising: a processor adding an effect of expressing a shake to the image based on shake information regarding shake of the image.
(25) An image processing method, wherein the processor determines the degree of the effect of expressing the shake added to the image based on the expected value of the immersive feeling of the observer with respect to the image.
(26) A program for causing a computer to realize a function of adding an effect of expressing a shake to the image based on the shake information regarding the shake of the image.
(27) A program for causing a computer to realize a function of determining the degree of the effect of expressing a shake added to an image based on an expected value of the viewer's immersive feeling for the image.
(28) An image processing apparatus including an image destabilization processing unit that adds an effect of expressing a shake of an image based on shooting environment information regarding a shooting environment of an image.
(29) An image processing apparatus including an image destabilization processing unit that adds an effect of expressing a shake of an image based on viewing environment information regarding an viewing environment of an image.

100,200,300 画像処理システム
110 画像信号取得・処理モジュール
120 エンコード・マルチプレクサモジュール
130 メモリモジュール
140 デマルチプレクサ・デコードモジュール
150 没入度算出モジュール
160 画像逆安定化モジュール
190 ディスプレイモジュール
310 第2のメモリモジュール
100, 200, 300 Image processing system 110 Image signal acquisition/processing module 120 Encoding/multiplexing module 130 Memory module 140 Demultiplexing/decoding module 150 Immersion degree calculating module 160 Image destabilizing module 190 Display module 310 Second memory module

Claims (20)

画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する画像逆安定化処理部を備え、
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、
前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記画像逆安定化処理部は、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、画像処理装置。
Image destabilization, which is shaking information including imaging device shaking information indicating shaking of the imaging device that occurred at the time of capturing an image, and adds an effect of expressing shaking to the image based on the shaking information related to the shaking of the image. Equipped with a processing unit,
The image is an image from which at least a part of the influence of shaking of the imaging device is removed,
The image destabilization processing unit reproduces the shake of the imaging device in the image by adding the effect to the image ,
The image inverse stabilization processing unit determines the degree of the effect and the degree to which the effect is added based on the shooting environment information regarding the shooting environment of the image, and adds the effect as the degree to which the effect is added. Decide whether to do it,
The image processing apparatus , wherein the shooting environment information includes image characteristics indicated by the image, and the image characteristics including a type of scene .
前記撮影環境情報は、前記画像のフレームの移動ベクトルに関する情報を含む、請求項に記載の画像処理装置。 The image processing apparatus according to claim 1 , wherein the shooting environment information includes information about a movement vector of a frame of the image. 前記画像特徴は、前記画像の輝度または色の特徴を含む、請求項1または2に記載の画像処理装置。 The image features include brightness or color characteristics of the image, the image processing apparatus according to claim 1 or 2. 前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、請求項からのいずれか1項に記載の画像処理装置。 The imaging environment information includes audio features illustrated by accompanying sound to the image, the image processing apparatus according to any one of claims 1 to 3. 前記音声特徴は、前記音声の周波数成分、前記音声の振幅、または前記音声によって示される音の種類を含む、請求項に記載の画像処理装置。 The image processing apparatus according to claim 4 , wherein the voice feature includes a frequency component of the voice, an amplitude of the voice, or a type of a sound indicated by the voice. 前記画像逆安定化処理部は、前記効果の程度を、前記画像の視聴環境に関する視聴環境情報に基づいて決定する、請求項1からのいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 5 , wherein the image destabilization processing unit determines the degree of the effect based on viewing environment information regarding a viewing environment of the image. 前記視聴環境情報は、前記画像が表示される画面のサイズを含む、請求項に記載の画像処理装置。 The image processing apparatus according to claim 6 , wherein the viewing environment information includes a size of a screen on which the image is displayed. 前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、請求項またはに記載の画像処理装置。 The viewing environment information includes the distance from the observer to the screen image is displayed, the image processing apparatus according to claim 6 or 7. 画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて付加される効果であって、前記画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部を備え、
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現
前記画像逆安定化処理部は、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、画像処理装置。
The shake information includes the shake information of the image pickup device indicating the shake of the image pickup device that occurs during image pickup, and is an effect added based on the shake information regarding the shake of the image. An image inverse stabilization processing unit that determines the degree of the effect to be expressed based on the expected value of the immersive feeling of the observer with respect to the image,
The image is an image in which at least a part of the influence of the shake of the image pickup apparatus is removed, and the image destabilization processing unit adds the effect to the image to add the effect of the image pickup apparatus to the image. to reproduce the shaking,
The image inverse stabilization processing unit determines the degree of the effect and the degree to which the effect is added based on the shooting environment information regarding the shooting environment of the image, and adds the effect as the degree to which the effect is added. Decide whether to do it,
The image processing apparatus , wherein the shooting environment information includes image characteristics indicated by the image, and the image characteristics including a type of scene .
前記没入感の期待値は、前記撮影環境情報に基づいて決定される、請求項に記載の画像処理装置。 The expected value of immersive is determined based on the previous SL shooting environment information, the image processing apparatus according to claim 9. 前記撮影環境情報は、前記画像によって示される画像特徴を含む、請求項10に記載の画像処理装置。 The image processing apparatus according to claim 10 , wherein the shooting environment information includes an image feature indicated by the image. 前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、請求項9から11のいずれか1項に記載の画像処理装置。 The image processing device according to any one of claims 9 to 11, wherein the shooting environment information includes a voice feature indicated by a voice accompanying the image. 前記没入感の期待値は、前記画像の視聴環境を示す視聴環境情報に基づいて決定される、請求項から12のいずれか1項に記載の画像処理装置。 The expected value of immersive, the shows the viewing environment of the image is determined based on the viewing environment information, the image processing apparatus according to any one of claims 9 to 12. 前記視聴環境情報は、前記画像が表示される画面のサイズを含む、請求項13に記載の画像処理装置。 The image processing apparatus according to claim 13 , wherein the viewing environment information includes a size of a screen on which the image is displayed. 前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、請求項14に記載の画像処理装置。 The image processing apparatus according to claim 14 , wherein the viewing environment information includes a distance from an observer to a screen on which the image is displayed. 前記画像逆安定化処理部は、前記効果を、前記画像の揺れに関する揺れ情報に基づいて付加する、請求項から15のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 9 to 15 , wherein the image destabilization processing unit adds the effect based on shaking information regarding shaking of the image. プロセッサが、画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加することを含み、
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、
前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、画像処理方法。
The processor is shake information including shake information of the image pickup device indicating shake of the image pickup device generated at the time of picking up the image, and adds an effect of expressing the shake to the image based on the shake information regarding the shake of the image. Including,
The image is an image from which at least a part of the influence of shaking of the imaging device is removed,
By adding the effect to the image, the shake of the imaging device is reproduced in the image ,
The degree of the effect and the degree of adding the effect are determined based on the shooting environment information regarding the shooting environment of the image, and as the degree of adding the effect, it is determined whether or not the effect is added,
The image processing method , wherein the shooting environment information is an image feature indicated by the image and includes the image feature including a type of scene .
プロセッサが、画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて付加される効果であって、前記画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定することを含み、
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、画像処理方法。
The processor is shake information including shake information of the image pickup device indicating shake of the image pickup device generated at the time of image pickup, and is an effect added based on the shake information regarding the shake of the image, which is added to the image. Including determining the degree of the effect of expressing the shaking that is based on the expected value of the immersive feeling of the observer for the image,
The image is an image in which at least a part of the influence of the shake of the image pickup apparatus is removed, and by adding the effect to the image, the shake of the image pickup apparatus is reproduced in the image ,
The degree of the effect and the degree of adding the effect are determined based on the shooting environment information regarding the shooting environment of the image, and as the degree of adding the effect, it is determined whether or not the effect is added,
The image processing method , wherein the shooting environment information is an image feature indicated by the image and includes the image feature including a type of scene .
画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する機能をコンピュータに実現させ、
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、
前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、プログラム。
The shake information including the shake information of the image pickup device indicating the shake of the image pickup device generated when the image is picked up is added to the computer based on the shake information regarding the shake of the image. Make it happen,
The image is an image from which at least a part of the influence of shaking of the imaging device is removed,
By adding the effect to the image, the shake of the imaging device is reproduced in the image ,
The degree of the effect and the degree of adding the effect are determined based on the shooting environment information regarding the shooting environment of the image, and as the degree of adding the effect, it is determined whether or not the effect is added,
The program , wherein the shooting environment information includes image features indicated by the image, the image features including a type of scene .
画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて付加される効果であって、前記画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する機能をコンピュータに実現させ、
前記画像は、前記撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定するとともに、前記効果を付加する程度として、前記効果を付加するか否かを決定し、
前記撮影環境情報は、前記画像によって示される画像特徴であって、シーンの種類を含む前記画像特徴を含む、プログラム。
The shake information includes the shake information of the image pickup device indicating the shake of the image pickup device that occurs during image pickup, and is an effect added based on the shake information regarding the shake of the image. The computer is made to realize the function of determining the degree of the effect to be expressed based on the expected value of the immersive feeling of the observer for the image,
The image is an image in which at least a part of the influence of the shake of the image pickup apparatus is removed, and by adding the effect to the image, the shake of the image pickup apparatus is reproduced in the image ,
The degree of the effect and the degree of adding the effect are determined based on the shooting environment information regarding the shooting environment of the image, and as the degree of adding the effect, it is determined whether or not the effect is added,
The program , wherein the shooting environment information includes image features indicated by the image, the image features including a type of scene .
JP2016531163A 2014-07-02 2015-04-22 Image processing apparatus, image processing method and program Active JP6740900B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014136698 2014-07-02
JP2014136698 2014-07-02
PCT/JP2015/062301 WO2016002322A1 (en) 2014-07-02 2015-04-22 Video-processing device, video processing method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020053358A Division JP7143359B2 (en) 2014-07-02 2020-03-24 Image processing device, image processing method, and program

Publications (2)

Publication Number Publication Date
JPWO2016002322A1 JPWO2016002322A1 (en) 2017-04-27
JP6740900B2 true JP6740900B2 (en) 2020-08-19

Family

ID=55018880

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016531163A Active JP6740900B2 (en) 2014-07-02 2015-04-22 Image processing apparatus, image processing method and program
JP2020053358A Active JP7143359B2 (en) 2014-07-02 2020-03-24 Image processing device, image processing method, and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020053358A Active JP7143359B2 (en) 2014-07-02 2020-03-24 Image processing device, image processing method, and program

Country Status (5)

Country Link
US (2) US10148894B2 (en)
EP (1) EP3166306B1 (en)
JP (2) JP6740900B2 (en)
CN (2) CN110418045B (en)
WO (1) WO2016002322A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11716537B2 (en) 2019-03-28 2023-08-01 Sony Group Corporation Image processing device, image processing method, and program
CN114175616A (en) * 2019-07-24 2022-03-11 索尼集团公司 Image processing apparatus, image processing method, and program

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3867011A (en) * 1973-02-05 1975-02-18 Bausch & Lomb Center attached optical mount
JP3364945B2 (en) * 1992-01-31 2003-01-08 ソニー株式会社 Camera shake correction device and camera shake correction method
JPH063726A (en) 1992-06-17 1994-01-14 Canon Inc Photographing device
EP0831644A3 (en) * 1996-09-20 2000-01-12 Sony Corporation Image shake discriminator and stabilizer
US8113839B2 (en) * 2000-07-21 2012-02-14 Sony Corporation Information processing apparatus, information processing method, information processing system, and storage medium
JP4465830B2 (en) * 2000-07-21 2010-05-26 ソニー株式会社 Information processing apparatus and method, information processing system, and recording medium
JP3893983B2 (en) * 2002-01-17 2007-03-14 ソニー株式会社 Information providing apparatus, information providing method, storage medium, and computer program
US7791642B2 (en) * 2004-12-13 2010-09-07 Fujifilm Corporation Image-taking apparatus
US7653132B2 (en) * 2004-12-21 2010-01-26 Stmicroelectronics, Inc. Method and system for fast implementation of subpixel interpolation
US7489341B2 (en) * 2005-01-18 2009-02-10 Primax Electronics Ltd. Method to stabilize digital video motion
WO2006122009A2 (en) * 2005-05-09 2006-11-16 Lockheed Martin Corporation Continuous extended range image processing
JP4525459B2 (en) 2005-05-11 2010-08-18 カシオ計算機株式会社 Movie processing apparatus, movie processing method and program
JP4152398B2 (en) 2005-05-26 2008-09-17 三洋電機株式会社 Image stabilizer
JP2009505477A (en) * 2005-08-12 2009-02-05 エヌエックスピー ビー ヴィ Method and system for digital image stabilization
US7755678B2 (en) * 2005-10-28 2010-07-13 Hewlett-Packard Development Company, L.P. Programmable anti-aliasing systems and methods for cameras
WO2007063819A1 (en) 2005-11-29 2007-06-07 Pioneer Corporation Recording device, reproduction device, recording method, recording program, and computer-readable recording medium
JP4695972B2 (en) * 2005-12-14 2011-06-08 キヤノン株式会社 Image processing apparatus, imaging apparatus, and image processing method
JP4976160B2 (en) * 2007-02-22 2012-07-18 パナソニック株式会社 Imaging device
US20090079842A1 (en) * 2007-09-26 2009-03-26 Honeywell International, Inc. System and method for image processing
JP4534172B2 (en) * 2008-04-03 2010-09-01 ソニー株式会社 Image processing apparatus, image processing method, and program
JP2009272890A (en) 2008-05-07 2009-11-19 Sony Corp Image processing apparatus and method, and imaging device
JP5117280B2 (en) * 2008-05-22 2013-01-16 富士フイルム株式会社 IMAGING DEVICE, IMAGING METHOD, REPRODUCTION DEVICE, AND REPRODUCTION METHOD
JP4661922B2 (en) * 2008-09-03 2011-03-30 ソニー株式会社 Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method, and program
JP5328307B2 (en) * 2008-11-14 2013-10-30 キヤノン株式会社 Image capturing apparatus having shake correction function and control method thereof
US20120159996A1 (en) * 2010-12-28 2012-06-28 Gary Edwin Sutton Curved sensor formed from silicon fibers
US20150189140A1 (en) * 2009-02-23 2015-07-02 Gary Edwin Sutton Curved sensor array camera
US8957992B2 (en) * 2010-01-06 2015-02-17 Gary Edwin Sutton Curved sensor camera with moving optical train
CN101599253B (en) * 2009-03-30 2012-08-22 南京中电熊猫液晶显示科技有限公司 Driving method of liquid crystal display
US20100253700A1 (en) * 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US20100254453A1 (en) * 2009-04-02 2010-10-07 Qualcomm Incorporated Inverse telecine techniques
JP2010278997A (en) 2009-06-01 2010-12-09 Sharp Corp Image processing device, image processing method, and program
JP5489572B2 (en) * 2009-07-29 2014-05-14 キヤノン株式会社 Acceleration detection apparatus, control method therefor, and program
US8823812B2 (en) * 2009-10-07 2014-09-02 Panasonic Intellectual Property Corporation America Image capturing apparatus and method for displaying a subject of image capturing and indicating motion of the image capturing apparatus during the image capturing
JP2011234238A (en) * 2010-04-28 2011-11-17 Sharp Corp Video display device, video display control method, program for video display device, and computer-readable recording medium
JP2011257503A (en) * 2010-06-07 2011-12-22 Sony Corp Image stabilizer, image stabilization method, and program
JP2011257502A (en) * 2010-06-07 2011-12-22 Sony Corp Image stabilizer, image stabilization method, and program
JP5146503B2 (en) * 2010-09-06 2013-02-20 カシオ計算機株式会社 Video processing device, video playback device, video processing method, video playback method, and program
JP5317023B2 (en) * 2010-09-16 2013-10-16 カシオ計算機株式会社 Camera shake correction apparatus, camera shake correction method, and program
KR20120117578A (en) * 2011-04-15 2012-10-24 삼성전자주식회사 Displaying method and display apparatus for applying the same
US9824426B2 (en) * 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
JP2013042356A (en) * 2011-08-16 2013-02-28 Sony Corp Image processor, image processing method and program
US9001223B2 (en) * 2011-09-28 2015-04-07 Advanced Micro Devices, Inc. Method and apparatus for applying camera shake compensation to video content
US8605161B2 (en) * 2012-03-12 2013-12-10 Raytheon Company Intra-frame optical-stabilization with intentional inter-frame scene motion
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
KR101939628B1 (en) * 2012-05-30 2019-01-17 삼성전자주식회사 Method of detecting motion and motion detector
KR101305249B1 (en) * 2012-07-12 2013-09-06 씨제이씨지브이 주식회사 Multi-projection system
JP6087671B2 (en) * 2013-03-12 2017-03-01 キヤノン株式会社 Imaging apparatus and control method thereof
US9232138B1 (en) * 2013-06-03 2016-01-05 Amazon Technologies, Inc. Image stabilization techniques
JP6253280B2 (en) * 2013-07-04 2017-12-27 キヤノン株式会社 Imaging apparatus and control method thereof
US9635257B2 (en) * 2014-05-12 2017-04-25 Gopro, Inc. Dual-microphone camera
US9460493B2 (en) * 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override

Also Published As

Publication number Publication date
WO2016002322A1 (en) 2016-01-07
EP3166306A4 (en) 2018-02-28
EP3166306A1 (en) 2017-05-10
JP7143359B2 (en) 2022-09-28
US20190075249A1 (en) 2019-03-07
US11044419B2 (en) 2021-06-22
JPWO2016002322A1 (en) 2017-04-27
CN110418045A (en) 2019-11-05
CN110418045B (en) 2021-06-29
CN106664362B (en) 2019-08-27
EP3166306B1 (en) 2023-03-08
JP2020108175A (en) 2020-07-09
CN106664362A (en) 2017-05-10
US20170142347A1 (en) 2017-05-18
US10148894B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
JP6575652B2 (en) Image processing apparatus, image processing method, and program
US11176747B2 (en) Information processing apparatus and information processing method
WO2014185170A1 (en) Image processing device, image processing method, and program
WO2018135343A1 (en) Information processing apparatus, information processing method, and program
JP2014183379A (en) Information processing device, data structure of moving image data, information processing system, moving image reproduction program, and moving image reproduction method
JP7143359B2 (en) Image processing device, image processing method, and program
US11272224B2 (en) Information processing device and method
WO2014034256A1 (en) Display control apparatus, display control system, and display control method
US20130231065A1 (en) Communication apparatus, communication method, and computer readable recording medium
JP2016105534A (en) Imaging apparatus and imaging apparatus system
CN110996117B (en) Video transcoding method and device, electronic equipment and storage medium
WO2018168222A1 (en) Information processing device, image pickup device, and electronic apparatus
US10785415B2 (en) Display control device and display control method
US20170171492A1 (en) Display control apparatus, imaging apparatus, and display control method
JP2012165338A (en) Image processing apparatus, image processing method, and program
CN114071224A (en) Video data processing method and device, computer equipment and storage medium
US10142593B2 (en) Information processing device, information processing method, client device, server device, and information processing system
US20230222754A1 (en) Interactive video playback techniques to enable high fidelity magnification
JP2021022910A (en) Communication terminal, communication program, communication method, and communication system
CN115202550A (en) Cloud application picture display method and device, server, terminal and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180314

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200324

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200403

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200706

R151 Written notification of patent or utility model registration

Ref document number: 6740900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151