JP5596313B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5596313B2
JP5596313B2 JP2009182043A JP2009182043A JP5596313B2 JP 5596313 B2 JP5596313 B2 JP 5596313B2 JP 2009182043 A JP2009182043 A JP 2009182043A JP 2009182043 A JP2009182043 A JP 2009182043A JP 5596313 B2 JP5596313 B2 JP 5596313B2
Authority
JP
Japan
Prior art keywords
video
processing unit
distance
video data
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009182043A
Other languages
Japanese (ja)
Other versions
JP2011035795A (en
Inventor
浩二 鴨川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2009182043A priority Critical patent/JP5596313B2/en
Publication of JP2011035795A publication Critical patent/JP2011035795A/en
Application granted granted Critical
Publication of JP5596313B2 publication Critical patent/JP5596313B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本技術は、映像と音声によるコミュニケーション手段であるテレビ電話装置に間するもので、特に大画面ディスプレイ表示の適用に好適な表示制御技術に関するものである。   The present technology relates to a videophone device which is a communication means using video and audio, and particularly relates to a display control technology suitable for application to a large screen display.

近年、ネットワークの普及、広帯域化と、デジタル放送を始めとするデジタル映像、音声技術の発展により、映像と音声によるコミュニケーション手段であるテレビ電話装置が一般家庭にも普及するものと思われる。   In recent years, with the widespread use of networks and wider bandwidth, and the development of digital video and audio technologies including digital broadcasting, videophone devices, which are communication means using video and audio, are expected to spread to general households.

これに関連して、視聴者との距離に応じて画面の表示サイズを制御する表示装置が提案されている。   In relation to this, a display device that controls the display size of the screen in accordance with the distance from the viewer has been proposed.

特開２００６−２３５３０７公報 表示装置および同装置の表示制御方法JP, 2006-235307, A Display device and display control method of the same device

一般にテレビ電話装置、特に大画面ディスプレイ表示を用いた場合、視聴者が至近距離で大画面ディスプレイを凝視する事で、映像酔いを起す恐れがある事が指摘されている。   In general, it has been pointed out that when a videophone device, particularly a large screen display, is used, viewers may cause motion sickness by staring at the large screen display at a close distance.

しかし、テレビ電話の相手側の映像の表示サイズを小さくすると、映像酔いは軽減可能であるが、一方で、相手側の映像の表示サイズが小さ過ぎると、臨場感が失われてしまう問題がある。   However, video sickness can be reduced by reducing the video display size of the other party of the videophone, but on the other hand, if the display size of the other party's video is too small, there is a problem that the sense of reality is lost. .

更に、テレビ電話の場合、視聴者自身の映像が、相手側にどう映像表示されているか、視聴者自身が確認する手段についても考慮する必要がある。   Furthermore, in the case of a videophone, it is necessary to consider means for the viewer himself / herself to check how the viewer's own video is displayed on the other party's side.

上記目的を解決するために、例えば特許請求の範囲に記載の構成を採用する。  In order to solve the above-described object, for example, the configuration described in the claims is adopted.

これにより、テレビ電話装置において、ディスプレイ上に表示されるテレビ電話の相手側の映像及び、視聴者の映像の表示サイズを適切に制御でき、映像酔いの軽減と、臨場感を確保すると共に、視聴者自身の映像の確認を行う手段を提供し、ユーザの利便性を高めることができる。   As a result, in the videophone device, it is possible to appropriately control the display size of the other party's video and the viewer's video displayed on the display, to reduce motion sickness and to ensure a sense of reality and to watch It is possible to provide a means for confirming the user's own video and enhance user convenience.

実施例１における画像処理装置のブロック図の例である。1 is an example of a block diagram of an image processing device in Embodiment 1. FIG. 実施例１における画像処理装置の外観図である。1 is an external view of an image processing apparatus according to Embodiment 1. FIG. 実施例１における基本原理を示す観念図である。FIG. 2 is an idea diagram illustrating a basic principle in the first embodiment. 実施例１における距離計算処理Ａのフローチャートの例である。It is an example of the flowchart of the distance calculation process A in Example 1. FIG. 実施例２における画像処理装置のブロック図の例である。10 is an example of a block diagram of an image processing apparatus in Embodiment 2. FIG. 実施例２における距離計算処理Ｂのフローチャートの例である。It is an example of the flowchart of the distance calculation process B in Example 2. FIG. 実施例３における画像処理装置のブロック図の例である。FIG. 10 is an example of a block diagram of an image processing apparatus according to a third embodiment. 実施例３における基本原理を示す為の観念図である。FIG. 10 is a conceptual diagram for illustrating a basic principle in Example 3. 実施例３における距離計算処理Ｃのフローチャートの例である。12 is an example of a flowchart of a distance calculation process C in the third embodiment.

以下、実施の形態を図面に基づいて詳細に説明する。   Hereinafter, embodiments will be described in detail with reference to the drawings.

最初に、本実施例の画像処理装置について説明する。
図１は実施例１における画像処理装置のブロック図の例である。マイク１０１、カメラ１０２、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５、映像エンコード処理部１０６、ＡＶパケット合成処理部１０７、ネットワーク処理部１０８、ネットワーク１０９、ＡＶパケット分離処理部１１０、映像デコード処理部１１１、音声デコード処理部１１２、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ１１５、距離計算処理部Ａ１１６、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９、スピーカ１２０から構成されている。 First, the image processing apparatus of this embodiment will be described.
FIG. 1 is an example of a block diagram of an image processing apparatus according to the first embodiment. Microphone 101, camera 102, audio signal processing unit 103, video signal processing unit 104, audio encoding processing unit 105, video encoding processing unit 106, AV packet synthesis processing unit 107, network processing unit 108, network 109, AV packet separation processing unit 110, video decoding processing unit 111, audio decoding processing unit 112, scaling processing unit A113, scaling processing unit B114, audio driver 115, distance calculation processing unit A116, synthesis processing unit 117, display driver 118, display 119, and speaker 120 Has been.

これらの構成は、それぞれプログラムで実装され、各種プログラムを図示しないプロセッサが実行することで、各処理を実現してもよいし、それぞれ集積回路化するなどしてハードウェアで実現することもできる。   Each of these configurations is implemented by a program, and each processing may be realized by executing various programs by a processor (not shown), or may be realized by hardware by making an integrated circuit.

まず、視聴者側の映像・音声の処理について説明する。視聴者側の映像・音声の処理の場合は、マイク１０１、音声信号処理部１０３、音声エンコード処理部１０５の音声出力データと、カメラ１０２、映像信号処理部１０４、映像エンコード処理部１０６の映像出力データを、ＡＶパケット合成処理部１０７で多重化処理し、ネットワーク処理部１０８を介して、ネットワーク１０９に出力することで、相手側に多重化した映像・音声データを送信する。   First, the video / audio processing on the viewer side will be described. In the case of video / audio processing on the viewer side, audio output data from the microphone 101, audio signal processing unit 103, audio encoding processing unit 105, and video output from the camera 102, video signal processing unit 104, video encoding processing unit 106 are output. The data is multiplexed by the AV packet synthesis processing unit 107 and output to the network 109 via the network processing unit 108, thereby transmitting the multiplexed video / audio data to the other party.

次に、相手側の映像・音声の処理について説明する。相手側の映像・音声の処理の場合は、相手側で多重化された映像・音声データをネットワーク１０９からネットワーク処理部１０８で受信し、ＡＶパケット分離処理部１１０で映像・音声データを分離し、映像デコード処理部１１１、スケーリング処理部Ａ１１３、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９で映像を出力し、音声デコード処理部１１２、音声ドライバ１１５、スピーカ１２０で音声を出力する。   Next, video / audio processing of the other party will be described. In the case of video / audio processing on the other side, the video / audio data multiplexed on the other side is received from the network 109 by the network processing unit 108, and the video / audio data is separated by the AV packet separation processing unit 110, Video is output from the video decoding processing unit 111, scaling processing unit A 113, composition processing unit 117, display driver 118, and display 119, and audio is output from the audio decoding processing unit 112, audio driver 115, and speaker 120.

この際、映像信号処理部１０４の映像出力を、スケーリング処理部Ｂ１１４と、距離計算部Ａ１１６に入力し、距離計算処理部Ａ１１６にて、画像を解析することで、視聴者とカメラ１０２間の距離を計算し、その計算結果で、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４をそれぞれ制御し、相手側の映像がスケーリング処理部Ａ１１３で、視聴者側の映像がスケーリング処理部Ｂ１１４で、それぞれスケーリングし、合成処理部１１７で映像のかなね合わせを行う。これにより、ディスプレイ１１９上に、視聴者の映像と相手側の映像を合成表示することができる。   At this time, the video output of the video signal processing unit 104 is input to the scaling processing unit B 114 and the distance calculation unit A 116, and the distance calculation processing unit A 116 analyzes the image, thereby the distance between the viewer and the camera 102. And the scaling processing unit A113 and the scaling processing unit B114 are controlled by the calculation result, respectively, the counterpart video is scaled by the scaling processing unit A113, and the viewer video is scaled by the scaling processing unit B114. The composition processing unit 117 performs the alignment of the video. Thereby, the viewer's image and the partner's image can be combined and displayed on the display 119.

また、距離計算処理部Ａ１１６において行われる、視聴者とカメラ１０２間の距離を計算方法については、ここでは、映像信号処理部１０４の出力を利用し、例えば、人物の特徴点（顔の輪郭や、目や鼻、口といった共通性のある情報）を用いた方法や、カメラ１０２に焦点情報を用いた方法、または、別のセンサーを利用したものなど、視聴者との距離を求めるための種々の手法が適用可能である。   As for the method for calculating the distance between the viewer and the camera 102 performed in the distance calculation processing unit A116, here, using the output of the video signal processing unit 104, for example, a feature point of a person (face contour or , A method using common information such as eyes, nose and mouth), a method using focus information on the camera 102, or a method using another sensor. This method is applicable.

次に、実施例における画像処理装置の概要ついて図１と合せて説明する。
図２は実施例１における画像処理装置の外観図である。図１と同じ機能のものには同じ番号を付加している。マイク１０１、カメラ１０２、テレビ電話装置１２３から構成されており、ディスプレイ上には、相手側の映像１２１、視聴者の映像１２２が表示されている例である。相手側の映像１２１は、図１のスケーリング処理部Ａ１１３で、視聴者の映像１２２は、図１のスケーリング処理部Ｂ１１４で処理されるが、図１の距離計算部Ａ１１６により表示サイズのための制御パラメータが与えられる。制御パラメータは、図１の例えば、映像デコード処理部１１１、映像信号処理部１０４、それぞれ映像データに対して、スケーリング処理部Ａ１１３では、５０〜２００％（面積比）、スケーリング処理部Ｂ１１４では、０〜２５％（面積比）という値を制御範囲とする。 Next, an outline of the image processing apparatus in the embodiment will be described with reference to FIG.
FIG. 2 is an external view of the image processing apparatus according to the first embodiment. The same functions as those in FIG. 1 are given the same numbers. This is an example in which a microphone 101, a camera 102, and a videophone device 123 are configured, and a partner image 121 and a viewer image 122 are displayed on the display. The counterpart image 121 is processed by the scaling processing unit A113 in FIG. 1, and the viewer's image 122 is processed by the scaling processing unit B114 in FIG. 1. The distance calculation unit A116 in FIG. A parameter is given. The control parameters are, for example, 50 to 200% (area ratio) in the scaling processing unit A113 and 0 in the scaling processing unit B114 with respect to the video data, for example, the video decoding processing unit 111 and the video signal processing unit 104 in FIG. A value of ˜25% (area ratio) is taken as the control range.

図２では、最も標準的なパラメータの例として、相手側の映像１２１は、１００％（面積比）、視聴者の映像１２２は、１２％（面積比）として制御された場合の例である。また、図２から判るように、相手側の映像１２１、視聴者の映像１２２の表示パラメータは、表示位置の座標パラメータも含んでおり、一般的な例としては、相手側の映像１２１のような映像においては、画面中央の最下部を原点しており、視聴者の映像１２２は、画面右上の端を原点して、制御し、スケーリングの値が変化しても、原点の表示の位置が動かないように制御されるのが普通である。   In FIG. 2, as an example of the most standard parameter, the other party's video 121 is controlled as 100% (area ratio), and the viewer's video 122 is controlled as 12% (area ratio). As can be seen from FIG. 2, the display parameters of the other party's video 121 and the viewer's video 122 also include the coordinate parameter of the display position. In the video, the origin is at the bottom of the center of the screen, and the viewer's video 122 is controlled with the origin at the upper right corner of the screen, and the display position of the origin moves even if the scaling value changes. It is usually controlled so that there is no.

また、視聴者の映像１２２は、視聴者から見た場合に鏡像となるように、図１のスケーリング処理Ｂ１１４において、左右を反転した画像になるよう処理しても良い。これは、一般的には、視聴者が自分の映像を見た場合、直感的には鏡像の方が、体の左右の動きに対して、鏡を想定しやすいからである。   Further, the viewer's video 122 may be processed so as to be an image obtained by inverting the left and right in the scaling process B114 of FIG. 1 so that it becomes a mirror image when viewed from the viewer. This is because, generally, when a viewer views his / her video, the mirror image is intuitively easier to assume a mirror for the left and right movements of the body.

次に、実施例における実際の画面表示について説明する。
図３は実施例１における基本原理を示す観念図である。ここでは、本発明により、視聴者とカメラとの距離により、それぞれ、相手側の映像と、視聴者の映像がどのように表示されるかの例を示したものである。 Next, actual screen display in the embodiment will be described.
FIG. 3 is a conceptual diagram showing the basic principle in the first embodiment. Here, according to the present invention, an example of how the other party's video and the viewer's video are displayed according to the distance between the viewer and the camera, respectively, is shown.

(a)は、視聴者とカメラとの距離計算不能な場合（初期値の場合も含む）であり、(b)は、視聴者とカメラとの距離が遠い場合、(c)は、視聴者とカメラとの距離が適正な場合、(d)は、視聴者とカメラとの距離が近い場合をそれぞれ示している。(a)の視聴者とカメラとの距離計算不能な場合（初期値の場合も含む）は、相手側の映像の表示は、初期値である１００％（面積比）で制御し、視聴者の映像は、０％（つまり表示しない）で制御したものである。   (a) is the case where the distance between the viewer and the camera cannot be calculated (including the initial value), (b) is the case where the distance between the viewer and the camera is far, and (c) is the viewer. (D) shows the case where the distance between the viewer and the camera is short. When the distance between the viewer and the camera in (a) cannot be calculated (including the case of the initial value), the display of the other party's video is controlled at the initial value of 100% (area ratio). The video is controlled at 0% (that is, not displayed).

(b)の視聴者とカメラとの距離が遠い場合は、相手側の映像の表示は、１０１〜２００％（面積比）の範囲で制御され、１２０％（面積比）で制御し、視聴者の映像は、１３〜２５％（面積比）の範囲で制御され、２０％（面積比）で制御したものの例である。   When the distance between the viewer and the camera in (b) is far, the display of the other party's video is controlled within a range of 101 to 200% (area ratio), and controlled at 120% (area ratio). Is an example in which the video is controlled in the range of 13 to 25% (area ratio) and controlled at 20% (area ratio).

(c)の視聴者とカメラとの距離が適正な場合は、例えば、相手側の映像の表示は、１００％（面積比）で制御し、視聴者の映像は、１２％（面積比）で制御したものの例である。(d)の視聴者とカメラとの距離が近い場合は、相手側の映像の表示は、５０〜９９％（面積比）の範囲で制御され、６０％（面積比）で制御し、視聴者の映像は、０〜１１％（面積比）の範囲で制御され、８％（面積比）で制御したものの例である。   When the distance between the viewer and the camera in (c) is appropriate, for example, the display of the other party's video is controlled at 100% (area ratio), and the viewer's video is at 12% (area ratio). It is an example of what was controlled. When the distance between the viewer and the camera in (d) is close, the display of the other party's video is controlled in the range of 50 to 99% (area ratio) and controlled at 60% (area ratio). Is an example in which the video is controlled in the range of 0 to 11% (area ratio) and controlled at 8% (area ratio).

さらに、上記(b)(c)(d)では、視聴者の映像に枠を表示するようにしており、視聴者の映像の０〜２５％（面積比）という値を制御範囲の内、１５〜２５％（面積比）の場合は、緑枠表示を、１４〜１０％（面積比）の場合は、青枠表示を、１〜９％（面積比）の場合は、赤枠表示をそれぞれ行うようにしたものの例である。   Further, in the above (b), (c), and (d), a frame is displayed on the viewer's video, and a value of 0 to 25% (area ratio) of the viewer's video is set within 15% of the control range. In case of ~ 25% (area ratio), green frame display, in case of 14-10% (area ratio), blue frame display, and in case of 1-9% (area ratio), red frame display. This is an example of what we did.

ただし、計算上得られた１５〜２５％（面積比）や１〜９（面積比）の場合、表示映像が大きすぎたり、小さすぎたりする場合があるので、実際の制御データとしては、最大値や最小値の制限を設け、例えば、最大値を２０％とした場合は、１５〜２０％（面積比）となり、最小値を５％とした場合には、５〜９％（面積比）となるようにしても良い。   However, in the case of 15 to 25% (area ratio) or 1 to 9 (area ratio) obtained in the calculation, the display image may be too large or too small. For example, when the maximum value is 20%, it is 15 to 20% (area ratio), and when the minimum value is 5%, it is 5 to 9% (area ratio). You may make it become.

この視聴者の映像に枠を表示することで、視聴者はカメラとの距離についての視覚による直感的な判断が行えるという効果が期待できる。   By displaying a frame on the viewer's video, the viewer can expect an effect that the viewer can intuitively determine the distance from the camera.

次に、実施例における距離計算処理部Ａ１１６の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
図４は、実施例１における距離計算処理部Ａのフローチャートの例である。図４は、図１の距離計算処理部Ａ１１６において、視聴者の映像と相手側の映像の表示に関してのスケーリング処理のためのそれぞれのパラメータ計算、設定方法を示すフローチャートであり、当該処理は、距離計算処理部Ａ１１６の計算処理結果を用い、スケーリング処理部Ａ１１３及び、スケーリング処理部Ｂ１１４を制御することで実現される。 Next, the operation of the distance calculation processing unit A116 in the embodiment will be described using a flowchart. In the flowchart, “S” means “step”.
FIG. 4 is an example of a flowchart of the distance calculation processing unit A in the first embodiment. FIG. 4 is a flowchart showing the respective parameter calculation and setting methods for scaling processing related to the display of the viewer's video and the partner's video in the distance calculation processing unit A116 of FIG. This is realized by controlling the scaling processing unit A113 and the scaling processing unit B114 using the calculation processing result of the calculation processing unit A116.

距離計算処理部Ａは、起動されると、処理を開始し（Ｓ５０１）、スケーリング処理部Ａ及び、スケーリング処理部Ｂに対して、初期値設定を行い（Ｓ５０２）、視聴者との距離計算を行う（Ｓ５０３）。視聴者との距離が計算可能かどうかを判定し（Ｓ５０４）、不可能な場合は、再度、距離計算を実行し（Ｓ５０３）、可能な場合は、スケーリングＡ用パラメータ計算を行う（Ｓ５０５）。図３の例と合わせ説明すると、相手側の映像の表示は、５０〜２００％（面積比）の範囲となり、その値を、スケーリングＡ用パラメータ設定する処理を実行する（Ｓ５０６）。   When activated, the distance calculation processing unit A starts processing (S501), sets initial values for the scaling processing unit A and the scaling processing unit B (S502), and calculates the distance to the viewer. This is performed (S503). It is determined whether or not the distance to the viewer can be calculated (S504). If it is not possible, the distance is calculated again (S503). If it is possible, the parameter for scaling A is calculated (S505). In combination with the example of FIG. 3, the display of the other party's video is in the range of 50 to 200% (area ratio), and processing for setting the value for the scaling A parameter is executed (S506).

更に、同様に、スケーリングＢ用パラメータ計算を行い（Ｓ５０７）、その計算結果の値を、スケーリングＢ用パラメータ判定で処理する（Ｓ５０８）。図３の例とパラメータ判定の条件を合わせ説明すると、視聴者の映像の値がそれぞれ、１５〜２５％（面積比）の場合は、緑枠表示を選択し（Ｓ５０９）、１０〜１４％（面積比）の場合は、青枠表示を選択し（Ｓ５１０）、１〜９％（面積比）の場合は、赤枠表示を選択し（Ｓ５１１）、０％（面積比）の場合は、枠なしを選択し（Ｓ５１２）、その計算結果の値をスケーリングＢ用パラメータ設定する処理を実行し（Ｓ５１３）、距離計算処理Ａを終了する（Ｓ５１４）。   Further, similarly, the scaling B parameter calculation is performed (S507), and the value of the calculation result is processed by the scaling B parameter determination (S508). The example of FIG. 3 and the parameter determination conditions will be described together. When the viewer's video value is 15 to 25% (area ratio), green frame display is selected (S509), and 10 to 14% ( In the case of area ratio), the blue frame display is selected (S510), in the case of 1-9% (area ratio), the red frame display is selected (S511), and in the case of 0% (area ratio), the frame is selected. None is selected (S512), a process for setting the value of the calculation result as a parameter for scaling B is executed (S513), and the distance calculation process A is terminated (S514).

スケーリング処理部Ａ１１３は、設定されたスケーリングＡ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。またスケーリング処理部Ｂ１１４は、設定されたスケーリングＢ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。
実施例１の効果として、視聴者とテレビ電話装置との距離を計算し、計算結果により、ディスプレイ上に表示されるテレビ電話の相手側の映像及び、視聴者の映像の表示サイズをそれぞれ適切に制御することで、映像酔いの軽減と、臨場感を確保すると共に、視聴者自身の映像の確認を行うことができ、使い勝手の良いテレビ電話装置が実現できる。 The scaling processing unit A113 displays an image having a size specified by the parameter according to the set scaling A parameter. The scaling processing unit B114 displays an image having a size specified by the parameter in accordance with the set scaling B parameter.
As an effect of the first embodiment, the distance between the viewer and the videophone device is calculated, and the display size of the video of the other party of the videophone displayed on the display and the video of the viewer is appropriately determined based on the calculation result. By controlling, video sickness can be reduced and a sense of reality can be secured, and the viewer's own video can be confirmed, thereby realizing a user-friendly videophone device.

また、この発明は、視聴者の使用環境と視聴者のテレビ電話装置のみで実現可能であるため、相手側のテレビ電話装置は、本発明の仕組みの無い、従来のテレビ電話装置においても正しく動作することができる。   In addition, since the present invention can be realized only by the viewer's usage environment and the viewer's videophone device, the counterpart videophone device operates correctly even in a conventional videophone device without the mechanism of the present invention. can do.

更に、図３で説明したように、視聴者の映像に枠を表示することで、視聴者はカメラとの距離についての視覚による直感的な判断が行えるので、視聴者に注意が促され、結果として、相手側のテレビ電話装置において、視聴者自身の映像が極端に大きくなったり、小さくなったりすることを防止する効果が期待できる。   Furthermore, as described with reference to FIG. 3, by displaying a frame on the viewer's video, the viewer can make an intuitive judgment on the distance from the camera, so that the viewer is alerted and the result is In the other party's videophone device, an effect of preventing the viewer's own video from becoming extremely large or small can be expected.

図５は実施例２における画像処理装置のブロック図の例である。
実施例１の図１と同じ機能のものには同じ番号を付加している。マイク１０１、カメラ１０２、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５、映像エンコード処理部１０６、ＡＶパケット合成処理部１０７、ネットワーク処理部１０８、ネットワーク１０９、ＡＶパケット分離処理部１１０、映像デコード処理部１１１、音声デコード処理部１１２、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ部１２４、距離計算処理部Ｂ１２５、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９、スピーカ１２０から構成されている。 FIG. 5 is an example of a block diagram of the image processing apparatus according to the second embodiment.
Components having the same functions as those of the first embodiment shown in FIG. Microphone 101, camera 102, audio signal processing unit 103, video signal processing unit 104, audio encoding processing unit 105, video encoding processing unit 106, AV packet synthesis processing unit 107, network processing unit 108, network 109, AV packet separation processing unit 110, video decoding processing unit 111, audio decoding processing unit 112, scaling processing unit A113, scaling processing unit B114, audio driver unit 124, distance calculation processing unit B125, synthesis processing unit 117, display driver 118, display 119, and speaker 120 It is configured.

まず、視聴者側の映像・音声の処理について説明する。視聴者側の映像・音声の処理の場合は、マイク１０１、音声信号処理部１０３、音声エンコード処理部１０５の音声出力データと、カメラ１０２、映像信号処理部１０４、映像エンコード処理部１０６の映像出力データを、ＡＶパケット合成処理部１０７で多重化処理し、ネットワーク処理１０８を介して、ネットワーク１０９に出力することで、相手側に多重化した映像・音声データを送信する。   First, the video / audio processing on the viewer side will be described. In the case of video / audio processing on the viewer side, audio output data from the microphone 101, audio signal processing unit 103, audio encoding processing unit 105, and video output from the camera 102, video signal processing unit 104, video encoding processing unit 106 are output. The data is multiplexed by the AV packet synthesis processing unit 107 and output to the network 109 via the network processing 108, whereby the multiplexed video / audio data is transmitted to the other party.

次に、相手側の映像・音声の処理について説明する。相手側の映像・音声の処理の場合は、相手側で多重化された映像・音声データをネットワーク１０９からネットワーク処理部１０８で受信し、ＡＶパケット分離処理部１１０で映像・音声データを分離し、映像デコード処理部１１１、スケーリング処理部Ａ１１３、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９で映像を出力し、音声デコード処理部１１２、音声ドライバ１２４、スピーカ１２０で音声を出力する。   Next, video / audio processing of the other party will be described. In the case of video / audio processing on the other side, the video / audio data multiplexed on the other side is received from the network 109 by the network processing unit 108, and the video / audio data is separated by the AV packet separation processing unit 110, Video is output from the video decoding processing unit 111, scaling processing unit A 113, composition processing unit 117, display driver 118, and display 119, and audio is output from the audio decoding processing unit 112, audio driver 124, and speaker 120.

この際、映像信号処理部１０４の映像出力を、スケーリング処理部Ｂ１１４と、距離計算処理部Ｂ１２５に入力し、距離計算処理部Ｂ１２５にて、画像を解析することで、視聴者とカメラ１０２間の距離を計算し、その計算結果で、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ１２４をそれぞれ制御し、相手側の映像がスケーリング処理部Ａ１１３で、視聴者側の映像がスケーリング処理部Ｂ１１４で、それぞれスケーリングし、合成処理１１７で映像のかさね合わせを行うと共に、音声ドライバ１２４で出力制御を行う。これにより、ディスプレイ１１９上に、視聴者の映像と相手側の映像を合成表示することができると共に、スピーカ１２０で音量制御された音声が出力できる。   At this time, the video output of the video signal processing unit 104 is input to the scaling processing unit B 114 and the distance calculation processing unit B 125, and the distance calculation processing unit B 125 analyzes the image, so that the viewer and the camera 102 can be analyzed. The distance is calculated, and the scaling processing unit A113, the scaling processing unit B114, and the audio driver 124 are controlled by the calculation results, respectively, the partner side video is the scaling processing unit A113, and the viewer side video is the scaling processing unit B114. Then, the image data is scaled, and the image processing is performed in the composition process 117, and the audio driver 124 performs output control. As a result, the viewer's video and the partner's video can be synthesized and displayed on the display 119, and the sound whose volume is controlled by the speaker 120 can be output.

また、距離計算処理Ｂ１２５において行われる、視聴者とカメラ１０２間の距離を計算方法については、実施例１の場合と同様、種々の手法が適用可能である。
次に、実施例における距離計算処理Ｂ１２５の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。 As for the method for calculating the distance between the viewer and the camera 102 performed in the distance calculation process B125, various methods can be applied as in the case of the first embodiment.
Next, the operation of the distance calculation process B125 in the embodiment will be described using a flowchart. In the flowchart, “S” means “step”.

図６は、実施例２における距離計算処理Ｂのフローチャートの例である。図６は、図５の距離計算処理部Ｂ１２５において、視聴者の映像と相手側の映像の表示に関してのスケーリング処理のためのそれぞれのパラメータ計算、設定方法を示すフローチャートであり、当該処理は、距離計算処理部Ｂ１２５の計算処理結果を用い、スケーリング処理部Ａ１１３及び、スケーリング処理部Ｂ１１４、音声ドライバ１２４を制御することで実現される。   FIG. 6 is an example of a flowchart of distance calculation processing B in the second embodiment. FIG. 6 is a flowchart showing respective parameter calculation and setting methods for scaling processing regarding the display of the viewer's video and the partner's video in the distance calculation processing unit B125 of FIG. This is realized by controlling the scaling processing unit A113, the scaling processing unit B114, and the audio driver 124 using the calculation processing result of the calculation processing unit B125.

距離計算処理部Ｂは、起動されると、処理を開始し（Ｓ５０１）、スケーリング処理部Ａ及び、スケーリング処理部Ｂに対して、初期値設定を行い（Ｓ５０２）、視聴者との距離計算を行う（Ｓ５０３）。視聴者との距離が計算可能かどうかを判定し（Ｓ５０４）、不可能な場合は、再度、距離計算を実行し（Ｓ５０３）、可能な場合は、スケーリングＡ用パラメータ計算を行い（Ｓ５０５）、図３の例と合わせ説明すると、相手側の映像の表示は、５０〜２００％（面積比）の範囲となり、その値を、スケーリングＡ用パラメータ設定する処理を実行する（Ｓ５０６）。   When activated, the distance calculation processing unit B starts processing (S501), sets initial values for the scaling processing unit A and the scaling processing unit B (S502), and calculates the distance to the viewer. This is performed (S503). It is determined whether or not the distance to the viewer can be calculated (S504). If impossible, the distance calculation is performed again (S503). If possible, the scaling A parameter calculation is performed (S505). In combination with the example of FIG. 3, the display of the other party's video is in the range of 50 to 200% (area ratio), and processing for setting the value for the scaling A parameter is executed (S506).

更に、同様に、スケーリングＢ用パラメータ計算を行い（Ｓ５０７）、その計算結果の値を、スケーリングＢ用パラメータ判定で処理し（Ｓ５０８）、図３の例とパラメータ判定の条件を合わせ説明すると、視聴者の映像の値がそれぞれ、１５〜２５％（面積比）の場合は、緑枠表示を選択し（Ｓ５０９）、１０〜１４％（面積比）の場合は、青枠表示を選択し（Ｓ５１０）、１〜９％（面積比）の場合は、赤枠表示を選択し（Ｓ５１１）、０％（面積比）の場合は、枠なしを選択し（Ｓ５１２）、その計算結果の値をスケーリングＢ用パラメータ設定する処理を実行し（Ｓ５１３）、更に、距離計算を用いて、音声ドライバ用パラメータ計算を行い（Ｓ５１５）、その計算結果の値を、音声ドライバパラメータ設定する処理を実行し（Ｓ５１６）、計算距離計算処理Ｂを終了する（Ｓ５１４）。   Further, similarly, the scaling B parameter calculation is performed (S507), the value of the calculation result is processed by the scaling B parameter determination (S508), and the example of FIG. If the person's video value is 15 to 25% (area ratio), green frame display is selected (S509), and if it is 10 to 14% (area ratio), blue frame display is selected (S510). ) If 1% to 9% (area ratio), select red frame display (S511), if 0% (area ratio), select no frame (S512) and scale the value of the calculation result A process for setting parameters for B is executed (S513). Further, a parameter for voice driver is calculated using distance calculation (S515), and a process for setting a voice driver parameter is executed based on the value of the calculation result (S5). 6), and terminates the calculation distance calculation processing B (S514).

一般に、音の大きさは距離の二乗に反比例するので、音声ドライバ用パラメータ計算（Ｓ５１５）では、これを補正するようパラメータの算出を行い、音声ドライバパラメータ設定（Ｓ５１６）を実行するようにすれば良い。   In general, since the sound volume is inversely proportional to the square of the distance, in the sound driver parameter calculation (S515), parameters are calculated so as to correct this, and the sound driver parameter setting (S516) is executed. good.

スケーリング処理部Ａ１１３は、設定されたスケーリングＡ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。またスケーリング処理部Ｂ１１４は、設定されたスケーリングＢ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。また、音声ドライバは、設定された音声ドライバ用パラメータに応じて、パラメータで指定された大きさで音声の出力を行う。なお、音声ドライバは独立したハードウェアとして音声ドライバ部として実現してもよい。   The scaling processing unit A113 displays an image having a size specified by the parameter according to the set scaling A parameter. The scaling processing unit B114 displays an image having a size specified by the parameter in accordance with the set scaling B parameter. Also, the audio driver outputs audio in a size specified by the parameter according to the set audio driver parameter. The audio driver may be realized as an audio driver unit as independent hardware.

実施例２の効果として、実施例１の効果に加え、視聴者のテレビ電話装置から音声出力を制御することで、音声レベルを適正に制御することができるようになる。   As an effect of the second embodiment, in addition to the effect of the first embodiment, the sound level can be appropriately controlled by controlling the sound output from the videophone device of the viewer.

図７は実施例３における画像処理装置のブロック図の例である。
実施例１の図１と同じ機能のものには同じ番号を付加している。マイク１０１、カメラ１０２、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５、映像エンコード処理部１０６、ＡＶパケット合成処理部１０７、ネットワーク処理部１０８、ネットワーク１０９、ＡＶパケット分離処理部１１０、映像デコード処理部１１１、音声デコード処理部１１２、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ１２４、距離計算処理部Ｃ１２６、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９、スピーカ１２０から構成されている。 FIG. 7 is an example of a block diagram of the image processing apparatus according to the third embodiment.
Components having the same functions as those of the first embodiment shown in FIG. Microphone 101, camera 102, audio signal processing unit 103, video signal processing unit 104, audio encoding processing unit 105, video encoding processing unit 106, AV packet synthesis processing unit 107, network processing unit 108, network 109, AV packet separation processing unit 110, video decoding processing unit 111, audio decoding processing unit 112, scaling processing unit A 113, scaling processing unit B 114, audio driver 124, distance calculation processing unit C 126, composition processing unit 117, display driver 118, display 119, and speaker 120. Has been.

まず、視聴者側の映像・音声の処理について説明する。視聴者側の映像・音声の処理の場合は、マイク１０１、音声信号処理部１０３、音声エンコード処理部１０５の音声出力データと、カメラ１０２、映像信号処理部１０４、映像エンコード処理部１０６の映像出力データを、ＡＶパケット合成処理部１０７で多重化処理し、ネットワーク処理部１０８を介して、ネットワーク１０９に出力することで、相手側に多重化した映像・音声データを送信する。   First, the video / audio processing on the viewer side will be described. In the case of video / audio processing on the viewer side, audio output data from the microphone 101, audio signal processing unit 103, audio encoding processing unit 105, and video output from the camera 102, video signal processing unit 104, video encoding processing unit 106 are output. The data is multiplexed by the AV packet synthesis processing unit 107 and output to the network 109 via the network processing unit 108, thereby transmitting the multiplexed video / audio data to the other party.

次に、相手側の映像・音声の処理について説明する。相手側の映像・音声の処理の場合は、相手側で多重化された映像・音声データをネットワーク１０９からネットワーク処理部１０８で受信し、ＡＶパケット分離処理部１１０で映像・音声データを分離し、映像デコード処理部１１１、スケーリング処理部Ａ１１３、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９で映像を出力し、音声デコード処理部１１２、音声ドライバ１２４、スピーカ１２０で音声を出力する。   Next, video / audio processing of the other party will be described. In the case of video / audio processing on the other side, the video / audio data multiplexed on the other side is received from the network 109 by the network processing unit 108, and the video / audio data is separated by the AV packet separation processing unit 110, Video is output from the video decoding processing unit 111, scaling processing unit A 113, composition processing unit 117, display driver 118, and display 119, and audio is output from the audio decoding processing unit 112, audio driver 124, and speaker 120.

この際、映像信号処理部１０４の映像出力を、スケーリング処理部Ｂ１１４と、距離計算処理部Ｃ１２６に入力すると共に、ディスプレイ１１９からのディスプレイ情報を距離計算処理部Ｃ１２６に入力し、距離計算処理部Ｃ１２６にて、画像を解析することで、視聴者とカメラ１０２間の距離を計算し、その計算結果とディスプレイ情報とを用い、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ１２４をそれぞれ制御し、相手側の映像がスケーリング処理部Ａ１１３で、視聴者側の映像がスケーリング処理部Ｂ１１４で、それぞれスケーリングし、合成処理部１１７で映像のかなね合わせを行うと共に、音声ドライバ１２４で出力制御を行う。これにより、ディスプレイ１１９上に、視聴者の映像と相手側の映像を合成表示することができると共に、スピーカ１２０で音量制御された音声が出力できる。   At this time, the video output of the video signal processing unit 104 is input to the scaling processing unit B114 and the distance calculation processing unit C126, and the display information from the display 119 is input to the distance calculation processing unit C126, and the distance calculation processing unit C126. By analyzing the image, the distance between the viewer and the camera 102 is calculated, and the calculation result and display information are used to control the scaling processing unit A113, the scaling processing unit B114, and the audio driver 124, respectively. The other party's video is scaled by the scaling processor A 113 and the viewer's video is scaled by the scaling processor B 114, and the synthesizing processor 117 adjusts the video, and the audio driver 124 controls the output. As a result, the viewer's video and the partner's video can be synthesized and displayed on the display 119, and the sound whose volume is controlled by the speaker 120 can be output.

また、距離計算処理Ｃ１２６において行われる、視聴者とカメラ１０２間の距離を計算方法については、実施例１の場合と同様、種々の手法が適用可能である。   As for the method for calculating the distance between the viewer and the camera 102 performed in the distance calculation process C126, various methods can be applied as in the case of the first embodiment.

図８実施例３における原理を示す観念図である。
ここでは、本発明により、視聴者とカメラとの距離を一定とした条件において、ディスプレイのサイズが異なる場合にそれぞれ、相手側の映像と、視聴者の映像がどのように表示されるかの例を示したものである。(a)(b)とも、視聴者とカメラとの距離は同じで、ある適正値にあるものとし、図７におけるディスプレイ１１９のサイズが、異なる場合、例えば(a)を基準にした場合、(ｂ)は、ディスプレイ小さいので、視聴者とカメラとの距離が同じ条件でも、ディスプレイに表示される視聴者と相手側の映像は、相対的に小さく表示される。 8 is a conceptual diagram showing the principle in Example 3.
Here, according to the present invention, an example of how the other party's video and the viewer's video are displayed when the display size is different under the condition that the distance between the viewer and the camera is constant Is shown. In both (a) and (b), it is assumed that the distance between the viewer and the camera is the same and is at a certain appropriate value, and the size of the display 119 in FIG. 7 is different, for example, based on (a), In (b), since the display is small, even if the distance between the viewer and the camera is the same, the viewer and the other party's video displayed on the display are displayed relatively small.

この為、例えば、(a)においては、相手側の映像の表示は、５０〜２００％（面積比）の範囲で、視聴者とカメラとの距離が適正な場合、１００％（面積比）とした場合と比較して、(b)においては、相手側の映像の表示は、５０〜２００％（面積比）の範囲で、視聴者とカメラとの距離が適正な場合、１２０％（面積比）となるようオフセットを持つようにパラメータを設定すれば良い。   For this reason, for example, in (a), the display of the other party's video is in the range of 50 to 200% (area ratio), and when the distance between the viewer and the camera is appropriate, it is 100% (area ratio). Compared with the case of (b), the display of the other party's video is in the range of 50 to 200% (area ratio) and 120% (area ratio) when the distance between the viewer and the camera is appropriate. The parameters may be set so as to have an offset such that

同様に、例えば、(a)においては、視聴者の映像の表示は、０〜２５％（面積比）の範囲で、視聴者とカメラとの距離が適正な場合、１２％（面積比）とした場合と比較して、(b)においては、相手側の映像の表示は、０〜２５％（面積比）の範囲で、視聴者とカメラとの距離が適正な場合、１５％（面積比）となるようオフセットを持つようにパラメータを設定すれば良い。   Similarly, for example, in (a), the display of the viewer's video is in the range of 0 to 25% (area ratio), and 12% (area ratio) when the distance between the viewer and the camera is appropriate. Compared with the case of (b), the display of the other party's video is 0 to 25% (area ratio), and 15% (area ratio) when the distance between the viewer and the camera is appropriate. The parameters may be set so as to have an offset such that

更に、視聴者の映像の表示の場合には、映像の表示の面積だけではなく、映像の中に映っている視聴者の映像の拡大処理することにより、同じディスプレイに表示される視聴者の顔部分を拡大し、ディスプレイが小さいことによる視聴者映像の認識性が低下しないように工夫しても良い。   Furthermore, in the case of displaying the viewer's video, not only the video display area but also the viewer's face displayed on the same display by enlarging the viewer's video displayed in the video. You may devise so that the recognizability of a viewer image may not be reduced by enlarging the part and having a small display.

次に、実施例における距離計算処理Ｃ１２６の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。   Next, the operation of the distance calculation process C126 in the embodiment will be described using a flowchart. In the flowchart, “S” means “step”.

図９は、実施例３における距離計算処理Ｂのフローチャートの例である。図９は、図７の距離計算処理部Ｃ１２６において、視聴者の映像と相手側の映像の表示に関してのスケーリング処理のためのそれぞれのパラメータ計算、設定方法を示すフローチャートであり、当該処理は、距離計算処理部Ｃ１２６の計算処理結果を用い、スケーリング処理部Ａ１１３及び、スケーリング処理部Ｂ１１４、音声ドライバ１２４を制御することで実現される。   FIG. 9 is an example of a flowchart of distance calculation processing B in the third embodiment. FIG. 9 is a flowchart showing respective parameter calculation and setting methods for scaling processing regarding the display of the viewer's video and the partner's video in the distance calculation processing unit C126 of FIG. This is realized by controlling the scaling processing unit A 113, the scaling processing unit B 114, and the audio driver 124 using the calculation processing result of the calculation processing unit C 126.

距離計算処理部Ｃは、起動されると、処理を開始し（Ｓ５０１）、スケーリング処理部Ａ及び、スケーリング処理部Ｂに対して、初期値設定を行い（Ｓ５０２）、視聴者との距離計算を行った（Ｓ５０３）後、ディスプレイ情報取得にてディスプレイの情報を取得する（Ｓ５１７）。   When activated, the distance calculation processing unit C starts processing (S501), sets initial values for the scaling processing unit A and the scaling processing unit B (S502), and calculates the distance to the viewer. After performing (S503), display information is acquired by display information acquisition (S517).

次に、視聴者との距離が計算可能かどうかを判定し（Ｓ５０４）、不可能な場合は、再度、距離計算を実行し（Ｓ５０３）、可能な場合は、スケーリングＡ用パラメータ計算を行い（Ｓ５０５）、図６の例と合わせ説明すると、相手側の映像の表示は、５０〜２００％（面積比）の範囲となり、その値をディスプレイ情報と合わせ、補正した値をスケーリングＡ用パラメータ設定する処理を実行する（Ｓ５０６）。   Next, it is determined whether or not the distance to the viewer can be calculated (S504). If it is not possible, the distance calculation is performed again (S503). If possible, the parameter calculation for scaling A is performed ( S505), together with the example of FIG. 6, the display of the other party's video is in the range of 50 to 200% (area ratio), the value is combined with the display information, and the corrected value is set as the parameter for scaling A Processing is executed (S506).

更に、同様に、スケーリングＢ用パラメータ計算を行い（Ｓ５０７）、その計算結果の値を、スケーリングＢ用パラメータ判定で処理し（Ｓ５０８）、図６の例とパラメータ判定の条件を合わせ説明すると、視聴者の映像の値がそれぞれ、１５〜２５％（面積比）の場合は、緑枠表示を選択し（Ｓ５０９）、１０〜１４％（面積比）の場合は、青枠表示を選択し（Ｓ５１０）、１〜９％（面積比）の場合は、赤枠表示を選択し（Ｓ５１１）、０％（面積比）の場合は、枠なしを選択し（Ｓ５１２）、その計算結果の値をディスプレイ情報と合わせ、補正した値をスケーリングＢ用パラメータ設定する処理を実行し（Ｓ５１３）、更に、距離計算を用いて、音声ドライバ用パラメータ計算を行い（Ｓ５１５）、その計算結果の値を、音声ドライバパラメータ設定する処理を実行し（Ｓ５１６）、計算距離計算処理Ｂを終了する（Ｓ５１４）。   Further, similarly, the scaling B parameter calculation is performed (S507), the value of the calculation result is processed by the scaling B parameter determination (S508), and the example of FIG. If the person's video value is 15 to 25% (area ratio), green frame display is selected (S509), and if it is 10 to 14% (area ratio), blue frame display is selected (S510). ), If 1 to 9% (area ratio), select red frame display (S511), if 0% (area ratio), select no frame (S512), display the value of the calculation result A process for setting the corrected value to the parameter for scaling B is executed together with the information (S513), and further the parameter calculation for voice driver is performed using the distance calculation (S515). Run the process of parameter setting (S516), and terminates the calculation distance calculation processing B (S514).

スケーリング処理部Ａ１１３は、設定されたスケーリングＡ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。またスケーリング処理部Ｂ１１４は、設定されたスケーリングＢ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。また、音声ドライバは、設定された音声ドライバ用パラメータに応じて、パラメータで指定された大きさで音声の出力を行う。なお、音声ドライバは独立したハードウェアとして音声ドライバ部として実現してもよい。   The scaling processing unit A113 displays an image having a size specified by the parameter according to the set scaling A parameter. The scaling processing unit B114 displays an image having a size specified by the parameter in accordance with the set scaling B parameter. Also, the audio driver outputs audio in a size specified by the parameter according to the set audio driver parameter. The audio driver may be realized as an audio driver unit as independent hardware.

また、一般的なテレビ電話装置では、スピーカの出力が、マイクに回り込んで、ハウリングを起さない様に、エコーキャンセラーと言われる装置が導入される場合があるが、蒸気の音声ドライバパラメータ設定する処理を実行と同様に、エコーキャンセラー処理の制御パラメータを制御するような処理を追加しても良い。   Also, in general videophone devices, there is a case where a device called an echo canceller is introduced so that the output of the speaker goes around the microphone and does not cause howling. As in the case of executing the process, a process for controlling the control parameter of the echo canceller process may be added.

実施例３の効果として、実施例２の効果に加え、視聴者のテレビ電話装置のディプレイの大きさが異なった場合においても、視聴者及び、相手側の映像の表示サイズを適正に制御することができるようになり、映像酔いの抑制や臨場感の向上が期待できる。   As an effect of the third embodiment, in addition to the effect of the second embodiment, even when the display size of the viewer's videophone device is different, the display sizes of the viewer and the other party's video are appropriately controlled. It can be expected that the motion sickness can be suppressed and the presence can be improved.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。   In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。   In addition, each of the above-described configurations may be configured such that some or all of them are configured by hardware, or are implemented by executing a program by a processor. Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

１０１ マイク
１０２ カメラ
１０３ 音声信号処理
１０４ 映像信号処理
１０５ 音声エンコード処理
１０６ 映像エンコード処理
１０７ ＡＶパケット合成処理
１０８ ネットワーク処理
１０９ ネットワーク
１１０ ＡＶパケット分離処理
１１１ 映像デコード処理
１１２ 音声デコード処理
１１３ スケーリング処理Ａ
１１４ スケーリング処理Ｂ
１１５ 音声ドライバ
１１６ 距離計算処理Ａ
１１７ 合成処理
１１８ ディスプレイドライバ
１１９ ディスプレイ
１２０ スピーカ
１２１ 相手側の映像
１２２ 視聴者の映像
１２３ テレビ電話装置
１２４ 音声ドライバ
１２５ 距離計算処理Ｂ
１２６ 距離計算処理Ｃ 101 microphone 102 camera 103 audio signal processing 104 video signal processing 105 audio encoding processing 106 video encoding processing 107 AV packet synthesis processing 108 network processing 109 network 110 AV packet separation processing 111 video decoding processing 112 audio decoding processing 113 scaling processing A
114 Scaling process B
115 Voice Driver 116 Distance Calculation Processing A
117 Compositing process 118 Display driver 119 Display 120 Speaker 121 Opponent video 122 Viewer video 123 Videophone device 124 Audio driver 125 Distance calculation process B
126 Distance calculation processing C

Claims (4)

第１の映像データを生成する撮像ユニットと、
前記第１の映像データと、第２の映像データをそれぞれ任意の表示サイズに変換する映像処理ユニットと、
前記第１の映像データに基づき、前記撮像ユニットから被写体までの距離を測定する距離測定ユニットとを備え、
前記映像処理ユニットは、前記距離測定ユニットにより測定された前記撮像ユニットから被写体までの距離に応じて前記第２の映像データを任意の表示サイズに変換し、前記撮像ユニットから被写体までの距離が所定の距離以上である場合に、前記第２の映像データの表示サイズを第１の最小値以上かつ第１の最大値以下に変換すること
を特徴とする画像処理装置。 An imaging unit for generating first video data;
A video processing unit that converts the first video data and the second video data to an arbitrary display size;
A distance measuring unit for measuring a distance from the imaging unit to a subject based on the first video data;
The video processing unit converts the second video data into an arbitrary display size according to the distance from the imaging unit to the subject measured by the distance measuring unit, and the distance from the imaging unit to the subject is predetermined. When the distance is equal to or greater than the distance, the display size of the second video data is converted to a value not less than the first minimum value and not greater than the first maximum value. 第１の映像データを生成する撮像ユニットと、
前記第１の映像データと、第２の映像データをそれぞれ任意の表示サイズに変換し、表示サイズに合わせ任意の色の枠を付加する映像処理ユニットと、
前記第１の映像データに基づき、前記撮像ユニットから被写体までの距離を測定する距離測定ユニットとを備え、
前記映像処理ユニットは、前記距離測定ユニットにより測定された前記撮像ユニットから被写体までの距離に応じて前記第１の映像データおよび前記第２の映像データを任意の表示サイズに変換し、変換された表示サイズで前記第１の映像データを表示する表示領域に対して任意の色の枠を付加し、前記撮像ユニットから被写体までの距離が所定の距離以上である場合に、前記第２の映像データの表示サイズを第１の最小値以上かつ第１の最大値以下に変換すること
を特徴とする画像処理装置。 An imaging unit for generating first video data;
A video processing unit that converts the first video data and the second video data to an arbitrary display size and adds a frame of an arbitrary color according to the display size;
A distance measuring unit for measuring a distance from the imaging unit to a subject based on the first video data;
The video processing unit converts the first video data and the second video data into arbitrary display sizes according to the distance from the imaging unit to the subject measured by the distance measurement unit, and is converted. When a frame of an arbitrary color is added to a display area for displaying the first video data at a display size, and the distance from the imaging unit to the subject is equal to or greater than a predetermined distance, the second video data The display size is converted to a value not less than the first minimum value and not more than the first maximum value. 撮像ユニットで第１の映像データを生成し、
前記第１の映像データに基づき、前記撮像ユニットから被写体までの距離を測定し、
測定された前記撮像ユニットから被写体までの距離に応じて、第２の映像データを任意の表示サイズに変換し、前記撮像ユニットから被写体までの距離が所定の距離以上である場合に、前記第２の映像データの表示サイズを第１の最小値以上かつ第１の最大値以下に変換すること
を特徴とする画像処理方法。 First image data is generated by the imaging unit,
Based on the first video data, measure the distance from the imaging unit to the subject,
According to the measured distance from the imaging unit to the subject, the second video data is converted into an arbitrary display size, and when the distance from the imaging unit to the subject is equal to or greater than a predetermined distance, the second video data An image processing method comprising converting the display size of the video data to a value not less than a first minimum value and not more than a first maximum value. 撮像ユニットで第１の映像データを取得し、
前記第１の映像データに基づき、前記撮像ユニットから被写体までの距離を測定し、
測定された前記撮像ユニットから被写体までの距離に応じて、前記第１の映像データおよび第２の映像データを任意の表示サイズに変換し、変換された表示サイズで前記第１の映像データを表示する表示領域に対して任意の色の枠を付加し、前記撮像ユニットから被写体までの距離が所定の距離以上である場合に、前記第２の映像データの表示サイズを第１の最小値以上かつ第１の最大値以下に変換すること
を特徴とする画像処理方法。 The first video data is acquired by the imaging unit,
Based on the first video data, measure the distance from the imaging unit to the subject,
According to the measured distance from the imaging unit to the subject, the first video data and the second video data are converted into arbitrary display sizes, and the first video data is displayed in the converted display size. When an arbitrary color frame is added to the display area to be displayed and the distance from the imaging unit to the subject is equal to or larger than a predetermined distance, the display size of the second video data is set to be equal to or larger than the first minimum value and An image processing method characterized by converting to a first maximum value or less.
JP2009182043A 2009-08-05 2009-08-05 Image processing apparatus and image processing method Active JP5596313B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009182043A JP5596313B2 (en) 2009-08-05 2009-08-05 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009182043A JP5596313B2 (en) 2009-08-05 2009-08-05 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2011035795A JP2011035795A (en) 2011-02-17
JP5596313B2 true JP5596313B2 (en) 2014-09-24

Family

ID=43764386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009182043A Active JP5596313B2 (en) 2009-08-05 2009-08-05 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP5596313B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6058257B2 (en) * 2011-07-06 2017-01-11 アイキューブド研究所株式会社 Image output apparatus, image output method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292491A (en) * 1992-04-14 1993-11-05 Hitachi Ltd Video telephone system and viewing angle controlling method for the video telephone system
JPH08237626A (en) * 1995-02-23 1996-09-13 Canon Inc Video conference system and image pickup device
JP2947113B2 (en) * 1995-03-09 1999-09-13 日本電気株式会社 User interface device for image communication terminal
JP2000059772A (en) * 1998-08-05 2000-02-25 Toshiba Corp Video displaying system
JP2006135837A (en) * 2004-11-09 2006-05-25 Nec Access Technica Ltd Video telephone
JP2006235307A (en) * 2005-02-25 2006-09-07 Toshiba Corp Display device and method of controlling display for the same
JP2008042702A (en) * 2006-08-09 2008-02-21 Fuji Xerox Co Ltd Photographic subject photographing apparatus, photographic subject displaying apparatus, photographic subject displaying system and program
JP2008294815A (en) * 2007-05-25 2008-12-04 Oki Electric Ind Co Ltd Information terminal

Also Published As

Publication number Publication date
JP2011035795A (en) 2011-02-17

Similar Documents

Publication Publication Date Title
US10965868B2 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
TWI602437B (en) Video and audio processing devices and video conference system
WO2016110188A1 (en) Method and electronic device for aesthetic enhancements of face in real-time video
WO2019082794A1 (en) Image generation device, image generation system, image generation method and program
JP2009111487A (en) Imaging apparatus and method, display controller and display control method, and program
CN111161176B (en) Image processing method and device, storage medium and electronic equipment
US9344678B2 (en) Information processing apparatus, information processing method and computer-readable storage medium
JP2006235307A (en) Display device and method of controlling display for the same
JP7134060B2 (en) Image generation device and image generation method
US20060227209A1 (en) Image display apparatus and control method thereof
US8718376B2 (en) Apparatus and method for enhancing image in portable terminal
CN111696039A (en) Image processing method and device, storage medium and electronic equipment
JP4475579B2 (en) Video communication apparatus and video communication apparatus control method
US11610293B2 (en) Image processing apparatus and image processing method
EP3547673A1 (en) Image processing apparatus, videoconference system, image processing method, and carrier means
JP5596313B2 (en) Image processing apparatus and image processing method
JP2020115299A (en) Virtual space information processing device, method and program
JP6004978B2 (en) Subject image extraction device and subject image extraction / synthesis device
JP2013046319A (en) Image processing apparatus and image processing method
CN113409713A (en) Blue light eye protection intensity adjusting method, device, medium and equipment
JP2016096395A (en) Television conference device, television conference system, and program
JP2017228942A (en) Head-mounted display, transmission control program, and transmission control method
JP2018078475A (en) Control program, control method, and control device
CN115299033B (en) Imaging device and imaging processing method
KR100713415B1 (en) Mobile phone modifying image view

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130802

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140311

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140807

R150 Certificate of patent or registration of utility model

Ref document number: 5596313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S631 Written request for registration of reclamation of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313631

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250