動画における動き補償フレーム間予測｜仕組みと詳細レビュー

動画の容量を小さく抑えるためによく使われるのが、過去のフレームのデータを活用して未来のフレーム間を予測する「動き補償」という手法です。この方法では、フレームを一定サイズのブロックに分割するだけでなく、特になめらかなグラデーション部分で、市松模様のようなパターンが現れることがあります。動画の品質に悪影響を与えないようにするために、この現象や関連する用語については記事内で詳しく解説しています。

パート1：動き補償とフレーム間予測の理解

ここでは、動き予測と動き補償とフレーム間予測について、関連する用語とあわせて詳しく見ていきましょう。

時間的冗長性

動画における時間的冗長性とは、連続するシーン同士で似たような視覚情報が含まれている状態を指します。これを取り除くことで、大量の不要なデータを削減し、効率的に動画を圧縮でき、再生や読み込みもスムーズになります。

参照フレーム

動画圧縮では、参照フレームがそれぞれ次のような役割を持っています。

I-フレーム: 完全なキーフレームで、動き補償の基準となります。
P-フレーム: 前のフレームを参照してフレーム間予測を行い、次の動きを予測します。
B-フレーム: 前後のIフレームやPフレームから変化を予測し、最も高い圧縮率を実現します。

ブロックベースの動き補償とフレーム間予測

この動き補償のVR技術では、動画のフレームを小さな固定サイズのマクロスクエアに分割します。さらに、エンコーダーは参照フレーム内に「サーチウィンドウ」を設定し、その中から似たブロックを探します。たとえば、フルサーチではサーチウィンドウ内のすべてのブロックをチェックしますが、ダイヤモンドサーチでは菱形のパターン、ヘキサゴンサーチでは六角形のパターンで検索ポイントを配置します。

補償の種類

前向き予測と後向き予測: 前向き予測では、直前の参照フレームをもとにブロックを予測します。後向き予測では、後に続くブロックを参照して予測します。
双方向動き補償: 双方向動き補償では、前後両方の参照フレームの情報を使ってブロックを予測します。

パート2：動き補償とフレーム間予測の新しい活用分野

フレーム間予測を活用した動き補償は、従来の動画圧縮だけでなく、AIやゲーム配信、医用画像など新しい分野でも活躍しています。

1. AIによる高精度動画圧縮

AIアルゴリズムにより、動き補償とフレーム間予測の精度が向上し、圧縮効率と画質を両立できます。

2. ゲーム配信とクラウドゲーミング

高効率な動き補償により、配信される動画フレームを素早く圧縮でき、遅延を最小限に抑えながら滑らかなゲームプレイを提供できます。

3. 拡張現実（AR）／仮想現実（VR）

ユーザーの頭の動きを正確に予測することで、映像の安定性を保ち、仮想空間内での一貫した体験を実現し、酔いを軽減できます。

4. 医用画像

医用画像では、超音波などのスキャン時に患者の動きを補正し、映像データを安定させることで画像の鮮明さを向上させます。

パート3：動き補償とフレーム間予測のメリットとデメリット

新しい分野での活用例を見てきたところで、ここでは動き補償を取り入れることによるメリットとデメリットを紹介します。

メリット

動き補償動き補償とフレーム間予測を導入すると、次のような利点があります。

フレーム間の不要な情報を取り除くことで、動画ファイルのサイズを大幅に削減できます。
ネットワーク経由での動画配信や転送がスムーズになり、速度も向上します。
動きを予測して補償することで、自然で見やすい映像体験を実現します。

デメリット

あらゆる技術と同様に、動き補償にも次のようなデメリットがあります。

特に高度なアルゴリズムでは、エンコードやデコードの処理に電力や計算リソースが必要になります。
フレーム間予測が不完全だと、ぼやけやブロックノイズが発生する可能性があります。
ライブ配信のような用途では、フレームを解析・予測する過程で遅延が発生することがあります。

パート4：動き補償を活用した最新の実装例

ここでは、VRにおける動き補償の最新実装例とその活用事例を紹介します。

動画コーデックでの活用

まずは、動画コーデックにおける役割を見ていきましょう。

1. H.264/AVC: フレーム内の異なる領域の動きを正確に捉えるため、可変ブロックサイズ（16x16から4x4まで）を使用します。例えば、小さな鳥が飛んでいるシーンでは、小さめのブロックとサブピクセル精度を使って羽ばたきを滑らかに表現します。

2. H.265/HEVC:高度な動きベクトル予測やマージ／スキップモードといった技術を導入し、周囲のブロックから情報を推測します。例えば、大きな静止背景を参照ブロックとスキップまたはマージすることで、帯域を節約できます。

3. AV1 および VVC: マルチリファレンス予測やオーバーラップブロック動き補償（OBMC）など、高度な機能を使用し、予測ブロック間の境界をなめらかにします。

ハードウェアアクセラレーション

VRにおける動き補償では、専用ハードウェアが動き予測や動き補償の負荷の高い計算をCPUから肩代わりします。例えば、4KのNetflix映画をストリーミングするとき、グラフィックカードのNVDEC（NVIDIA）やQuick Sync（Intel）が動き補償機能を活用しながら、動画のデコード処理を担います。

パート5：HitPaw VikPeaで動き補償・フレーム間予測によるアーティファクトを修正

動き補償やフレーム間予測を用いた動画では、一時停止やスロー再生時にブロックノイズや残像が発生することがあります。HitPaw VikPeaを使えば、手ブレ補正モデルや修復モデルにより、これらのアーティファクトを自動で補正できます。HitPaw VikPea（旧HitPaw Video Enhancer）の手ブレ補正モデルは、こうした揺れやアーティファクトを自動で補正し、滑らかで安定した映像を作り出します。

主な機能

1. 手ブレ補正モデルは、気になる映像の揺れや動きによるアーティファクトを取り除き、より滑らかで安定した映像に仕上げます。

2. デノイズモデルを使えば、圧縮された動画内のあらゆるノイズを除去し、なめらかな映像を出力できます。

3. ビデオクオリティ修復モデルは、圧縮動画内のあらゆる欠点を補正し、復元された映像として出力します。

4. フェイスモデルを使うと、圧縮動画内の顔のディテールを重点的に強化し、登場人物の表情や特徴を際立たせます。

5. カラーライズモデルを使えば、映像本来の色味を取り戻し、鮮明な映像に仕上げます。