Skip to content

README_userguide.md

Latest commit

 

History

History
269 lines (201 loc) · 13 KB

README_userguide.md

File metadata and controls

269 lines (201 loc) · 13 KB
Raw

FramePack-eichi 使用ガイド | English | 繁體中文 | Русский

このガイドでは、FramePack-eichiの無印版とF1版の使い方を詳しく説明します。それぞれに異なる特徴と用途があるため、目的に応じて最適なモデルを選択してください。基本情報や導入方法についてはREADMEを、設定の詳細については拡張ドキュメント、更新履歴は更新履歴も併せてご参照ください。

目次

FramePack-eichiとは

FramePack-eichiは、画像から動画を生成するAIツールです。これまでの一般的な画像生成AIにはない「動き」の表現を可能にします。静止画から短時間の動画を生成したり、複数のキーフレームに基づいてアニメーションを作成したりすることができます。

このツールには2つのバージョンがあります：

  1. 無印版 (Standard): キーフレーム制御に特化したモデル
  2. F1版 (F1): 順方向生成に特化したモデル

無印版とF1版の違い

機能 無印版 (Standard) F1版 (F1)
基本コンセプト キーフレーム制御による細かな動きの指定 順方向生成による自然で活発な動き
キーフレーム 複数のセクション画像を指定可能 最初の1枚のみを使用
最終フレーム 明示的に指定可能 自動生成のみ
Image影響度 1.0～100.0% 100.0～102.0%
適した用途 正確な動きをコントロールしたい場合 自然で予測不能な動きを生成したい場合
カスタマイズ性 高い（各セクションを詳細に制御） 低い（全体的な雰囲気を指定）
学習曲線 やや高い（複数のパラメータを理解する必要あり） 低い（シンプルな操作性）

無印版の使い方

1. 起動方法

無印版を使用するには、以下のいずれかのバッチファイルを実行します：

  • 日本語版: run_endframe_ichi.bat
  • 英語版: run_endframe_ichi_en.bat
  • 中国語版: run_endframe_ichi_zh-tw.bat

2. 基本的な使い方

  1. 動画モードの選択:

    • 右上の「動画モード」ドロップダウンから、希望する秒数のモードを選択します
    • モードによってセクション数が決まります（例：「4秒」は4セクション）

  2. キーフレーム画像の設定:

    • 「0」〜「セクション数-1」のタブを選択して各セクションの画像を設定
    • 「Image」ボタンをクリックして画像をアップロード（または「Clipboard」でクリップボードから貼り付け）
    • キーフレームとしての画像の役割を理解するためには赤/青の枠を確認（偶数/奇数セクションへのコピーを示す）

  3. 最終フレーム（オプション）:

    • 「Final」タブを選択
    • 「Image」ボタンをクリックして最終フレーム画像をアップロード（またはクリップボードから）

  4. プロンプトの設定:

    • セクションごとにプロンプトを設定可能（セクションタブの下のテキストボックス）
    • 「Base」タブでは全セクション共通のベースプロンプトを設定
    • 「ネガティブプロンプト」は不要な要素を除外するために使用

  5. 詳細設定:

    • 「EndFrame影響度」: 最終フレームの影響力を調整（0.01〜1.00）
    • 「キーフレームコピー」: 自動コピー機能のオン/オフ
    • 「Seed」: 乱数のシード値を設定（-1でランダム）

  6. LoRA設定（オプション）:

    • LoRAモデルを適用して表現を調整可能
    • 「path1:」以下に.safetensorsファイルのパスを入力
    • 「weight1:」に重みを設定（0.0〜1.0）

  7. 動画生成:

    • すべての設定が完了したら「Start」ボタンをクリック
    • 生成処理が完了すると出力フォルダに動画が保存され、自動的に再生されます

3. 高度な使い方

複数セクション情報の一括追加機能

  • zipファイルを使用して複数のセクション情報を一度に設定することができます
  • zipファイルの構造: 
    zipname.zip
├── anydir/ (フォルダは1階層のみ、または無しでも可)
│ ├── sections.yaml (必須)
│ ├── start.png (開始フレーム、任意。ファイル名はstart*で始まる必要があります)
│ ├── end.png (最終フレーム、任意。ファイル名はend*で始まる必要があります)
│ ├── 000.png (セクション0画像。3桁の数字で始まるファイル名が必要)
│ ├── 001.png (セクション1画像。3桁の数字で始まるファイル名が必要)
  • sections.yamlの形式: 
    section_info:
  - section: 0
    prompt: "キャラクターが手を伸ばす"
  - section: 1
    prompt: "キャラクターがこちらを向く"
  • アップロードするとセクション画像とプロンプトが自動的に設定されます

キーフレームコピー機能の活用

  • 「キーフレームコピー」がオンの場合、セクション0（赤枠）の画像は偶数番号のセクション（0, 2, 4...）に、セクション1（青枠）の画像は奇数番号のセクション（1, 3, 5...）にコピーされます
  • これにより、最小限の画像設定で効率的に動画を生成できます
  • 特に長い動画モード（10秒以上）で効果的

セクションごとのプロンプト設定

  • 各セクションのプロンプトはそのセクションの特性を決定します
  • ベースプロンプトと組み合わせて使用されるため、セクション固有の特徴だけを記述すれば十分です
  • 動きの変化を表現する言葉（「走る」→「跳ぶ」→「座る」など）を入れると効果的

EndFrame影響度の調整

  • 高い値（1.00に近い）: 最終フレームへの収束が強く、直線的な動きになる傾向
  • 低い値（0.01に近い）: 最終フレームへの収束が弱く、自由度の高い動きになる傾向
  • 動きの自然さを求める場合は0.1〜0.3程度が推奨

F1版の使い方

1. 起動方法

F1版を使用するには、以下のいずれかのバッチファイルを実行します：

  • 日本語版: run_endframe_ichi_f1.bat
  • 英語版: run_endframe_ichi_en_f1.bat
  • 中国語版: run_endframe_ichi_zh-tw_f1.bat

2. 基本的な使い方

  1. 動画モードの選択:

    • 右上の「動画モード」ドロップダウンから、希望する秒数のモードを選択
    • F1版ではセクション画像は最初の1枚のみ使用

  2. 初期画像の設定:

    • 「Image」ボタンをクリックして画像をアップロード（または「Clipboard」でクリップボードから貼り付け）
    • この画像が動画の最初のフレームとなり、以降は自動生成されます

  3. プロンプトの設定:

    • 「Base」タブでプロンプトを設定（F1版ではこのプロンプトのみ使用）
    • 「ネガティブプロンプト」は不要な要素を除外するために使用

  4. 詳細設定:

    • 「Image影響度」: 初期画像の影響力を調整（100.0～102.0%）
    • 「Seed」: 乱数のシード値を設定（-1でランダム）

  5. LoRA設定（オプション）:

    • LoRAモデルを適用して表現を調整可能
    • 「path1:」以下に.safetensorsファイルのパスを入力
    • 「weight1:」に重みを設定（0.0〜1.0）

  6. 動画生成:

    • すべての設定が完了したら「Start」ボタンをクリック
    • 生成処理が完了すると出力フォルダに動画が保存され、自動的に再生されます

3. F1版のコツ

Image影響度の適切な調整

  • 100.0%: 初期画像に非常に忠実な動画が生成されます。キャラクターや構図が大きく変化せず、最も安定します。
  • 100.5%: バランスの取れた設定で、ある程度の変化と安定性を兼ね備えています。
  • 101.0～102.0%: より大胆な動きや変化が生じますが、初期画像からかけ離れる可能性があります。

プロンプトでの動きの誘導

  • 動詞や動作を表す言葉を使うことで、特定の動きを誘導できます
    • 例: 「walking」「running」「jumping」「dancing」など
  • キャラクターの動きだけでなく、カメラワークも指定可能
    • 例: 「zoom in」「pan left」「closeup」など

F1版の特性を理解する

  • 新バージョンF1は「FramePack_F1_I2V_HY_20250503」で、順生成に特化したモデルです
  • 無印版のように細かい動きは指定できませんが、より自然で予測不能な動きが可能です
  • プロンプトで大まかな方向性を指定し、細部はAIに任せるイメージで使用するのが効果的

各設定項目の詳細説明

共通設定

プロンプト関連

  • プロンプト: 生成する動画の内容を指定するテキスト。使いたい要素や特徴を詳細に記述
  • ネガティブプロンプト: 避けたい要素を指定するテキスト。「low quality」「blurry」などを含めると質が向上

技術的な設定

  • Seed: 乱数のシード値。同じ値を使うと同じような結果が得られる。「-1」でランダム
  • FP8最適化: LoRA適用時のVRAM使用量削減するオプション。RTX40シリーズGPUでは特に効果的
  • スケール処理: 動画の解像度調整方法を指定
  • 出力フォルダ: 生成ファイルの保存先
  • MP4品質: 動画の圧縮率を設定（0-100、低いほど高品質、高いほど軽量）

LoRA設定

  • LoRA Path: 使用するLoRAモデルのファイルパス
  • LoRA Weight: 各LoRAモデルの影響度（0.0～1.0）

無印版固有の設定

  • キーフレームコピー: オンにすると特定のパターンで画像を自動コピー
  • EndFrame影響度: 最終フレームの影響力を調整（0.01～1.00）
  • セクションタブ (0, 1, 2...): 各キーフレームの設定画面
  • Finalタブ: 最終フレームの設定画面

F1版固有の設定

  • Image影響度: 初期画像の影響力（100.0～102.0%）
    • 100.0%: 初期画像に非常に忠実
    • 100.5%: バランスの取れた変化
    • 101.0～102.0%: より大胆な変化と動き

トラブルシューティング

共通の問題

黒い画面が生成される

  • 原因: GPU VRAMの不足、バッチサイズやプロセスの競合
  • 解決策:
    • 他のGPUプロセスを終了させる
    • FP8最適化をオンにする
    • MP4品質の値を16程度に設定する
    • より小さな動画モード（1秒、2秒など）を使用する

エラー: CUDA out of memory

  • 原因: GPUのVRAM不足
  • 解決策:
    • FP8最適化をオンにする
    • 小さな動画モードを使用する
    • 他のGPUプロセスを終了させる
    • 解像度の小さな画像を使用する

プロンプトが適切に反映されない

  • 原因: プロンプトの優先度や表現が不明確
  • 解決策:
    • 重要な要素を前に配置する
    • 括弧や強調構文を使用する（例: (important element)）
    • より具体的な単語を使用する
    • 無印版の場合、セクションごとのプロンプトとベースプロンプトの組み合わせを確認

無印版特有の問題

セクション間の変化が不自然

  • 原因: キーフレーム間のギャップが大きすぎる
  • 解決策:
    • より似た特徴を持つキーフレーム画像を使用する
    • 変化を段階的に分割して複数のセクションで表現する
    • EndFrame影響度を調整する

キーフレームが無視される

  • 原因: Image影響度が低すぎる
  • 解決策:
    • Image影響度を上げる（50%以上を推奨）
    • プロンプトでキーフレームの特徴を強調する

F1版特有の問題

初期画像から大きく逸脱する

  • 原因: Image影響度が高すぎる
  • 解決策:
    • Image影響度を下げる（100.0～100.5%を推奨）
    • プロンプトでより具体的に描写する

動きが少ない/単調

  • 原因: プロンプトに動きを示す表現が不足
  • 解決策:
    • 動詞や動作を表す言葉を追加する
    • Image影響度を上げる（101.0～102.0%）
    • 長い動画モードを選択する