Independent Lab for AI Music & Visual Expressionhatosoundlab.com

HSL-P02

mojibeat

歌詞から文字PV(リリックビデオ)を自動で構成するブラウザツール。

概要

mojibeat は、歌詞をカットに分け、各カットに10分類の表現部品を組み合わせて、文字PVを自動構成するツールです。852wa/JIZURA(MIT License)をもとにしたフォークで、元の著作権表示とライセンスを維持したまま、独自の表現部品を追加しています。

mojibeat.hatosoundlab.com を開く ↗

基本情報

種類
制作ツール
状態
公開中
URL
mojibeat.hatosoundlab.com
技術構成
ブラウザ版は依存なしの単一HTML。Python のビルドスクリプトで生成し、After Effects 用のパネル(CEP)と JSON 書き出しにも対応。
入力
歌詞(カット分割)
出力
MP4 / PNG / After Effects 用 JSON
表現部品
layout / enter / hold / exit / decor / treatment / background / camera / fx / transition の10分類
描画
Canvas2D による決定的な描画(同じ入力から同じ映像)
由来
852wa/JIZURA(MIT License)のフォーク

研究上の問い

  • 歌詞の構造から、読みやすく、曲に合う文字の動きを、どこまで自動で決められるか。
  • 乱数を使わない決定的な描画は、制作の再現性とレビューをどう変えるか。
  • 上流のプロジェクトに追従できる形で、独自の表現を足すには、どう設計するか。

関連する研究ノート

研究領域

  • HSL-R02

    文字と映像の表現

    歌詞を、読める文字の動きとして、映像にする方法を調べる研究領域です。