HSL-R02
文字と映像の表現
歌詞を、読める文字の動きとして、映像にする方法を調べる研究領域です。
概要
文字PV（リリックビデオ）は、歌詞を画面に並べるだけでは、曲の雰囲気が伝わりません。文字の出方、止まり方、消え方、背景、カメラ、色のずれといった要素を組み合わせて、はじめて曲に合った表現になります。
この領域では、その組み合わせを、部品に分けて扱います。mojibeat は、10分類の部品を、カットごとに選んで組み合わせる仕組みです。動画生成AIによる映像づくりでも、登場人物や舞台の設定を先に固定する考え方を取り入れています。
方法
- 歌詞をカットに分け、カットごとに部品を1つずつ選ぶ。
- 乱数を使わず、同じ入力から同じ映像を描く（決定的な描画）。
- 横長と縦長の両方で成立するように、画面の大きさを基準に配置する。
- 動画生成AIでは、人物・衣装・舞台の設定を、撮る前に決める。
関連プロジェクト
HSL-P02 · 制作ツール
mojibeat
歌詞から文字PV（リリックビデオ）を自動で構成するブラウザツール。
mojibeat.hatosoundlab.com