その後、人の顔には表情（にやにやすること、しかめること、笑顔など）を制御する筋肉が43個あると知りました。
それを3DのDCCツールで再現するのがどれだけ大変か想像してみてください！
そこまで本格的にやらなくても、アニメーターはさまざまな手法で「話しているように見える」錯覚を作り出します。 このプロセスはリップシンクと呼ばれます。 🎙️✨
この記事では、リップシンクの仕組みと、アニメーションにおける物語作りへの効果を解説します。ぜひ制作のヒントにして、あなたの描画をより良くしてみてください！ 🎨📚
リップシンクとは？
リップシンクとは、アニメーションキャラクターの口の動きを、話し声や音声のセリフに合わせることです。
単語を口にするときは、顔の中で起きていることが口の動きだけではないため、リップシンクではキャラクターの目、頬、歯、顎など、ほかの要素の表情面も考慮します。
複雑な作業ですが、いくつもの理由から、魅力的なアニメーションを作るために欠かせません。
なぜリップシンクが必要？
セリフは物語の中心です。
キャラクターの口の動きをセリフと同期させることで、彼らは より生き生きと感じられる ようになります。
話している間、キャラクターが口をどう動かすのか――笑っているのか、大声で叫んでいるのか、ささやいているのか、皮肉っぽいのか――それらは、テキストだけでは伝えきれない微妙なセリフのニュアンスを通して、性格・気分・意図を伝えます。
口パクを音声にうまく合わせることに時間をかけているスタジオは、細部へのこだわりがうかがえます。たとえば、Avatarのような超リアル志向の3Dアニメ映画では、リップシンクに予算のより大きな割合を割くことを期待するでしょう。
しかし、South Parkのような番組においても、基本的なリップシンクは違和感なく見えるはずです。
リアリティのレベルに合っていないと、リップの同期が悪い動きは注意をそらし、視聴者を没入体験から引き離してしまいます。そのため、リップシンクに気を配るアニメーターにはプロセスとベストプラクティスがあります。
1. セリフの準備
まず最初に必要なのは、 セリフを正しくすること です。アニメーションを通じてキャラクターが表現するすべての単語、トーン、抑揚は事前に合意しておく必要があります。
その後、ボイスアクターがセリフを録音し、キャラクターに命を吹き込む感情のニュアンスを追加します。たとえば、キャラクターの喜びは、より高いピッチのトーン、はっきりした発音、テンポといった形で反映されます。録音セッションでは複数テイクや言い回しのバリエーションが可能になり、最適なものを選べます。
録音されたセリフは、品質とタイミングのために編集されます。音声エンジニアは、気をそらしたり聞き取り体験を乱したりし得る不要なノイズ、気まずい間、矛盾などを取り除きます。その結果、リップシンクのプロセス中にアニメーターが参照するための、クリアな音声トラックが完成します。
2. タイミングと分析
最初のステップは、 音声トラックを「音素（phonemes）」という個々の音に分解すること です。
音素は、発話における最小単位の音で、たとえば母音や子音の「A」「B」「S」のようなものが該当します。各音素は特定の口の形に対応します。
アニメーターは アニメーション用の正確なタイムラインを作成し、各音が発生するオーディオ上の要点を示します。多くの場合、視覚的な切り替えを音声に正確に同期できるよう、フレームごとに行います。
それぞれの音素に何フレーム割り当てるかを決めることは重要です。たとえば、長く伸ばす母音は、素早い子音よりも多くのフレームを必要とするかもしれず、アニメーションのリズムが発話のリズムと一致するように調整します。
アニメーション作業を容易にするため、アニメーターは 音素チャートを作成します。これは音素と、それに対応する口の形――「ヴィゼム（visemes）」として知られる――の関係を示すものです。
ヴィゼムは音素の視覚的な同等物で、さまざまな音に必要な口の位置の違いを示します。目指すリアリティのレベルによっては、すべての音素を描く必要はありません。いくつかの音は、似た口の動きになります。
この音素チャートは、アニメーション全体を通して口の動きを一貫させるための貴重なガイドになります。
さらに、 セリフ分析が音素とヴィゼムの技術的な分解を補完します。アニメーターは、発話の自然な間合いや感情の届け方――抑揚、ポーズ、イントネーション――を検討し、リップシンクを強化します。
多くのアニメ作品では 複数言語のサウンドトラックを用意します。柔軟または標準化された口の動きを通じて、質の高いリップシンクを行っておくことは、この作業を大幅に楽にします。
3. 初期の口の形
アニメーターはまず、キャラクターの発話の枠組みの中で、口の動きの基本的な輪郭をスケッチします。ポイントは 重要なキーフレームを定義すること――つまり、口が重要な音声（音素）的な要素に対応する位置をとる、アニメーションタイムライン上の要点です。
たとえばキャラクターが「cat」という単語を言う場合、アニメーターは「k」「a」「t」の各音に対応する口の形を特定し、それらの音の間の遷移作業に取りかかる前に整理します。
キーポーズはキャラクターの表情や感情状態と結びついているため、興奮しているキャラクターなら、より誇張された口の形になるはずです。
タイミングは極めて重要です。アニメーターは行ったり来たりしながら、話し言葉の音声に対応する正確な瞬間に、キャラクターの口を開けたり閉じたりします。素早く、熱を込めて話すキャラクターは、その話し方に合わせて口の動きも速くなります。
4. インビトゥーニング
アニメーターは キーフレームをつなぐ中間フレームを導入します。このインビトゥーニング技法によって、主要な表情同士の移行がなめらかになり、唇の動きがカクカクせず、より生き生きと見えるようになります。
最近では、こうしたフレームを生成するために デジタル補間を使うことがより一般的です。アルゴリズムが、ある状態から別の状態へ口の変形を担当します。補間については 専用記事で詳しく学べます。
リップシンクは単独で発生するものではありません。キャラクターの表現の全レンジと結びついています。 顔とボディのアニメーションをリップの動きと統合し、話されたセリフと同期させ、キャラクターの表情、頭の動き、ボディランゲージと調和させます。話している最中にキャラクターが喜びを表しているなら、リップシンクもその感情を反映する必要があります――たとえば笑顔やリラックスした姿勢です。
5. 編集
リップの動きと話し言葉の間に、わずかな遅れやズレがあっても、錯覚は壊れてしまいます。そこで アニメーターはフレームを調整し、動きの速度を微調整します。
ヴィゼムを調整して より微妙な音素を統合することで、アニメーションの品質をさらに高められます。予算に余裕があれば、音の明瞭さを強調し、顎の動きを洗練させて、より信じられる発話パターンを作ることにも意味があります。
アニメーションは 反復を重ねるクリエイティブなプロセスなので、毎日フィードバックを共有したり、リテイクを行ったりすることも珍しくありません。
6. レンダリング
レンダリングは、リップシンク、キャラクターの動き、背景要素、特殊効果などを取り入れた最終的なアニメーションフレームを生成します。
この工程は、シーンの複雑さや、求められる出力の品質によって、リソースを大きく消費します。高品質なレンダリングは作るのに時間がかかりますが、アニメーションの見栄えが向上します。
そのため、制作スケジュールのボトルネックを避けつつ、必要に応じて高解像度の出力ができるように、レンダリング時間を適切に割り当てる必要があります。
待ち時間を最小限に抑えるために、アニメーションスタジオは、先進的なアニメーションパイプラインを使って制作物のアセットを管理し、レンダーファーム――アニメーションを効率よくレンダリングするために用いる強力なコンピューターの集まり――に頼っています。
7. 音声とアニメーションの統合
最終的な音声の同期では、制作中に起きた可能性のあるタイミングの直前の変更を考慮しつつ、アニメーションを最終音声トラックに再配置します。
コンポジット（合成）フェーズでは、リップシンクが特殊効果、ライティング、その他のアニメーション要素と調和して成立する一体感のあるシーン作りに、アニメーターが注力します。
オーディオスクラブは、音素の位置合わせを正確に行うための最も効果的な手法の一つです。音声エンジニアが音声ファイルをフレームごとに再生し、リップの動きがセリフにどれほど一致しているかを確認します。各音素を丁寧に分析し、対応する口の形と照合することで、アニメーターはリップシンクの不一致を見つけ出せます。
8. QAと最終納品
品質保証（QA）の期間中は、アニメーターがフレームごとに入念に確認し、さまざまなカットでリップシンクが一貫していることを検証します。
QAプロセスが完了すると、プロジェクトは最終納品フェーズに進みます。入念に同期されたリップの動きを含むシーン全体が、最高品質でレンダリングされます。この最終レンダリングは、意図したリリース形式に合わせてアニメーションを仕上げる機会でもあります。テレビ、映画、デジタルプラットフォームなど。さまざまなリリース言語向けのリップシンクも、ここで行われることがあります。
また、画面サイズや設定など、さまざまな視聴条件下でアニメーションを最終レビューするのも賢明です。どのような状況でもリップシンクが自然に見えることを確認します。
まとめ
リップシンクは、キャラクターに命を吹き込むための鍵です。 セリフの準備と音素分析から、QAでの最後の仕上げまで、アニメーターはすべての口の動きが発話に正確に一致するように調整し、観客がキャラクターや物語に深くつながれるようにします。
