ゲーム開発昔話０２_ＰＡＬってなんだ？ ［テレビと動画とフレームレートの話］

ゲーム開発昔話０２_ＰＡＬってなんだ？

［テレビと動画とフレームレートの話］

（この物語はフィクションであり、実在の人物・団体・事件とは一切関係ありません）

目次

◆フレームレートとは何か？

◆生物の目と残像効果

◆残像効果とフレームレートの関係

◆テレビ以前、映画のフレームレートはどうやって決まったのか？

これは、あるアクションゲームを欧州向けローカライズをしていた時の話なんだけど…

Ｏ「例のローカライズの件どう？」

Ｋ「順調ですよ、翻訳データも特に不足は無いですし

  ただ、ＰＡＬ対応はちょっと厄介ですが。」

Ｏ「ＰＡＬってテレビ規格の事？欧州の規格は日本と違うからね。」

Ｋ「ＰＡＬはこちらのＮＴＳＣよりフレームレートが低いんです、

  ＮＴＳＣは３０fps ですが ＰＡＬは２５fsp なので

  そのままだとオリジナルよりゲームスピードが遅くなってしまうんですよ。」

Ｋ「しかたがないので５フレームに１回、ゲーム内の更新処理を

  ２回実行する様にしたんです。

  でもそれだとたまに画面がカクつく事があるんですよね…」

Ｏ「まぁテレビの問題だし、しょうがないね…」

Ｋ「そうですね…」

という事があったんだよね。

当時のゲーム機はアナログテレビ前提で作られており、フレームレートもテレビの

垂直同期を基準にした固定フレームレートでの作りが普通だったのでテレビの放送規格が

違う地域への移植は結構悩ましい問題だった。

という事で、今回はテレビや映画などの映像のフレームレートについての

話をしようかと思う。

◆フレームレートとは何か？

フレームレートとは画面が１秒間に何回 更新されるかを表す指標

ＦＰＳ（Ｆrames Ｐer Ｓecond）とも呼ばれており、ゲームをしている人には

馴染みの言葉だろう。[1]

フレームレートが高ければより画面の動きがより滑らかに感じると言われている。

滑らかにとは言いつつ、実際はゲームや動画にて表示されている１フレーム毎の

画像はただの静止画だ。

ではなぜ、連続した静止画が動いている様に見えるのか、フレームレートの高低で

滑らかとかぎこちないと感じるのか？

これを説明する前に生物が持つ、視覚の仕組みの概要をおさらいしてみよう。

◆生物の目と残像効果

前述した通り、映画やテレビなど、私たちが見ている “動画” は実際には動いていない

静止画を短時間に連続して見せられていることとで間断なく動いていると私たちは

“錯覚” している。

この “錯覚” は残像効果とよばれており、生物の視覚細胞の仕組みが

大きくかかわっている。

では残像効果とは何か、これは人間を含む脊椎動物類の視覚の仕組みから

生じているので、まずは私たち人間の眼球の作りを図示しておさらいしてみよう。

眼球の構造（図Ａ）        

水晶体がレンズ、網膜がＣＭＯＳ／ＣＣＤイメージセンサーだと考えれば分かりやすい

網膜と視細胞の構造（図Ｂ）

外節：光受容蛋白質が含まれており、化学反応により光に反応する

内節 : 外節と細胞体を繋げる役割を担う

細胞体：細胞核が存在する細胞の本体

神経終末：信号を出力するシナプスが存在し外部への接続を行う

[2] 視細胞

[3] 色覚の分子的基礎

私たちは外部の光景を

・外界の光景を眼球の水晶体・硝子体が網膜に写し込む

・網膜に敷き詰められた視細胞に含まれる光受容蛋白質が光刺激と反応する

・光刺激を視細胞がシナプスを通し信号として脳に伝達する

・伝達された信号を脳が処理してイメージを作成する

という手順で認識している。

その過程で行われる化学的反応とその処理過程はある程度の持続時間を持ち

その持続時間は光刺激そのものの持続時間よりずっと長い事が知られており

１ms の光刺激を目が受け取った提示された場合その影響は 最大１００ms も続くと

言われている。

これが残像効果の正体だ、簡単に言うならば チラッと見えた画像が暫く脳内に残っている

という事だと思って貰えれば良い。

（逆に言えば我々は数ミリ秒 視覚を失ってもそれを気付けないだろう）

◆残像効果とフレームレートの関係

さて、生物は残像効果により視覚を一定の持続時間脳内に保持している訳だが、

例えば我々が絵を見たとき、上記の残像効果の持続時間内に見ている絵をすり替えて

しまったらどうなるだろう、（図C）のように〇の絵と×の絵を残像効果の残っている間に

高速ですり替えたなら〇と×の絵が混在して認識されるはずだし、持続時間を越えた

間隔での入れ替えなら別々の絵として認識されるだろう。

[4] 運動差図形の視覚的持続

[5] サッカード残像の視覚的持続時間の研究

つまり動画として認識可能なフレームレートの下限と言うのは生物の視覚が持つ

残像効果の持続時間が規定するとも考えて差し支えないと思う。

残像効果の持続時間については今まで色々な研究者がどのような生理学的・心理的な

影響があるか様々な実験・研究が行われてきたが、動画を滑らかに見せるという

点から考えれば、前述の影響時間の１００ms程度 と言うのは長すぎだろう。

残像は時間経過により減衰してゆくので、切り替えの違和感を感じさせないためには

残像効果が強い状態で残っている ３０～５０ms 以下の時間で画像を切り替える事が

望ましい。

実際、一般的な動画の更新間隔

  伝統的な映画のフレームレート：２４fps （４０ｍｓ）

  一般的なテレビ放送のフレームレート：３０fps （３３ｍｓ）

とほぼ一致しており、これらの動画のフレームレートは人間工学に沿った

値が採用されていることが分かる。

◆テレビ以前、映画のフレームレートはどうやって決まったのか？

テレビジョンの登場以前、一般の人たちが動画に触れるような機会は少なく

人々が動画を日常的に鑑賞するようになったのは映画の興業が始まり映画作成が

商業として成立する様になったころからだろう。

そのような初期段階の映画は毎妙１６コマ再生のフォーマットからはじまっている。

この初期の映画の毎秒１６コマ動画の１フレーム毎の間隔は ６３ms 、これではさすがに

動画を見ている人は映像にぎこちなさを感じていただろう。

当時の映画技術者もこれには不満を持っていたらしく１フレーム内で２～３の

点滅を入れるという工夫をし、カクつきを緩和したという。

（おそらく点滅のタイミングで動画を見ている人間の視覚がリセットされて

 残像効果が強化されるという事を経験的に理解していたんだろう）

初期の段階で１６フレームから始まった映画のフレームレートだが、

現在は２４フレームが一般的になっている。

この切り替わりはどうも映画がサイレントからトーキーになった時代に

画像と音声を同じフイルムに収録した場合、１６フレーム再生では音声再生に

問題が出てきた時に決められたらしい。

トーキー映画のフィルムの端には音声データ記録用の場所（トラック）があり

音声波形を画像として音声データを持たせていた（これがいわゆるサンドトラックの語源）

これが毎秒１６フレームのサンプリングだと音声の品質が不十分だったため

音声のクオリティを上げるためフレーム数を２４フレームに増やされる事に

なったと言われている。

（いっその事、倍の３２フレームにすればと思うがコストの問題かフィルムロールの長さの問題か、１．５倍の２４フレームに決まったらしい）

[6] 映画のフィルムはなぜ, 24コマなの？

というわけで、テレビ規格（ＰＡＬやＮＴＳＣ）の話に入る前に

動画はなぜ動いている様に見えるかみたいな話をしてきたがとりあえず今回はこれまで。

次回は、テレビ放送規格の成立についての話をダラダラ続けて行こうと思う。