Pekoeが切り拓く字幕配信の未来——リアルイベントの最前線に密着
2025年2月7日、2024年度TRIBUS最終日となるInvestors Dayの会場の一角で、じっとモニターの字幕を見守るチームがいた。2020年度TRIBUSで採択された「Pekoe」だ。2021年からイベントでの利用を開始し、2024年度からは統合ピッチやInvestors Dayで、会場およびオンラインで聴覚障害者向けの字幕を配信している。会場ではどんな作業が行われているのか、配信にはどんな意味があるのか。当日の模様とともに、Pekoeの活動をお伝えしたい。
木村純
株式会社リコー 未来デザインセンター TRIBUS推進室 エキスパート
中島章敬
株式会社リコー 未来デザインセンター TRIBUS推進室
リアルタイム字幕配信の裏側
朝9時に会場に入ると、Pekoeチームはすでにデスクを陣取り、開会を今や遅しと待ち構えていた。
「8時に会場入りしてPCを設置し、モニターの調整をしていました。TRIBUSでのPekoeの配信は、すでに何回か行っているので、特にトラブルもなく、準備は万端ですね」
そう話したのは、リコー社員でPekoeのメンバーである木村と中島だ。Investors Dayの様子は2チャンネルで配信されている。メインチャンネルでは動画と音声のみを配信し、サブチャンネルではPekoeの字幕付き配信を行う。木村と中島は、当日のPekoeの運用と配信を担当していた。
「社内全体の視聴者は約1,000人。そのうち、聴覚障害の当事者が30人ほど、聴者でも字幕付きで視聴したいという人が100人ほどいます」（木村）
会場にはスクリーンが3面設置されており、そのうち両端の2面にPekoeの字幕配信が投影されていた。オンライン配信にはTeamsを利用し、左側には会場の映像を、右側にはPekoeの字幕をスクロール表示している。
会場の様子。両サイドのスクリーンでPekoeを配信している
Teamsを利用したオンライン配信画面
Pekoeチームは4台のPCで作業していた。
4台の構成を聞くと、
・PC①はZOOMの配信を受け、Pekoeアプリで文字化
・PC②は、Pekoeがブラウザに出力した文字内容を、ZOOMの映像と組み合わせてTeamsに配信
・PC③④は、リアルタイムで文字修正を行うという役割になっているとのこと。
配信が始まると、システムの作業はほとんどなくなり、木村と中島の主な仕事は、配信状況を見守りと字幕の文字修正となる。
イベントでの繰り返しの経験により、セッティングのコツを掴んできたという。音響設備の整った会場では比較的簡単にセットできるが、小規模なイベントでは機材がバラバラで調整が難しくなることも多いそうだ。「今は、どんな現場でもセッティングできる自信があります」と2人は語る。
瞬時の判断が求められる字幕修正。正確に伝えるための試行錯誤
Investors Dayのピッチが始まると、2人は音声と字幕の齟齬をチェックし、適宜修正作業に没頭する。
音声認識のエンジンには特有のクセがあり、高音域の誤認識が発生しやすい。話者の声の調子や関西弁なども認識ミスの要因になるとのこと。ピッチを聞きながら文字をチェックし、間違いがあれば即座に修正する作業が続く。
そんな修正作業の消費カロリーは非常に高そうだ。
「そうなんですよ。今回は2人だけなので、あきらめるところはあきらめるのもポイントですね」と木村は話す。
見ていると、話者によって修正頻度が大きく異なる。ある話者のときは盛んに修正しているし、違う話者のときは、ほとんど修正しなかったり。修正が多すぎて対応しきれない場面もあった。
このリアルタイム修正はPekoeの大きな特徴でもある。Pekoeは、多くの企業がしのぎを削り合う音声文字化サービスの中で、
・PCで使いやすいクラウドサービス
・ブラウザ上で複数ユーザーが共有可能
・リアルタイムで複数ユーザーが修正可能
という点で、他サービスとは一線を画している。
修正作業は2人で分担せず、「気付いたほうが修正する」スタイルを採用している。修正箇所はアンダーラインで示し、視覚的に確認しやすくしている。
「聴者はあまり気にしませんが、聴覚障害者は、文字の間違いに敏感。『さっきおかしいなと思った言葉は、結局どうなったのか』がすぐ分かるように、アンダーラインで示すようにしています」（木村）
一方で、オンライン会議では重宝されている話者識別の機能は、この日はカットされていた。
「話者識別も完全ではないので、どうしても修正が必要になるのですが、2人ではちょっと手が回りません。混同してしまった場合、セリフを分けたりするような作業が必要で、それを自動で分けられるようにするのは、これからの技術的課題です」（中島）
聴者にとっては、話者が誰かという情報はちょっと“うるさい”ように見えることもあるようで、そこのバランスをどう取るかも今後の課題になりそうだ。
文字化の精度を高めるために、事前に辞書を鍛えておくことも重要だ。今回のInvestors Dayのために、事前に新たに登録した単語は200程度。「これは全然少ない方」と中島は話す。事前に資料から固有名詞やキーワードを抽出して登録しているが、「このキーワード抽出をAIで自動化できればもっと楽になる」（木村）といい、その機能開発にも取り組んでいるようだ。
Pekoeはなぜイベントで活用されるのか――その目的と得られた手応え
PekoeをTRIBUSのイベントで活用する目的は2つある。
「1つ目は認知度を高めること。Pekoeというサービスの存在や、どのようなサービスであるかを、まず知ってもらわなければ、使ってもらう機会も生まれません。2つ目は、イベントで使うノウハウを蓄積すること。自分たちで使わなければ経験値になりませんし、そのためには、一番やりやすい社内イベントから始めてみようと思いました。とはいえ、実際に本格的に始めたのは2024年からです」（木村）
Pekoeの立ち上げ当初は、イベントでの利用は想定していなかったが、情報保障のニーズの高まりを見越して導入を開始。ラグビーのリコーブラックラムズの試合や社内SDGsイベントなどでも字幕提供を行っている。
「最初は、システムの構成や音声の入力方法など、いちから手探りの状態でした。オンラインからの音声が会場で聞こえる音声よりも遅れて入ると文字修正がしにくいといった問題もありました。また、アプリをそのまま表示すると修正の過程が見えてしまい、見た目が良くないことも、実際に運用してみて分かったことですね。音響のプロがいる現場ではシステムを組みやすいですが、いないと難しい。そのような課題も、回数を重ねることでパターンが見え、対応しやすくなってきました」（中島）
「クライアントによっては、一切の間違いが許されないこともあります。さまざまなケースで経験を積み、サービスをブラッシュアップする必要がありました」（木村）
また、今後イベント分野で特に可能性があるのは、株主総会などの会議体だという。
「しっかりした企業ほど、株主総会などでの情報保障に厳しい姿勢を取っています。ヒアリングを行うと、あるといいね、という意見は出るのですが、いざお金を払ってまで導入するかというと、まだそこまでは至っていないのが現状。間違いが一切許されないという場合は、修正コストもかさむことになるので、価格面での難しさもあります」（木村）
認知拡大・周知の面での手応えについては、「TRIBUSでPekoeの字幕配信を見た方から、『あれを使ってみたい』、『客先に紹介したい』という反応をもらうことができました。社内のSDGsイベントで使いたいとのお声がけもいただいて、実際に使ってもらった実績もあります」（木村）
一定の反応はあったものの、手応えは「まだ十分ではない」とのこと。聴覚障害の当事者には重宝されているが、聴者は字幕の存在をあまり意識していないことも多いようだ。今後も引き続き、周知に向けた取り組みが必要だろう。
TRIBUS事務局が語るPekoeの実力と期待
TRIBUS事務局は、イベント時のPekoeの活用についてどう考えているのか。TRIBUS事務局の森久は次のように語る。
「せっかくTRIBUSから優れたサービスやプロダクトが生まれているのだから、活用しない手はないですよね。まず事務局が率先して使うべきだと考え、Pekoeを導入しました。イベントで実際に使うことで新たな課題が見え、ブラッシュアップにつながるという期待もあります。」
導入してみた感想については、「実際に使ってみて、完成度の高さに驚いています。変換の精度が高いですよね。間違いがあってもリアルタイム修正できるのも良いと思います。社内の聴覚障害者の方々からも、特に精度の高さが評価されています。」と話す。
「オンライン配信では、聴覚障害者だけでなく聴者の方も利用していると聞いています。文字で表示されることで、ピッチの内容がより理解しやすいという評価もあります。何度か活用しているうちに、『毎回配信してほしい』という声も上がっていて、Pekoeが社内から必要とされていることを実感しています」
TRIBUS卒業、次なるステージへ――ビジネスユニットでの挑戦
この日、ピッチ後の結果発表と講評のパートでは、スピーチが入り交じる場面もあり、修正にも手がかかったようだが、Pekoeとしては、大きな問題もなく1日を終えることができたようだ。
「今日は疲れましたね。イベントでの経験を積むたびに、求められる字幕の精度が上がっているように感じます。ミーティングで使う場合とは異なり、イベントでは高い精度が要求されます。これは株主総会などでも同様なので、今後も経験を積んで、アプリの改善を進めていきたいと思います」（木村）
さらに、改善点もいくつか見つかったという。
「例えば、修正のときに改行するとセリフが自動で分かれるような機能があると、修正が楽になります。現在、単語登録は事前に行うだけですが、イベント中に学習させる機能や、一括修正機能があると便利だなと思いました。また、今日は途中で一回ネットワークが切れましたが、そういうときに表示するメッセージやトラブルシューティングも考えたほうがいいですね」（中島）
Pekoeは今年3月でTRIBUSを卒業し、ビジネスユニット（BU）に組み込まれることになる。BUでは収益化も厳しく問われる。今後の事業展開について、どのように考えているのだろうか。
「BUのメンバーとも議論し、ESG投資に関わる領域など、新たな収益化の可能性も検討したいと考えています。いくら稼いだかが重要な指標になりますから、しっかりと稼げる方法を見出したいですね」（木村）
「同時に、聴覚障害者の方の『発信』の手助けになることをしたいです。それがPekoeのそもそもの目的でもあります。今は、話している人の言葉を文字化するところに主眼が置かれていますが、話せない人がPekoeを通じてストレスなく表現できるようにしたい。キーボードでは取り残されてしまうので、新しい機能を開発していますが、正直まだまだこれからというところです」（中島）
TRIBUS事務局の森久は、TRIBUS推進室を卒業してビジネスユニットに入ることを「事業として成長させるチャンス」と話す。
「これまではTRIBUS推進室という出島的な組織の限られたリソースの中で運営してきましたが、今度は事業部の大きなパワーを使えるようになります。ただ、従来の事業、サービスとは異なるので、まず事業部内の理解を得ることが大切です」
また、森久はこれまでのTRIBUSでの活動と今後の事業部での挑戦をロケットに例えて説明する。
「TRIBUSは1段目のロケットのようなもので、ビジネスユニットへの移行は2段ロケットに乗るようなものだと思うんです。今後は2段目の燃料を使って、更に大きく成長していってほしいと思います」
「また、これまでは0→1の領域でしたが、今度は1→10や10→100という領域に入っていくので、チームメンバーのマインドセットも変わっていく必要があるでしょう。すでにチームリーダーの岩田さんはじめ、メンバーの皆さんが新しい活動を始めようとしていると聞いています。これといった正しい筋道がある世界ではないので、模索していくことで、新しい可能性を見つけてくれると期待しています」
聴覚障害者がTRIBUSにエントリーし、ピッチを行えるようになることは、Pekoeにとって最終的な大きな目標のひとつでもある。現在、社外の研究機関や団体との連携も進めており、ミーティングやイベント、さらには表現を支援する機能など、取り組むべき課題はまだ多い。今後のPekoeのさらなる発展に期待したい。
■Pekoeオフィシャルサイト
https://pekoe.ricoh/
PHOTOGRAPHS BY Yuka IKENOYA (YUKAI) TEXT BY Toshiyuki TSUCHIYA
