平素は、oViceをご利用いただき誠にありがとうございます。
2023年2月7日（火）に発生したスペースにアクセスできない事象について、ご利用の皆様には多大なご不便をおかけいたしましたことを深くお詫び申し上げます。
該当の事象についての調査結果ならびに再発防止策について報告いたします。
該当の事象についての調査結果ならびに再発防止策について報告いたします。
■経緯
2月7日（火）14時10分頃、API関連のシステムアップデートを実施いたしました。このアップデートは、サービスを継続した状態で実行可能なもので、過去の実績としても問題は発生しておりませんでした。しかし今回のアップデートにつきましては、実行中にAPIサーバーの負荷が高まり、最終的に全てのスペースにアクセスできない事象を引き起こしました。
■原因
日中のシステム負荷に、API関連のシステムアップデートの負荷が加わることで、システムアップデートが正常に終了しない状態となりました。
■対応
スケールアウトによる高負荷状態の緩和、および再デプロイを実施することにより復旧いたしました。
■再発防止
設計的に安全を保証できる状態となるまで、日本時間における日中のシステムアップデートを実施しないことで、今後は同様の事象の発生を防止いたします。
また、これまで複数台存在するAPIサーバーのシステムアップデートを短時間に一括で実行していましたが、その負荷の軽減のため、今後は時間をかけて段階的にアップデートを実行していく方式に変更いたします。
また、これまで複数台存在するAPIサーバーのシステムアップデートを短時間に一括で実行していましたが、その負荷の軽減のため、今後は時間をかけて段階的にアップデートを実行していく方式に変更いたします。