さくらのクラウド(オブジェクトストレージ)

                                                       2017年09月09日掲載


                   障  害  発  生  の  お  知  ら  せ


                                        さくらインターネット株式会社


 平素よりさくらインターネットをご利用いただき、誠にありがとうございます。
 本日、ご提供サービスにおきまして、以下の通り障害が発生しております。
 ご利用中のお客様には大変ご迷惑をおかけいたしましたことを深くお詫び
 申し上げます。



                                < 記 >


  発生日時 : 2017年9月9日10時27分 - 現在継続中
  影響範囲 : さくらのクラウド(オブジェクトストレージ)
  障害内容 : バケットに接続しにくくなる障害が発生しております
 ---------------------------------------------------------------------

 ・2017年9月20日
  17:10 追記
   復旧対応を優先し外部からのアクセスにつきまして制限を実施しております。
   システムの復旧作業を継続しております。
   ご迷惑をおかけしまして誠に申し訳ございません。 

 ・2017年9月21日
  00:00 追記
   システム復旧のため外部からのアクセスについて制限を継続しております。
   長期に渡りご迷惑をおかけしまして大変申し訳ございません。 

  09:05 追記
   外部からのアクセスについての制限を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

  17:05 追記
   外部からのアクセスについての制限を実施し、システムの回復を継続しております。
   現時点ではまだシステムの回復に至っておりません。



 以下現在までの状況を中間報告として取りまとめいたしました。

 ■障害発生状況:
  弊社オブジェクトストレージシステムは、データの記録方式にイレイジャーコーディ
  ングを採用しております。これはオブジェクトを分割し、その消失訂正符号と共に
  複数のサーバへ分散配置することで、複数のサーバ故障にも耐える高いデータ保護
  性能を実現しております。

  機器故障が発生した場合、システム運用として当該機器に記録されたオブジェクト
  全体を読み出し、復元後に別機器への再配置/確認をシステム上で実行します。
  このたびは機器故障への対応にてシステム内部負荷が増大し、外部よりアクセス
  できない状態に至りました。

 ■経過対応
 ・障害発生~9月12日15:00
  システムをご利用いただけるようアクセスの調整を継続いたしましたが、
  負荷及びシステム調整により不安定な状態となっておりました。

 ・9月12日15:00~15日6:00
  システム回復が完了せず不安定な状態が継続しているため、アクセス量を制限
  しながら復旧を優先とした対応を実施いたしました。
  結果、12日22時頃より一部オブジェクト参照について可能な状態となりまし
  たが、書き込みの回復に至らず、継続対応を行いました。

 ・9月15日 21:00
  15日 6:00頃よりシステム内部負荷により応答できない状態が再発し、現在
  まで継続しております。
  つきましてはシステム回復を最優先とする対応を行わせていただきます。
  復旧までの工程としては内部処理の完了、お客様データ確認を予定しており
  長時間を要する見込みです。何とぞご理解ご協力賜りたくお願い申し上げます。
  なお、復旧までの工程においてアクセス可能な状態となることが予想されますが、
  一時的なものとあらかじめご理解ください。
  今後の経過情報は追記にてご案内させていただきます。

 ・9月20日 15:00現在
  復旧対応を優先し外部からのアクセスにつきまして制限を実施いたしました。
  これによりAPI経由でのオブジェクトの取得(Get)、アップロード(Put)、
  一覧の取得を行った際に、503エラーがレスポンスされます。



  ------2017年9月20日13時以前の対応内容は以下のとおりです------------

 2017年9月11日
  14:30 追記
   一部のオブジェクトにおいてアップロード及びダウンロードに時間がかかり
   処理がエラーとなる事象が継続しております。
   現在システム全体の復旧に向けて、システムモジュールの順次再起動を実施
   しております。

  16:40 追記
   復旧に向けシステムの再起動を一部分づつ順次実施しております。
   起動及び起動後の処理に時間を要しており、オブジェクトへの
   アクセスが不安定な状況が継続しております。

  20:50 追記
   引き続き復旧に向けシステムの再起動を順次実施しております。
   起動及び起動後の処理に時間を要しており、オブジェクトへの
   アクセスが不安定な状況が継続しております。

 2017年9月12日
  02:00 追記
   オブジェクトへのアクセスが不安定な状況が継続しておりますため、
   繰り返し復旧に向けシステムの再起動を一部分づつ順次実施しております。
   起動及び起動後の処理に時間を要しております。

  09:15 追記
   負荷状況をみながら順次システムの再起動を継続し実施しております。
   復旧が遅れているお客様については、ご迷惑をおかけして大変
   申し訳ございません。

  23:15 追記
   復旧に向けて引き続き対応しております。復旧が遅れているお客様
   につきましては、ご迷惑をおかけして大変申し訳ございません。

 2017年9月13日
  10:30 追記
   復旧に向けて引き続き対応しております。
   ご迷惑をおかけしまして大変申し訳ございません。

  17:30 追記
   復旧に向けて引き続き対応しております。
   ご迷惑をおかけしまして大変申し訳ございません。

 2017年9月14日
  01:30 追記
   復旧に向けて引き続き対応しております。
   ご迷惑をおかけしまして大変申し訳ございません。

  10:00 追記
   復旧に向けて引き続き対応しております。
   ご迷惑をおかけしまして大変申し訳ございません。

  17:00 追記
   復旧に向けて引き続き対応しております。
   ご迷惑をおかけしまして大変申し訳ございません。

 2017年9月15日
  01:30 追記
   復旧に向けて引き続き対応しております。
   ご迷惑をおかけしまして大変申し訳ございません。

  10:40 追記
   復旧に向けて引き続き対応しております。
   ご迷惑をおかけしまして大変申し訳ございません。

  15:57 追記
   継続してオブジェクトストレージの復旧作業(処理)を行っております。
   本日システムの負荷が再び高まっており、GETも出来ない状況になっております。
   負荷を軽減するための対応を行っておりますが、現時点では軽減出来ておりません。
   ご迷惑をおかけしまして大変申し訳ございません。

 ・2017年9月16日
  00:11 追記
   システム回復を優先として、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

  06:00 追記
   システム回復を優先として、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

  12:00 追記
   システム回復を優先として、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

  18:00 追記
   システム回復を優先として、引き続き対応を継続しております。
   現時点では、内部負荷の大きな改善に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。

 ・2017年9月17日
  00:20 追記
   復旧に向け、引き続き対応を継続しております。
   現時点では、内部負荷の大きな改善に至っておりません。
   ご迷惑をおかけしまして誠に申し訳ございません。 

  06:10 追記
   システム回復を優先として、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして誠に申し訳ございません。

  12:00 追記
   復旧に向け、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

  18:00 追記
   復旧に向け、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

 ・2017年9月18日
  00:00 追記
   復旧に向け、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

  06:02 追記
   復旧に向け、引き続き対応を継続しております。
   現時点では、内部負荷の大きな改善に至っておりません。
   ご迷惑をおかけしまして誠に申し訳ございません。

  12:00 追記
   復旧に向け、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

  18:00 追記
   復旧に向け、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

 ・2017年9月19日
  00:00 追記
   復旧に向け、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 

  06:02 追記
   復旧に向け、引き続き対応を継続しております。
   現時点では、内部負荷の大きな改善に至っておりません。
   ご迷惑をおかけしまして誠に申し訳ございません。

  13:10 追記
   システム回復を優先として、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   ご迷惑をおかけしまして誠に申し訳ございません。

  18:10 追記
   復旧に向け、引き続き対応を継続しております。
   現時点では、内部負荷の大きな改善に至っておりません。
   ご迷惑をおかけしまして誠に申し訳ございません。

 ・2017年9月20日
  00:05 追記
   システム回復を優先として、引き続き復旧作業を継続しております。
   現時点では、内部負荷の大きな改善に至っておりません。
   ご迷惑をおかけしまして大変申し訳ございません。 
 
  09:00 追記
   復旧に向け、引き続き対応を継続しております。
   現時点ではまだシステムの回復に至っておりません。
   長期に渡りご迷惑をおかけしまして大変申し訳ございません。 

                                                                以上