重大事故の時にどうするか？｜miyasaka
ヤフー時代の部下から突然メッセンジャーが。 「以前宮坂さんが緊急対応時に残して頂いた言葉を今度セミナーで使っていいですか？」 と。 リーダーの仕事はいっぱいあるけどなかでも大きな仕事の一つは重大事故の発生の時の陣頭指揮。平時は部下で回せるようにするのがマネジメントだけど、危機の時まで部下にまかせるわけにはいかない。 お恥ずかしながらヤフー在職中の22年で何度か重大事故を起こし関係者の人に多大な迷惑をかけてしまった。その度にその陣頭指揮をとった。 結果的にヤフーのなかでもっとも深刻な事故対策をやった人の一人じゃなかろうか。そのなかからノウハウ的なものがたまってきたものを部下にメモしておくってあげたものを彼は覚えていてくれたらしい。 彼いわく危機対応の時にすっごく役にたって指針になったといってくれて送ってくれた。 ひょっとしたら他の人にも参考になるかとおもって（若干訂正してますが）ここに残して
中田の質問箱です
みずほ関係者の方でしょうか。連日のように繰り返されるシステム障害とその批判を目の当たりにして疲弊しているのだろうとお察しします。ただ、仰っている内容はどれも妥当性に乏しいので、公言されるとますます批判の声が強まってしまうことが危惧されます。ご自身の反論が有効かどうかを検証する有力な方法は「他の2メガバンクではこのロジックは通用するか？」という考え方です。以下、すべてこのアプローチでご説明します。 まず「銀行リテールの利益は250億円しかなく赤字のこともあるのだから莫大な設備投資をすることは株主にとって妥当ではない」というのは論理が全く逆で、莫大な設備投資をしたのですからもっと稼がなければならないのに稼げていないことが問題なのです。MUFGやSMFGをご覧頂ければ銀行リテールだけでも1,000億円単位で儲けていることがわかるでしょう。しかもシステム統合に要した費用はMUFGで3,300億円、
「目に見えて明らかなことが常に解決策であるとは限らず、どれだけ不思議に見えても事実は事実に過ぎない」ということに気づかされたとして、ウォータールー大学でコンピューターサイエンスを研究するスティーブン・マン教授が不思議なエピソードを紹介しています。 Car allergic to vanilla ice cream http://www.cgl.uwaterloo.ca/smann/IceCream/humor.html ある日、自動車メーカー・ゼネラルモーターズ(GM)のポンティアック開発部に以下のような内容の苦情が寄せられました。 「私がGMに苦情を書いたのはこれで2回目です。私にもおかしな話に思えるので、返事がなくても責めるつもりはありません。私たちの家族はいつも夕食後のデザートにアイスクリームを食べています。毎晩、食事後に家族全員がどの種類のアイスクリームを食べるべきかを投票し、私が
「中国人のAさんがお茶を淹れると会社のネットが繋がらなくなる」そんな訳ないと思いながら調べたら…まさかの日常ミステリー
れい(ワイン) @rei_software 最近あったトラブル 証言１「朝ネットが使えないことがある」 俺（WiFi機器のスリープ復帰障害とかかな？ 証言２「有線だけダメ。無線はOK」 俺（有線で朝だけっておかしいな？夜も通信してるし 証言３「Aさん（中国人）が来るとネットが使えない」 俺（人依存かよ…どうせ間違いだろ で、調査したら 2020-11-04 08:43:19 れい(ワイン) @rei_software 確かにAさんが出勤してしばらくすると20分ほどネットが使えない端末があるっぽい。 で、出勤してからの行動を見ると ・入室 ・席でカバンを置く ・給湯室でお茶をつくる ・お茶をもって席に ・大抵はメールチェック←このあたりでネットが使えない人が出始める という現象が。 2020-11-04 08:46:26 れい(ワイン) @rei_software そしてさらに調べるとなんと
いつもSkebをご利用いただき、誠にありがとうございます。 12月23日12時よりskeb.jpにアクセスできない大規模な障害が発生しておりましたが、12月24日07時に復旧いたしました。 12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。 みなさまには多大なご迷惑をお掛けしましたことをお詫び申し上げます。 本障害につきまして詳細をご報告させていただきます。 概要日時: 12月23日12時22分〜12月24日7時00分 (JST) ダウンタイム: 18時間38分 内容: skeb.jpにアクセスできない不具合 原因: SkebはすべてのサーバとシステムをHerokuに設置していたが、障害発生時刻より同サービスのアカウントが理由の通知なく利用できなくなった。 解決: Herokuの一切の利用を中止し、すべてのサーバとシステ
リンク 日本経済新聞 電子版 東証「2日の売買実施は1日19時半めど連絡」 社長会見終了 ■宮原社長「市場預かるものとして責任痛感」■システム再起動なら相当の混乱想定された■終日売買停止で1日の株価は「値つかず」 56 users 236
みずほ銀行のシステム障害（2/28～3/12）の調査報告書、経営陣も現場もエンジニアも全てが残念 : 市況かぶ全力２階建
空売りレポートで暴落のAbalance、IR広報室長の堀内信之さんが深夜のYouTubeライブ配信で釈明するも余計なことを喋りすぎて逆に怪しまれてしまう
はじめに Leverages Advent Calendar 10日目担当の ham です。 今が 12月12日だということは気にしてはいけません。代打です。 Leverages で、セキュリティの責任者としてセキュリティ意識の啓蒙や全社に関わるシステムの改善をしています。 また、前職では、SOC、NOC、BGPの運用などを行っていました。 最近メールについて不可解な問い合わせが増えてきたので、調べたことをまとめます。 追記(2019年12月24日 17:10) 本日 16時頃に Outlookサポートから不具合を改修した旨の連絡が来ました。 私もテストを実施し、Outlook から送信した Re: 【hoge】【fuga】 のメールが Gmail に届くことを確認しました。 メリークリスマス！ 追記(2019年12月15日 21:40) 反響の大きさにびっくりしています。茶渡の霊圧を消し
みずほ銀行システム障害に学ぶ, 川口耕介のブログ
みずほ銀行システム障害の調査報告書が公開されたのがニュースになって、Twitterなどで色々な人がコメントをしているのを見た。140文字しか書けない空間で他人の失敗談の揚げ足取りをするのは簡単だが、そこからは一時の爽快感以外に何も得るものがないので、僕はそういうのはカッコ悪いと思っている。 そこで、ちゃんと読んでみたら全く他人事でない部分も沢山あるし、非常に面白く勉強になったので、ブログにまとめてみる。 技術的な話 銀行のシステムがどのようになっているのか、全然イメージが湧いていなかったので、それがまず勉強になった(p.29)。 トラフィックのソースに応じて用意された色々なシステムから基幹システム「MINORI」の取引メインバスにトラフィックが流れ、そこから各種システムへとリクエストが送られていく。この辺はService Oriented Architectureらしい。開発当時としては（
2020年10月19日 富士通株式会社 東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について 本日、株式会社東京証券取引所（以下、東京証券取引所）様より、さる10月1日に発生した東京証券取引所様の株式売買システム「arrowhead」の障害に関しての発表がありました。 東京証券取引所様、ならびに投資家の皆様、市場関係者をはじめ多くの皆様方に多大なるご迷惑をおかけいたしましたこと、あらためてお詫び申し上げます。 下記のとおり、本障害の根本原因および当社の品質保証体制の強化について、ご説明させていただきます。今後こうした事態を二度と起こさぬよう、再発防止に向け、全力を挙げてまいります。 記 東京証券取引所様の株式売買システム「arrowhead」障害の根本原因について （1）発生事象について 東京証券取引所様に共有ディスク装置として納入した当社ストレージ製
自社のDB破壊しCEOに身代金要求、freeeが本当にやったクラウド障害訓練の舞台裏 「従業員はトラウマに」
自社のクラウド環境に侵入され、データベースから経営に欠かせないデータを持ち出される。バックアップも消され、データを取り戻したければ、身代金を支払うよう要求される──企業にとって絶対に直面したくない事態の一つだ。しかしこのシチュエーションをあえて再現し、訓練という形で自社のCEOに身代金まで要求した企業がある。クラウド会計サービスを提供するfreeeだ。 freeeは2021年10月、標的型攻撃とランサムウェアを組み合わせたシナリオを基に全社的な訓練を実施。AWS上のDBからデータを盗み出し、バックアップを消した上で、自社のCEOに社内SNSを通して身代金を要求したという。訓練を主導したのは、製品やサービスのセキュリティ向上を目指す社内組織「PSIRT」だ。 訓練を実施した背景には、情報システム部などのIT部門だけでなく、経営層まで巻き込みたい考えがあったという。同社のPSIRTが取り組んだ
2022年7月2日、設備障害によりKDDIの携帯電話サービスで障害が発生しました。ここでは通信障害に関連する情報をまとめます。 通信障害発生から復旧発表まで3日以上 au携帯電話サービスがご利用しづらい状況について 障害発生同日8時以降から1時間おきに障害報告が公表されていた。 障害発生・復旧の状況は以下の通り。 対象地域 障害発生日時 復旧作業終了時間 復旧完了日時 西日本 2022年7月2日 1時35分頃 2022年7月3日 11時頃 2022年7月5日15時36分 東日本 2022年7月2日 1時35分頃 2022年7月3日 17時30分頃 2022年7月5日15時36分 影響を受けたのは全国の個人・法人向けのau携帯電話、UQ mobile携帯電話、povo、au回線利用事業者の音声通信、ホームプラス電話、ホーム電話、auフェムトセル、SMS送受信。7月3日11時時点の概算では約3
さよなら本番サーバー - Qiita
とあるSESの現場では本番リリースの時期が近づいてきており、僕を含めた数人のエンジニアは間に合いそうもない残作業の開発を進めたり、本番で使うためのデータの整備を本番サーバー内で行ったりしていた。ほとんどがその案件のために集められたメンバーだったため特に和気あいあいとするでもなく、エアコンの風の音が響く小さなオフィスの片隅で静かに作業をしていた。 業務上のやりとりもRedmineで行われており、声を発するのもたまにメンバー同士で話をしたり、クライアントから電話がかかってきた時だけ。その日もメールで通知が届いてきており、確認してみるとRedmineで僕が関係しているチケットにコメントが届いているという通知だった。 通知のURLをクリックしてRedmineのチケットを確認してみる。 それによると一旦本番サーバー上に存在するデータの中の一部の主要データをCSV形式で送ってほしいという依頼だった。無
みずほ銀行のシステム、金融庁が管理へ 異例の行政処分
日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 金融庁は週内にも、ATMなどの障害が多発するみずほフィナンシャルグループとみずほ銀行に対し、異例の行政処分となるシステムの「管理命令」を発動する方針だ。年内いっぱいをメドに、同行が進めるシステムの更新作業や保守業務を共同で管理し、必要に応じて運営体制の見直しも命じる。金融当局がシステム運営を直接監督することで障害再発を最小限にとどめ、金融システム不安への波及を防ぐ。
2/28(日) 午前の仕事を終え次の仕事に向かうまでの間、翌日3/1(月)以降の引き落としに備えて入金するため、駅併設の商業施設内に設置されたみずほ銀行ATMで預け入れを行うつもりだった。 12:20頃だったと思う。 【トラブル内容】 ATMから入金するため、 トップメニュー→預け入れ→通帳挿入→現金挿入 →紙幣投入口が閉まったところで取り扱いエラー画面になる …………え？ いや、さっきまで普通の感じで動いてたじゃん！ 故障？故障なの？ ATM画面横の受話器からは繋がらず、画面外左上に設置された受話器からATMセンターへ連絡する。 プルルルル、プルルルル、プルルルル、 ・・・・ッツー、、ッツー、、ッツー、、 何度かけても同じ。 時折、「担当者を呼び出しますのでそのままでお待ちください。〜♪〜」 とアナウンスが流れるも、 「ただいまお電話が混み合っております。しばらく経ってからおかけ直しくだ
障害報告書を書こう！ - Qiita
担当しているITサービスなどに何かしらのインシデントや障害が発生した時に、対処後のアクションとして報告書を提出して事象の内容を報告（レポート）する場合がある。 提出先は会社の偉い人だったりクライアントだったり。場合によってはユーザー向けに発表したり。事の顛末を報告して「今後同様のことを起こさないように努力します、ごめんなさい」をするのだ。どのように再発防止の努力するのかを書くものでもある。 主にクライアント向けのビジネス内容ではあるが、自分が使っているテンプレパターンを共有するので参考にしてもらえればと思う。1 全般的なポイント 心得のようなもの。次の点は留意してて欲しい。 淡々と冷静な説明をこころがける 当然のことながら事実は脚色しない。無駄な修飾も要らない。客観的な事実を簡潔に述べる。 例： ❌「一生懸命頑張って対応したが…」 ❌「寝ないで対応したが…」 ❌「本当の原因は…」 できるだ
みずほ銀行で2021年8月20日、営業店の窓口業務が全面停止するトラブルが発生した。前日の19日午後8時53分ごろに営業店端末と勘定系システムをつなぐサブシステムで、データベース（DB）サーバーがディスク装置の故障をきっかけに停止したためだ。待機系DBサーバーへの切り替えも失敗、副データセンター（DC）に処理を切り替えた。副DCへの切り替えに着手するまで11時間超を要し、業務開始に間に合わなかった。 みずほ銀行で2021年8月20日、全463店舗で営業店端末や店頭のタブレット端末が使用不能になった。午前9時の開店から午前9時45分までは全ての店頭取引ができなくなり、その後も午前11時58分まで融資や外国為替（外為）の一部取引ができなくなった。営業店端末などと勘定系システム「MINORI」をつなぐサブシステム「業務チャネル統合基盤」が前日の8月19日午後8時53分ごろに停止したためだ。 業務
お客さま各位 当社サーバーサービスに関する技術情報共有サイトへの投稿につきまして、当社サービスをご利用いただいているお客さまやお取引をいただいているお客さまをはじめ関係者の方々にご心配、ご迷惑をお掛けしていることを心よりお詫び申し上げます。 2012年に新規提供を終了させていただいております「専用サーバ」サービスにおきまして、2017年にサーバーの物理移設を含むメンテナンスを実施させていただいておりました。 その対応の中で、投稿記事に書かれている内容に合致するハードウェア故障とオペレーションミスに起因するサーバー停止が発生し、謝罪とともに障害報告書と再発防止策をご提示していたケースがございました。 投稿記事は2017年当時の当社の対応に関する内容で、現在までのお客さまに対するご案内やサポート対応がご期待に十分に沿うものではなかったと真摯に反省し、ご指摘を重く受け止めております。 今後につき
京都大学学術情報メディアセンター センター長 岡部 寿男 2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました. 皆さまに大変なご迷惑をおかけすることになり,深くお詫び申し上げます. 今後,再びこのような事態の生じることのないよう再発防止に取り組む所存ですので,ご理解をいただきますよう,どうぞよろしくお願いいたします. ファイル消失の影響範囲 ・対象ファイルシステム: /LARGE0 ・ファイル削除期間:2021年12月14日 17時32分 ～ 2021年12月16日 12時43分 ・消失対象ファイル:2021年12
2020年10月1日、東京証券取引所はアローヘッドの機器故障によりシステム障害が発生し、終日売買を停止すると発表しました。故障した機器は交換が行われ、取引は翌日再開されています。ここでは関連する情報をまとめます。 機器故障起きるも縮退運用に失敗 障害概要図 アローヘッド内の共有ディスク装置1号機で機器故障が発生した。実際故障したのはサーバー上のメモリ周辺機器とされる。 1号機故障により両現用で稼働していた2号機のみのフェールオーバー（縮退運用）が行われるはずだったが何らかの問題により行われなかった。 共有ディスク装置を使用する相場配信、売買監視のシステムで障害が発生。 障害復旧時に発生する注文データ消失による市場混乱を避けるため当日終日の取引停止の措置を実施。（遮断） フェールオーバー失敗原因は設定ミス フェールオーバーに失敗した理由が特定できたとして10月5日に発表。 障害発生時のフェー
2019年8月23日 13時頃からAmazon AWS 東京リージョン でシステム障害が発生し、EC2インスタンスに接続できない等の影響が発生しています。ここでは関連する情報をまとめます。 AWSの障害報告 aws.amazon.com AWS障害の状況 障害発生時間（EC２） 約６時間 2019年8月23日 12時36分頃～18時30分頃（大部分の復旧） 障害発生時間（RDS） 約９時間半 2019年8月23日 12時36分頃～22時5分頃 障害原因（EC２） 一部EC2サーバーのオーバーヒートによる停止 制御システム障害により冷却システムが故障したことに起因 影響範囲 東京リージョン（AP-NORTHEAST-1）の単一のAZに存在する一部EC2、EBS、およびRDS。 発生リージョンは東京。東京近郊４データセンター群の内、1つで発生。 日本国内のAWSの契約先は数十万件とみられる。*
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融
2021年10月25日、この日は僕がただの大学生から、大学のサーバーをダウンさせた"犯人"へと変わった日です。 小説みたいな書き出しをしてみましたが、これは嘘みたいな本当の話で、ふと思い出して懐かしくなったので回想録として note に残すことにしました。 出来事の概要2年前の2021年10月、何が起きたかを簡単に書くと以下の通りです。 ・大学の授業や課題を管理するためのシステムを拡張するツールを作った ・ツールが予想以上の人数に使われ、結果として大学のサーバーに負荷がかかりサーバーが落ちる事態になった ・大学から呼び出しを受けることになった 時系列を追って、この note で出来事の全容を書きたいと思います。 使いづらい LMSまず前提として、私の大学では毎日の授業や課題は授業支援システム、通称 LMS と呼ばれるオンラインのシステムで管理されています。 実際のLMSの画面しかし、この
みずほフィナンシャルグループ（ＦＧ）は１５日、みずほ銀行のシステム障害の責任を明確にするため、坂井辰史社長の役員報酬の減額などの処分を発表した。 のべ７００人超の役職員への聞き取りなどをした第三者委員会の報告書からは、みずほ銀行の理念である「一人ひとりがお客さま起点を徹底し、自ら考え行動する」とは真逆の顧客軽視の姿勢が浮かぶ。 「ＡＴＭのエラー発生が多発しています」。報告書によると、２月２８日午前１０時１５分、業務委託先の管理センターからみずほ銀行の６つ以上の部署へ４３０件のエラーを検知したとの緊急メールが送られたが、対応に動く担当者はいなかった。通帳やキャッシュカードがＡＴＭに取り込まれるトラブルは最終的に５２４４件発生したが、それを想定できなかった。 複数の部署の担当者は午前１１時１２分にはＡＴＭ前で顧客が立ち往生していることをＳＮＳ上の情報で把握。休日対応で人員の限られた問い合わせ電
2023年10月10日、全国銀行資金決済ネットワークは、同社が運用している全国銀行データ通信システムでシステム障害が発生したことを公表しました。この障害の影響により一部の金融機関で送金遅延などが生じました。ここでは関連する情報をまとめます。 560万件の取引に影響 障害が起きたのは全国銀行資金決済ネットワーク（全銀ネット）が運用する全国銀行データ通信システム（全銀システム）のうち、平日8時半から15時半まで稼働するコアタイムシステムで金融機関との接続に使用される中継コンピューター（RC）。障害は10月10日8時半に発生し、10月12日未明に復旧に向けた対応が完了、同日8時半の切替完了したことで復旧した。*1 全銀システムは1,000超の金融機関が参加しており、1営業日当たりの取引件数は2022年実績で約806万件、約14兆円。*2 今回のシステム障害により金融機関間で行われる送金に遅延や取
2021年2月28日、みずほ銀行でシステム障害が発生し、全国で同行のATMが利用できなくなる、キャッシュカードが取り込まれたまま戻ってこないなどのトラブルが発生しました。ここでは関連する情報をまとめます。 取り込まれ戻ってこないキャッシュカード みずほ銀行サイト上に掲載されたシステム障害発生の案内障害が発生したのは2021年2月28日11時頃。障害により各地で生じた影響は以下が報じられるなどしている。なお、法人向けに提供されるサービスでは今回のシステム障害による不具合は確認されていない。*1 障害発生から30時間後に全面復旧をした。 みずほ銀行の自行ATM5,395台の内、54%にあたる2,956台が停止し（2月28日19時40分頃時点）、預金引き落とし等が出来なくなった。*2 台数はその後訂正され、最大4,318台が停止していたことが明らかにされた。 *3 障害発生中は、ATMよりキャッ
Googleが、12月14日夜の各種サービスが約45分間使えなくなった問題の原因は、サービスにログインするための認証ツールへのストレージ割り当てが正常に動作しなかったことと説明。再発防止に努めると謝罪した。 米Googleの「Workspace」を含む同社の多くのサービスが12月14日の午後9時ごろから約45分間使えなくなっていた障害の原因は、各種サービスにログインするための認証ツールのストレージクォータの問題だったと、Googleが同日、英Guardianなどのメディアに声明文を送った。 Googleの広報担当者によると、このダウンの原因は、Googleとサードパーティのサービスへのログイン方法を管理する認証ツールの障害だったという。認証を処理するサービスのためのストレージが不足すると自動的に割当を増やす（ストレージクォータ）ツールが正常に動作しなかった。 この問題により、GmailやG
English 令和３年11月26日 金融庁 みずほ銀行及びみずほフィナンシャルグループに対する 行政処分について 金融庁は、本日、株式会社みずほ銀行（以下「当行」という。法人番号6010001008845。）及び株式会社みずほフィナンシャルグループ（以下「当社」という。法人番号9010001081419。）に対し、以下の通り業務改善命令を発出した。 Ⅰ．業務改善命令の内容 【みずほ銀行】（銀行法第26条第１項） 当行が策定したシステム障害に係る再発防止策を速やかに実行すること。 以下の内容について、業務改善計画を策定し、速やかに実行すること。また、当該業務改善計画について継続的に再検証及び見直しを実施すること。 （２）システムの安定稼働等に必要となる経営管理（ガバナンス）態勢の整備に係る具体的な取組み （３）Ⅱ．９．に記載するシステム障害の真因を踏まえた業務の改善に係る具体的な取組み シ
高校入試の出願システム、Gmailにメール届かず……神奈川県、受験生に「@gmail.com以外のアドレス使って」
神奈川県教育委員会が2024年1月4日にリリースした、公立高校入試のインターネット出願システムで、「@gmail.com」ドメインのアドレスにシステムからのメールが届かず、受験生が出願用アカウントを作成できない問題が起きている。 15日夜時点でも解消しておらず、県教委は受験生に対して、「@gmail.com以外のメールアドレスで登録してほしい」と呼び掛けている。 このシステムは、公立高校の2月入試に出願する受験生などが利用する。中学校で受け取った書類に書かれたURLから出願サイトにアクセスし、メールアドレスなどを登録して「志願者アカウント」を作成すると、出願サイトへのログインに必要な「登録番号」がメールで届く、という流れだ。 だが、登録したメールアドレスが「@gmail.com」の場合、登録番号入りのメールが届かない不具合が起きているという。 新システムによる出願は1月4日に受付スタート。
すだちの国からIT界隈をざわざわさせる、徳島県つるぎ町立半田病院のランサムウェア調査報告書（災害拠点病院でIT担当者が1人）。
徳島県つるぎ町立半田病院のランサムウェア調査報告書が2022/6/16に公開されました。担当者が1人などIT界隈（私も）をざわざわさせてる内容をまとめてみました。
通販サイトの「Amazon.co.jp」で、他人の注文履歴が表示されてしまうエラーが、9月26日から一部のユーザーの間で起きているようだ。 Amazon.co.jpで注文履歴を選ぶと、そこに身に覚えのない注文履歴が並んでいるという報告がTwitterなどで相次いでいる。名前や住所なども閲覧できる状態だという。 CNET Japan編集部でも確認したところ、同様の事象が起きているスタッフがいた。東京都内で暮らしているが、届け先の住所が「鹿児島県」になっていた。 アマゾンジャパンに同件について問い合わせたところ「Amazonは、お客様のセキュリティとプライバシーを大変重要に考えています。本件については認識しており、現在調査を進めております」との回答を得た。続報があり次第、お伝えする。 【追記】同社は9月28日9時30分に「本事象は解決し、お問い合わせいただいたお客様にはご連絡をしています」とコ
AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず
AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず 報告によると直接の原因は東京リージョンのデータセンターで使用されている冷却制御システムにバグがあったこと。これにより、緊急時の手動操作にも冷却制御システムの一部が反応しないなどでサーバが過熱し、障害に至ったと説明されています。 8月23日午後に約6時間の障害。EC2だけでなくRDSも 報告によると、障害は日本時間2019年8月23日金曜日の昼過ぎに発生。影響範囲は仮想マシンを提供するAmazon EC2とブロックストレージを提供するAmazon EBSのそれぞれ一部。以下、AWSの報告を引用します。 日本時間 2019年8月23日 12:36 より、東京リージョン (AP-NORTHEAST-1) の単一のアベイラビリティゾーンで、オーバーヒートにより一
今回の通信障害では、音声電話やSMSが一時つながらなくなったほか、データ通信がつながりにくかったり途切れたりといった状態になった。影響を受けた回線数は7月3日午前11時時点の概算で最大約3915万回線。内訳はスマートフォン・携帯電話が同約3580万回線、MVNO（仮想移動体通信事業者）向け回線が同約140万回線、IoT（インターネット・オブ・シングズ）回線が同約150万回線、「ホームプラス電話」回線が同約45万回線。 通信障害のきっかけとなったのは、メンテナンスの一環としてモバイルコア網と全国各地の中継網をつなぐコアルーターのうち、1拠点で旧製品から新製品へ交換する作業。これに伴い通信トラフィックのルート変更を実施している際に「VoLTE交換機でアラームが発生した」（高橋社長）。確認したところ「ルーターのところで何らかの不具合が起き、一部の音声トラフィックが不通になったことが判明した」（同
8月23日のAWSの大規模障害でMultiAZでもALB（ELB）が特定条件で500エラーを返すことがあったという話 - Make組ブログ
このブログ記事で 「MultiAZ」にしていたら何事も全て大丈夫という認識を変えられると嬉しいです （当該の時点で障害起こした人はちゃんとMultiAZにしてなかったんでしょ？という人の認識も変えられると嬉しいです）。 MultiAZにしておくことは基本 です。 その上でも、 安心しきらずに監視は必要 という話をしています。 MultiAZ構成にしておきましょう そのうえで監視、検知、トレーサビリティを大切にしましょう MultiAZ要らないという見当外れの解釈はしないでください （一部、間違えた解釈をしてるコメントも見受けられましたが、大いに違います）。 前提 2019-08-23、AWSで大規模な障害が起こりました。 障害の一般的な内容は以下のとおりです。 まとめのブログ https://piyolog.hatenadiary.jp/entry/2019/08/23/174801 AW
【アプデ/10】 2019年8月14日のWindowsUpdate後、VB関連が死亡。Windows10全バージョンにて [Update 5: v1903がKB4512941にて修正。全バージョン修正完了] | ニッチなPCゲーマーの環境構築Z
2019年8月14日に配信されたWindowsUpdateを適用すると、Windows10全バージョンにて、VBVisual Basic 6 (VB6)で作成したアプリケーション、Visual Basic for Applications (VBA)で作成したマクロ、Visual Basic Scripting Edition (VBScript)で作成したマクロやアプリケーションが応答しなくなり、『invalid procedure call error.』と表示される場合があるという不具合が発生していました。 2019年8月17日以降に配信された下記の『修正KB』(またはそれ以降のKB)を適用することでこの不具合は発生しなくなります。
![【アプデ/10】 2019年8月14日のWindowsUpdate後、VB関連が死亡。Windows10全バージョンにて [Update 5: v1903がKB4512941にて修正。全バージョン修正完了] | ニッチなPCゲーマーの環境構築Z](https://cdn-ak-scissors.b.st-hatena.com/image/square/10f737e352b02f98e83f797fcb2ecd5dfd646a6f/height=288;version=1;width=512/https%3A%2F%2Fwww.nichepcgamer.com%2Fwp-content%2Fuploads%2Fimgs%2Fa%2Fc%2Faca8a5b1.jpg)
この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の4日目です。年末進行、いかがお過ごしでしょうか？みなさま無事に仕事が納まることを願っております… 新人インフラエンジニアが、本番ウェブサーバー60台のホスト名を全部 cat にしてしまった話について、ここに供養させていただきたいと思います 背景 おそらく今から7年くらい前、インフラエンジニアとして転職してきて1年ほどが経ち、本番環境での作業もこなれてきたなというバッチリのタイミングで事を起こしてしまいました。サーバーは CentOS 6 だったと思います。 職場としてはまだまだベンチャー感にあふれ大きな裁量が与えられスピード感のある環境ながら、サービスの登録ユーザー数は1,000万を超え、本番環境の規模としては既になかなかの大きさがあり、ウェブサーバーだけでも60台くらいあったと思います。ひと山につき
みずほ銀行システム障害の報告書を読んだ結果
(๑╹◡╹๑) @tsuchie88 やたらと「区画」って言葉が出てくるけど、これIBM用語だよなぁ？ 仮想マシンか論理または物理的に分離されたパテーションのことなんだろうけど。 pic.twitter.com/SJA2oGfj5a 2021-06-15 19:56:05
すう🖤🏳️🌈 @plum_pot_221b @tokino816 2002年、2011年にみずほが起こした障害で、金融機関全体のシステム開発/変更/移行はめっっちゃくちゃ厳しくなりましたけど、たぶん今回ので保守運用もかなり厳しくなるんじゃないかと…😂 報告書見た感じ、保守部門潰してるのも原因なので、みずほが立て直すのは時間掛かりそうだと思います！ 2021-11-26 22:18:11
［速報］AWS、クラウド障害をわざと起こす「AWS Fault Injection Simulator」発表。カオスエンジニアリングをマネージドサービスで実現。AWS re:Invent 2020
Amazon Web Services（AWS）は、開催中のオンラインイベント「AWS re:Invent 2020」で、アプリケーションに対してクラウド障害のシミュレーションを行える新サービス「AWS Fault Injection Simulator」を発表しました。 クラウド上で稼働するアプリケーションの耐障害性などを高めるために実際にクラウド障害をわざと発生させて問題点をあぶりだす手法は、「Chaos Enginieering（カオスエンジニアリング）」と呼ばれています。 Netflixが2012年にカオスエンジニアリングのためのツール「Chaos Monkey」を公開したことで広く知られるようになりました。 参考：サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 今回発表された「AWS Faul
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
バニラのアイスを買ったときだけ車のエンジンがかからなくなる不思議な現象、その原因は？
【1月23日追記】12月23日、24日に発生しました障害に関するご報告
東証の記者会見は「技術がわかる経営者」「受け答えが理路整然」と絶賛する感想が集まる。なお横山CIOは落研出身
…Outlookの送信メールが……消えた…？(12/24改修されたよ) - Qiita
東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について : 富士通
KDDIの通信障害についてまとめてみた - piyolog
みずほ銀行ATM障害で通帳と現金25万が吸われたまま仕事も飛んだ話｜まるやあかね
みずほ銀行窓口業務ストップの真相、DC切り替えをためらい障害が長期化
当社サーバーサービスに関する技術情報共有サイトへの投稿について | さくらインターネット
スーパーコンピュータシステムのファイル消失のお詫び | お知らせ | 京都大学情報環境機構
2020年10月に発生した東京証券取引所のシステム障害についてまとめてみた - piyolog
AWS 東京リージョンで発生した大規模障害についてまとめてみた - piyolog
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 | gihyo.jp
僕の自作ツールが大学のサーバーをダウンさせてしまった日の話｜くりきん
「緊急メール」に誰ひとり動かず みずほ銀障害、顧客軽視の風土浮き彫り：東京新聞 TOKYO Web
全国銀行データ通信システムのシステム障害についてまとめてみた - piyolog
データ移行で発生したみずほ銀行のシステム障害についてまとめてみた - piyolog
Googleの45分間ダウンの原因は認証ツールのストレージクォータの問題
みずほ銀行及びみずほフィナンシャルグループに対する行政処分について
アマゾンで他人の“注文履歴”が見えてしまう状態に--同社は「現在調査中」
KDDI高橋社長が通信障害を陳謝、原因はコアルーター交換時の不具合とアクセス集中
本番サーバー60台のホスト名を全部 cat にしてしまった話 - Qiita
HPEのサーバー向けSAS SSD、稼働32,768時間超えでデータ喪失。復旧も不可
金融庁からみずほ銀行に下った行政処分の文面が公文書では滅多にお目にかかれないレベルでガチギレしてて怖い