2011-02-25

プロジェクト709-自作サーバ「シーズンゼロ」で選んだパーツ！

前回の記事で組み立てたサーバーをお見せしましたが、
それぞれのパーツを今回は紹介したいと思います。

本当はよく検討しながら買わなきゃいけなかったのですが、
時間があまりなかったので、”ノリ”で発注してしまいました。

まとめて発注したので、パーツがこんなに！

個人ではこんなダイナミックなことできないですね。

選定したパーツはこれです

まずはマザーボード

Intel DQ57TM（Socket1156）です。
IntelAMT対応です。
\11,670円也

乗っけるCPUはこれ

Core i5 660 BOX
これもIntelAMT対応です。
\17,480也

これも試しに買ってみた。(クアッドコアだから)

Core i7 870 BOX　IntelAMT対応
\23,800也　※ちょと高い。
※これ買ったの失敗です↓
マザーボードDQ57TMはグラフィックチップを積んでいないのです。
Core i5 660を乗っけるとCPU自体にグラフィック機能を搭載しているので
画面出力ができますが、このCPU（Core i7 870）はグラフィック機能を
搭載していません。マザーもCPUもグラフィック機能がないので、画面出力
できませんでした。だから余分にグラボ買う必要があります・・・。
※ゲームユーザーをターゲットにしてるようなＣＰＵなので
　「グラボは別に持ってるでしょ」的なスタンスなのかもしれません。
会社の経費がもったいなので、このＣＰＵは自宅に持ち帰ることにします。

使用する電源（100V/200V対応）

Enhance FLEX0130B-01XG FLEX300 Flex-ATX 30
この電源薄いので、1Uシャーシにも搭載可能！でもちょと高い。
\9,180也

搭載するディスク

Intel SSDSA2MH080G2K5
これはDBサーバー用にと思って購入しました。
SSDは初の試みです。だいぶ値段がこなれましたが、
まだまだ私にとっては贅沢品です。
\16,480也

もいっこディスク

SEAGATE ST380815AS (7200rpm SerialATA 8MB)
用途によって使い分けます。これはストレージサーバー用に。
\3,280也

メモリ

SILICON POWER PC3-10600(1333) 4GBx2 SP008GBLTU133V21
\6,670也　安くなりましたねぇ。

なくてはならないスイッチ

値段忘れました・・。確か数百円。

たくさんのプレミアム感あるパーツに囲まれて気分が高揚してしまった結果。

ロット買いしたパーツ群をどうやって管理していこうかと考えていましたが、
アメリカドラマらしく「シーズン」で区切ろうかと思います。
よって今回購入したロット群は「シーズンゼロ」となりました。
※つっこみ禁止です。

シーズンゼロのパーツ群をしっかり検証して、次のシーズンワンにつなげていきたいと思います。

2011-02-23

プロジェクト709-即興でサーバーを自作してみた

自作データセンター

ようやくこのプロジェクト709、自作サーバーフェーズまでやってきました。
私の一番好きなフェーズなのです。

ちょっと過去をおさらいさせてもらいますと、

以前、このような自作のラックマウント可能な1Uハーフサーバーをつくりました。

これはシャーシをゼロから自社で設計して金属加工会社にお願いしてつくったものです。
はてなさんのサーバーを強く意識したモデルで、幾度ものプロトタイプを経て完成した堅牢性の高いシャーシです。

この自作1Uハーフサーバーはいろいろこだわり部分がありました。
・すべてのパーツを1U におさめるための厚さ検証。
・シャーシのたわみを最小限に抑える薄くて丈夫な板金加工。
・高熱にさらされても歪まない素材。
　などなど...

これらを実現していく上で、犠牲にしたのは多大な時間です。
時間を費やしたということは人件費を費やしたということです。
つまり、おおくのお金がかかりました。
しかし最終的な結論は”継続開発をあきらめる”でした。

そして自作ラックマウントサーバーをあきらめる - 怒涛のSyntax Error　←参照
※でもこれに至るまでに得た経験・ノウハウはプライスレスですよ。

次なるサーバーを設計するにあたり、
自作1Uハーフサーバーのようにもう多大な時間をかけることはできません。
プロジェクト709本稼働が目前にせまった今、
いかに安く・早くできるかに重点を置いて
設計してみたいと思います。

そこで参考にさせて頂いたのは、やはり~~pixv~~pixivさん。
http://dev.pixiv.net/archives/2010-07.html?p=2
不要（コストも）なもの一切排除したサーバー設計。このアプローチは
個人的に大好きです。さっそくこれを強く意識した形を取ることにし、
サーバー設計の方向性をざっくり定めてみました。

”時は金なり”をモットーに素早く作成可能なパーツ構成にする。
　→　どこでも・いつでも手に入るパーツを使う。（汎用品=欠品しづらい・価格競争で安い・加工がいらない）
すべてのパーツは入れ替え可能であること。
　→　このCPUはあっちのサーバーには合わないとか、
　　　このメモリはあっちのサーバーに合わないとかをやめる。
なるべく、長い命を与えてあげる。
　→　これちょっと深い。
　　　マザーの規格はなるべく新しいものを選ぶ。
　　　失敗して、IDCに移さなくちゃならなくなった場合に
　　　ラックマウント不可能な構成にしない。
　　　　　→　以前つくった1Uシャーシに移植可能な構成にする。
パーツの値段にはこだわる。
　→　1世代前とかの値段がこなれたパーツを選ぶ。
　　　でもNICだけは最高級品にする。
保守契約は無くて当然。パーツのストックを。
　→　DISK壊れれば捨てる。メモリ壊れれば捨てる。
　→　パーツは潤沢に保持。一度の注文でロット買いする。
IntelAMT対応製品のみにする。
　→　未検証。どうなんだろう。

これらの方向性を意識して、パーツは後からじっくり選ぶとし、
まずやるべきことはパーツを置く台（シャーシ）です。

そこで気になっていた製品があったので、ためしに一つ注文してみました。
画像を拝借します。

ソース：DIGITALCOWBOY様
 http://www.digitalcowboy.jp/products/acpcd2c/index.html

この商品、キャッチフレーズが「魅せる、バラック」
マニアであればイチコロなフレーズですね。

組み立ててみるとこんな感じに。

んんー。

なんかちょっと電源がそびえ立ってますねぇ。
これだと無駄にスペースを食ってしまいそうなので、プロジェクト709での使用は見送りましょう。
でも会社の経費がもったいないのでこのケースは自宅に持ち帰ることにします。

さて次なる候補探しですが、
~~pixv~~pixivさんのサーバーはベニア板の上にパーツをレイアウトしているようです。
それならばということで東急ハンズで見つけたものがMDF合板というシロモノ。
サイズもちょうどよさそうです。

こんなの。

なんだかよく燃えそう

早速パーツをレイアウトしてみました。

適当に買ったのにジャストフィッティング！（加工もなし）
この板1枚で250円也

でもただ板に置いただけだとマザーボードが自重でたわんでしまうんですよね。

ほらこんなに。
しかもちょっと傾けたらスルスルっと板からマザーが落ちてしまいます。
これだとパーツをレイアウトして使用するのは不可能。やはりシャーシ（板）に固定しないとダメですね。

そこで調達してきたパーツはコレ↓

マザーボードの足にする小物

マザーを浮かせるためのネジと、電源などに貼る滑り止め。

これらを合体させると・・・・

こんな感じに！

マザーが浮いた！浮いたよ！

そして電源に滑り止めをはってみる。

すると・・・・

こんなに傾けてもだいじょうぶ！

どーん。

なんかもう・・・これ完成でいいんではなかろうか。

あ、

もう量産しちゃった・・・

この板をサーバーケースと呼ぶならば、
今回作成したサーバーケースの原価は約800円です。
実用に耐えうるかはやってみなくてはわかりません。
でも多分、~~pixv~~pixivさんのベニアとそんなに変わらないからだいじょうぶだと思います。

今回の自作サーバーは前回の1Uハーフサーバーに比べて、構想にもコスト的にも
比べ物にならないくらい手が込んでいませんが、サーバーとしての役割は果たしてくれそうです。

今回決定したサーバーの設計方針にしたがったパーツの詳細は次回にレポートするとして、
これ片づけないと・・・・

2011-02-21

プロジェクト709-ついに回線開通！100M占有で3万円/月！

自作データセンター

データセンターにより様々な料金形態があると思いますが、
うちの会社が今契約している本物のIDCさんでは、
100メガ共有回線を約10万円/月で借りています。

この100メガの帯域のうち、30メガ分を私達が使用してしまっているため、
IDCさん側から、これ以上増えるなら占有回線に変えてもらうか、もう一本100メガ共有線を
契約してくれと言われています。

専有線はビックリする価格（共有回線の数倍！）なのでまず無理として、
共有線をもう一個契約したとしても、使用できる帯域はわずかしか増えないし、
いずれまた契約を増やしていかなければなりません。

こうなったらいち早く709を稼動させて、IDC側のコストは増えないようにしましょう！
そしてタイムリーにも709に回線が開通しましたのでレポートします。

まず、709に建物構内の共有回線を使用してしまうと、他の入居者に迷惑がかかりますし、
逆に、他の方が使いまくってて、709側で十分なトラフィックが出せないという可能性も
ありますので、占有線を必須条件にします。

建物によってはMDFから直接部屋に回線を引き込むのはダメとしているところも
あるそうですが、(この場合各フロアのIDFから引き込むのでフロア共有になってしまう)
大家さんに許可をもらいにいくと
「線があまっているならいいよ」
ということだったので、MDF室内のPT（PD？）盤を業者さんに調べてもらうと、
ダークファイバーの余りがあと５本はあるということでしたので、占有線でいけそうです。

709は文字通り７階に位置し、
MDF室は地下１階なので、壁内の配管を通って回線を７階まで通さなければなりません。
大変な作業なんだろうなぁと思っていたのですが、
７階から棒を配管に通し、地下１階でそれを受け取り、光ファイバーを棒にくくりつけ、
あとは７階から引っ張るだけなんですね。さすがプロ。

開通した回線。ついでにフレッツも引き込みました。

業者さんはUSEN。
契約したプランは「BROAD-GATE02」の光ビジネスアクセス固定IP８です。
１００メガで月33000円！2本で66000円。安！
※ギガ占有でも6万円くらい。

メタルラックがそれなりになってきました。

USENさんの回線をメンテナンス用に使うのもったいないかなと思ったので、
フレッツ光共有タイプ（数千円/月）を別途引き込んで、
プロバイダ（InterLinkさん）の固定IPプランを契約しました。
これをVPN接続にして、メンテナンス回線の代用にしました。

これで電源設備、ラック、回線が整いました。
この間、ずっと検証を重ねていた自作サーバーがようやく設置できそうです。
次回はこのあたりをレポートしてみたいです。

2011-02-16

プロジェクト709 - メタルラック導入！709のサーバ収容数300台超え！？

自作データセンター

今回は回線についてのレポートにしたかったのですが、
まだ敷設工事が入らないので、（業者さん、忙しいそうです）
前回導入したハーフラックと同時に注文しておいたメタルラックが
先日709に届きましたので、導入作業をレポートします。

と、その前に、709のサーバー収容スペックをおさらいしてみました。
まず、収容するサーバーは自作機を想定。
以前は1Uハーフサイズで、19インチラックマウント可能なサーバーを
自作しましたが、今回のプロジェクトでは、もうラックマウント路線では行きません。
※理由は前回の記事を参照。

よって、汎用的なメタルラックを採用することに決定しました。
採用したのはコレ！
あなたにぴったりの1台がきっと見つかる　メタルラックシリーズ【本体】/アイリスプラザ

「あなたにぴったりの1台がきっと見つかる」
という素敵なキャッチフレーズのとおり、
自作サーバーにもぴったりです。

いろいろ採寸、検証した結果、709にベストマッチなのは
幅約150×奥行約61×高さ約179のMR-1518DJという製品で、
棚板をいくつかプラスして、10列に増やします。

次に作成する自作機（また今度紹介します）が1列に5台格納できる計算なので、
大体1ラックで40台〜50台のサーバーを収容可能となりそうです。

そしてラックの配置はざっと以下を想定してみました。

なんの要素も考慮せず、ただ単純に収容台数だけで計算すると・・・
19インチハーフラック（25台収容可能）　×　2 = 50
メタルラック（45台収容可能） ×　6 = 270台

- - - - -

合計：320台

こんなに入っちゃうのですねぇ。
電源とか空調を考えると99.9パーセント不可能でしょうけど。。

もちろんこんなにサーバー台数が必要なわけがないので（いつかこんなんじゃ足りないと言ってみたい・・）
最初は2ラック分（図でいうメタルラックルータ島と、メタルラック１）だけを設置してみました。

メタルラック１設置完了

ルータ島のメタルラックの作業中。
※カーペットタイルのせいで不安定になるので剥がして直置きする。

設置完了後。まだまだ余裕あり。
※このラック、シンプルに見えて意外と組み立てるの大変です。

メタルラックも導入されたので、
回線開通を待っている間、次なる自作サーバーの構想をレポートしていきます！

2011-02-14

プロジェクト709-ラック設置！部屋が重さに耐えられない！？

自作データセンター

最近は自作データセンターのことで頭がいっぱいになり、
なかなか寝つけない日々が続いております。
睡眠不足はシステム管理者にとって最大の敵でございます。

まだプロジェクト709始動から日が経っていませんが、
ざっくりとしたゴール地点（目標）を決めておかなくてはなりません。
で、”シスアドの安眠”
これの達成にしようと、今日の朝、決めました。

さて、タイトルどおりラックの搬入が行われたのですが、このラック、19インチラックです。
本当はこのプロジェクト始動当初、19インチラックを導入するつもりはなかったのです。
自作データセンターというからには、設置サーバーも自作にしようと決めていたからです。
過去に製作した自作サーバーのノウハウを投入するいいチャンスですし。

↓過去、私達がはてなさんの自作サーバーを真似て作ったサーバー
はてなみたいな自作1Uハーフサーバーが完成。 - 怒涛のSyntax Error

しかし、今お世話になっている本物のIDCさんに設置の
サーバー達（1ラック分約40台）を「移設可能なように」とのお達しを
上層部から受けたため、導入せざるえなくなりました。

↓うちのサーバー群。※すべてDELL製
これを収容可能にしなくてはならない。

しかし、709号室にフルラック（42U）を置くと、相当な重量がかかると予想されます。
1UのDELLサーバー1台で、約12キロの重さがあるので、ざっと40台だと480キロ近くあります。

これはちょっと心配なので大家さんのところへ。
※大家さんは上層階に住んでいる江戸っ子気質なおっちゃんです。

「500キロくらいの機材を設置したいのですが、部屋の耐荷重ってどのくらいですか？」
という私の質問に「よくわからない」というお洒落な回答をもらえました。

ということなので、私の判断に委ねられることに。
どうもマンションの構造計算上、1平方メートルに約180キロまで積載可能なようです。
店舗や事務所向けの建物だと300キロあたりまでいけるようです。
またこの基準以内に収めても、長期間置いたままでは負荷がかかりつづけるので
分散するか、たまに場所を移動すると良いそうです。

709号室の建物は下層階は飲食や雑貨系店舗が入っており、中層階は事務所、
上層階が居住区となっている建物なので、おそらく事務所向けの設計だと思われます。

どちらにせよ、フルラックは不可能なので以下のような形でいくことにしました。
・ハーフラックを2台にして、重さを分散する。
・ラックは軽いものを買う（イコール安い）
・移動可能なように、そのまま置けるタイプにする。

この要件を電源設備でお世話になった業者さんに丸投げ。
搬入、組み立ても含め格安でやってくれることになりました。

決定したラックは↓
河村電器産業株式会社様のラック
※ハーフラックのページは見つかりませんでした。

そして、搬入後が↓です。

シンプルでいいですね。1ラック25Uなので1Uサーバーが50台収容可能です。
背が低いので大地震でも倒れることはなさそうかも。しかもかなり軽いです。

709全体像。まだまだ先はながい。。

200v電源はDELLサーバー達に使ってやりましょう。

そういえば、200v電源のチェックをしていなかったので
自作マシン製造過程の残骸パーツで通電チェック。（もちろん電源は100v 200v対応製品）

正常に起動！

この写真ではわからないですが、
100v電源使用時とくらべてみごと半分の使用量になりました！200vってスゲー！

なんだかデータセンターというよりラボっぽくなってきた。
この部屋で一人作業していると無になれますよ。

このプロジェクト709、
やっぱりメーカー製サーバーや19インチラックの使用は今回搬入しただけに留め、
あとはすべて自作サーバーとメタルラックで攻めてやろうと思います。
※自作サーバーは軽くて（重量）安い、メタルラックも軽くて安い。

まだ先は長く、問題も山積みですが、一個一個クリアしていきましょう。
さぁて、次回のプロジェクト709は、回線についての考察です！

2011-02-13

プロジェクト７０９始動　最初はやっぱり電源周り

自作データセンター

<Tweet

前回の記事でとあるマンションの７０９号室を
私たちのデータセンターにするべく始まった「プロジェクト７０９」ですが、
こんなにたくさんのブクマを頂けて、はっきり言ってビビっております。

たくさんのコメントを見ると、なんだか自分安易に物事を考えすぎたかななんてちょっと後悔してます。
でも期待もたくさん頂いてると感じたので、やりとげられるようがんばるんで、応援と突っ込みお願いします。

さて、データセンターというと、
電源が冗長化されていて、緊急時には自家発電に切り替わったり、
すんごぃ耐震構造だったり、サーバールームに入るのに指紋でピピッみたいなのを指すと思われます。

これに対し今、私の目の前にある環境は、
ブレーカーが飛んだら全部の電源ダウン！みたいな電源設備下で
地震発生時には元気よくラックからサーバーがダイブする可能性を秘めていて、
宅配屋さんがピンポンってするとのぞけちゃうような、
なんというか、フツーの・・・家なんです。

つまり耐震構造をどうのこうのは物理的に不可能なので、
そのあたりは考えないようにします。

「でもそれってデーターセンターって呼ばなくない？」
という想いも今は置いておきましょう。

要は、どこまで「データセンターらしく」するかです。
無謀は承知で、いけるとこまでいってやろうと。
その結果を見てデータセンターの自作がアリなのかナシなのか
みんなでジャッジできればうれしいです。

さて、当然のごとくいろいろな課題があがりますが、
まず着手すべきは電源周りです。

多数のサーバーを持ち込んだとき、必ずその台数分必要になるものが、電源口です。
”プロジェクト７０９”の目標収容サーバー台数は１００台以上ですので、
壁から出てるコンセント口使うわけにいきませんよね・・。配電盤を眺めながら悩みます。

７０９号室デフォルトセットのノスタルジーな配電盤

4系統しかないよ・・・

そこで、お付き合いのある業者さんに相談してみると、
なんだかおもしろそうということで、２人の電気系マイスターが
わざわざ７０９号室に足を運んでくれ、相談に乗ってくれました。

そのマイスター達からいろいろアドバイスをもらったのですが、
電気系の話を書くとちょっと長くなるので、割愛しちゃいますが、
結論から言うと電源周りの方向性は、「２００V電源にトライ！」です。

※これ、ご存知かと思いますが、業務用電源です。
　この選択、後に大きな問題となりそうです・・・

さて、発注からわずか数日で電源工事完了の連絡が。
早速７０９号室に行ってみると・・・

生まれ変わった配電盤。
※100Vが6系統、200vが3系統に

100V電源口がいたるところに。

200V電源と100Vの比較。一目瞭然！

なにこれイカツイ。

しかし電源口がこうも配備されると、
もう後戻りできないんだなっていう、何か重大な人生の岐路に立たされた気分になります。

なんていうのはさておき、テスターで遊んでみたりしてます。

200V用スーパーロングタップ、チラ見せします。

さぁ、電源周りはとりあえずこれで良しとして、
次回は、ラック搬入をレポートします！

2011-02-09

データセンターを自作してみよう

自作データセンター

自作サーバーがひと段落したので、次はデータセンターを自作しようって企画です。

何故わざわざデータセンターを自作するのか？
これにはいろいろな理由があるのですが、達成できるか分らないので後でまとめて報告することにします。

まず、データセンターを作るうえでなくてはならないのがスペースですね。
googleやmicrosoftの巨人たちの間ではモジュール型（コンテナ）が流行っているそうなので、
うちも地方に土地を借りてコンテナを借りて・・・とか考えましたが、

「電源設備どうするの？」

という質問一つで却下となりました。

で、現実的に、社内に構築する方法。
これはスペースがないのとマシン音が仕事の邪魔をするので却下です。

次に、社員みんなの自宅に分散してサーバーを置く方法。
いろいろありえないので当然却下です。

そして落ち着いたのが、
小さな事務所を借りてそこをデータセンター化することです。
（というかコレしかないです。）

さっそく物件探しです。
必須条件は↓のように決めました。

・2階以上
・２０平米以上あること
・電源許容量が60A以上あること
・会社から近いこと
・常時無人でも許してくれる大家さんであること
・家賃10万以下！
・鉄キン造

近くの不動産屋さんにお願いすると、
かなり厳しいといわれましたが、待つこと3日。
見つかりました。
所在階7階、約30平米、電源60A、会社から徒歩3分、鉄キン造！
すべてベストです。でも賃料は15万でした。。

今回の目的の一つにコストダウンがあるので、15万の賃料は厳しいです。
でも物件は最良。あきらめきれないので家賃交渉すると・・・12万まで落してくれました。
というわけですぐさま契約です。

こんな部屋

いい感じ。

ラックの寸法にダンボールを切って試しに配置してみたとこ

以外と狭くなりそうな予感・・・

これでスペース確保は完了です。
これと同時に、この企画のコードネームを「プロジェクト７０９」と名付けました。

となる都内マンションの７０９号室がデータセンターに変わっていく様子をどうぞ期待していて下さい。