以前紹介したマイニング用のライザーレスマザーボード「BTC-S37」について、重要な懸念事項が見つかったのでお知らせします。(前回の紹介のコメントを頂いたことにより認知できました。ありがとうございます。)
結論から言うと、BTC-S37の使用はかなりの課題があります。
[追記]実際に導通確認してみましたはじめに
この記事で記載されている内容は海外のフォーラムの情報などを個人的に解釈して記載しています。一部、自分が保有している機材で詳細確認ができていない情報もあります。
なので、実際に自分で使用する際は「自己責任」となります。全てを鵜呑みにしないでください。
また、今回の解説は読者の認識を合わせるために、敢えてかなり回りくどく書いています。読みづらいところが多々あると思いますが、ご容赦ください。
BTC-S37について
マイニングに特化したマザーボードです。詳細は以下の記事を参考にしてください。
似たようなモデルがいくつか発売されていますが、BTC-S37は最もGPU間の間隔が長いボードなので、エアフローを管理しやすいというメリットがあります。
筆者も同様の理由で友人から依頼を受けて購入したのでした。
BTC-S37の問題の概要
では、本題です。
まずはBTC-S37の写真を見ていきましょう。
上記が全体像です。
このPCIE6pinのインターフェースは何でしょうか?
これは、本来マザーボードから供給される電源用のインターフェースです。マイニングをされている方はご存知だと思いますが、グラフィックカードへの電源供給は大きく2つの経路でなされます。
- 1つめ(以下Aルート):マザーボードからの電源供給(Max 75w)
- 2つめ(以下Bルート):補助電源(PCIE6pinかPCIE8pin)からの電源供給(Max 75w/150w)
(AルートとかBルートってのは、以降の解説をするために適当に作った名称です)
一般的にグラフィックカードを使用する場合は、マザーボードのPCIEスロットに直接挿入して使用します。この時点でAルートからMax75wの電力を供給できます。しかし、最近のグラフィックカードは75wだけだと動かすための電力が足りないので、グラフィックカードに直接PCIEケーブルを挿すことが多い。これがBルートです。例えば225wの電力が必要なグラフィックカードの場合、Aルートから75w+Bルートから150w(PCIE8pin)という感じで電力供給が行われています。
つまり、基本的にはAルートとBルートの両方が必要です。
マイニングのように沢山のグラフィックカードを1つのマザーボードに繋げる時に使用されるのが、以下のようなライザーカードです。
ライザーカードにグラフィックカードを挿して、マザーボードから「外だし」するイメージです。
このままだとグラフィックカードに挿したライザーカードから、本来マザーボードから供給されるAルートの電源がてにはいりません。故に、ライザーカードにPCIEケーブルだったりMolex(ペリフェラル)ケーブルなりを挿して、Aルートの電源を手に入れるのです。
話をもとに戻します。
BTC-S37は、8つのライザーカードがマザーボードに備え付けられている構成と考えたらわかりやすいと思います。つまり、上記のPCIE6pinはライザーカードに接続するための電源供給のようなものです。(で、これが微妙に違うから大きな問題になるのです。ちょっと後に解説)
8つのPCIEスロットがあるので、PCIE6pin用のインターフェースも8つあります。
全体像を再掲します。8つありますね。
繰り返しますが、上記の理由で、一般的なライザーレスマザーボードの場合は、それぞれのPCIEスロットごとにPCIE6pinのインターフェースが備え付けられているのです。
さて、少し話が変わります。
上記の写真を見て気づくかもしれないのですが、マザーボードに電源を供給するインターフェース、つまりATX24インターフェースが存在しません。
となると、どうやってマザーボードに電源を供給するのでしょうか。
なんと、BTC-S37の場合、マザーボードの電源供給もPCIE6pin経由で行われます。
ちなみに、ここまでは前回の記事でも解説したとおりです。
まとめると、このマザーボードでグラフィックカードを使用する場合、以下の電源供給が存在することになります。
Aルート(通常のマザーボード経由の最大75w) マザーボードに備え付けられているPCIE6pin*8
- A-1:GPU1用
- A-2:GPU2用
- A-3:GPU3用
- A-4:GPU4用
- A-5:GPU5用
- A-6:GPU6用
- A-7:GPU7用
- A-8:GPU8用
Bルート(グラフィックカードの補助電源)
- B-1:GPU1用
- B-2:GPU2用
- B-3:GPU3用
- B-4:GPU4用
- B-5:GPU5用
- B-6:GPU6用
- B-7:GPU7用
- B-8:GPU8用
B-1からB-8はグラフィックカードに直接接続する電源なので、スロットの数やPCIE6pinかPCIE8pinかはグラフィックカード依存です。
さて、ここからが大きな問題の確信となります。
どうやら、A-1からA-8は独立した電源回路になっているわけでは「なく」、全て内部的につながっているらしい。
つまり
例えば上記はGPU5(A-5)とGPU6用(A-6)のPCIE6pinインターフェースですが、実際は内部的につながっているので、A-5だけ接続していてもGPU5/GPU6両方の電源供給が可能なようです。マザーボード用の電源供給もA-1からA-8のいずれからでも供給可能なようです。
これは一見したら便利です。なぜならAルートでの電源供給が少ないグラフィックカードを使用しているのであれば、8本全てを使用する必要がないからです。
でも、それ以上に大きな問題があります。
問題1: 2台以上の電源を組み合わせる時のリスク 1
最近のグラフィックカードは100w以上の電力を要求するのは普通なので、例えば8つのグラフィックカードを使用するとなると、使用電力は800w以上となります。
また、PCIEケーブルも多用するので、マイニングマシンを構築する際は「2台以上の電源を使用」することが一般的です。
2台の電源を同時に使用する場合「どの電源を何に割り当てるか」が議論となりますが、主にいかがベストプラクティスとされているようです。
- 1つのグラフィックカードには同じ電源を使用する
つまり、同じ電源を使用して同じグラフィックカード向けの補助電源とライザーへ電源を供給するべきということです。
これは例えば1つの電源が故障した場合、対象のグラフィックカードへの電力供給も完全にゼロになるべきであるという安全弁的な観点があります(他にもあるのですが、とりあえず割愛。調べてください)。
では、BTC-S37の場合を考えてみます。
上記のコンセプトに従う場合、Aレーン用のPCIE6pinは以下のようにケーブル接続をすることになると思います。
- 電源A: A-1からA-4
- 電源B: A-5からA-8
そして電源Aが1-4のグラフィックカードの補助電源、電源Bが5-8の補助電源です。
しかし、ここで問題が生じます。上述の通り、BTC-S37のA-1からA-8は内部的に繋がっています。
つまり電源Aと電源Bが両方ともA-1からA-8に電源を供給しているという事になります。
それぞれのグラフィックカードが、自分のタイミングで、異なる電力を要求します。グラフィックカードからすると電源Aから電力を欲しいとか、電源Bから電力を欲しいとかの意識はしません。電源Aと電源Bも、それぞれが同期をとって、平等に電源を供給するなどが可能なのでしょうか?私が理解している限りは、ATX電源にそのような同期の機能はありません。
問題2: 2台以上の電源を組み合わせる時のリスク 2
仮に「問題1」に目をつぶって(つぶったらダメなのですが)、上記の構成で運用したとします。つまり
- 電源A: A-1からA-4
- 電源B: A-5からA-8
そして電源Aが1-4のグラフィックカードの補助電源、電源Bが5-8の補助電源です。
ここで一方の電源が壊れたらどうなるのでしょうか?例えば電源Aが故障した場合。
恐らく、A-1からA-4に要求する電力を電源Bに要求するはずです。内部的に繋がっているので。
もし、それぞれが定格ギリギリ(75w)を本当に使用していたら、電源Bに対して合計で75w*8=600wの要求をしするはずです。それぞれの電源Bのpcie6pinのケーブルに(運良くまんべんなく流した場合)150w流れます。pcie8の最大許容定格は75wなので、最悪ケーブルが溶けますし、最悪燃えます。
問題3: ケーブル破損の時のリスク
以上でBTC-S37と電源2台の構成がリスクであることを理解いただいたと思うのですが、本質的な課題は「BTC-S37のpcie6pinインターフェースが内部的に繋がっている」ことに起因します。
なので、電源2台構成でなくても、関連した問題は起こりえます。
A-1からA-8のpice6pinケーブルが1本破損したケースを考えてみます。今回はA-1のケーブルが不良状態になったと仮定します。
すると、グラフィックカード1の電力(&他の7枚も含め)をA-2からA-8経由で流すことになります。後は「問題2」と同じリスクです。残りのケーブルが対応できない電力が流れた場合はケーブルが溶けますし、火事の原因にもなりえます。
後述しますが、実は「問題3」の方が「問題2」よりも考え方によっては深刻です。
じゃあ、どうしたら良いの?
完全な解決策はありませんが、リスクを軽減する観点から考えてみました。
案1: 障害発生時に電力を強制的にストップする
問題1や問題2が発生した場合、それぞれの電源の電力供給が不安定になるはずです。例えば問題2のケースを考えてみます。電源Aが故障した場合、電源Bの負荷が急激に上がるはずです。その事象を観測した瞬間に電源Bを落とす案です。
当然24時間目視で監視は非現実的なので、以下のようなスマートデバイスで管理をします。
これでそれぞれの電源の使用電力を監視し、想定以上の電力を使用した瞬間にお互いを停止させる案です。
しかし、これだと以下の解決にはなりません。
- そもそもスマートプラグが故障した時の対応がどうなるか?二重障害に弱い
- 問題3の解決にならない
案2:単一電源しか使わない(2つ以上の電源を組み合わせない)
本末転倒ですが、これがRedditなどのフォーラムでの結論です。つまり、BTC-S37では1台の電源だけを使うという案。
1台の電源だけであれば、電源間の電源同期問題(問題1)や片方の電源障害(問題2)は完全に解決されます。1台の電源が落ちたらお終い。ある意味フェールセーフです。
でも、実は「問題3」の解決にはなっていません。仮にA-1からA-8のいずれかのケーブル障害が発生した場合、1台電源構成であっても内部的に繋がっている限り残りのケーブルが燃える可能性が残っています。
案3:ライザーカードを使う
さらに本末転倒です。構成としては以下のイメージです。
- A-1からA-8のいずれかにPCIE6pinを接続する(マザーボード用)
- A-1からA-8のPCIEスロットにライザーカードx1を接続し、後は通常のマザーボード同様にライザーカードを使用する
繰り返しますが、そもそもの問題は「A-1からA-8が内部的に繋がっていること」なので、A-1からA-8を使用しない構成にすれば、この問題は回避できるはずです。
しかし、そもそもBTC-S37でライザーカードが使えるのか?
一応使えました。
一応スロット1以外でも確認しました。
ただ、この案は、このマザーボードの最大のメリットである「ライザーレス」が無意味になってしまうので、このマザーボードを買ってしまった人以外は意味がないでしょう。
案4: じゃあ、どうしたか
こうしました。
BTC-37を使うことにしました。
つまり、BTC-S37ではなく、その前に使用していたBTC-37でのライザー構成としました。というのが、BTC-S37の使用を進めていた最大の理由は「グラフィックカード間の間隔が長い」からなのであって、ライザーで間隔を調整できるのであればBTC-S37の必要はないわけです。
さらに複合的なメリットがあり、BTC-37はA-1からA-8が内部的に分離されている(テスターを使って確認まではできていない)ので、オンボード分とライザーを使い分けることもできる。
スロットに挿しているライザーx1の電源はATX24から取れるようです。
今の所は問題が発生していません。
まとめ
今回はBTC-S37の潜在的なリスクについて書いてみました。
何故こんな設計にしたのか・・・本当に謎です。
前回の記事で指摘くださった読者様、本当にありがとうございました。
[追記]実際に導通確認してみました
コメント
こんにちは。
記事を読ませていただきました。
BTC-S37をメインで使用しているのですが、この問題点を今後どうするか
課題となりました。
以前より冷却の面でBTC-37を使用しながらライザカードをと交互に使うことを検討してました。
BTC-37でライザカード使い実際に動くテストもされており、とても参考になりました。
ありがとうございます。
訪問頂きありがとうございます。
BTC-S37は真面目に考えると困るボードですね。正直、何も知らなかったら気づかずに電源2台構成で動かしていました。
マイニングでの最重要リスクは火災リスクだと思っているので、二重三重に安全装置をかけたいですね。
今後とも宜しくお願いします。
こんにちは。メイン電源が壊れた場合の対策で、リレータイプの連動ボードがあるのですが、それで動かしたらどうでしょうか?
あと、電源の使い方ですがメイン電源をマザーボード、連動ボードの
サブ電源をグラボ補助電源のみに使う方法で私は動かしてます。
このマザーでマザーボード電源だけでグラボ起動したことがあります。数分観察してましたが、
これといってケーブルが加熱されるわけでもなく、ただOS側で認識されなかったという感じでした。
再起動ミスで偶然、サブ電源のみに
なってしまったのですが、これといって被害はありませんでした。
※絶対に安全かどうか分かりませんのでご注意ください。
情報共有ありがとうございます。
リレータイプの電源ボード(間に電源ボードを挟んで、どちらかの電源が落ちたら物理的に別電源のソースも落ちるタイプ)も検討したのですが、どちらにせよ「マザボ側PCIEのケーブル損傷リスク」は解決しないと結論に至りました。ただ、リスクは減るかと思います。
メイン電源をマザーボード、サブ電源を補助電源という使い方ですが、私も同様の観察をしたことがあり、その時は特に問題なかったです。RX様と同じでした。
https://www.reddit.com/r/litecoinmining/comments/1x72mv/can_we_talk_dual_psu_builds/
上記のDiscussionでは、電源ごとに若干の電圧差があり、故に複数電源を1つのGPUに繋げるのは好ましくないという結果ですね。