周五下午，一家做模型的小公司去谈租算力。老板拎着笔记本，坐下就说：我想买 100 万的算力，能用一年就行。
他准备得挺足，预算写好了，还特意算了下每天能跑多少任务。在他想来，这东西跟手机流量差不多，充一笔钱，用多少扣多少，用完再充。
对面的销售没接话，反过来问了三个问题：要几张卡、机柜放哪个城市、电费谁出。
老板愣了。等合同摊开，上面写的是八台服务器、六十四张卡、一个二十千瓦的机柜，电费另算。他看了半天，问了一句：那算力在哪儿？
一句话原理
算力不是一种货，是三样东西凑出来的能力：卡负责算，服务器把卡装起来、把数据喂进去，机房给它们送电和散热。
像开饭馆。灶台是卡，厨房是服务器，店面、煤气和排烟是机房。灶台买得再多，煤气供不上、油烟排不出，菜一样出不来。
一个具体例子
假设一个团队要跑一个 70B 的模型，就是七百亿个参数。先说清它到底要吃多少东西。
模型本身像一本很厚的册子，权重加起来大约 140 GB。这本册子得先摊在卡自带的一小块桌面上，这块桌面叫显存。桌面不够大，册子就摊不开。
假设一张卡有 80 GB 显存，光装权重就得两张，跑起来还要放中间结果，实际得四张起步。
卡也不是插上就能跑。它得插进一台服务器，由服务器配够内存、硬盘和网卡，把数据一批批喂进去。喂得慢了，卡就在那儿等，电照烧，活儿不走。
卡数定了，再看电。假设一张这样的卡满载 700 瓦，四张就是 2.8 千瓦，加上服务器自己的处理器、内存、网卡，一台机器差不多 3.5 千瓦。
一个标准机柜按 20 千瓦算。20 千瓦是什么感觉？相当于二十台家用空调同时开着，或者六七户人家在用电高峰一起用电。
这种柜子放五六台机器就到顶了。再多，电闸先跳，不是卡先坏。
电还得按天算。假设一个柜子满跑，20 千瓦乘 24 小时，一天就是 480 度电。卡闲着，这 480 度也省不下来多少。
所以链条是这样：模型大小定显存，显存定卡数，卡数定功率，功率定机柜，机柜定机房里的电。
团队张口要一百张卡，机房那边往往不接这个数，先反问：你这一百张卡，要几个柜子，我这层楼还剩下多少电。
一个小闭环
一，数现场。输入是机房清单，一张张核清卡数、显存、柜子功率和网络，输出是一张能查的资源表。少了这步，后面全是估的。
二，连起来。把卡、服务器和机房的电表接到同一个平台上，屏幕上看得见每张卡在干什么、每个柜子吃了多少电。少了这步，你只知道总数，出问题找不到是哪一台。
三，算清。按模型大小算显存，按显存算卡数，按卡数算功率，输出是这活儿要占几个柜子、跑多久。少了这步，报少了跑不完，报多了白占着。
四，做动作。把这批卡划给这个任务，限住功率和时长，别的任务不许插队。少了这步，卡是给出去了，一会儿被抢走，一会儿因为太热降速。
五，证明结果。跑完看三样：活儿出没出来、卡是不是真在算、电花在哪。少了这步，账算不清，下一轮报价也没底。
三条技术确认点
一，确认显存够不够。别只看参数量，模型权重加上跑起来要用的中间结果，往往比纸上算的多出一截。显存一满，卡就停下来等数据，速度掉得厉害。
二，确认机柜扛不扛得住。卡买回来插不进去，多半不是机器不够，是柜子的电和散热到顶了。谈之前先问一句：这个柜子还能加几千瓦。
三，确认卡和卡之间传得动。多张卡一起跑要互相交换数据，这条路叫带宽，路窄了再加卡也只是加电费。
常见误区
看起来算力是按张卖的，其实是卡、服务器、机柜、电一起卖。单看一张卡多少钱，最后账单里电和机柜常常占一大块。
看起来卡越多越快，其实要看活儿拆不拆得开。活儿拆不开，多出来的卡只能闲着。
看起来机房就是个放机器的地方，其实它先划了一条线：这层楼有多少电，就只放得下多少张卡。
回到开头
那 100 万买的不是一样叫算力的东西。是六十四张卡、八台服务器、一个二十千瓦的机柜，再加一年的电。
老板后来学乖了，再谈的时候先报三件事：模型多大、要多快、能等多久。这三句说清，对面才知道该给几张卡、几个柜子。
算力这门生意，卖的一直是这三样捆在一起的能力。
算力：慧知开源智算调度平台
GPU 资源池化、任务调度、多租户和计费一套管，装在自己服务器上，能改能扩。
点这里看详情 →