天命人闲置的4090：把GPU租赁价格打下来了（doge）
GPU租赁市场变得越来越神秘。价格为何被压低？居然可以是天命人闲置的4090被循环利用了？
最近，一种新型的GPU租赁方式开始出现。
它允许拥有闲置计算卡的人将资源出租给需要的人。
例如，为了打黑神话买了4090的天命人，可以把卡租给炼丹侠们。可以挂机“躺着”赚钱，炼金侠还可以以更划算的价格租用算力（4090每小时只需1元）。
大规模算力短缺才过去一年，算力租赁市场已经是一个新现象。
不仅如此，老牌租赁平台也主动降价。在海外，H100的价格已降至2美元/小时。
中国也是如此。 A100（80GB）租赁价格低至6.68元/小时，40GB为3.28元/小时，A800为5.98元/小时。
按理说，现在正是AI算力需求旺盛的时刻。大型云厂商为了争夺地盘而打价格战也是可以理解的。算力租赁平台的价格不但没有上涨，反而开始降价……
这背后到底发生了什么？
“白菜价”搞定高端算力一句话概括，与ChatGPT元年相比，AI算力短缺的问题得到了普遍缓解，但仍面临挑战。
上述变化受到算力供需双方的影响。
首先，在算力供给方面，大型模型的趋势进一步推动了AI底层硬件和基础设施的发展。
国际上，英伟达近两年不仅扩大了AI计算产品线，还大幅提升产能以满足激增的市场需求。
Hopper架构和Blackwell架构均包含Transformer引擎，并已推出两款产品供市场选择，不同架构之间的代际升级非常明显。 B200的晶体管数量达到了2080亿个，是H100的2.6倍，A100的3.8倍。后两者是在大型号浪潮之前发布的。
两个B200 GPU与Grace CPU结合成为GB200超级芯片。在标准1750亿参数GPT-3基准测试中，GB200的性能是H100的7倍，提供的训练计算能力是H100的4倍。
目前，第一批工程版B200已发送给OpenAI使用。天风国际分析师郭明池表示，Nvidia Blackwell GB200第四季度出货量将在15万元至20万元之间，明年第一季度出货量将大幅增长200%-250%，达到50万-55万元。
这也带动了整个行业产品迭代升级的步伐。为了保持竞争力，AMD、英特尔等近两年也推出了更先进的AI计算产品。
更大规模的变化体现在算力基础设施上。据中国信息通信研究院测算，截至2023年底，全球计算基础设施总规模将达到910EFLOPS，同比增长40%。
美国、中国算力基础设施规模位列前两名，算力全球占比分别为32%、26%。另一方面，算力需求在过去的一年里也发生了变化。
由于开源模型的性能已经达到GPT-4级别（如405B Llama 3、DeepSeek-v2等），并且中小型模型（7B-70B规模）的应用也更加成熟，中小企业/开发商纷纷入局，近期趋势推理缩放法则成为新方向。黄仁勋预测，随着推理链的出现，推理规模有望增长数千万甚至数十亿倍。
多种原因导致市场对微调推理的需求大幅增加，而训练需求的增长趋势开始放缓。
与训练相比，推理阶段没有那么高的硬件要求。在实际场景中，往往使用最先进的设备进行训练，而使用上一代产品进行推理。
因此，我们可以看到，大型厂商仍在追求H100和B200等高端GPU，但中小企业/开发商不再蜂拥而至，而是专注于更具成本效益的选择。
但问题是，算力供需不平衡问题依旧棘手。从宏观角度看，《人工智能算力高质量发展评估体系报告》 钟表示，我国算力市场仍面临供给不足、算力智能化程度低、能源挑战、供应链完整性不足等问题。
从微观层面来看，以学术界为例，“算力短缺”仍然是一个普遍现象。
今年5月，李飞飞在接受采访时透露，斯坦福NLP实验室只有64台A100。与业界相比，这个数字不值一提，但在大学圈子里已经相当富裕了。
一个比较普遍的现象是，很多大学实验室只有消费级显卡，大家需要排队才能使用。有限的实验资金将导致租赁算力面临更多限制。
在这些矛盾之下，算力市场开始更加主动，自发地提出新的应对措施。
最明显的迹象就是——经典算力平台的主动降价以及新兴算力租赁模式的出现。
能薅羊毛更能挂机赚钱今年算力市场最热门的话题就是“价格战”。这不仅限于销售大型模型服务的云供应商。提供算力租赁的各大平台也是主角。
不同类型平台的降价方式也存在差异。
目前算力租赁平台主要有两类：
算力云平台C2C算力租用平台前者如京东。其所有GPU服务器均为自营资源。它们通常在提供算力的同时，还保证一系列的配套服务，让用户降低门槛，更方便地使用算力。在这种模式下，定价权掌握在运营商自己手中。今年以来，不少平台纷纷主动降价。
后者就像淘宝一样，为机主和用户提供一个进行服务交易的平台。这种模式相对较新，允许拥有闲置计算资源的机器所有者出租其GPU，“闲置赚钱”。它本质上提供更具成本效益的租赁价格。
但需要注意的是，对于算力租赁来说，低廉的价格只是考虑因素之一。用户也关注平台提供的服务能力。
对于前者，用户更关心平台提供的算力是否性价比高、是否足够人性化；对于后者，机主和用户更关心的是平台是否可靠。
更具体的模型分析，我们来看一下行业内的典型案例。
经典算力云平台中，谁的价格战最激烈，AutoDL一定是其中之一。
合格的炼金术士应该熟悉这个平台。当年，其将3090的租赁价格从4.5元/小时提高到1.32元/小时，在用户中家喻户晓。
将于2021年上线，专注于提供灵活、易用、高性价比的GPU计算服务。
GPU总规模在国内同类型平台中名列前茅，提供丰富的GPU选择，包括A100、A800、V100、4090、3090等。
其主要目标用户为大学科研团体和企业用户，因此性价比非常高，也以入门为主。
平台支持TensorFlow、PyTorch等多种深度学习框架，并提供相应的CUDA环境。用户可以根据自己的需要选择合适的图片。
在具体能力上，兼顾科研和企业需求。主要包括：
用卡弹性：提供容器实例和API弹性调度模式，支持千卡级弹性调度；
团队管理：支持实验室、团队等场景下多个子账号的管理；
私有云：支持本地机器自由访问，将AutoDL云的高效管理和使用体验移植到本地；
CodeWithGPU社区：支持图片和模型分享，分享图片即可赚取收益
支付方面，更符合“羊毛党”的需求，主要提供按秒计费和包卡计费两种模式。
按量计费模式下，实例开启时开始计费，实例关闭时结束计费。时长可精确到秒，最低计费0.01元。关机后（15天）所有数据保留，并支持图片保存、文件存储等。
包年包月为预留GPU模式，支持日租、周租、月租。价格比按量付费便宜，长期使用更划算。
而且只要你注册，平台就会赠送你一个月的炼金会员资格。获得认证的学员可以直接升级为炼金会员，在认证期间一直有效。会员将享受价格折扣。
另一方面，大模式风潮兴起后，C2C（用户对用户）模式开始流行。
硅谷的代表是旧金山计算公司。从默默无闻到成为黑马，只用了半年的时间。它还获得了由Sam Altman 的兄弟领投的1200 万美元种子轮融资，估值为7000 万美元。
中国现在也出现了类似的趋势。比如刚上线三个月的聚皮友就与AutoDL达成了战略合作。
根据其自我定义，橙皮友是一个促进C2C双边AI算力交易的撮合平台。
其核心目标是通过共享经济模式降低用户使用AI算力的成本，同时让私人闲置算力得到高效利用，推动算力普惠、绿色低碳。
该平台支持的算力类型包括GPU、NPU、CPU、ASIC、ARM、RISC-V等，可以满足AI训练、AI推理、图像生成、渲染等任务的需求。
与AutoDL相比，橙皮友提供的算力租赁服务更加便宜，适合对机器配置不敏感的人群。
同时，定制性更强，支持个人外部镜像和灵活的实例端口。
您还可以在这个平台上成为机器所有者并将其出租以赚取额外收入。支持自助登机，不限制机器和数量。
由于与AutoDL的战略合作，其背后的团队都是算力行业的资深人士，使其成为混合算力市场上更可靠的选择。
也许你不用担心没人租。毕竟，AutoDL凭借其性价比，在短短三年内就形成了庞大的用户基础。以前大家都是通过抢牌来使用卡牌。
那么有人不禁要问，这么低的价格有什么意义呢？
事实上，AutoDL技术团队本身就来自学术圈，从2017年开始就一直提供GPU相关服务。有了这样的背景，AutoDL团队自然更了解AI行业的痛点，积累了丰富的经验。
由此就不难理解为什么AutoDL坚持提供大规模且高性价比的计算资源。
随着AI大模型应用趋势的持续，对AI算力的需求将不断增加。
对于很多科研院校和中小企业来说，算力将成为研发和实际应用的第一道门槛。
如今，随着算力租赁市场发展更加完善、模式更加多元化，使用算力已经变得像去食堂买菜一样。量大且够用才是实用。
对于行业来说，这可以更大程度缓解算力供需失衡，也让资源更加高效、绿色流通。
当然，最重要的是所有的炼金术士都能拿到薅羊毛，因为那些玩黑神话并获得4090命运的人也能找到办法拿回自己的钱。
最后附上文中提到的两个平台的官方网站，供感兴趣的同学详细了解！
AutoDL官网：https://www.autodl.com
聚彼友官网：https://gpu.pro
