大模型推理加速工程师
40-55K
大模型推理加速工程师 40-55K
杭州
硕士
经验不限
发布于 11月12日 BOSS直聘
职位描述
有国际期刊/会议论文发表大模型算法自然语言处理算法多模态算法模型加速/性能优化发表算法相关优秀论文蒸馏剪枝
岗位职责:
1. 配合算法工程师,推动深度学习相关算法的落地,打造高吞吐、低延时的推理系统;
2. 优化大模型推理性能,提升吞吐并控制成本;
3. 优化大模型推理框架,提升框架易用性和可调试性;
岗位要求:
1. 熟练掌握 C/C++、Python语言,有计算机体系结构背景或软件开发背景,熟悉系统性能调优的方式;
2. 具备基础的GPU编程能力,包括但不限于Cuda、OpenCL;熟悉至少一种GPU加速库,如cublas、cudnn、cutlass等;
3. 有Tensorrt/OnnxRuntime/FasterTransformer/TFServing等深度学习推理框架的实际使用经验;
4. 熟悉各类深度学习网络和算子底层实现细节,训练和推理模型调试、调优有实操经验优先;
5. 熟悉CPU/GPU异构加速瓶颈分析方法,有服务器端 AI 芯片、GPU加速经验优先;
6. 熟悉分布式推理加速框架,有超大模型分布式加速经验优先;
工作地址
杭州余杭区同花顺新大楼总部余杭区五常街道同顺街18号
相似职位推荐