[Feature] pytorch backend 的embedding 层支持tp并行 #4243
Description
Motivation
lmdeploy pytorch backend的embedding层似乎没有实现tp并行，但embedding层和linear层一样同属模型参数的主要组成部分，显存占用较大，lmdeploy有计划支持embedding层的tp并行吗
Related resources
No response
Additional context
No response