关于添加 pose 分支的训练问题

[Watebear]

您好，我按照您的提示，训练模型，遇到如下的问题：

1. 请问您在使用模型标注的 pose 信息时，是对所有人脸框进行标注，还是只对 有 landmarks 的标注？
   同理，在计算 loss 的时候，是根 landmarks 保持一致吗？

2. 在 multi-box-loss 中，我将 pose 部分与 landmarks 的处理保持一致（用 pos1 来选择）。
   将网络输出的数值：
   yaw_data = F.softmax(yaw_data)
   pitch_data = F.softmax(pitch_data)
   roll_data = F.softmax(roll_data)

    yaw_data = torch.sum(yaw_data.data * idx_tensor, dim=2) * 3 - 99
    pitch_data = torch.sum(pitch_data.data * idx_tensor, dim=2) * 3 - 99
    roll_data = torch.sum(roll_data.data * idx_tensor, dim=2) * 3 - 99
    
    yaw_p = yaw_data[pos1].view(-1, 1)
    yaw_t = yaw_t[pos1].view(-1, 1)
    pitch_p = pitch_data[pos1].view(-1, 1)
    pitch_t = pitch_t[pos1].view(-1, 1)
    roll_p = roll_data[pos1].view(-1, 1)
    roll_t = roll_t[pos1].view(-1, 1)
     
    loss_yaw = F.smooth_l1_loss(yaw_p, yaw_t, reduction='sum')
    loss_pitch = F.smooth_l1_loss(pitch_p, pitch_t, reduction='sum')
    loss_roll = F.smooth_l1_loss(roll_p, roll_t, reduction='sum')
   
    loss_yaw /= N1
    loss_pitch /= N1
    loss_roll /= N1
   

但发现 loss_yaw， loss_pitch， loss_roll 不收敛，训练几个 epoch 后：
loss_yaw /= N1
loss_pitch /= N1
loss_roll /= N1

请问这里该如何处理？
期待您的指导！谢谢！

[gengyanlei]

@Watebear

1. 人脸姿态估计和口罩检测是类似的实现，只要检测出人脸，就需要检测出关键点、姿态
2. 我实现的还是有一些问题，我没有遇到loss为nan的情况，但是mosaic数据增强写的不太好，需要优化，显存总是不断上涨。
3. 我直接把hopenet的loss直接拿过来计算了，他本身存在的问题我没有解决，仅仅做了几次实验。希望你能继续改进loss设计，mosaic增强。