深層学習モデルを多出​力にしたことに起因す​る精度低下の対応策に​ついて

現在、LSTMネットワークを使用した回帰モデルをDeep Learning Toolboxを用いて構築しています。

これまでは１つの値のみを出力するモデルを構築していたのですが、現在２種類の出力を出したいため、以下のドキュメントを参考にカスタム学習ループを使用したネットワークを構築しました。

【参考URL】

https://jp.mathworks.com/help/deeplearning/ug/train-network-with-multiple-outputs.html

しかし、１つの出力のみを出していたモデルと比較して、予測の誤差が大きくなってしまいました。

私の中ではその原因として、複数出力の場合、最後の出力層以外の部分をネットワークが共有しているため、片方の値が異なる値へと予測された際に誤差逆伝播時に重みが大きく更新されてしまい、本来正しく予測できていたものが予測できなくなってしまったと考えております。

ただ、この問題を解決するような策が中々思いつかないのですが、どのようにしたら良いか、知見のある方はいらっしゃいますでしょうか。