Third-party API timeout은 retry를 늘리기 전에 무엇을 재나요?

외부 API 추가 후 timeout이 늘어날 때 deadline, queue wait, retry count, fallback path를 먼저 나눠 보는 관찰.

Third-party API timeout을 보면 retry를 늘리고 싶어지지만, 먼저 request budget이 어디에서 사라지는지 재는 쪽이 더 안전했습니다. queue wait인지, upstream latency인지, retry backoff인지, user-facing deadline이 너무 짧은지 분리해야 합니다. 특히 job queue가 있으면 external call보다 queue wait이 더 긴 경우가 있습니다. retry를 늘리면 성공률보다 tail latency가 먼저 커질 수 있습니다.