人間は、体温がある程度以上逃げるようになると『寒い(冷たい)』と感じます。

空気は密度が低く、肌に接している量が少ないので、すぐに体温で暖められます。気温が30℃くらいある場合、体を覆っている空気はすぐに体温に近い状態になって、体温が逃げなくなるので、『暑い』と感じます。

一方、水は空気よりも密度が高く、肌に接している量が多いので、肌に接している水はなかなか温まらず、その間ずっと体温が外に逃げ続けます。
だから、風呂の温度が体温より少しでも低いと『冷たい』と感じるのです。