황희, 회기 중에 관용여권으로 가족여행…기록엔 ‘병가’