Поскольку на Юрьев день раньше было принято начинать посевную, а именно высадка огурцов, но заморозки могли погубить посев взошедших семян, то и выражение это сродни поговорке "И на старуху бывает проруха", т.е. неудача, неприятность.
Юрьев день - единственный день в году, когда крепостные могли поменять неугодного им барина на другого. Возможность эта была отменена, и с тех пор эта поговорка выражает крайнюю степень разочарования, крушения надежд.