予約なしで当日店舗に行ってレンタルすることは可能ですか？

はい。当日に車体の空き在庫があれば店頭での当日レンタルが可能です。
ただし、週末や行楽シーズンは全車予約で満車となることが多いため、ご来店前にWeb予約サイトから空車状況をご確認・お申し込みいただくことをおすすめします。