เดิมกศน.ตำบลห้วยหอม  ได้ใช้อาคารร่วมกับองค์การบริหารส่วนตำบลห้อยหอม (หลังเก่า)  หมู่ 7 บ้านโคกเจริญ  ต่อมาองค์การบริหารส่วนตำบลห้วยหอมได้ย้ายมาสร้างใหม่  กศน.ตำบลห้วยหอม  จึงได้ย้ายตามมาใช้อาคารขององค์การบริหารส่วนตำบลห้วยหอม  และได้ใช้จนถึงปัจจุบัน