张虚一，山东莱芜，是张道一学政的二哥。他性情豪放，不受约束。听说城里某家的宅院是狐仙住的，就郑重地带着名帖去拜访，希望能见到狐仙。他把名帖放在门的缝隙里，门扇很快就会自开。仆人大惊小怪，赶紧后退。张生整理衣帽，恭恭敬敬地进门。看到大厅里摆着桌椅，却寂静无人。于是望空拱手鞠躬说：小生斋戒诚意拜访，仙人既然不拒我门外，为什么不让我见面呢？突然听到空屋里有人说：有劳你大驾降临，让人很开心。请坐赐教。然后看到两个座位自行移动，相对摆好。张生刚坐下，就有一个雕刻的红漆茶盘，里面装着两杯香茶，挂在前面。各取茶杯相对饮用，虽然能听到喝茶的吸沥声，但总是看不见喝茶的人。喝完茶，再放上酒。张生问对方家姓，回答说：小弟姓胡，排名第四，随从的人叫我相公。于是双方互相敬酒交谈，意气相投。桌上的菜都是海味山珍，非常丰富。送酒端菜的，似乎都是年轻一代，而且人数很多。张生酒后很想喝茶，这个想法一产生，香茶早就放在桌子上了。没有什么是你想要的。张生很开心，便开怀痛饮，大醉而归。从那以后，他每隔三天就去拜访胡四相公，胡四相公也经常来张家，根据主客的礼仪互相招待。
有一天，张生问胡四相公说：南城的巫婆，天天借狐仙的神术从病人家里要好处。不知她家的狐仙，您认识不认识？胡四相公说：她在撒谎，其实她家没有狐狸。过了一会儿，张生起身小便，听到有人小声说：刚才你说的南城狐巫，不知是谁？恶棍想跟着丈夫去看看。请为我说一句话，并要求主人允许。张生知道这是个小狐仆，便答应说：好吧。就在宴会上请胡四相公说：我想得到足下一两个仆人的帮助，去探望巫婆，请同意。胡四相坚持说没必要。在被允许之前，张生一再要求，然后张生出去，马自己走过来，像有人牵着他。张生走过去骑上前行，狐仆边走边和他说话。狐仆对张生说：以后先生走在路上，如果发现衣衫上散落着细沙，就是我们这一代人跟着。说着进城，到巫婆家。
巫婆见张生来，笑着迎面说：贵人怎么突然来了？张生说：听说你的狐子很有灵验，是这样吗？巫婆收起笑容严肃地说：像这样轻薄的话，贵人不宜说！怎么随便说狐子？恐怕我的花姐听到不开心！话没说完，从空中扔下半块砖，打中了她的手臂，她摇了几下，差点摔倒。惊讶地对张生说：官员怎么扔砖头打老身？张生笑着说：婆子瞎了！从来没见过自己额头破了，却冤枉诬告袖手人的事？巫婆很惊讶，不知砖是从哪里来的。疑惑不定的时候，又有一块石头掉了下来，打了她，然后摔倒在地。然后污泥一个接一个地掉下来，把巫婆涂成了鬼脸。她只要求饶命。张生请狐仆饶了她，污泥不再掉了。巫婆赶紧起身跑到屋里，关上门不敢出来。张生高声对她说：你的狐狸能和我的狐狸相比吗？巫婆只好承认错误。张生抬头望着空中，告诉狐仆不要再伤害巫婆了，她才提心吊胆地走出房子。张生笑着告戒她，才回家。从此，每当张生一个人走在路上，只要发现灰尘落在他身上，他就会和小狐仆打招呼，两狐仆总是回答正确。即使面对虎狼歹徒，张生也觉得有依不胆怯。
一年多后，张生与胡四相公的友谊更加深厚。张生曾问胡四相公的年龄，他早就记不清了，只说：看黄巢造反，还像昨天的事。一天晚上，两人在一起说话，突然听到墙上有动静，声音很猛烈。张生很奇怪。胡四相公说：这一定是我哥哥。张生说：为什么不邀请他一起坐？胡四相公说：他的道业很浅，只要能抓鸡吃就很满足。张生说：交友深，像我们两个人一样，可以说是毫无遗憾；但从未见过你的脸，真是令人遗憾。胡四相公说：只要友谊深厚，何必见面？一天，胡四相公办酒席邀请张生告别。张生问：你要去哪里？胡四相公回答说：弟弟出生在陕中，要回去。你每次都不满意，因为你看不到我的脸。今天请见几年的朋友，以后再见面。张生四面寻找都没见过。胡四相公说：你试开宿舍的门，我就在里面。张生按照他的说法，推门一看，只见里面有个美少年，相对而笑。他的衣服华丽，眉眼如画，转眼间，再也看不见了。张生刚转身走路，脚步声跟着他说：今天是为了缓解你的遗憾。张生依恋不忍心分开。胡四相公说：离合有自己的定数，何必放在心上？于是用大酒杯劝饮。直到半夜，我才用灯笼送张生回家。天亮再去探望，胡宅早已成了冷落的空房子。
后来张道一先生官任西川学使，而张虚一还是像以前一样贫穷。所以张虚一去西川看弟弟，希望很大。但只过了一个月就回来了，很不如原来的愿望，边走边立刻叹息，垂头丧气像个木头人。忽然有一个少年骑着黑色的马驹，跟随在他的身后。张生回头看了看，看到少年的衣着很华丽，风度潇洒优雅，便和他聊天。少年见张生不开心，就问他。于是张生叹了口气，把原因告诉了他。少年听到后也用好话安慰他。两个人一起走了一里多路，到了岔路口，青少年拱手道别说:前面路上有个人，把老朋友送给你的礼物交给你，请接受。再想问的时候，他已经赶马径直奔驰了。张生解不开这个谜，又走了二三里，看见一个老家人手里拿着一个小竹盒，把它献给了马前，说：这是胡四相公敬的。张生这才恍然大悟。接着打开一看，原来是满满的一盒白银。等到再看老家人，却早已不知去向。