สมัยกรุงศรีอยุธยา พระเจ้าตากสินมหาราชหรือพระยาวชิรปราการ (สิน) ยกทัพมาทางฝั่งทะเลทิศตะวันออกเพื่อรวบรวมไพร่พลกลับมากู้เอกราช และในระหว่างนั้นได้ทราบข่าวว่า เมืองชลบุรีมีนายทองอยู่นกเล็กตั้งตัวเป็นใหญ่กำลังรวบรวมพลพรรค ใครผู้ใดผ่านมาเข้าไปสวามิภักดิ์กับพระเจ้าตากสิน นายทองอยู่นกเล็กก็จะเกลี่ยกล่อม หรือบางครั้งก็บังคับให้ผู้นั้นเข้าเป็นพรรคพวกของตน พระเจ้าตากสินจึงยกทัพมาที่เมืองชลบุรี และเข้าไปหยุดพักทัพอยู่ ณ วัดหลวง (วัดใหญ่อินทาราม) ด้วยความปรานีว่าเป็นคนไทยด้วยกันไม่จำเป็นก็ไม่ควรใช้กำลังเข้าฆ่าฟันกันให้ล้มตายไป จึงใช้ให้นายบุญรอด แขนอ่อน กับนายชื่น บ้านท่าไข่ซึ่งเป็นมิตรสหายกับนายทองอยู่นนนนนกเล็ก ให้เข้าไปเจรจาเกลี่ยกล่อมโดยดีให้มาอ่อนน้อมเสียดีกว่า นายทองอยู่นกเล็กพิจารณาเห็นว่าจะสู้รบปรบมือไม่ไหว จึงอ่อนน้อมยอมเข้าด้วยมิได้ขัดขืน และได้กระทำสัตย์สาบาน พระเจ้าตากสินจึงได้ตั้งนายทองอยู่นกเล็กให้เป็นพระยาอนุราฐบุรีครองเมืองชลบุรี ครั้งเมื่อพระเจ้าตากสิน รวบรวมกำลังพลได้ก็ยกกำลังกองทัพเรือจากเมืองจันทบุรีมุ่งไปปากน้ำเจ้าพระยา พอมาถึงเมืองชลบุรี พวกราษฎรพากันกล่าวโทษพระยาอนุราฐบุรีหรือนายทองอยู่นกเล็กประพฤติเป็นโจร เมื่อชำระได้ความเป็นสัตย์พระเจ้าตากสินก็ให้ประหารชีวิตเสีย ซึ่งพระยาอนุราฐบุรีคงกระพันในตัวแทนฟันหาเข้าไม่ เพราะด้วยสะดือเป็นทองแดง จึงให้พันธนาการแล้วเอาลงถ่วงน้ำเสียในทะเลก็ถึงแก่กรรม และประหารชีวิตผู้ร่วมคิดกระทำโจรกรรมด้วย
           ตำนานเล่าว่าหลังจากประหารชีวิตพระยาอนุราฐบุรีและพรรคพวกแล้ว พระเจ้าตากสินได้ร่วมกับนายทหารในกองทัพสร้างพระพุทธรูปขึ้นหลายองค์โดยสร้างไว้บริเวณชายทะเลเพื่ออุทิศส่วนกุศลให้กับเจ้ากรรมนายเวรและให้เป็นที่เคารพสักการะของชาวชลบุรี ต่อมาพื้นที่ที่เป็นที่ประดิษฐานพระพุทธรูปถูกน้ำทะเลกัดเซาะพังทลาย ชาวเมืองชลบุรีจึงได้ย้ายพระพุทธรูปมาประดิษฐานไว้ที่บริเวณพื้นที่สูงขึ้นมาจากชายทะเลโดย มีประชาชนชาวเมืองชลบุรีและพ่อค้า ชาวจีนได้ร่วมกันสร้างโบสถ์ขึ้น โดยที่บริเวณประดิษฐานพระพุทธรูปแห่งใหม่นี้มีต้นตาลขึ้นจำนวนมาก ต่อมาชาวเมืองชลบุรีจึงได้เรียกกันว่าวัดสวนตาล
           ปัจจุบันวัดสวนตาล มีสถานะเป็นวัดร้าง อยู่ในความดูแลของสำนักงานพระพุทธศาสนาแห่งชาติ ตั้งอยู่ที่ ถนนวชิรปราการ ตำบลบางปลาสร้อย อำเภอเมือง จังหวัดชลบุรี เนื้อที่ ๑ ไร่ ๖๕ ตารางวา มีโบสถ์เก่าแก่อยู่ ๑ หลัง มีพระพุทธรูปขนาดใหญ่น้อยบรรจุในโบสถ์ดังกล่าว ๑๘ องค์ เรียกชื่อว่า “โบสถ์วัดสวนตาล” โดยเมื่อ ปี พ.ศ. ๒๕๐๗ ได้มีการปลูกสร้างอาคารศาลแขวงชลบุรีที่บริเวณด้านหน้าโบสถ์ ศาลแขวงชลบุรีและวัดสวนตาลจึงเป็นที่รู้จักของประชาชนควบคู่มาโดยตลอด และเป็นสถานที่ศักดิ์สิทธิ์แห่งหนึ่งเป็นที่เคารพสักการะของผู้พิพากษา และข้าราชการตลอดจนชาวจังหวัดชลบุรี และจังหวัดใกล้เคียง
           ในปี พ.ศ. ๒๕๓๙ ระหว่างที่นายสุภัทร์ สุทธิมนัส มาดำรงตำแหน่งผู้พิพากษาหัวหน้าศาลแขวงชลบุรีได้ร่วมกับผู้พิพากษา เจ้าหน้าที่และผู้มีจิตศรัทธาทำการบูรณะซ่อมแซมวัดสวนตาล ทำการทาสีโบสถ์ทั้งหลัง ทำหลังคาโบสถ์ใหม่ หน้าโบสถ์ทำพื้นหินขัด และปรับปรุงพื้นที่บริเวณรอบๆ โบสถ์ให้ร่มรื่นและระหว่าง ๗-๑๙ มิถุนายน ๒๕๔๐ จัดพิธีทำบุญและลงรักปิดทองพระพุทธรูปทุกองค์ภายในโบสถ์
           ปี พ.ศ. ๒๕๔๓ ศาลแขวงชลบุรีได้ปลูกสร้างอาคารศาลแขวงชลบุรีหลังใหม่ในพื้นที่ศาลจังหวัดชลบุรี ถนนพระยาสัจจา ตำบลบางปลาสร้อย อำเภอเมือง จังหวัดชลบุรี และได้ย้ายมาที่อาคารศาลแขวงชลบุรีแห่งใหม่ สำนักงานคุมประพฤติจังหวัดชลบุรีจึงได้ใช้เป็นที่ทำการจนถึงปี พ.ศ. ๒๕๔๓ และได้ย้ายออกไปทำให้ไม่มีผู้ดูแลรักษา และมีสภาพ ทรุดโทรม
           ต่อมาปี พ.ศ. ๒๕๕๔ นายปรัชญา อยู่ประเสริฐ ผู้พิพากษาหัวหน้าศาลแขวงชลบุรีได้ย้ายมารับตำแหน่งที่ศาลแขวงชลบุรี และได้มีโอกาสเข้าไหว้สักการะพระพุทธรูปในโบสถ์วัดสวนตาลและพบว่าโบสถ์และบริเวณโดยรอบวัดสวนตาลมีสภาพทรุดโทรม จึงได้ประสานกับสำนักงานพระพุทธศาสนาจังหวัดชลบุรีเพื่อขอบูรณปฏิสังขรณ์วัดสวนตาล เพื่อถวายเป็นพระราชกุศลเนื่องในวโรกาสมหามงคล ๘๔ พรรษาของพระบาทสมเด็จพระเจ้าอยู่หัว โดยศาลแขวงชลบุรี ร่วมกับ สำนักงานพระพุทธศาสนาจังหวัดชลบุรี สำนักงานคุมประพฤติจังหวัดชลบุรี เรือนจำกลางชลบุรี ทัณฑสถานหญิง เทศบาลเมืองชลบุรีและผู้มีจิตศรัทธา ซึ่งได้ดำเนินการบูรณปฏิสังขรณ์วัดสวนตาล โดยซ่อมแซมผนังสีที่ชำรุด ทาสีใหม่ ปูพื้นกระเบื้องที่แตก ติดตั้งไฟฟ้าใหม่ เมื่อเรียบร้อยแล้วและได้จัดงานทำบุญฉลองบูรณปฏิสังขรณ์วัดสวนตาล เพื่อถวายเป็นพระราชกุศล เนื่องในวโรกาสมหามงคล ๗ รอบ ๘๔ พรรษา ของพระบาทสมเด็จพระเจ้าอยู่หัวขึ้นในวันที่ ๓๐ กันยายน ๒๕๕๔
           และเมื่อวันที่ ๒๓ มีนาคม ๒๕๕๕ ศาลแขวงชลบุรี ได้จัดพิธีทำบุญเพื่อถวายเป็นพระราชกุศล เนื่องในวันคล้ายวันพระราชสมภพ ๖๐ พรรษา สมเด็จพระบรมโอรสาธิราช สยามบรมราชกุมาร ณ วัดสวนตาล และทำพิธีเปลี่ยนฉัตรใหม่แทนฉัตรเก่าที่ทรุดโทรม