Di masa depan yang misterius, organisme kristal yang disebut Permata menghuni dunia yang telah dihancurkan oleh enam meteor. Setiap Permata diberi peran untuk melawan Lunarian, spesies yang menyerang mereka untuk menghancurkan tubuh mereka dan menggunakannya sebagai dekorasi.
Phosphophyllite, juga dikenal sebagai Phos, adalah Permata muda dan rapuh yang bermimpi membantu teman-temannya dalam upaya perang. Sebaliknya, mereka disuruh menyusun ensiklopedia karena kondisinya yang sulit. Setelah dengan enggan memulai tugas ini, Phos bertemu Cinnabar, permata cerdas yang ditugaskan untuk berpatroli di pulau terpencil pada malam hari karena racun korosif yang dihasilkan tubuh mereka. Setelah melihat betapa tidak bahagianya Cinnabar, Phos memutuskan untuk mencari peran yang bisa dinikmati oleh kedua Permata yang ditolak. Houseki no Kuni mengikuti upaya Phos untuk berguna dan melindungi sesama Permata.