O Castelo é Nosso (My First Castle Panic), como seu antecessor Castle Panic, é um jogo cooperativo em que os jogadores trabalham juntos para defender seu castelo, mas este jogo elimina a exigência de leitura do anterior e promove o desenvolvimento de habilidades educacionais, como identificar cores e formas, resolução de problemas e tomada de turnos.

No jogo, os monstros seguem um único caminho em direção a um único castelo grande e atraente, protegido por uma muralha. Cada passo em direção ao castelo é identificado por uma cor e uma forma. Os jogadores seguram cartas nas mãos com defensores fofos que também têm cor e forma. Quando é jogada uma carta que corresponda à localização do monstro, esse monstro é capturado e jogado na masmorra. A tensão aumenta à medida que mais monstros são colocados e se movem pelo caminho em direção ao castelo. Se o castelo for destruído, os jogadores perdem; se ele ainda estiver de pé quando todos os monstros estiverem na masmorra, os jogadores vencem.