جست‌وجوی درختی مونت‌کارلو

جست‌وجوی درختی مونت‌کارلو که به صورت MCTS کوتاه می‌شود، نمی‌کوشد همهٔ واریانت‌ها را تا عمقی یکسان بررسی کند. درخت را به‌تدریج گسترش می‌دهد و از نتایج انباشته برای تعیین محل مصرف بخش بعدی محاسبات استفاده می‌کند. حرکتی با بازدیدهای بسیار خودکار خوب نیست، اما برآوردش معمولاً بر جست‌وجوی بیشتری تکیه دارد.

یک چرخهٔ MCTS

1. انتخاب: از وضعیت آغازین شروع می‌کند و شاخه‌های موجود را دنبال می‌کند، در حالی که میان حرکت‌هایی که از قبل قوی به نظر می‌رسند و حرکت‌هایی که هنوز نامطمئن‌اند تعادل برقرار می‌کند.
2. گسترش: وضعیت یا حرکتی را که درخت هنوز توسعه نداده است اضافه می‌کند.
3. ارزیابی: نتیجه را از وضعیت تازه برآورد می‌کند. روش‌های کلاسیک ممکن است بازی‌های شبیه‌سازی‌شده را کامل کنند، در حالی که سامانه‌های امروزی می‌توانند از شبکهٔ عصبی، یعنی مدلی آموزش‌دیده برای تشخیص الگوها، استفاده کنند.
4. پس‌انتشار: نتیجه را در مسیر بازدیدشده به عقب می‌برد و شمار بازدیدها و برآوردهای آن را به‌روز می‌کند.

تکرار این چرخه میان بهره‌برداری و کاوش تعادل ایجاد می‌کند. بهره‌برداری یعنی صرف تلاش بیشتر در جایی که شواهد از قبل مطلوب‌اند. کاوش یعنی آزمودن گزینه‌های نامطمئن تا یک شگفتی زود کنار گذاشته نشود. قاعدهٔ دقیق تعادل به پیاده‌سازی بستگی دارد.

برخلاف مینیمکس، MCTS معمولاً مقدار بررسی یک شاخه را بر اساس شواهد گردآوری‌شده هنگام جست‌وجو تعیین می‌کند، نه فقط عمقی یکسان. در برخی برنامه‌های شطرنج مبتنی بر شبکهٔ عصبی، شبکه یک سیاست فراهم می‌کند که حرکت‌های محتمل را پیشنهاد می‌دهد و یک ارزش که نتیجه را تخمین می‌زند. ارزش نقشی مرتبط با تابع ارزیابی دارد، هرچند کل فرایند جست‌وجو متفاوت است.