برنامه درسی

D. Jurafsky and J. H. Martin, Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, McGrawHill, 2020.

C. D. Manning and H. Schütze, Foundations of Statistical Natural Language Processing, MIT Press, 1999.

Selected Papers

-- آشنایی با مفاهیم اولیه پردازش زبان طبیعی

• کاربردها
• سطوح مختلف درک زبان
• ابهام‌ها و چالشها در پردازش زبان

-- مروری بر مفاهیم ریاضی و پایه

• قانون زیپف
• نظریه احتمالات و اطلاعات
• آنتروپی و پرپلکسیتی

-- پیش پردازش متن

• قطعه‌بندی متن
• یکسان‌سازی متن
• ریشه‌یابی کلمات

-- مدلهای زبانی

• مدل n-تایی و زنجیره مارکوف
• روش‌های هموارسازی
• مدل زبانی‌عصبی

-- مروری بر مفاهیم یادگیری ماشین

• مدل‌های یادگیری با نظارت و بدون نظارت
• الگوریتم‌های دسته‌بندی و خوشه‌بندی
• کاربرد مدل‌های دسته‌بندی و خوشه‌بندی در پردازش زبان

-- خوشه‌بندی و دسته‌بندی کلمات و متون

• الگوریتم براون
• روش بیز ساده
• شبکه‌های عصبی پیچشی

-- بازنمایی معنایی توزیع‌شده کلمات

• تعبیه ایستایی کلمات
• تعبیه مبتنی بر بافت

-- برچسب‌زنی اجزای کلام و تشخیص موجودیت‌های نامدار

• مدل مخفی مارکوف
• میدان تصادفی شرطی
• مدل‌سازی عصبی دنباله‌ای

-- تجزیه نحوی زبان

• گرامرهای آماری مستقل از متن و وابستگی
• تجزیه نحوی و آماری
• تجزیه وابستگی
• بانک‌های درختی

-- تحلیل معنایی

• شباهت کلمات
• رفع ابهام معنایی کلمات

-- برجسب گذاری نقش معنایی

-- تشخیص هم مرجعی

-- تشخیص موضوع

• مدل تخصیص پنهان دیریکله

-- سیستم‌های کاربردی مبتنی بر پردازش زبان

• پرسش و پاسخ
• تحلیل احساس
• ترجمه ماشینی
• استخراج اطلاعات
• خلاصه‌سازی متون
• سیستم‌های دیالوگ‌محور و چت‌بات‌ها

هدف این درس آشنا نمودن دانشجویان با روشهای ایجاد توانایی فهم زبان طبیعی در محیط کامپیوتر است. از سیستمهای مبتنی بر پردازش زبان می‌توان به سیستمهای پرسش و پاسخ، تحلیل احساس، استخراج اطلاعات، ترجمه ماشینی، و خلاصه‌سازی متون اشاره کرد. مهمترین گام در راستای طراحی چنین سیستم‌هایی آشنایی با روشهای پردازش زبان طبیعی است که بیشتر بر مبنای الگوریتم‌های آماری عمل می‌کنند. در این درس، به معرفی روشهای پردازش زبان طبیعی از جمله برچسب‌زنی اجزای کلام، تجزیه نحوی زبان، تشخیص موجودیت‌های نامدار، تحلیل معنایی، برچسبگذاری نقش معنایی، و تشخیص موضوع پرداخته خواهد شد.

D. Jurafsky and J. H. Martin, Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, McGrawHill, 2020.

C. D. Manning and H. Schütze, Foundations of Statistical Natural Language Processing, MIT Press, 1999.

Selected Papers

-- آشنایی با مفاهیم اولیه پردازش زبان طبیعی

• کاربردها
• سطوح مختلف درک زبان
• ابهام‌ها و چالشها در پردازش زبان

-- مروری بر مفاهیم ریاضی و پایه

• قانون زیپف
• نظریه احتمالات و اطلاعات
• آنتروپی و پرپلکسیتی

-- پیش پردازش متن

• قطعه‌بندی متن
• یکسان‌سازی متن
• ریشه‌یابی کلمات

-- مدلهای زبانی

• مدل n-تایی و زنجیره مارکوف
• روش‌های هموارسازی
• مدل زبانی‌عصبی

-- مروری بر مفاهیم یادگیری ماشین

• مدل‌های یادگیری با نظارت و بدون نظارت
• الگوریتم‌های دسته‌بندی و خوشه‌بندی
• کاربرد مدل‌های دسته‌بندی و خوشه‌بندی در پردازش زبان

-- خوشه‌بندی و دسته‌بندی کلمات و متون

• الگوریتم براون
• روش بیز ساده
• شبکه‌های عصبی پیچشی

-- بازنمایی معنایی توزیع‌شده کلمات

• تعبیه ایستایی کلمات
• تعبیه مبتنی بر بافت

-- برچسب‌زنی اجزای کلام و تشخیص موجودیت‌های نامدار

• مدل مخفی مارکوف
• میدان تصادفی شرطی
• مدل‌سازی عصبی دنباله‌ای

-- تجزیه نحوی زبان

• گرامرهای آماری مستقل از متن و وابستگی
• تجزیه نحوی و آماری
• تجزیه وابستگی
• بانک‌های درختی

-- تحلیل معنایی

• شباهت کلمات
• رفع ابهام معنایی کلمات

-- برجسب گذاری نقش معنایی

-- تشخیص هم مرجعی

-- تشخیص موضوع

• مدل تخصیص پنهان دیریکله

-- سیستم‌های کاربردی مبتنی بر پردازش زبان

• پرسش و پاسخ
• تحلیل احساس
• ترجمه ماشینی
• استخراج اطلاعات
• خلاصه‌سازی متون
• سیستم‌های دیالوگ‌محور و چت‌بات‌ها

هدف این درس آشنا نمودن دانشجویان با روشهای ایجاد توانایی فهم زبان طبیعی در محیط کامپیوتر است. از سیستمهای مبتنی بر پردازش زبان می‌توان به سیستمهای پرسش و پاسخ، تحلیل احساس، استخراج اطلاعات، ترجمه ماشینی، و خلاصه‌سازی متون اشاره کرد. مهمترین گام در راستای طراحی چنین سیستم‌هایی آشنایی با روشهای پردازش زبان طبیعی است که بیشتر بر مبنای الگوریتم‌های آماری عمل می‌کنند. در این درس، به معرفی روشهای پردازش زبان طبیعی از جمله برچسب‌زنی اجزای کلام، تجزیه نحوی زبان، تشخیص موجودیت‌های نامدار، تحلیل معنایی، برچسبگذاری نقش معنایی، و تشخیص موضوع پرداخته خواهد شد.

S. Russell and P. Norvig. Artificial Intelligence: A Modern Approach. 4th Edition, Pearson, 2020.

− آشنایی با علم ژنتیک و نظریه تکامل

• اصول اولیه علم ژنتیک
• تکامل از دیدگاه میکروسکوپی
• تکامل از دیدگاه ماکروسکوپی

− چارچوب الگوریتمهای تکاملی

• علمگرهای ژنتیکی (جهش و بازترکیبی)
• عملگرهای انتخاب و ویژگی‌های آن‌ها
• تولید نسل ابتدایی
• روش‌های خاتمه الگوریتم‌های تکاملی

− انواع الگوریتمهای تکاملی

• الگوریتم ژنتیک
• استراتژی تکامل
• برنامه نویسی ژنتیک
• الگوریتم تخمین توزیع
• الگوریتم تکامل تفاضلی

− روشهای تعیین پارامترها

• اهمیت پارامترها در الگوریتمهای تکاملی
• روشهای تحلیلی در تعیین پارامترها
• روش‌های تطبیقی در تعیین پارامترها
• روش‌های خود تطبیقی در تعیین پارامترها

− حل مسائل بهینه سازی با ویژگیهای خاص با استفاده از الگوریتم‌های تکاملی

• حل مسائل بهینه سازی مقید
• حل مسائل بهینه سازی پویا
• حل مسائل بهینه سازی چند هدفی

− سایر الگوریتمهای الهام گرفته شده از طبیعت

• سیستم ایمنی مصنوعی
• الگوریتم کلونی مورچه‌ها
• الگوریتم ازدحام ذرات

رایانش تکاملی یکی از روشهای بهینه سازی غیرخطی است و میتواند مسائلی را حل کند که توسط روشهای سنتی بهینه سازی قابل حل نیستند. بنابراین، هدف اصلی این درس حل مسائل بهینه سازی پیچیدهای است که با دیگر روش ها قابل حل نیستند.

S. Russell and P. Norvig. Artificial Intelligence: A Modern Approach. 4th Edition, Pearson, 2020.

-- مقدمه‌ای بر هوش مصنوعی و تاریخچه‌ی آن

-- معرفی عامل‌های هوشمند

-- جستجوی ناآگاهانه (uninformed)

• جستجوی اول-سطح (BFS) و جستجوی اول-عمق (DFS)
• جستجوی عمق بخشی تکراری (Iterative Deepening)
• جستجوی هزینه-یکنواخت (Uniform Cost Search)

-- جستجوی آگاهانه (informed)

• توابع ابتکاری قابل قبول (admissible) و سازگار (consistent)
• جستجوی اول بهترین حریصانه (greedy best first search)
• الگوریتم A* و اثبات بهینگی
• خودکارسازی توابع تولید توابع ابتکاری

-- جستجوی محلی (local)

• تپه‌نوردی (hill-climbing)، شبیه‌سازی ذوب (simulated annealing)، جستجوی شعاعی محلی (local beam search) و الگوریتم ژنتیک (genetic algorithm)
• جستجوی محلی در فضای پیوسته: روش کاهش در راستای گرادیان (gradient descent)

-- مسائل ارضای محدودیت (Constraint Satisfation Problems)

• جستجوی عقبگرد (Backtrack)
• استفاده از تکنیک‌هایی نظیر LCV، MRV، بررسی جلورو (Forward Checking)، MAC، AC3
• حل مسائل CSP با رویکرد جستجوی محلی

-- جستجوی مقابله‌ای (adversarial)

• الگوریتم minimax و هرس آلفا-بتا
• الگوریتم expectiminimax
• فرایند تصمیم مارکوف (Markow Decision Process)
• ارزیابی سیاست (policy evaluation) و بهبود (improement) سیسات
• روش تکرار ارزش (value iteration) و تکرار سیاست (policy iteration)

-- یادگیری تقویتی (reinforcement learning)

• روش‌های مبتنی بر مدل (model-based)
• یادگیری تفاضل زمانی (temporal difference) و الگوریتم‌های  Q-learning

-- منطق (logic)

• منطق گزاره‌ای (propositional) و استنتاج (inference) در منطق گزاره‌ای (شامل روش رزولوشن)
• منطق مرتبه اول (first-order) و استنتاج در منطق مرتبه اول

-- مقدمه‌ای بر یادگیری ماشین (Machine Learning)

• مدل‌های خطی (linear models)
• قاعده بیز
• معرفی شبکه‌های بیزی
• شبکه‌های عصبی (Neural Networks)

-- معرفی زمینه‌های کاربردی هوش مصنوعی

• پردازش زبان طبیعی (Natural Language Processing)
• بینایی ماشین (Computer Vision)
• رباتیک (robotics)
   

در این درس به معرفی جنبه‌های نظری و عملی هوش مصنوعی پرداخته می‌شود. هدف درس هوش مصنوعی معرفی تکنیک‌هایی برا تصمیم گیری به صورت بهینه یا نزدیک به بهینه (near-optimal) در مسائل و محیط‌های مختلف است. در این درس به مفاهیمی نظیری جستجوی، حل مساله، نمایش دانش (knowledge) و استنتاج (inference) خواهیم پرداخت. همچنین جستجو در محیط‌های غیرقطعی (uncertain)، نمایش دانش در این محیط‌ها و استنتاج احتمالاتی برای تصمیم‌گیری در این شرایط مطرح خواهد شد. به علاوه زمینه‌ی یادگیری ماشین مختصرا معرفی می‌شود. در نهایت آشنایی با تعدادی از حوزه‌های کاربدری هوش مصنعوی صورت خواهد گرفت.

D. Jurafsky and J. H. Martin, Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, McGrawHill, 2020.

C. D. Manning and H. Schütze, Foundations of Statistical Natural Language Processing, MIT Press, 1999.

Selected Papers

-- آشنایی با مفاهیم اولیه پردازش زبان طبیعی

• کاربردها
• سطوح مختلف درک زبان
• ابهام‌ها و چالشها در پردازش زبان

-- مروری بر مفاهیم ریاضی و پایه

• قانون زیپف
• نظریه احتمالات و اطلاعات
• آنتروپی و پرپلکسیتی

-- پیش پردازش متن

• قطعه‌بندی متن
• یکسان‌سازی متن
• ریشه‌یابی کلمات

-- مدلهای زبانی

• مدل n-تایی و زنجیره مارکوف
• روش‌های هموارسازی
• مدل زبانی‌عصبی

-- مروری بر مفاهیم یادگیری ماشین

• مدل‌های یادگیری با نظارت و بدون نظارت
• الگوریتم‌های دسته‌بندی و خوشه‌بندی
• کاربرد مدل‌های دسته‌بندی و خوشه‌بندی در پردازش زبان

-- خوشه‌بندی و دسته‌بندی کلمات و متون

• الگوریتم براون
• روش بیز ساده
• شبکه‌های عصبی پیچشی

-- بازنمایی معنایی توزیع‌شده کلمات

• تعبیه ایستایی کلمات
• تعبیه مبتنی بر بافت

-- برچسب‌زنی اجزای کلام و تشخیص موجودیت‌های نامدار

• مدل مخفی مارکوف
• میدان تصادفی شرطی
• مدل‌سازی عصبی دنباله‌ای

-- تجزیه نحوی زبان

• گرامرهای آماری مستقل از متن و وابستگی
• تجزیه نحوی و آماری
• تجزیه وابستگی
• بانک‌های درختی

-- تحلیل معنایی

• شباهت کلمات
• رفع ابهام معنایی کلمات

-- برجسب گذاری نقش معنایی

-- تشخیص هم مرجعی

-- تشخیص موضوع

• مدل تخصیص پنهان دیریکله

-- سیستم‌های کاربردی مبتنی بر پردازش زبان

• پرسش و پاسخ
• تحلیل احساس
• ترجمه ماشینی
• استخراج اطلاعات
• خلاصه‌سازی متون
• سیستم‌های دیالوگ‌محور و چت‌بات‌ها
   

هدف این درس آشنا نمودن دانشجویان با روشهای ایجاد توانایی فهم زبان طبیعی در محیط کامپیوتر است. از سیستمهای مبتنی بر پردازش زبان می‌توان به سیستمهای پرسش و پاسخ، تحلیل احساس، استخراج اطلاعات، ترجمه ماشینی، و خلاصه‌سازی متون اشاره کرد. مهمترین گام در راستای طراحی چنین سیستم‌هایی آشنایی با روشهای پردازش زبان طبیعی است که بیشتر بر مبنای الگوریتم‌های آماری عمل می‌کنند. در این درس، به معرفی روشهای پردازش زبان طبیعی از جمله برچسب‌زنی اجزای کلام، تجزیه نحوی زبان، تشخیص موجودیت‌های نامدار، تحلیل معنایی، برچسبگذاری نقش معنایی، و تشخیص موضوع پرداخته خواهد شد.

1- مصطفی جق‌جو، علی‌اصغر صفایی، اصول طراحی پایگاه داده‌ها، انتشارات دانشگاه عمل و صنعت، ۱۳۹۳.

2- محمود دی‌پیر، اصول طراحی پایگاه داده‌های رابطه‌ای، انتشارات دانشگاه هوایی شهید ستاری، ۱۳۹۴

3- R. Ramakrishnan, G. Gehrke, “database management systems”,Cambridge,2003.

4- Jeffrey A. Hoffer, Ramesh Venkataraman, Heikki Topi, Modern Database Management (12th Edition), Prentice Hal,2015.

• مقدمه، معرفی و مرور مباحث ذخیره و بازیابی اطلاعات
• مفاهیم و تعاریف مدیریت پایگاه داده (تعریف داده و اطلاعات، تعریف پایگاه داده،‌ضرورت پایگاه داده استقلال داده‌ای، مدل‌های مختلف سیستم پایگاه داده)
• معماری یک سیستم پایگاه داده (معماری سه سطحی، سطح خارجی، سطح مفهومی، سطح داخلی، مدیر پایگاه داده، و مدیری داده، مدیر ارتباط داده‌ای)
• مدل‌های مختلف سیستم‌های پایگاه داده (مدل سلسله مراتبی، مدل رابطه‌ای، مدل شبکه‌ای)
• مدل رابطه‌ای پایگاه داده (رابطه یا جدول، جداول مبنا و غیر مبنا، زبان پرس و جو)
• عناصر مدل رابطه‌ای (دامنه، روابط و انواع آن)
• جامعیت مدل رابطه‌ای (دامنه، رابطه، و انواع آن)
• جامعیت مدل رابطه‌ای (کلید کاندید، کلید اولیه و کلید رقیب، کلید خارجی و قوائد آن،‌تهی بودن کلید خارجی و کلید اولیه)
• جبر رابطه‌ای
• حساب رابطه‌ای
• زبان SQL
• وابستگی تابعی (تعریف، وابستگی‌های جزئی، بستار مجموعه‌ای از وابسگی‌ها، مجموعه کاهش ناپذیر از وابستگی‌ها)
• نرمالسازی (NF1, 2NF, 3NF, BCNF، وابستگی چند مقداری (4NF, MVD)، وابستگی الحاقی(5NF, JD))
• مرور مطالب پیشرفته‌تر (حفاظت،‌ترمیم، همزمانی، پایگاه داده شئ گرا، پایگاه داده استنتاجی)
   

هدف کلی از این درس آموزش سیستم‌های پایگاه داده‌ای رابطه‌ای است.

1- مصطفی جق‌جو، علی‌اصغر صفایی، اصول طراحی پایگاه داده‌ها، انتشارات دانشگاه عمل و صنعت، ۱۳۹۳.

2- محمود دی‌پیر، اصول طراحی پایگاه داده‌های رابطه‌ای، انتشارات دانشگاه هوایی شهید ستاری، ۱۳۹۴

3- R. Ramakrishnan, G. Gehrke, “database management systems”,Cambridge,2003.

4- Jeffrey A. Hoffer, Ramesh Venkataraman, Heikki Topi, Modern Database Management (12th Edition), Prentice Hal,2015.

• مقدمه، معرفی و مرور مباحث ذخیره و بازیابی اطلاعات
• مفاهیم و تعاریف مدیریت پایگاه داده (تعریف داده و اطلاعات، تعریف پایگاه داده،‌ضرورت پایگاه داده استقلال داده‌ای، مدل‌های مختلف سیستم پایگاه داده)
• معماری یک سیستم پایگاه داده (معماری سه سطحی، سطح خارجی، سطح مفهومی، سطح داخلی، مدیر پایگاه داده، و مدیری داده، مدیر ارتباط داده‌ای)
• مدل‌های مختلف سیستم‌های پایگاه داده (مدل سلسله مراتبی، مدل رابطه‌ای، مدل شبکه‌ای)
• مدل رابطه‌ای پایگاه داده (رابطه یا جدول، جداول مبنا و غیر مبنا، زبان پرس و جو)
• عناصر مدل رابطه‌ای (دامنه، روابط و انواع آن)
• جامعیت مدل رابطه‌ای (دامنه، رابطه، و انواع آن)
• جامعیت مدل رابطه‌ای (کلید کاندید، کلید اولیه و کلید رقیب، کلید خارجی و قوائد آن،‌تهی بودن کلید خارجی و کلید اولیه)
• جبر رابطه‌ای
• حساب رابطه‌ای
• زبان SQL
• وابستگی تابعی (تعریف، وابستگی‌های جزئی، بستار مجموعه‌ای از وابسگی‌ها، مجموعه کاهش ناپذیر از وابستگی‌ها)
• نرمالسازی (NF1, 2NF, 3NF, BCNF، وابستگی چند مقداری (4NF, MVD)، وابستگی الحاقی(5NF, JD))
• مرور مطالب پیشرفته‌تر (حفاظت،‌ترمیم، همزمانی، پایگاه داده شئ گرا، پایگاه داده استنتاجی)

هدف کلی از این درس آموزش سیستم‌های پایگاه داده‌ای رابطه‌ای است.

L. Wasserman, All of Statistics: A Concise Course in Statistical Inference, Springer, 2013.

K. P. Murphy, Machine Learning: A Probabilistic Perspective, MIT press, 2012.

A. Papoulis and S. Pillai, Probability, Random Variables and Stochastic Processes, McGraw-Hill, 2002.

-- مرور نظریه احتمال و متغیرهای تصادفی

• متغیر تصادفی
• دنباله‌ای از متغیرهای تصادفی
• ارتباط متغیرهای تصادفی
• توزیع‌های شرطی

-- فرآینده‌های تصادفی

• ایستایی در فرآیند‌های تصادفی
• چگالی طیف توان
• فرآیند گوسی، قدم زدن تصادفی وینر و دیریکله
• مدل ARMA

-- مدل‌ها، استنتاج آماری، و یادگیری

• مدلهای پارامتری و غیرپارامتری
• استنتاج آماری

 -- تئوری تخمین 

• تخمین پارامتر
• تخمین‌های بیزی

-- آزمون فرضیه

• آزمون نسبت درست نمایی
• آزمون نسبت درستنمایی عمومی شده
• آزمون‌های نیکویی برازش

-- رگرسیون خطی

-- مدل‌های گرافی

• مدلهای گرافی جهتدار
• مدلهای گرافی بدون جهت

-- فرآیندهای مارکوف

• زنجیره مارکوف
• زنجیره‌های همگن
• طبقه‌بندی حالت‌ها

-- مدل‌های مارکوف پنهان

-- روش‌های مونت کارلو

• انتگرال گیری مونت کارلو بررسی خطا
• نمونه‌برداری نقاط مهم
• شبیه‌سازی مونت کارلوی زنجیره مارکوفی

-- استنتاج تغییراتی

• روش‌های تغییراتی بیزی
• EM تغییراتی بیزی
   

هدف این درس ارایٔه مفاهیم پایه مرتبط با یادگیری آماری است. در این درس، دانشجویان با رویکردهای مبتنی بر آمار و احتمال در گرایش هوش مصنوعی آشنایی منسجم پیدا میکنند. مطالب این درس در بر گیرنده سه عنوان کلی آمار و احتمال و فرآیندهای تصادفی، استنتاج آماری، و مدلها و روشهای آماری هستند.

D. Jurafsky and J. H. Martin, Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, McGrawHill, 2020.

C. D. Manning and H. Schütze, Foundations of Statistical Natural Language Processing, MIT Press, 1999.

Selected Papers

-- آشنایی با مفاهیم اولیه پردازش زبان طبیعی

• کاربردها
• سطوح مختلف درک زبان
• ابهام‌ها و چالشها در پردازش زبان

-- مروری بر مفاهیم ریاضی و پایه

• قانون زیپف
• نظریه احتمالات و اطلاعات
• آنتروپی و پرپلکسیتی

-- پیش پردازش متن

• قطعه‌بندی متن
• یکسان‌سازی متن
• ریشه‌یابی کلمات

-- مدلهای زبانی

• مدل n-تایی و زنجیره مارکوف
• روش‌های هموارسازی
• مدل زبانی‌عصبی

-- مروری بر مفاهیم یادگیری ماشین

• مدل‌های یادگیری با نظارت و بدون نظارت
• الگوریتم‌های دسته‌بندی و خوشه‌بندی
• کاربرد مدل‌های دسته‌بندی و خوشه‌بندی در پردازش زبان

-- خوشه‌بندی و دسته‌بندی کلمات و متون

• الگوریتم براون
• روش بیز ساده
• شبکه‌های عصبی پیچشی

-- بازنمایی معنایی توزیع‌شده کلمات

• تعبیه ایستایی کلمات
• تعبیه مبتنی بر بافت

-- برچسب‌زنی اجزای کلام و تشخیص موجودیت‌های نامدار

• مدل مخفی مارکوف
• میدان تصادفی شرطی
• مدل‌سازی عصبی دنباله‌ای

-- تجزیه نحوی زبان

• گرامرهای آماری مستقل از متن و وابستگی
• تجزیه نحوی و آماری
• تجزیه وابستگی
• بانک‌های درختی

-- تحلیل معنایی

• شباهت کلمات
• رفع ابهام معنایی کلمات

-- برجسب گذاری نقش معنایی

-- تشخیص هم مرجعی

-- تشخیص موضوع

• مدل تخصیص پنهان دیریکله

-- سیستم‌های کاربردی مبتنی بر پردازش زبان

• پرسش و پاسخ
• تحلیل احساس
• ترجمه ماشینی
• استخراج اطلاعات
• خلاصه‌سازی متون
• سیستم‌های دیالوگ‌محور و چت‌بات‌ها

هدف این درس آشنا نمودن دانشجویان با روشهای ایجاد توانایی فهم زبان طبیعی در محیط کامپیوتر است. از سیستمهای مبتنی بر پردازش زبان می‌توان به سیستمهای پرسش و پاسخ، تحلیل احساس، استخراج اطلاعات، ترجمه ماشینی، و خلاصه‌سازی متون اشاره کرد. مهمترین گام در راستای طراحی چنین سیستم‌هایی آشنایی با روشهای پردازش زبان طبیعی است که بیشتر بر مبنای الگوریتم‌های آماری عمل می‌کنند. در این درس، به معرفی روشهای پردازش زبان طبیعی از جمله برچسب‌زنی اجزای کلام، تجزیه نحوی زبان، تشخیص موجودیت‌های نامدار، تحلیل معنایی، برچسبگذاری نقش معنایی، و تشخیص موضوع پرداخته خواهد شد.

-- مفاهیم پایه (مدل مغز انسان، مدل نرون، یادگیری با ناظر و بدون ناظر، قوانین-یادگیری)

-- شبکه‌های تک لایه (پرسپترون و کاربرد، آدلاین و کاربرد، معرفی روش کرادیان کاهش)

-- شبکه‌های چند لایه پیش رو (شبکه چند لایه پرسپترون، گراف محاسباتی، یادگیری پس انتشار خطا)

-- آموزش، طراحی و تعمیم پذیری شبکه‌های عمیق (انواع روش‌های آموزش، معرفی انواع تابع خطا، بیش برازش و روش‌های مقابله با آن)

-- شبکه‌های رقابتی

-- شبکه‌های حافظه خود تداعی گر

-- شبکه‌های عصبی پیچشی

-- شبکه‌های عصبی بازگشتی

-- شبکه‌های تبدیل کننده 

-- مدل‌های مولد

-- خود کد گذار

-- مباحث پیشرفته (شبکه‌های پیچشی گرافی، یادگیری دوگان)

اهداف کلی:

• آشنایی با مفاهیم و اصول شبکه‌های عصبی و کاربرد آن
• معرفی انواع شبکه‌های عصبی عمیق و کاربرد آنها

اهداف ویژه:

• درک تئوری پایه شبکه‌های عصبی و یادگیری عمیق
• استفاده از شبکه‌های عصبی و یادگیری عمیق در حوزه‌های مختلف هوش مصنوعی

[1] L. Wasserman, All of Statistics: A Concise Course in Statistical Inference, Springer, 2013.

[2] K. P. Murphy, Machine Learning: A Probabilistic Perspective, MIT press, 2012.

[3] A. Papoulis and S. Pillai, Probability, Random Variables and Stochastic Processes, McGraw-Hill, 2002.

-- مرور نظریه احتمال و متغیرهای تصادفی

• متغیر تصادفی
• دنباله‌ای از متغیرهای تصادفی
• ارتباط متغیرهای تصادفی
• توزیع‌های شرطی

-- فرآینده‌های تصادفی

• ایستایی در فرآیند‌های تصادفی
• چگالی طیف توان
• فرآیند گوسی، قدم زدن تصادفی وینر و دیریکله
• مدل ARMA

-- مدل‌ها، استنتاج آماری، و یادگیری

• مدلهای پارامتری و غیرپارامتری
• استنتاج آماری

 -- تئوری تخمین 

• تخمین پارامتر
• تخمین‌های بیزی

-- آزمون فرضیه

• آزمون نسبت درست نمایی
• آزمون نسبت درستنمایی عمومی شده
• آزمون‌های نیکویی برازش

-- رگرسیون خطی

-- مدل‌های گرافی

• مدلهای گرافی جهتدار
• مدلهای گرافی بدون جهت

-- فرآیندهای مارکوف

• زنجیره مارکوف
• زنجیره‌های همگن
• طبقه‌بندی حالت‌ها

-- مدل‌های مارکوف پنهان

-- روش‌های مونت کارلو

• انتگرال گیری مونت کارلو بررسی خطا
• نمونه‌برداری نقاط مهم
• شبیه‌سازی مونت کارلوی زنجیره مارکوفی

-- استنتاج تغییراتی

• روش‌های تغییراتی بیزی
• EM تغییراتی بیزی

هدف این درس ارایٔه مفاهیم پایه مرتبط با یادگیری آماری است. در این درس، دانشجویان با رویکردهای مبتنی بر آمار و احتمال در گرایش هوش مصنوعی آشنایی منسجم پیدا میکنند. مطالب این درس در بر گیرنده سه عنوان کلی آمار و احتمال و فرآیندهای تصادفی، استنتاج آماری، و مدلها و روشهای آماری هستند.

[1] R. Sutton and A. Barto, Introduction to Reinforcement Learning, MIT Press, 1998.

[2] C. Szepesvari, Algorithms for Reinforcement Learning, Morgan & Claypool Publishers, 2010.

[3] C. Watkins, Learning from Delayed Rewards, PhD Thesis, University of Cambridge, England, 1989. [4] M. Wiering and M. van Otterlo, Reinforcement Learning: State-of-the-Art, Springer, 2014.

[5] M. Puterman, Markov Decision Processes: Discrete Stochastic Dynamic Programming, Wiley, 1994.

[6] D. P. Bertsekas, Dynamic Programming and Optimal Control, Vols I and II, Athena Scientific, 2017.

[7] W. B. Powell, Approximate Dynamic Programming, Wiley, 2011.

[8] Selected Paper

-- مقدمه

• مرور کوتاهی بر شبکه‌های عمیق
• یادگیری تقلیدی
• مبانی یادگیری تقویتی

-- روش‌های مبتنی بر سیاست

• روش گرادیان
• روش نمونه برداری متفاوت
• روش محدوده اطمینان TRPO
• روش محدوده اطمینان PPG

-- روش عامل-نقاد

• روش A2C
• روش A3C

-- روش مبتنی بر توابع ارزش

• روش مبتنی بر ارزش حالت
• روش مبتنی بر ارزش حالت -- عمل
• روش DQN (شبکه عمیق عمل -- حالت)
• روش DDQN (شبکه عمیق عمل -- حالت دوتایی)
• روش Dueling DQN (شبکه عمیق عمل -- حالت دوئل کننده)
• روش NAF (شبکه عمیق تالع مزیت نرمال شده برای عمل‌های پیوسته)
• روش DDPG (شبکه عمیق حالت - عمل پیوسته)

-- روش‌های حالت -- عمل پیوسته مبتنی بر مدل

• روش‌های مبتنی بر معادله هملیتون -- ژاکوبی -- بلمن
• روش‌های مبتنی بر معادله اولر لاگراژ

-- مباحث پیشرفته

• یادگیری تقویتی مبتنی بر مدل
• یادگیری سیاست با تقلید از سایر سیاست‌ها
• یادگیری تقویتی معکوس
• موازنه اکتشاف -- انتفاع
• یادگیری انتقالی
• یادگیری تقویتی توزیع شده

T. Baeck, D. B. Fogel, and Z. Michalewicz, Evolutionary Computation 1: Basic Algorithms and Operators, CRC Press, 2000.

T. Baeck, D. B. Fogel, and Z. Michalewicz, Evolutionary Computation 2: Advanced Algorithms and Operators, CRC Press, 2000.

− آشنایی با علم ژنتیک و نظریه تکامل

• اصول اولیه علم ژنتیک
• تکامل از دیدگاه میکروسکوپی
• تکامل از دیدگاه ماکروسکوپی

− چارچوب الگوریتمهای تکاملی

• علمگرهای ژنتیکی (جهش و بازترکیبی)
• عملگرهای انتخاب و ویژگی‌های آن‌ها
• تولید نسل ابتدایی
• روش‌های خاتمه الگوریتم‌های تکاملی

− انواع الگوریتمهای تکاملی

• الگوریتم ژنتیک
• استراتژی تکامل
• برنامه نویسی ژنتیک
• الگوریتم تخمین توزیع
• الگوریتم تکامل تفاضلی

− روشهای تعیین پارامترها

• اهمیت پارامترها در الگوریتمهای تکاملی
• روشهای تحلیلی در تعیین پارامترها
• روش‌های تطبیقی در تعیین پارامترها
• روش‌های خود تطبیقی در تعیین پارامترها

− حل مسائل بهینه سازی با ویژگیهای خاص با استفاده از الگوریتم‌های تکاملی

• حل مسائل بهینه سازی مقید
• حل مسائل بهینه سازی پویا
• حل مسائل بهینه سازی چند هدفی

− سایر الگوریتمهای الهام گرفته شده از طبیعت

• سیستم ایمنی مصنوعی
• الگوریتم کلونی مورچه‌ها
• الگوریتم ازدحام ذرات
   

رایانش تکاملی یکی از روشهای بهینه سازی غیرخطی است و میتواند مسائلی را حل کند که توسط روشهای سنتی بهینه سازی قابل حل نیستند. بنابراین، هدف اصلی این درس حل مسائل بهینه سازی پیچیدهای است که با دیگر روش ها قابل حل نیستند.