Design and implementation of a system based on stereo-vision and computational intelligence for determining soil tilt quality

Azizi, Afshin (2020) Design and implementation of a system based on stereo-vision and computational intelligence for determining soil tilt quality. Doctoral thesis, University of Mohaghegh Ardabili.

[img] Text
aziziafshin_Dissertation_2020_New.pdf

Download (1MB)
Official URL: http://uma.ac.ir/

Abstract

Research Aim: The desired quality of a tilled soil is one of the subjects in the tillage operations due to high energy consumption on it where accurate determination increases productivity and making the right decisions for the next steps. In this regard, applying samart methods to quantitative description of soil surface in case of aggregates size and estimation of soil surface roughness which are the most fundamental factors involved in tilt assessment by considering them as virtual sievs will help to apply in real-time mode. The objective of the present study is 3D reconstruction of tilled soil surface via stereo vision and use of the obtained information to classify the soil aggregates and clods in different sizes. Hence, calculation of the thickness of clods and the height of plowing layers have been considered. It is worth noting that performing these thsks requires calculating image depth which is a constrained and complicated problem to do using a single image (rather than multi-view images). Research method: In order to 3D reconstruct of the tilled soil surface and calculate the soil aggregates thickness and the height of the plowing layers, a stereo image dataset taken from tow different angle of views and a specific height was provided in the filed. Different operations such as calibration, extracting local features from stereo pair images as correspondence points using SIFT algorithm, keypoint matching and finally refining outliers by RANSAC were implemented to compute disparity and depth map. In the next step, the 3D position of the points, including the height component, was determined and thus the 3D images were obtained. In the last stage, the information of 3D points was used in a discriminant analysis model to classify differents soil clods. Also, having the height of the points and implementing a peak anlaysis, the height of the plowing layers was estimated as an index of soil surface roughness. In the other phase of the study, artificial neural networks based on deep learning with different architectures including Inception-v4, VGG16 and ResNet50 were used to classify six classes of the clods. These models were pre-trained networks on the massive ImageNet datset. Another deep model namely SegNet was also applied to implement semantic segmentation for indentifying clod by clod on the soil surface and the results were compared with the classic watershed segmentation. To perfom this, transfer learning was used due to low volume of dataset. Findings: The overall accuracy for classification of six classes of soil clods using discriminant analysis classifier reached 83.7%. Considering the size of clods in the six claasess, large clods were classified goodly compared to the little ones due to their low distance from the camera lenz. This event goes along with human visual perception in which objects close to the eye are better seen and understood. Regarding soil surface roughness, the calculated values was compared with the manual measurement and a computed regression between them resulted in 0.86% of R squared. Classification of the mentioned clods with the deep learning models including all three architectures resulted in classification accuracy above 95 %, but the highest accuracy achieved with ResNet50 (98.72 %). Moreover, the performance of semantic segmentation task in the identifying of soil aggreagates and clods was reached 89.09% and 80.50% for mean Iou and mean accuracy respectively which denotes a good efficiency of deep learning-based models. Also, the watershed segmentation yielded 85.17% and 72.01%, for the same metrics. Conclusion: The results of the study indicated that stereo vision apporoach is a realiable method for quantization and description of tilled soil in case of soil clods classification and estimation of soil surface roughness compared to the conventional methods. It can be concluded that many of physical and geometrical features of the soil aggreagates and clods like volume, area etc. are computed properly due to having the three-component dimensions. Also, the outstanding results of smart algorithms based on deep learning show the endless strong of these methods in modeling and analyzing images related to tillage and assessment of tilled soil where it is possible to imagine a bright horizon in the field of agriculture and tillage operations due to bieng state-of-the-art deep learning techniques.

Item Type: Thesis (Doctoral)
Persian Title: طراحی و پیاده‌سازی سیستم مبتنی بر بینایی استریو و هوش محاسباتی جهت تعیین کیفیت شخم
Persian Abstract: هدف: کیفت مطلوب یک خاک شخم¬خورده از موضوعاتی است که همواره در عملیات خاک¬ورزی به¬واسطه اختصاص انرژی زیاد برای آن از اهمیت به¬سزایی برخوردار بوده است؛ به¬گونه¬ایکه تعیین دقیق آن باعث افزایش بهره¬وری و اتخاذ تصمیات درست برای اقدامات بعدی می¬شود. در این راستا، به¬کارگیری روش¬های هوشمند به توصیف کمی وضعیت سطح خاک از نظر اندازه خاک¬دانه¬ها و نیز تخمین ناهمواری سطح خاک که اساسی¬ترین فاکتورهای دخیل در کیفت¬سنجی شخم هستند، تحت عناوینی نظیر الک مجازی و به‌کارگیری آن به¬صورت بلادرنگ کمک شایانی خواهد کرد. هدف پژوهش حاضر، بازسازی سه¬بعدی سطح خاک شخم¬خورده از طریق رویکرد بینایی استریو و استفاده از اطلاعات به¬دست¬آمده در طبقه¬بندی خاک¬دانه¬ها و کلوخه¬های با اندازه¬های مختلف می¬باشد. در این راستا محاسبه ضخامت کلخه¬ها و نیز ارتفاع لایه¬های شخم مورد توجه قرار گرفته است؛ زیرا به¬دست¬آوردن آن مستلزم محاسبه عمق تصویر است که انجام این کار با یک تصویر تکی (و نه تصاویر چند دیدی) مساله¬ای کاملاً مقید و پیچیده می‌باشد. روش‌شناسی پژوهش: در این مطالعه برای بازسازی سه¬بعدی سطح خاک شخم¬خورده و محاسبه ضخامت خاک¬دانه¬ها و کلوخه¬ها و ارتفاع لایه¬های شخم، یک مجموعه داده تصاویر استریو از سطح خاک در زمین زراعی که از دو زاویه مختلف و ارتفاع مشخص گرفته می¬شوند، تهیه گردید. با انجام کالیبراسیون و استخراج ویژگی‌‌های محلی به عنوان نقاط کلیدی متناظر در هر زوج تصویر با الگوریتم SIFT و تطابق آنها و در ادامه با پیرایش نقاط به¬دست¬آمده با روش RANSAC، میزان ناهم¬خوانی محاسبه و از آنجا نقشه عمق تصاویر به دست آمد. پس از این مرحله موقعیت سه¬بعدی نقاط از جمله مؤلفه ارتفاع مشخص شده و تصاویر به شکل سه¬بعدی درآمدند. در آخر با ورود اطلاعات به¬دست¬آمده به مدل تحلیل تمییزی، دسته¬های مختلف کلوخه¬ها مورد طبقه¬بندی قرار گرفتند. همچنین با داشتن ارتفاع نقاط لایه¬های شخم و انجام تحلیل پیک¬ها، ارتفاع لایه¬های شخم به عنوان معیاری برای ناهمواری سطح خاک شخم¬خورده تخمین زده شدند. در فاز دیگر این پژوهش، از شبکه¬های عصبی مبتنی بر یادگیری عمیق با معماری¬های مختلف شامل Inception-v4، VGG16 و ResNet50 برای طبقه¬بندی شش کلاس مختلف از کلوخه¬ها استفاده شد. این¬ها شبکه¬های پیش¬آموزش¬دیده¬ای بودند که روی مجموعه داده ImageNet آموزش داده شده بودند. همچنین با به¬کارگیری مدل SegNet و استفاده از تکنیک یادگیری انتقال برای قطعه¬بندی معنایی کلوخه¬ها اقدام شد و نتایج آن با روش سنتی قطعه¬بندی Watershed مقایسه گردید. یافته‌ها: دقت کلی طبقه‌بندی برای شش دسته مختلف از کلوخه¬ها با طبقه¬بند تحلیل تمییزی برابر 7/83% به دست آمد. در تخمین ناهمواری سطح خاک نیز با مقایسه مقادیر محاسبه¬شده با روش دستی و برقراری رابطه رگرسیونی ضریب همبستگی برابر 86/0% حاصل گردید. با توجه به اندازه کلوخه¬ها در بین شش کلاس، کلوخه¬های بزرگ¬تر نسبت به کوچک¬ترها با دقت بالایی طبقه¬بندی شدند که این با درک بصری انسان سازگاری دارد که در آن اشیا نزدیک دید انسان بهتر دیده و درک می¬شوند. همچنین طبقه¬بندی کلوخه¬ها با مدل¬های یادگیری عمیق نیز با استفاده از هر سه معماری ذکر¬شده دقت کلی طبقه¬بندی بالاتر از 95% را نتیجه دادند به¬طوریکه برای شبکه ResNet50 این مقدار به 72/98% رسید. علاوه بر این قطعه¬بندی معنایی در شناسایی و طبقه¬بندی کلوخه¬ها برای معیارهای Mean IoU و Mean Accuracy به ترتیب 09/89% و50/80% به¬دست آمدند که حاکی از عملکرد بسیار خوب مدل¬های مبتنی بر یادگیری عمیق می¬باشد. این شاخص¬ها برای الگوریتم قطعه¬بندی Watershed به ترتیب 01/72% و 17/85% به¬دست آمدند. نتیجه‌گیری: نتایج این مطالعه نشان داد رویکرد بینایی استریو روش قابل اطمینانی در کمی‌سازی و توصیف خاک شخم¬خورده از لحاظ طبقه¬بندی کلوخه¬ها و تخمین ناهمواری سطح خاک نسبت به روش¬های رایج موجود می¬باشد. می¬توان نتیجه گرفت که با داشتن ابعاد سه¬گانه، بسیاری از ویژگی¬های فیزیکی و هندسی کلوخه¬ها و خاک¬دانه¬ها مانند حجم، مساحت و غیره با دقت قابل قبولی محاسبه می¬شوند. همچنین نتایج فوق¬العاده الگورتیم‌های هوشمند مبتنی بر یادگیری عمیق نشان از قدرت بسیار بالای این روش¬ها در مدل‌سازی و تحلیل تصاویر مرتبط با خاک‌ورزی و کیفیت‌سنجی خاک شخم‌خورده دارد و می¬توان به¬واسطه مرز دانش بودن تکنیک¬های یادگیری عمیق، افق بلند و روشنی را در عرصه کشاورزی و خاک¬ورزی متصور شد.
Supervisor:
SupervisorE-mail
Abbaspour-Gilandeh, YousefUNSPECIFIED
Mesri-Gundoshmian, TarahomUNSPECIFIED
Advisor:
AdvisorE-mail
Abrishami-Moghaddam, HamidUNSPECIFIED
Subjects: Faculty of Agricultural Sciences & Natural Resources > Department of Biosystem
Divisions > Faculty of Agricultural Sciences & Natural Resources > Department of Biosystem
Faculty of Agricultural Sciences & Natural Resources > Department of Biosystem
Divisions: Subjects > Faculty of Agricultural Sciences & Natural Resources > Department of Biosystem
Faculty of Agricultural Sciences & Natural Resources > Department of Biosystem
Faculty of Agricultural Sciences & Natural Resources > Department of Biosystem
Date Deposited: 28 Oct 2020 05:14
Last Modified: 28 Oct 2020 05:14
URI: http://repository.uma.ac.ir/id/eprint/12018

Actions (login required)

View Item View Item