Runway سازنده ویدیوی مورد علاقه من با هوش مصنوعی است. حرکات و سبک بصری بسیار واقع گرایانه ای دارد و همچنین طیف انعطاف پذیری از ویژگی ها، گزینه ها و قابلیت ها را دارد که آن را به یک همه کاره عالی تبدیل می کند. با آخرین به روز رسانی Runway، اکنون می توانید کنترل بیشتری بر نحوه پردازش تصاویر به عنوان نقطه شروع یک ویدیو داشته باشید.
با پیروی از Luma Labs Dream Machine و Kling، اکنون می توانید اولین و آخرین نمای یک ویدیو را به Runway Gen-3 Turbo بدهید. سپس شکاف ها را پر می کند تا آن را به یک ویدیوی 10 ثانیه ای تبدیل کند. در تئوری، این امکان را برای سطح بسیار بالاتری از کنترل فراهم می کند. در عمل ممکن است با نتایج عجیبی روبرو شوید.
می‌توانید دستور متن را کاملاً خالی بگذارید و به هوش مصنوعی اجازه دهید نحوه انتقال از اولین فریم به آخرین فریم را مشخص کند یا توضیح خود را درباره نحوه عملکرد این حرکت ایجاد کنید.
ما Runway Gen-3 را مورد آزمایش قرار دادیم
تماشا کنید
برای اینکه درک بهتری از اینکه این انتقال چقدر خوب کار می کند، 15 مجموعه جفت تصویر در Midjourney ایجاد کردم. اولین و آخرین تصویر ایجاد شده برای یک انتقال بالقوه منطقی. ایده این بود که یکی ویدیو را شروع کند و دیگری آن را تمام کند.
سپس راهنمای مسیریابی Runway را بررسی کردم تا توضیحی برای انتقال پیدا کنم که برای هر یک از جفت‌های تصویر مناسب باشد. من در نهایت پس از اینکه برخی از تصاویر Midjourney کار نکردند، آن را به پنج جفت کاهش دادم، یا در مورد تلاش برای تغییر از T-Rex به Seagull، این انتقال کارساز نبود.
اگر می‌خواهید هر کدام را برای خود امتحان کنید، در اینجا پنج مورد آخر وجود دارد که شامل اعلان‌های تصویر و اعلان‌های انتقال است. اگر نظری بگذارید، می توانم مسابقه تی رکس را به اشتراک بگذارم.
1. تحول از شهر به طبیعت
ابتدا ببینیم آیا می توانیم از شهر به جنگل حرکت کنیم یا خیر. همه بهترین شهرها دارای جنگل‌ها، جنگل‌ها یا پارک‌های وسیع در وسط هستند. پس چرا نبینیم که آیا می‌توانیم هوش مصنوعی را به حرکت یکپارچه بین دو صحنه وادار کنیم؟
دستور شروع تصویر: “یک خیابان شهری شلوغ با آسمان خراش ها، ماشین ها و عابران پیاده. آسمان روشن است، پر از ساختمان های شیشه ای مدرن که نور خورشید را منعکس می کنند.”
پایان درخواست تصویر: “چشم انداز جنگلی آرام با درختان بلند، سرسبزی سرسبز و رودخانه ای آرام. نور خورشید به آرامی از میان برگ ها عبور می کند.”
اعلان انتقال: ردیابی آهسته زمانی که خیابان شلوغ شهر به تدریج به جنگلی سبز تبدیل می‌شود، آسمان‌خراش‌های دور تا حدودی توسط پوشش گیاهی غلیظ پوشیده شده است. سر و صدای شهر آرام‌تر می‌شود که طبیعت صحنه را فرا می‌گیرد و پرندگان به جای ماشین‌ها شروع به جیک جیک می‌کنند. “
کمی مختلط بود، ما مقداری از انتقال را دریافت کردیم، اما به طور عجیبی درختان در وسط میدان دید ظاهر شدند یا یک مجسمه کاملاً سر بریده شد.
2. روز به شب در یک منطقه روستایی
در مرحله بعد، ما به نسل مزرعه خواهیم رفت، اما بیشتر برای اینکه ببینیم آیا هوش مصنوعی می تواند تغییر روز به شب را انجام دهد، نه برای یک محصول خاص.
دستور شروع تصویر: “مزرعه ای پر جنب و جوش در طلوع خورشید، گندم طلایی که در نسیم تاب می خورد، انباری در دوردست و نور ملایم خورشید که آسمان را روشن می کند.”
پایان درخواست تصویر: “یک شب پرستاره آرام بر فراز همان مزرعه، شبح انبار، یک هلال ماه و ستاره هایی که بر فراز آن می درخشند.”
اعلان انتقال: “اثر تایم لپس زمانی که نور شدید خورشید محو می‌شود و مزارع گندم طلایی به تدریج تاریک می‌شوند. نور خورشید در پشت انبار ناپدید می‌شود، ستارگان در آسمان شروع به چشمک زدن می‌کنند و هلال ماه ظاهر می‌شود و درخششی ضعیف بر مزرعه‌ای که اکنون خاموش است می‌تابد. “
این یکی از انتقال های مورد علاقه من بود. این حرکت را به آرامی اجرا کرد، اگرچه تصاویر کاملاً در یک راستا قرار نداشتند.
3. خرابه های باستانی یک شهر آینده نگر
ظاهری که با Midjourney خلق کردم کمی واقعی‌تر از آنچه انتظار داشتم بود، اما ظاهری عالی بود، بنابراین آن را حفظ کردم. من فضای تاریک آسمان خراش ها را دوست دارم، اما آیا آنها می توانند با یکدیگر ادغام شوند؟
دستور شروع تصویر: ویرانه‌های سنگی باستانی پر از درختان انگور، با شکاف‌هایی در سازه‌ها و احاطه‌شده توسط جنگلی انبوه، جایی که طبیعت این مکان را احیا کرده است.»
پایان درخواست تصویر: یک خط افق شهری آینده‌نگر با آسمان‌خراش‌های فلزی شیک، نورهای نئونی که در آسمان تاریک می‌درخشند، و فناوری پیشرفته‌ای که در هوا وزوز می‌کند.»
اعلان انتقال: “تصویر متحرک در حال افزایش در حالی که خرابه های باستانی به آرامی در آسمان خراش های آینده نگر ادغام می شوند. همانطور که نورهای نئونی شروع به چشمک زدن می کنند، درختان انگور دور می شوند و سازه های سنگی توسط برج های فلزی درخشان جذب می شوند. جنگل به منظره شهری با فناوری پیشرفته تبدیل می شود که با هولوگرام های درخشان کامل می شود.”
من واقعا از نتیجه شگفت زده شدم. شکست خورد زیرا مانند آسمان‌خراش‌هایی که از خرابه‌ها بیرون می‌آیند، به آرامی به هم نمی‌پیوندند، اما اثر گذار واقعاً چشمگیر بود. من دوست داشتم که برخی از خرابه ها باقی بماند، بنابراین از آن گذشتیم.
4. از صحرا تا واحه
چه چیزی بهتر از یک واحه در بیابان؟ “Wanderwall!” یک واحه در حال پخش در اینجا ما انتقال هوش مصنوعی از صحنه صحرا به واحه باشکوه را تجربه می کنیم.
دستور شروع تصویر: «بیابانی وسیع با تپه‌های شنی غلت‌خورده، خورشیدی که بالای سرش می‌درخشد، و هیچ نشانه‌ای از زندگی جز سرابی دوردست که در گرما می‌درخشد.»
پایان درخواست تصویر: یک واحه سرسبز احاطه شده توسط فضای سبز با درختان نخل، یک حوض شفاف درخشان و یک آبشار کوچک که در آب آبشار دارد.
اعلان انتقال: “یک تابه ثابت در سراسر تپه های شنی در حالی که بیابان به تدریج به یک واحه تبدیل می شود. خورشید کمی محو می شود و درختان نخل سبز به تدریج در اطراف یک حوض درخشان ظاهر می شوند که زمانی فقط سرابی در افق بود. ماسه های بی حاصل با فضای سبز سرسبز جایگزین می شوند.”
نتیجه با چیزی که انتظار داشتم متفاوت بود. من به آن ظاهر بیابانی نسبتاً بزرگی دادم، بنابراین امیدوار بودم که یک ظرف جانبی داشته باشم، اما نتیجه نهایی را دوست دارم.
5. از اسب و کالسکه تا کالسکه
در نهایت، از هوش مصنوعی می خواهیم که از تصویر یک اسب و کالسکه روستایی به تصویر یک ماشین، هر دو در یک جاده روستایی، تغییر وضعیت دهد. ما امیدواریم که در حین رانندگی، یک انتقال بدون درز بین آنها انجام شود.
دستور شروع تصویر: “خورشید بر منظره روستایی قدیمی با اسب و کالسکه سنتی در امتداد جاده خاکی، نرده های چوبی و انباری کوچک در دوردست می تابد.”
پایان درخواست تصویر: یک خودروی شیک و مدرن که در جاده‌ای آسفالت حرکت می‌کند، حومه شهر اکنون با آسفالت صاف و تیرهای تلفنی که جاده را پوشانده‌اند، دگرگون شده است، یک پمپ بنزین در دوردست قابل مشاهده است.»
اعلان انتقال: “یک عکس آینده نگر در حالی که اسب و کالسکه به آرامی ناپدید می شوند، جاده خاکی تبدیل به جاده ای سنگفرش می شود، و کالسکه اسب تبدیل به کالسکه می شود. با تبدیل شدن نرده ها به نرده ها و سازه های جدیدتر جایگزین انبار، حومه شهر مدرن تر می شود.”
تقریباً این کار را رها کردم. پنج تلاش طول کشید تا پاسی که انتظارش را داشتم به دست بیاورم. زن و شوهری نزدیک می شدند. یکی از آنها کامیون تصادفی را دید که از پشت ماشین می آمد و به نمای ماشین تغییر می کرد و به ماشین باز می گشت. بالاخره به چیزی که می خواستم رسیدم.
اطلاعات بیشتر از راهنمای تام
منبع: tomsguide
نظرات کاربران