Kling، یکی از بهترین سازندگان ویدئو با هوش مصنوعی، یک ویژگی جدید همگام سازی لب را اضافه کرده است که یکی از دقیق ترین ویژگی هایی است که من تا به حال استفاده کرده ام. حتی می‌تواند روی چهره‌هایی که مستقیماً به دوربین نگاه نمی‌کنند نیز کار کند.
همگام سازی لب یکی از اهداف مقدس در زمینه ویدیوی هوش مصنوعی است، زیرا درست کردن آن و واقعی جلوه دادن آن، خوب یا بد، در را به روی بازیگران مصنوعی باز می کند. به عنوان مثال، این به یک فیلمساز با هوش مصنوعی اجازه می دهد تا تولیدی پر از دیالوگ بسازد. کلینگ به آن نزدیک می شود، اما این دنی دویتو نیست.
در چند هفته گذشته به‌روزرسانی‌های زیادی برای Kling انجام شده است، از جمله مدل جدید نسخه 1.5، ویژگی‌های انجمن، و براش حرکتی، ابزاری که به شما امکان می‌دهد دقیقاً عناصر یک تصویر را که باید متحرک شوند برجسته کنید.
در حال حاضر همگام‌سازی لب فقط روی شخصیت‌های انسانی کار می‌کند، اما اگر چهره‌ای صاف و شبیه انسان به آنها بدهید، می‌توانید آن را مجبور کنید روی بیگانگان یا حیوانات انسان‌نما کار کند (اگرچه نمی‌دانم چرا آن را می‌خواهید).
سینک لب در کلینگ چگونه کار می کند؟
هنگامی که از همگام سازی لب در Kling استفاده می کنید، با ایجاد یک ویدیو شروع می کنید. سپس بر روی “Match mouth” کلیک کنید و حرکت دهان در کل ویدیو دنبال می شود. این حدود ده دقیقه طول می کشد، اما این چیزی است که Kling را بسیار موثر می کند.
هنگامی که حرکات دهان نظارت و ایزوله شد، می توانید مقداری صدا اضافه کنید. این می تواند از ElevenLabs، یک صدای واقعی، یا حتی ضبط مکالمه صوتی پیشرفته در ChatGPT باشد.
سپس Kling صدا را کاملاً با ویدیو تطبیق می دهد و دهان را متحرک می کند تا به نظر برسد که شخصیت در حال صحبت کردن یا خواندن کلمات موجود در صدا است. ممکن است یک دره عجیب و غریب وجود داشته باشد، اما این تا حدی به دلیل دقت حرکت دهان است.
همگام سازی لب در یک ویدیوی ده ثانیه ای 10 اعتبار هزینه دارد و نمی توانید هر بار بیش از ده ثانیه برای آن وقت بگذارید. در حالی که Kling آن را به عنوان “بدون نیاز به پس از تولید” تبلیغ می کند، اگر به یک مونولوگ طولانی تر نیاز دارید، باید به ابزار دیگری مانند LibDubAI، HeyGen یا Hedra روی بیاورید.
چه چیز دیگری راه اندازی شده است؟
همراه با ویژگی همگام‌سازی لب، آخرین به‌روزرسانی ویژگی‌های اجتماعی جدیدی را نیز معرفی کرد که در آن اشتراک‌گذاری آثار شما می‌تواند برای ایجاد آثار بیشتر اعتبار کسب کند. من مطمئن نیستم که چه مدت می توانید این چرخه اعتبار سازی را اجرا کنید، اما ارزش امتحان کردن را دارد.
Kling در آپدیت قبلی Motion Brush را معرفی کرد. این شبیه به ویژگی براش حرکتی در Runway Gen-2 است. ما هنوز منتظریم تا این به باند بازگردد. اساساً به شما این امکان را می دهد که عناصر یک تصویر را انتخاب کنید و به Kling بگویید چگونه آنها را جابجا کند. بهترین مثالی که من دیدم یک ویدیوی یوگا بود.
Kling همچنین تایید کرد که با پیوستن به Luma Labs و Runway یک API منتشر خواهد کرد که به توسعه دهندگان این امکان را می دهد تا ویدیوهای هوش مصنوعی را در محصولات خود ادغام کنند.
به طور کلی، Kling خود را به عنوان یک رهبر در فضای ویدیویی مولد هوش مصنوعی تثبیت کرده است. تعدادی از ویژگی های تولید مفید را با درجه ای از حرکت واقعی و درک فیزیک ترکیب می کند که سایر مدل ها برای مطابقت با آن تلاش می کنند.
اطلاعات بیشتر از راهنمای تام
منبع: tomsguide
نظرات کاربران