用于弹奏虚拟乐器的方法和用于支持其的电子设备
2019-11-22

用于弹奏虚拟乐器的方法和用于支持其的电子设备

本发明提供一种电子设备。所述电子设备包括:触摸屏显示器;扬声器和声音接口中的至少一者;处理器,其被配置为电连接到触摸屏显示器、扬声器和声音接口;以及存储器,其被配置为电连接到处理器。所述存储器存储指令,所述指令当被执行时致使所述处理器:在触摸屏显示器上显示包括乐器形状的至少一个项目,通过触摸屏显示器接收触摸输入,基于触摸输入来加载与至少一个项目对应的声音数据,至少部分地基于与触摸输入相关联的信息处理声音数据,且通过扬声器或声音接口输出处理的声音数据。

通信接口1170可以设置电子设备1101与外部电子设备(例如,第一外部电子设备1102、第二外部电子设备1102、或服务器1106)之间的通信。例如,通信接mi70可以经由无线或有线通信连接到网络1162,以便与外部设备(例如,服务器1106)进行通信。例如,通信接口1170可以经由有线或无线连接1164直接连接到第一电子设备11〇2。

根据各种实施方案,至少一个乐器包括第一乐器和第二乐器,其中至少一个声音包括第一声音和第二声音,并且声音数据的输出包括:如果手势是与第一乐器对应的手势,则输出第一声音,并且如果手势是与第二乐器对应的手势,则输出第二声音。

在操作711中,电子设备100可以确定是否检测到第二手势。如果检测到第二手势,则电子设备100可以基于第二手势改变声音,并且可以输出改变的声音。第二手势可以对应于例如在特定的第二位置(例如,用于弹奏琴弦的弓的位置、由手指拾取的琴弦的位置等)上发生的触摸或移动。输出表可以包括与基于第二手势改变声音相关联的建模信息并且输出改变的声音。如果未检测到第二手势,则电子设备100可以跳过操作713。

图5b是示出根据本公开的实施方案的用于针对手势输入(例如,触摸或动作输入)的每个位置弹奏虚拟乐器的方法的流程图。

图6b是示出根据本公开的实施方案的用于基于手势输入变化来处理手势输入的方法的流程图;

在本公开的各种实施方案中,电子设备可以是家用电器。家用电器可以包括以下各项中的至少一者:例如电视(TV)、数字通用盘(DVD)播放器、音响、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如,三星云存储TM、苹果电视TM或谷歌电视TM)、游戏控制台(例如,微软游戏机TM或游戏机TM)、电子词典、电子钥匙、摄像机或电子相框。

根据各种实施方案,输入工具的选择可以包括基于手势输入的触摸面积、触摸面积变化、以及触摸在发生触摸接触的时刻之前和之后的指定时间内的电变化中的至少一者来选择输入工具的类型。

根据本公开的各种实施方案的模块或程序模块可以包括上述元件中的至少一个,并且可以省略一些元件或者可以添加其他附加元件。根据本公开的各种实施方案的由模块、程序模块或其他元件执行的操作可以按照顺序、并行、迭代或启发式方式来执行。此外,一些操作可以以另一顺序执行或可以被省略,或者可以添加其他操作。

输入/输出接口llf5〇可以用来将从用户或另一外部设备输入的指令或数据传送到电子设备1101的另一元件。此外,输入/输出接口1150可以向用户或另一外部设备输出从电子设备1101的另一元件接收的指令或数据。

图7a是示出根据本公开的实施方案的输出状态优化的图表。

图8b是示出根据本公开的实施方案的基于手势输入强度的屏幕变化方法的流程图;

在图7b中,实施方案被举例为在检测到第一手势之后检测到第二手势。各种实施方案不限于此。例如,检测到第一手势并基于第一手势确定声音的操作以及检测到第二手势并基于第二手势确定声音的操作可以并行或彼此独立地执行。如果第一手势输入发生在指定的第一位置上,则电子设备100的处理器120可以将基于第一手势的声音的确定实时应用于第一手势输入。另外,如果第二手势输入发生在指定的第二位置上,则电子设备1〇〇可以基于第二手势输入来改变在发生第二手势输入时确定的声音,并且可以输出改变的声音。

参照图以,例如,图1的电子设备1〇〇可以在图1的显示器160上输出指定对象500(例如,乐器形状的项目)。指定对象500可以是例如具有鼓形状的对象。对象5〇〇可以包括例如中心部分、外部部分和边缘壳体。根据一个实施方案,乐器形状的项目可以被配置有至少一个或多个项目。例如,乐器形状的项目可以被配置有包括多个乐器或乐器配件的项目。根据一个实施方案,乐器形状的项目可以被配置有多个图像。例如,乐器形状的项目可以被配置有多个图像,并且可以显示乐器的移动、动作、振动、聚焦等。电子设备1〇〇可以基于手势输入的位置(例如,触摸输入、移动输入、动作输入等)来改变建模值。例如,如果手势输入是触摸输入,则电子设备100可以以不同方式调整基于在对象5〇〇的中心部分上发生的触摸输入将要输出的音频信息、基于在对象5〇〇的外部部分上发生的触摸输入将要输出的音频信息、以及基于在边缘壳体上发生的触摸输入将要输出的音频信息。根据一个实施方案,如果手g输入对应于指定动作或移动输入,则电子设备100可以确定动作或移动输入,并且可以显示与动作或移动输入相关联的乐器。

图13是示出根据本公开的实施方案的程序模块的框图。